「缓存加速」共找到 700 篇相关文章
[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解
文章详细介绍vLLM中Triton Merge Attention States Kernel的实现，与PyTorch原生实现对比，该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
突发！特朗普刚刚发布《美国AI计划》，OpenAI、微软、亚马逊成大赢家
今天凌晨，特朗普公布《美国AI行动计划》，含加速AI创新、构建基础设施、主导外交安全三大支柱及90多项行政命令，旨在让美成全球AI霸主，还将中国列为对手，多官员表态肯定该计划。
超长 Agent 任务如何不崩盘：Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制，包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统，还为长任务Agent开发者提供了管理启示。
Manus走了，原生Agent登场：“AI助手”的第三次重新定义
文章回顾“AI助手”三次预期校准，指出Manus完成Agent启蒙使命，随后分析Agent发展现状，提到其将从炫技到日常，还指出Chat时代落幕，中国模型创业者正加速，探索谁能成“中国的Anthropic”。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
谁在幕后操控特朗普2.0？PayPal黑帮与“科技共和国”野心 | 赠书福利
2025年特朗普启动国家级AI发展计划，背后是硅谷技术精英。他们用资本等重塑美国权力逻辑，核心是彼得·蒂尔。“技术加速主义”思潮兴起，主张技术进步解决问题，亚历山大·卡普构想“科技共和国”。
OpenAI终于快要上市了，也直面了这23个灵魂拷问。
OpenAI宣布完成重组，非营利主体更名，营利公司OpenAI Group PBC接纳新股东，有了发行股票和IPO资格。随后进行1小时直播，提到AGI加速科学发现，还开展首次Q&A，回应诸多热点问题。
119 页硬核报告丨AI 2030：算力、能源与科研的未来预测
Epoch AI 受 Google DeepMind 委托编写报告，探讨 AI 规模扩张至 2030 年在计算、投资等方面的影响，认为扩张很可能持续，还会加速多领域科学研发，虽预测有不确定性，但 AI 会成关键技术。