「推理计算」共找到 2566 篇相关文章
OpenAI两位首席最新采访信息量好大！终极目标是“自动化研究员”，招人并非寻找“最出圈”的人
OpenAI首席科学家Jakub Pachocki和首席研究官Mark Chen在采访中爆料，谈到GPT - 5将推理引入主流、实现自动化研究员目标、强化学习未到瓶颈等，还阐述用人标准、算力分配等问题。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
8B模型任务击败GPT-5？阶跃星辰开源Deep Think新框架，小模型解锁百万Token测试时计算
阶跃星辰推出并行协同推理框架PaCoRe，让大模型突破上下文窗口和处理速度限制。基于此框架，小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5，还具备前沿性能、“综合”能力涌现等优势。
强化学习的两个「大坑」，终于被两篇ICLR论文给解决了
现有强化学习算法基于理想化交互模式，难应对真实环境。Mila 实验室两篇 ICLR 2025 论文提出实时强化学习框架，分别解决推理延迟和动作缺失问题，还可结合使用，对关键领域意义重大。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。