搜索：并行推理加速

「并行推理加速」共找到 2748 篇相关文章

刚刚，OpenAI前CTO：战胜LLM不确定性的方法找到了！

OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化，而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。

英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。

大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。

近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。

中国人民大学等联合团队研究发现，大模型推理有“信息脉冲”，特定步骤互信息值飙升形成“互信息峰值”，对应“思考词汇”。基于此提出无需额外训练提升推理性能的方法，代码已开源。

DeepSeek - R1 V2版全维度升级，训练框架从‘单一RL’到‘多阶段协同优化’，推理能力从‘能推理’到‘会优化推理’，还提升了安全可控性，适配生态，推出轻量级模型。

文章聚焦 Etched 公司，分析推理成 AI 算力主战场背景，介绍三位哈佛辍学生创始人故事，阐述其从芯片到推理集群的产品打造，还提及团队、文化、资本情况，最后分析竞争格局与前景。

前百川智能研究小组负责人阎栋分享大语言模型临床推理。回顾推理技术发展，以Deepseek为例；介绍百川在医疗推理实践，模型达三甲主治水平；还谈及大模型训练困境及与人类智能差异。