「链式推理解码」共找到 2097 篇相关文章
不改模型、不降质量，谷歌让Gemma 4快了3倍：本地跑大模型彻底变天
谷歌给Gemma 4家族更新Multi - Token Prediction推测解码架构，推理速度最高提升3倍且输出质量不变。介绍了LLM推理慢的原因、MTP解决办法、对开发者的利好、技术细节、使用方式等。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
AAAI 2026 Oral | 大模型「爱你在心口难开」？深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
「百万级」视频推理数据集！30+顶尖高校联合发布
AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。
ICLR 2026｜UIUC：一行代码彻底解决LLM推理的过度思考！
2025年DeepSeek发布推理大模型，引发RLVR研究热潮，但该方法有“过度思考”问题。伊利诺伊大学香槟分校等研究者提出Self - Aligned Reward（SAR），能提升推理准确度和效率，有望推动大模型推理系统发展。
OpenAI自曝：AI推理砸钱越多，碾压人类越狠！
OpenAI研究员探讨推理模型时代。Noam Brown强调预训练和推理范式，指出当前AI胜在通用性。推理范式成本低、效果好，如o系列模型表现出色。首席经济学家谈AI经济影响，称其重塑企业格局。
DeepSeek推理最高提速6倍！开源研究：加装「思维进度条」，计算量减少30%
特拉维夫大学团队开发新方法，给LLM推理任务装进度条，控制推理深度和速度。提出“思维进度向量”TPV预测推理位置，干预TPV可“超频”“降频”，模型已在GitHub开源。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。