「推理加速」共找到 2531 篇相关文章
MiniCPM 4.0来了！220倍极速狂飙，端侧模型的比赛，结束了
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
长思维链里的推理步骤，哪些最关键？三招锁定LLM的「命门句子」
杜克大学和 Alphabet 研究者提出在句子层面分析推理痕迹，找出长思维链中关键步骤，提高 LLM 可解释性等。提出三种互补方法，还提供开源工具，研究为调试推理失败等提供可能。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
AI真有希望考清北了！豆包1.6多模态推理发威，闯关数理化带图大题
火山引擎原动力大会发布豆包大模型1.6，它是国内首款多模态SOTA模型，支持256k上下文长度。实测中它解答高考数理化带图大题表现出色，还具备图像识别、视频理解、GUI操作等能力。此外，火山引擎还推出系列工具和平台助力企业。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
DeepSeek点燃大模型效率之争，阶跃火速接棒：JetSpec让大模型解码速度最高提升近10倍
近期，DeepSeek发布DSpark，阶跃星辰发表JetSpec论文，二者聚焦大模型推理效率。DSpark关注验证效率，JetSpec从Draft生成本身入手。结果显示，二者都有加速效果，共同表明推理效率正成Agent落地关键变量。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。