「推理token」共找到 2576 篇相关文章
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
调高一档推理强度，成本可能翻几倍：大模型思考原理讲清楚
文章详细讲解推理强度原理，指出其不改模型，只改草稿长度。还说明模型多思考能提高答题准确率的原因，剖析贵和慢的原因，介绍三种控制形态，并给出判断推理强度档位的框架。
推理“刹不住车”？新框架让DeepSeek-R1们告别过度思考，已开源
DeepSeek - R1等推理模型能力增强，但出现过度思考问题，如步骤繁冗、表述拖沓、输出冗长。浙大等团队提出Self - Braking Tuning（SBT）框架，能让模型适时终止推理，在多数据集测试中效果显著。
知识图谱推理新sota，兼顾性能+效率！中科大新作 | NeurIPS'25
知识图谱推理应用广泛，但现有方法面临推理效率低、表达能力不足等挑战。中科大团队提出DuetGraph，采用双阶段粗到细推理框架与双通路全局 - 局部特征融合模型，平衡推理精度与效率，缓解过平滑问题。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
逐项解读黄仁勋GTC演讲：Vera Rubin、token王、英伟达“龙虾”、太空计算和雪宝｜甲子光年
美国当地时间3月16日，英伟达创始人黄仁勋在GTC 2026演讲，发布五项重要技术，包括下一代AI计算平台Vera Rubin等。他想让英伟达成AI基础设施公司，强调token成本，认为AI工厂是工业基础设施。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
不改模型也能提升推理性能？ICLR投稿提出测试时扩展新范式OTV
ICLR 2026投稿论文提出单token验证（OTV），是测试时扩展新机制，让模型能边推理边判断正误。它基于并行思考思路，借助轻量内部验证器分析推理过程，实验显示其性能优于主流方法。
黄仁勋要发Token当工资！硅谷兴起刷量大赛，一人一周烧掉33个维基百科
硅谷兴起Tokenmaxxing（Token刷量大赛），AI公司追踪员工token消耗，招聘、考核都与token相关。风投者费用半年内从月付200美元涨至年烧10万。黄仁勋提议用token作薪酬，同时也有对刷量竞赛的质疑。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。