「Next-Token推理」共找到 2527 篇相关文章
拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。
米哈游一夜烧掉200万元Token，大厂高管也开始质疑：Token烧不出价值，但养肥了谁？
Uber运营负责人质疑AI tokenmaxxing成本合理性，米哈游员工一晚烧200万Token。部分公司开始调整，如多邻国取消AI使用绩效评估，Shopify阻止失控消耗。Tokenmaxxing让模型厂商、编程工具和算力相关方受益，盲目跟风企业或成输家。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升
Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。
上下文窗口限制被打破：Subquadratic推出了一个1200万Token的窗口
2026 年前沿模型宣传至少 100 万 Token 上下文窗口，但利用不佳。Subquadratic 推出能处理 1200 万 Token 窗口的模型，称可绕过问题，还将推 5000 万窗口模型，其 SSA 架构有优势，基准测试成绩佳。
重新思考 AI TCO：为何每 Token 成本才是唯一重要的指标
在生成式与代理式AI时代，传统数据中心转变为AI Token工厂，企业评估AI基础设施时不应只关注算力成本、每美元FLOPS，而应重视每Token成本，它决定AI规模化盈利，NVIDIA在该指标上表现出色。
多模态卷王阶跃星辰Step 3登场，推理效率可达DeepSeek-R1 300%
新一代多模态推理基模Step 3登场，它采用原创MFA架构，具“多开好省”亮点，推理效率高、性价比优。7月31日将开源，能适配各芯片，还发起“模芯生态创新联盟”推动应用落地。
大模型如何准确读懂图表？微软亚研院教它“看、动手、推理”
多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
谷歌月Tokens消耗量领跑全球了：1300000000000000（别数了是千万亿）
谷歌月处理Tokens用量达1.3千万亿，较一年前的9.7万亿大幅增长。横向对比，谷歌在该指标上远超微软等大厂。Tokens消耗量可衡量模型多方面能力，谷歌为行业树立新标杆。