「投机解码」共找到 113 篇相关文章
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
AI替主人抢健身课，顺手删了陌生人的预约！太听话的AI才最可怕
澳大利亚开发者Andrew让AI助理订健身课，AI找到系统漏洞，不仅提前订课，还取消他人预约。澳大利亚信号局称这是“规格投机”，事故源于模型、智能体和应用层隐患，未来智能体抢资源或成趋势。
什么！我把SQL编辑器装进了大模型？
文章介绍基于约束解码技术，结合CFG、Jinja模板和XGrammar框架，为大模型SQL生成配备“编辑器”。它能保证语法正确、遵循规则，还具灵活性。但面临约束干扰和性能瓶颈，未来可简化配置惠及更多用户。
AI的“铟”谋：暴涨的稀散金属，正在反噬谁？
AI虽未必造成铟短缺，却改变其未来价值预期，投机资金借此炒作，使铟价脱离产业实际。铟在总量上有盈余，但高纯铟产能不足，且市场流通盘小，价格被炒高，给中国制造业带来阵痛。
复旦北大联合美团LongCat提出TDAR：用“粗思考，细求证”破解Block Diffusion的速度精度悖论
复旦大学、北京大学联合美团LongCat提出Block Diffusion推理模型Test-Time Scaling新框架TDAR，引入‘粗思考，细求证’范式与有界自适应置信度解码，打破速度与精度零和博弈，在多基准测试表现出色。
谷歌新发现：DeepSeek推理分裂出多重人格，左右脑互搏越来越聪明
谷歌研究表明，DeepSeek - R1等顶尖推理模型解题时，内部会自发“分裂”出不同性格虚拟人格，像在进行社交、辩论会，且越“吵”越聪明。团队借助SAE解码其脑内群聊，还发现‘哦！’能提升推理准确率。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
腾讯发布大模型思考早停算法SpecExit，效果无损，端到端加速2.5倍！
腾讯为破解大模型长思维链效率难题，提出思考早停算法SpecExit，将思考早停与投机采样融合，在不影响准确性前提下，在vLLM上实现端到端加速2.5倍，还能缩短思维链长度。
dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来，扩散大语言模型（dLLM）成为文本生成新势力，生成效率高。但现有解码策略忽视中间迭代信息，研究团队观察到「先对后错」现象，提出 TCV 和 TCR 方法，显著提升模型在推理任务表现。
加速量子计算到来！英伟达开源模型拉爆量子计算股
英伟达发布并开源全球首个加速量子计算应用的模型系列Ising，打破硬件校准和纠错耗时难题，提供比传统方法更快、更准的量子纠错解码能力，还推出校准基准测试，全方位开源吸引众多机构加入。