「推测解码」共找到 116 篇相关文章
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
什么！我把SQL编辑器装进了大模型？
文章介绍基于约束解码技术，结合CFG、Jinja模板和XGrammar框架，为大模型SQL生成配备“编辑器”。它能保证语法正确、遵循规则，还具灵活性。但面临约束干扰和性能瓶颈，未来可简化配置惠及更多用户。
内部爆料，OpenAI 将发布神秘「OS模型」，员工惊掉下巴
OpenAI研究员Aidan McLaughlin推文称试用新os模型后很震惊，引发猜测。有推测是GPT - 5，也有认为OS可能指开源模型、新的o4模型或操作系统。从代码看，OpenAI或把ChatGPT升级为AI操作系统。
复旦北大联合美团LongCat提出TDAR：用“粗思考，细求证”破解Block Diffusion的速度精度悖论
复旦大学、北京大学联合美团LongCat提出Block Diffusion推理模型Test-Time Scaling新框架TDAR，引入‘粗思考，细求证’范式与有界自适应置信度解码，打破速度与精度零和博弈，在多基准测试表现出色。
谷歌新发现：DeepSeek推理分裂出多重人格，左右脑互搏越来越聪明
谷歌研究表明，DeepSeek - R1等顶尖推理模型解题时，内部会自发“分裂”出不同性格虚拟人格，像在进行社交、辩论会，且越“吵”越聪明。团队借助SAE解码其脑内群聊，还发现‘哦！’能提升推理准确率。
融资35亿后，Kimi神秘模型现身竞技场
大模型竞技场上，神秘模型Kiwi - do现身，自报来自月之暗面Kimi。网友推测它可能是K2 - VL，其通过VPCT测试或改变多模态Agent格局。2025年末Kimi获35亿融资，将用于K3模型研发。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来，扩散大语言模型（dLLM）成为文本生成新势力，生成效率高。但现有解码策略忽视中间迭代信息，研究团队观察到「先对后错」现象，提出 TCV 和 TCR 方法，显著提升模型在推理任务表现。
谷歌新版Gemini一夜端掉UI：单HTML文件复刻macOS，成功率100%
谷歌新版Gemini 3.0 Pro能力惊人，几行提示词就能在浏览器复刻苹果macOS，还能生成网页版Windows、Linux，功能完整且能一次生成，代码已公开。不过有网友指出这只是模拟环境。业内推测其或在未来几个月发布。
加速量子计算到来！英伟达开源模型拉爆量子计算股
英伟达发布并开源全球首个加速量子计算应用的模型系列Ising，打破硬件校准和纠错耗时难题，提供比传统方法更快、更准的量子纠错解码能力，还推出校准基准测试，全方位开源吸引众多机构加入。