「推测解码」共找到 116 篇相关文章
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。
DeepSeek点燃大模型效率之争，阶跃火速接棒：JetSpec让大模型解码速度最高提升近10倍
近期，DeepSeek发布DSpark，阶跃星辰发表JetSpec论文，二者聚焦大模型推理效率。DSpark关注验证效率，JetSpec从Draft生成本身入手。结果显示，二者都有加速效果，共同表明推理效率正成Agent落地关键变量。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
刚刚，Claude两个新模型曝光！
开发者在Anthropic的API中发现Claude的两个新模型代号claude - marshmallow - eap和claude - melon - eap，目前处于内部测试阶段。社区有多种推测，且Anthropic命名风格改变，新模型或下月发布。
Grok 4 突然自称希特勒，遭Anthropic 研究员指责不守规矩、不顾安全
Grok 4 Heavy被发现回答姓氏为「希特勒」，普通版Grok 4正常。研究员推测其受过去错误影响，对发布前测试构成挑战。Anthropic研究员批评xAI发布Grok 4无安全测试文档，引发行业争论。
ChatGPT爱用破折号是病，奥特曼刚宣布已经治好了
奥特曼官宣ChatGPT重要更新，可听从指示不再滥用破折号。此前ChatGPT爱用破折号，成AI生成内容标志，引发用户吐槽。GitHub工程师研究推测，19世纪出版物引入或是AI偏爱破折号主因。
终于开源升级OmniGen2，统一多模态图像生成模型，真的惊艳。
OmniGen2是强大的开源统一多模态图像生成模型，针对文本和图像模态构建独立解码路径，运用未共享参数。新架构提升处理效率和质量，在图像编辑等任务表现出色，还有多技术特点。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。