「听觉注意力解码」共找到 298 篇相关文章
Kimi新论文太硬核了！马斯克和Karpathy相继点赞~
马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。
融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱
Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。
告别「盲目自信」，CCD：扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。
1000+页PDF解析速度暴涨3倍，MinerU模式不香了
百度PaddleOCR推出HPD - Parsing小模型，文档解析速度大幅提升，是上一代最快模型的1.62倍、自身原解码方式的3.06倍。它采用层级并行解码架构，有两层并行设计，效果出色且兼容性好，还分享了优质训练方法和优化思路。
ICML 2026 巡礼：注意力效率革命的九个切面
7月7日，ICML 2026进入正会第一天。雷峰网精选首日上午9篇论文，涵盖持续学习、多模态融合等方向，如MePo让预训练模型学会持续学习，HAF解决模态不平衡下的融合问题，展现AI研究前沿趋势。
谷歌新模型登顶Nature，人类基因密码被解码
谷歌推出全新AI工具AlphaGenome，能精准预测人类DNA序列变异对调控基因生物过程的影响。它满足多项条件，在26个变异效应benchmark中25个达SOTA，还通过多个案例和实验验证了其性能。
Linear-MoE：线性注意力遇上混合专家的开源实践
近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。
「听觉」引导「视觉」，OmniAgent开启全模态主动感知新范式
针对端到端全模态大模型痛点，浙江大学、西湖大学、蚂蚁集团联合提出 OmniAgent，它基于「音频引导」，用「思考 - 行动 - 观察 - 反思」闭环实现范式转变，在多基准测试中超越开闭源模型。