「注意力去偏」共找到 443 篇相关文章
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
大象秒变挖掘机！三维变形新突破，无需额外训练 | CVPR'26
南京大学与北京大学提出MorphAny3D，无需额外训练即可让三维生成模型实现跨类别平滑变形。它通过创新注意力机制融合源与目标特征，精准控制结构与时序，效果远超传统方法，代码已开源。
AI时代，最老的设计哲学反而最有效
50年前的Unix哲学‘万物皆文件’和‘文件夹即应用’正以意想不到的方式回归。过去因‘人类可理解性’被推崇，如今因AI能操作而重获重要性，文件夹成‘智能空间’，AI成其操作系统。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
AAAI 2026杰出论文奖 | ReconVLA：具身智能研究首次获得AI顶级会议最佳论文奖
具身智能常被视为‘系统工程驱动’研究方向，ReconVLA获AAAI杰出论文奖，是具身智能方向首次获AI顶级会议最佳论文。它解决VLA模型关键瓶颈，通过重建式隐式视觉定位机制，实验效果显著。
告别“一眼定生死”：Agent-as-a-Judge 开启 AI 评估的下半场
过去两年，LLM-as-a-Judge成评估界“黄金标准”，但面对复杂任务力不从心。论文《A Survey on Agent-as-a-Judge》指出，应从单一的大模型裁判进化为具备行动能力的智能体裁判，还阐述了其优势、发展阶段等。
清华朱军团队Nature Machine Intelligence：多模态扩散模型实现心血管信号实时全面监测
清华朱军等团队提出多模态生成框架 UniCardio，在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构，结合持续学习范式，实验表现优，有望用于多领域。
独立开发者必看，前端人想做低代码？先把这个 5k star 可视化拖拽编辑器 Demo 跑起来
`visual-drag-demo`是开源可视化拖拽编辑器Demo，偏前端与低代码方向。它把编辑器必备功能做成教学项目，适合想做搭建器、可视化配置等的人快速摸清实现方法，功能丰富，学习成本低。
罗福莉携小米MiMo-V2-Flash首次亮相：一次在推理与Agent上的下注｜甲子光年
大模型进入新阶段，效率成能力一部分。小米MiMo团队12月16日晚发布并开源MiMo - V2 - Flash，负责人罗福莉首亮相。该模型在推理、编程和智能体场景表现出色，在架构、训练方法等有创新。
DeepSeek V3到V3.2的进化之路，一文看全
知名AI研究者Sebastian Raschka发布深度博客，详细梳理DeepSeek V3到V3.2进化历程。DeepSeek V3.2性能对标GPT - 5和Gemini 3.0 Pro，且为开放权重模型，报告涵盖众多有趣领域和知识。