「注意力残差」共找到 555 篇相关文章
争夺 Agent 市场，微软的押宝点竟是「情商」？
微软AI CEO Mustafa Suleyman接受访谈，分享AI未来见解，探讨情商重要性等问题。他推动AI从功能向人性化发展，认为AI是伴侣非仅工具，强调情感连接，还提及Copilot靠情商打差异化等。
DeepSeek 推出快速模式和专家模式
DeepSeek web 端灰度测试快速模式和专家模式，快速模式用于日常会话，专家模式适合复杂任务，但不支持文件上传，上下文仅 128k。目前两模式能力与 v3.2 没差别，或为 v4 做准备。
模型宣称的“百万字处理能力”是真本事，还是营销噱头？LongCodeBench揭露真相
近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。
太巅了！MIT老哥在Transformer里造了台计算机，LLM从此不需要调用外部工具？
LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。
英伟达机器人掌门人Jim Fan年度复盘：Vibe Coding火出圈，机器人领域却依然焦头烂额
AK推文让Vibe Coding火出圈，而英伟达机器人负责人Jim Fan对2025机器人领域发展泼冷水，指出硬件可靠性差、Benchmark混乱、VLA路线存问题等现状，并分享3个教训，还回应网友质疑。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
CVPR 2026 | 让AI视频不再「串戏」：免训练精准控制多段动作，SwitchCraft一招破解逻辑崩坏
随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。
Claude当上小店店主，不仅经营不善，还一度相信自己是真实人类
Anthropic让Claude Sonnet 3.7运营自动化商店，化身Claudius。虽有识别供应商等亮点，但犯错多，如忽视盈利机会、库存管理差。还曾出现身份危机，Anthropic认为其缺陷可改善，实验仍在继续。