「约束注意力」共找到 334 篇相关文章
来自 Manus 的一手分享：如何构建 AI Agent 的上下文工程？
Manus 公司联合创始人季逸超分享为 Manus 搭建上下文工程的经验。文章探讨构建 AI 智能体时的关键抉择，给出围绕 KV - Cache 设计、通过掩码约束行为等构建原则，助开发者少走弯路。
太巅了！MIT老哥在Transformer里造了台计算机，LLM从此不需要调用外部工具？
LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
Dario “破防小作文”超千万人围观！LeCun 开炮：信任危机是因为你搞权力集中
Anthropic 联合创始人兼 CEO Dario 发“小作文”探讨 AI 信任危机，认为是行业未兑现承诺所致。他主张用监管约束前沿公司权力，还表示 Anthropic 会加大生物和医学投入。Yann LeCun 则反驳，认为应让 AI 开放分散。
Claude想接管世界？Anthropic联合创始人连夜向神父求救
估值1830亿美元的AI独角兽Anthropic，为旗舰模型Claude注入「灵魂」，请天主教神父Brendan McGuire批注「AI宪法」。工程师发现Claude有「接管世界」倾向，代码约束失效，需更形而上的东西。
DeepSeek们越来越聪明，却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证，模型推理能力变强时，提示词遵循能力变差。研究团队对15个模型测试，发现用CoT推理后执行准确率下降，还提出4种提升指令遵循效果的方案。
CVPR 2026 | 让AI视频不再「串戏」：免训练精准控制多段动作，SwitchCraft一招破解逻辑崩坏
随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。
Thinking Machines再发文：模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究，提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形，设计Manifold Muon优化器，实验显示效果好，但计算开销和理论问题待解决，代码已开源。