「混合注意力机制」共找到 1183 篇相关文章
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
桌面 Agent 的下一步：不是会操作，而是会调度工具
复旦大学和通义实验室提出 ToolCUA，让模型在 GUI 与工具调用间编排路径。它从已有 GUI 轨迹合成训练数据，设计奖励机制，在 OSWorld - MCP 评测中效率与准确率大幅提升，为 CUA 发展提供方向。
一块画板，Nano Banana，无限创意：谷歌新工具实测
谷歌Labs推出AI概念板Mixboard，由Nano Banana图像模型驱动，整合Gemini 2.5 Flash模型。可上传个人图像混合编辑，适合设计师等。现仅在美国公开测试，速度快，操作便捷，能高效验证想法。
Karpathy：强化学习「有点问题」，突破还需新算法
前特斯拉AI总监、OpenAI创始团队成员Karpathy发文称，强化学习虽能带来更多收益，但机制「可疑」，不像人类解决智能任务的方式。他提出新算法框架，还指出当前存在诸多待解决的问题。
清华唐杰团队揭示大模型记忆全景
清华唐杰教授团队等发布大模型记忆架构综述，提出三维记忆分类学，将前沿工作统一到理论框架，为LLM设计指明方向，分析了隐式、显式记忆架构，还探讨混合架构挑战与未来方向。
MiniMax M2.5：230B参数仅激活10B，开源模型首次逼近Claude Sonnet，成本仅十分之一
MiniMax推出新一代开源模型M2.5，官方称其为‘为现实世界生产力设计的开源前沿模型’。性能逼近Claude Opus 4.6，采用混合专家架构，成本低。已在内部大规模部署，定位为‘AI员工’。
2025年AI编程助手大盘点，从微软、亚马逊、谷歌到开源大神
2025年，超八成开发者使用或打算用AI编程助手。文章盘点微软、亚马逊、谷歌等推出的闭源助手，及Cline、OpenHands等开源助手，还从多维度对比闭源与开源方案，指出企业可混合使用。
强化学习也遇到了“天花板”？Andrej Karpathy构建了一个新算法
大神Karpathy肯定强化学习（RL）价值，指出其比监督微调更具扩展性，但存在渐进式学习低效、背离人类学习机制的局限。他提出“第二天性”新范式算法，还面临泛化等挑战。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
GitHub一周2000星！国产统一图像生成模型神器升级，理解质量双up，还学会了“反思”
智源研究院发布国产开源统一图像生成模型OmniGen 2.0版本。它增强理解与生成能力，打通多模态生态。玩法简单，技术有创新，还引入反思机制和新基准，推理效率提升，且将全面开源。