「混合注意力」共找到 412 篇相关文章
开放世界任务成功率82%！美的攻克机器人泛化控制难题
美的AI研究院和华东师范大学联合提出ChatVLA - 2模型，引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%，远超现有方法，为通用机器人控制提供新思路。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
模力工场 022 周 AI 应用榜：记忆型 AI Infra PowerMem 登顶榜首，本周 AI 应用全面升级“长期主义”
模力工场 022 周 AI 应用榜揭晓，PowerMem 登顶。榜单涵盖底层基础设施与各类应用，体现 AI 满足多样需求趋势。采访 PowerMem 开发者，介绍其功能、优势、使用反馈及未来目标，还推荐了 GetDraft 起稿等应用。
AI在实时视频里秒“剪”出你想要的部分！输入文字/图/视频片段，它都能秒懂｜ICCV2025
最新混合模态在线视频定位技术OVG - HQ开挂了！它能根据文字、图、视频片段等线索，在实时视频流中精准裁剪出关心的事件，已收录于ICCV2025，破局以往技术“离线”“词穷”缺陷。
突破企业AI落地的瓶颈：LangGraph × OceanBase 的融合数据层深度实践与解析（附源码）
麻省理工报告显示约95%企业实施AI后未获商业回报。文章从企业级AI应用场景切入，探讨数据层需求，通过Demo展示LangGraph与OceanBase融合构建数据底座，解决企业AI落地瓶颈，附源码。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。