「深度注意力」共找到 934 篇相关文章
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
让机器人学会系统2慢思考，叠衣服倒咖啡等不在话下 | 上海交大&智元机器人
上海交通大学与智元机器人等团队推出Hume——融合系统2慢思考的双系统VLA模型。它结合深度推理与实时控制，在多种机器人平台实验中表现出色，平均成功率达91%，显著超越现有模型。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
微软正式开源UFO²，Windows桌面迈入「AgentOS 时代」
微软研究团队正式开源业内首个深度集成 Windows 操作系统的桌面智能体平台 UFO² AgentOS。它是 UFO 升级版，解决传统智能体问题，在多维度实现突破，经测试表现领先，代码和文档已开源。
SCPMA|清华大学 张宇飞团队：基于改进傅里叶神经算子的翼型流场快速预测模型
传统计算流体力学在工程场景计算成本高，深度学习方法预测精度与泛化性不佳。本研究基于傅里叶神经算子构建流场预测模型，经改进能精确预测超临界翼型流场与气动力系数，误差低且泛化能力优。
OpenAI不Open！7年功勋老将投奔宿敌，实验室沦为API代工厂
2026开年，OpenAI的「推理之父」Jerry Tworek离职，他入职近七年，是推理技术核心人物。Scaling Laws失效，后训练成主要出路，但深度推理成本高，在强调盈利环境下，Tworek不满研究受限而离开，OpenAI或失去通往AGI的机会。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
用了飞书aily新功能，我终于理解什么叫“AI不是聊天，是干活”
作者黄叔体验飞书 aily 工作助手的“任务模式”后赞不绝口。该模式能异步工作、深度结合飞书生态，可像数字员工一样交付多种成果，如竞品报告、网页、海报、播客等，虽有不足但非常实用。
推进科研和工程，编程跻身顶级人类竞赛榜：谷歌Gemini 3 Deep Think重大升级
谷歌发布Gemini 3 Deep Think重大更新，剑指科研和工程。它在编程算法竞赛等多项测试中成绩亮眼，能模拟人类科学家深度思考，处理复杂问题，还可重塑工程设计流程，已向部分用户和企业开放。