「线性注意力模块」共找到 501 篇相关文章
中国科学SCPMA | 南科大王建春团队：基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型，采用“并行”轴向分解注意力机制，提升在复杂流动问题中的表征能力和稳定性。实验显示，改进模型拟合与长期预测能力强，多数指标精度优于传统方法。
CVPR 2026｜AI开始会拍电影了：一分钟十镜头，全程不崩剧情
多镜头视频生成要求模型处理不同镜头间稳定信息和变化信息，现有方法有局限。Meta与哥本哈根大学研究者提出OneStory，建立跨镜头记忆机制，设计关键模块，实验表现好，为视频生成打开新可能。
2篇最新论文，把Deep Research讲透了~
阿里开源Tongyi DeepResearch热度高，文章分享两篇相关技术综述。介绍Deep Research是代理研究新范式，阐述其四大核心模块、优化方法、数据处理、奖励机制，还提及开源系统亮点及相关论文。
BrowseComp等评测集第一，秘塔推出「深度研究」，已开启免费公开访问
世界变化快，AI领域新概念不断。秘塔在上线“浅度研究”五个月后，将其升级为“深度研究”。该模块最初由OpenAI推出，秘塔版可免费公开访问，准确率优，还让研究过程可见。
微软开源2025 ICML获奖框架，终结大模型多轮对话严重缺陷
微软开源2025年ICML获奖框架CoLLabLLM，可解决大模型多轮对话缺陷。它由四大模块构成，经多轮对话模拟和奖励优化模型。在三大基准平台测试显示，能在多样任务中高效协作。
太巅了！MIT老哥在Transformer里造了台计算机，LLM从此不需要调用外部工具？
LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。
狂揽19.7K star！！神级开源自动化神器，拖拽即搞定，上千模版，太爽了！
本文介绍开源浏览器自动化扩展工具Automa，它基于Vue开发，支持Chrome和Firefox。不用写代码，通过拖拽模块搭建自动化流程，功能丰富，在GitHub星标超19.7k，适合非程序员等人群。
软件产品，集体向 Agent 缴械
2026年不到三个月，传统软件产品正主动成Agent「可调用模块」。如Notion、Figma等纷纷支持。这是软件行业范式转移，不被调用的软件将被淘汰，竞争逻辑也改变。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。