「混合线性注意力架构」共找到 469 篇相关文章
马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！
文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。
别再构建多智能体了
Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。
搜狐架构演进技术实践：我们如何用 MCP Registry 根治 AI Agent 的“千具之灾”
本文讲述搜狐团队在构建企业级 AI Agent 时遭遇‘千具之灾’，当前路由模型方案引发‘治理噩梦’。后通过研究 MCP Registry 获新思路，设计新架构，构建 PoC 原型，并对混合路由等问题展开思考。
Skywork技术论坛一手分享：Agent与多模态的落地真相｜甲子光年
8月19日，昆仑万维发起第一期Skywork全球技术论坛讨论会，众多高校和企业嘉宾围绕Agent与多模态展开交流。探讨了Agent商业化、多模态应用等核心问题，提出诸多判断，指出行业热度高但落地是关键。
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客发文指出，计算需遵循物理定律，线性进步要消耗指数级资源，硬件升级红利已尽。他认为美国追求超级智能短视危险，中国重应用普及更务实，AGI不会发生，超级智能是幻想。
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客文章中指出，计算须遵循物理定律，线性进步要指数级资源，硬件升级红利已尽。他认为美国追求AGI和超级智能不切实际，中国重应用普及更务实，AGI难以实现。
全新开源视频换装框架MagicTryOn
现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
加州理工用AI攻克量子化学60年难题，1块显卡做完7800块的活！
加州理工学院Anima Anandkumar团队8月24日发文，用AI模型将量子化学计算复杂度从立方级压到近线性级。单块GPU就能完成含82500个电子的金属缺陷模拟，而2019年同类计算用了约7800块GPU。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。