搜索：线性注意力模块

「线性注意力模块」共找到 501 篇相关文章

仅用1/9的token拿下SOTA，用LLM当知识路由：全新RAG框架DeepSieve

大语言模型遇「最新」或「垂直领域」知识易出错，传统RAG做法有痛点。全新RAG框架DeepSieve把LLM当知识路由器，四步筛选信息，实验精度高、成本低，消融实验明确各模块价值，还有救场案例。

Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制，提出完成操作后的五条岔路，还给出不同场景的决策建议，强调会话管理要平衡信息量和注意力。

今天凌晨，DeepSeek在GitHub开源新论文与模块Engram，论文提出“查—算分离”机制，通过可扩展查找记忆结构提升模型表现。Engram将记忆与计算职责分离，或成V4核心技术，获网友肯定。

哥伦比亚大学等机构团队研发实时闭环脑控听力系统，发表于Nature Neuroscience。该系统解码大脑注意力信号，放大目标人声、压制杂音，打破传统助听器瓶颈。经多项测试，效果显著，临床应用潜力大。

文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。

MobiAgent是强大的移动端智能体系统，含智能体模型家族、加速框架、评测基准。能让AI像真人操控手机完成复杂任务，提供开箱即用App，内置经验检索模块可自动优化规划。

文章把电影《记忆碎片》主角莱纳德看作真人版 Agent，结合情节拆解 Agent 上下文工程知识。阐述 Agent 取代 Chatbot 成行业主流，借莱纳德记忆系统说明上下文工程支柱，还指出 Agent 设计漏洞及需反思模块。

Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。

红外小目标检测存在目标小、背景干扰大难题，传统卷积易丢失特征信息。TGRS 2025论文提出FSConv模块，通过双域融合提升特征表达能力，具备多尺度特征保持、轻量化、自适应增强等优势，有广泛应用场景。

AI科学家Tim Dettmers在博客发文指出，计算需遵循物理定律，线性进步要消耗指数级资源，硬件升级红利已尽。他认为美国追求超级智能短视危险，中国重应用普及更务实，AGI不会发生，超级智能是幻想。