「因果注意力」共找到 253 篇相关文章
因果发现大模型迎来「理论破局」： DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。
刚刚，Kimi开源新架构，开始押注线性注意力
智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。
李飞飞LeCun疯狂加注！这匹中国黑马，已在因果AI暗战6年
世界模型成AI核心战场，背后是行业向因果科学转向。多数人2026年关注“因果”，中国零犀科技早在2020年就探索因果AI，自研因果大模型，搭建工程架构，将能力融入业务体系，提前布局优势凸显。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
因果发现进入基础模型时代：CDFM 如何从数据中推断因果结构 | GAIR Paper 120
因果发现正从“手工挑选算法”走向“大模型统一零样本推断”范式。广东工业大学等团队提出CDFM，能统一处理多种情况，解决传统方法痛点，在多方面展现良好性能，是因果发现基础模型时代的重要起步。
全新线性注意力范式！哈工深张正团队提出模长感知线性注意力！显存直降92.3%！
哈工深张正团队联合多团队发布论文，提出 NaLaFormer 框架，解决线性注意力两大核心缺陷，保持线性复杂度同时精度超越，在多任务表现出色，如超分任务显存降 92.3%。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
从预测到干预，Aether AI为什么押注因果世界模型？
Aether AI 定义技术路线为「因果世界模型」，关注模型识别影响结果的变量、理解因果结构、模拟干预后果。它从预测未来的局限切入，介绍了因果能力的三类核心问题及研究成果，还用四层架构实现能力落地。创始人黄碧薇看好当下时机，从 Physical AI 切入创业。
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。