「稀疏注意力机制」共找到 1044 篇相关文章
2026年必须搞懂的20个 Agent 工程概念（运行机制篇）：大白话一次讲清。
文章聚焦Agent工程运行机制，介绍20个核心概念。如Agent与ChatBot区别在于会‘做’；Harness是模型运行框架；Execution Model决定思考行动范式等，还给出各概念工程实践建议。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
从 ReasoningBank 到 MetaAgent，RL 未必是 Agent 自进化的必要解？
业内对智能体自进化的探讨开启多路线探索模式。除 RL 优化，记忆系统改进成新方向，如 ReasoningBank 机制。此外，业内还从智能体自我识别、工具和策略辅助等机制探索其他技术路线。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。
CJA|西工大林海涛、张伟伟等：关联函数学习：适用飞行器外形泛化的稀疏气动数据重构方法
本文提出关联函数学习（SFL）方法，通过符号回归挖掘气动力系数复合函数表达式，实现非线性气动数据稀疏重构与状态外推。用少量样本构建数据库，误差 1%-5%，比 Kriging 法样本量减超 90%。