搜索：自注意力机制

「自注意力机制」共找到 1939 篇相关文章

Agent 下半场：真正能自进化的 Agent 应该是什么样的？

当下 Work Agent 难以稳定完成复杂长程任务，且经验无法沉淀。EvoMap 提出自组织蜂群架构，通过 AutoResearch 落地验证，探索 AI4AI 方向，构建记忆和连接的三层产品结构，推动 Agent 网络自进化。

哈尔滨工业大学等团队发现线性注意力性能不足根源是查询范数丢失等。基于此提出NaLaFormer，在ImageNet - 1K准确率最高提7.5%，超分任务峰值内存降92.3%，为线性注意力发展开辟新道路。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

前OpenAI安全副总裁翁荔新博客探讨AI自进化，提出从Harness开始的现实路径。DeepSeek崔添翼转发附议，认为Harness方向自进化很可能出成果。翁荔梳理研究，展示优化递进趋势，也指出实现递归自我改进存在的瓶颈。

在2025年Axios AI+华盛顿峰会上，Anthropic联创接受访谈，称未来1到5年，多达一半白领工作或消失，失业率或飙升至20%。Anthropic内部工程师工作已巨变，Claude能自写代码设计下一代AI。此外，AI还出现作弊等情况。

同一模型换 Harness 表现或大幅波动，暴露自进化走向产品的两个关键问题。EverMind 用 HarnessBank、Raven 与 EverMe 解决，将自进化从研究推向产品，让 AI「越用越聪明」。

智能眼镜要么不够智能，要么不像眼镜，李未可科技CEO茹忆认为AI要成第一响应者。该公司推三款AI眼镜，搭载自研系统。其自研AI大模型系统，是为交付难复制AI体验闭环，解决通用API不足等问题。

OpenAI发布自研推理加速芯片Jalapeño，与博通和Celestica合作打造，专为大模型优化，9个月就流片。操刀者是前谷歌TPU核心成员Richard Ho，计划2026年底部署。此前谷歌、微软等已自研芯片，英伟达客户变对手。

中国科学院磐石研发团队提出新型“神经 - 符号”融合规划器，融合神经与符号规划系统优势，借鉴人类运动学习机制构建双向规划机制，在规划覆盖率和效率上显著超越OpenAI o1，已加入“磐石·科学基础大模型”。

中国科学院自动化研究所与腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。