「联合自注意力」共找到 2241 篇相关文章
显存暴降92%！哈工大为线性注意力开辟了新道路
哈尔滨工业大学等团队发现线性注意力性能不足根源是查询范数丢失等。基于此提出NaLaFormer，在ImageNet - 1K准确率最高提7.5%，超分任务峰值内存降92.3%，为线性注意力发展开辟新道路。
"将注意力旋转90°"：深入浅出解读 Kimi 最新出圈成果
Kimi论文‘ATTENTION RESIDUALS’引发AI圈热议，马斯克等大佬高度评价。该论文由17岁高中生陈广宇参与，提出‘注意力残差’机制，解决标准残差问题，分全、分块注意力残差，权衡开销与效果。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
翁荔新博客提出「自进化先从Harness开始」，DeepSeek崔添翼转发附议
前OpenAI安全副总裁翁荔新博客探讨AI自进化，提出从Harness开始的现实路径。DeepSeek崔添翼转发附议，认为Harness方向自进化很可能出成果。翁荔梳理研究，展示优化递进趋势，也指出实现递归自我改进存在的瓶颈。
未来1-5年半数白领或失业？Anthropic联创自曝：内部工程师已不写代码，下一代AI大多是Claude自己写的
在2025年Axios AI+华盛顿峰会上，Anthropic联创接受访谈，称未来1到5年，多达一半白领工作或消失，失业率或飙升至20%。Anthropic内部工程师工作已巨变，Claude能自写代码设计下一代AI。此外，AI还出现作弊等情况。
全球首个AI智能体「自进化」开源框架来了！一次部署，终生可用
英国格拉斯哥大学团队发布全球首个AI智能体自进化开源框架EvoAgentX，打破传统多智能体系统构建与优化限制。它有自动化构建、自进化机制和系统性评估亮点，实验验证其性能提升显著。
超20万个高质量Skills！浙大等联合推出SkillNet，告别孤立Skill实现自进化
浙江大学联合多家机构推出开源基础设施SkillNet，拥有超20万个高质量Skills。它能让AI智能体告别失忆式工作，将互联网资源和人类经验转化为可执行Skills，构建Skills网络，经严苛评测，在真实场景验证了强大实战能力。
模型换个Harness就「变笨」？EverMind把自进化从研究推向产品，让AI「越用越聪明」
同一模型换 Harness 表现或大幅波动，暴露自进化走向产品的两个关键问题。EverMind 用 HarnessBank、Raven 与 EverMe 解决，将自进化从研究推向产品，让 AI「越用越聪明」。
刚刚，Ilya Sutskever宣布自任CEO：联创被Meta挖走了
周五凌晨，OpenAI 联合创始人 Ilya Sutskever 宣布自任 Safe Superintelligence（SSI）首席执行官，原 CEO Daniel Gross 已退出。此前有 Meta 欲收购 SSI 的传闻，Gross 或转去 Meta 负责人工智能产品。