「自注意力层」共找到 1526 篇相关文章
OpenClaw 火了半年，Agent 执行层依然是工程空白
当前主流 Agent 工具链执行层基本空白，Violoop 是少数在执行层做系统化设计的项目。它是桌边触屏硬件，获取三类运行时数据，具备感知 - 判断 - 执行运行时，有多种核心能力，适合特定场景团队评估。
Agent能自己“复盘”和“进化”，这个开源框架牛了！
文章介绍了自进化AI，其核心是执行、评估、进化的反馈循环，能自动修改Prompt和工作流。还讲解了SEW、TextGrad等优化器原理，并以SEW为例展示逻辑，最后推荐开源框架EvoAgentX。
StereoAdapter：北大首提自监督，适配水下双目深度估计
水下机器人深度感知难题待解，北大等机构提出StereoAdapter框架。它结合单双目视觉，以自监督学习适配视觉基础模型到水下域，设计双阶段结构、自监督训练策略等，实验效果好，未来还将多方面改进。
NextStep-1：一次在图像生成上自回归范式的探索
阶跃星辰团队探索自回归图像生成新路径，推出 NextStep-1。它直接在连续视觉空间自回归生成，架构简洁，实现端到端训练。模型有高保真生成和编辑能力，Benchmark 表现佳，但也面临稳定性等挑战。
视觉生成的另一条路：Infinity 自回归架构的原理与实践
本文整理自字节跳动韩剑在AICon 2025北京站的分享，以Infinity为例介绍自回归视觉生成原理，对比其与扩散模型，展示Infinity升级方案成果，它在高分辨率文本到图像任务能与扩散模型竞争。
DeepSeek-V3.2-Exp：用稀疏注意力打破长文本效率瓶颈
在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。
扩散模型+自进化：这篇论文让Deep Researcher错误率直降70%
论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。
线性注意力回归！Kimi新模型引爆，MiniMax却悄悄换回传统架构
LLM领域线性注意力机制正在回归，工程实践主要由国产模型推进。早期线性注意力因牺牲精度未获主流认可，今年下半年多个国产模型采用其变体，MiniMax却又换回传统架构，Kimi新模型带来新解法。
舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。
ICML 2025 Spotlight | 快手、南开联合提出模块化双工注意力机制，显著提升多模态大模型情感理解能力！
情智兼备是人工智能发展方向，但多模态情感数据语义复杂，建模跨模态关联是挑战。快手可灵团队与南开提出模块化双工注意力范式，构建‘摩达’模型，在多任务测试中性能提升，成果被 ICML 2025 收录。