「线性注意力机制」共找到 1036 篇相关文章
迎接范式革命：最新、最全的大模型Latent Space综述，NUS、复旦、清华等联合出品
大模型核心计算正从显式空间转向潜在空间，现有文献缺乏统一视角。NUS、复旦等机构的综述《The Latent Space》从五大视角构建框架，阐述潜在空间基础、演进、机制、能力，指出挑战与未来方向。
港大赵恒爽团队论文：让扩散模型既拿高分又不「作弊」丨CVPR 2026
扩散模型虽能生成逼真图像，但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法，引入组级奖励优化机制，提升模型表现、缓解作弊，还提高训练效率，有明显工程价值。
300万AI悄悄「建国」？Nature长文：第一代AI社会正在成形
近300万AI智能体在Moltbook社交网络「建国」，Nature发文称最早的「AI社会」正在成形。研究发现AI群体行为遵循与人类社会相似规律，也有不同。同时该平台存在安全隐患，可能引发舆论操控。
陈天桥邓亚峰联手破解大模型记忆难题！4个月打造SOTA系统，悬赏8万美元发起全球记忆挑战赛
今年全球AI圈聚焦大模型记忆技术。陈天桥和邓亚峰带队的EverMind推出世界级长期记忆系统EverMemOS，发布即SOTA。其模拟人脑记忆机制，开源且上线云服务，还发起8万美元记忆起源大赛。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
首篇具身智能机器人「安全」综述：LLM如何跨越物理鸿沟？
最新综述首次系统探讨LLM控制机器人的安全威胁、防御机制与未来挑战，指出LLM的具身鸿沟导致其在物理空间可能执行危险动作，而现有防御体系存在逻辑与物理脱节等问题。
跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述
大语言模型工程成功但理论研究滞后，被视为「黑盒」。人大刘勇团队用生命周期分类法，将LLM理论研究整合为六阶段，系统综述底层理论与机制，指出前沿挑战，为其向严谨科学转型提供路线图。
清华挖出「幻觉」的罪魁祸首：预训练产生的0.1%神经元
清华大学孙茂松团队从神经元角度研究LLM幻觉微观机制，发现不到0.1%的H - 神经元可预测幻觉，与过度顺从行为相关，根源在预训练阶段，为解决幻觉问题、开发可靠大模型提供新思路。
罗福莉携小米MiMo-V2-Flash首次亮相：一次在推理与Agent上的下注｜甲子光年
大模型进入新阶段，效率成能力一部分。小米MiMo团队12月16日晚发布并开源MiMo - V2 - Flash，负责人罗福莉首亮相。该模型在推理、编程和智能体场景表现出色，在架构、训练方法等有创新。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。