「自注意力机制」共找到 1952 篇相关文章
陈天桥邓亚峰联手破解大模型记忆难题！4个月打造SOTA系统，悬赏8万美元发起全球记忆挑战赛
今年全球AI圈聚焦大模型记忆技术。陈天桥和邓亚峰带队的EverMind推出世界级长期记忆系统EverMemOS，发布即SOTA。其模拟人脑记忆机制，开源且上线云服务，还发起8万美元记忆起源大赛。
史上最狠春节！阿里千问豪掷30亿，加入AI大战
阿里千问官宣“春节请客计划”，自掏30亿通过免单请全国人民吃喝玩乐。其依托阿里Qwen模型和丰富生态，介入生活场景能力强，此次活动或让AI从工具成消费决策默认选择。
芯片企业突然官宣涨价！
1月27日，中微半导对MCU等产品涨价15% - 50%，称受供应紧张、成本上升影响。国科微也宣布自1月起对KGD产品调价，最高涨80%。国内半导体企业通过价格策略应对波动，深化布局与投入。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
首篇具身智能机器人「安全」综述：LLM如何跨越物理鸿沟？
最新综述首次系统探讨LLM控制机器人的安全威胁、防御机制与未来挑战，指出LLM的具身鸿沟导致其在物理空间可能执行危险动作，而现有防御体系存在逻辑与物理脱节等问题。
跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述
大语言模型工程成功但理论研究滞后，被视为「黑盒」。人大刘勇团队用生命周期分类法，将LLM理论研究整合为六阶段，系统综述底层理论与机制，指出前沿挑战，为其向严谨科学转型提供路线图。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
清华挖出「幻觉」的罪魁祸首：预训练产生的0.1%神经元
清华大学孙茂松团队从神经元角度研究LLM幻觉微观机制，发现不到0.1%的H - 神经元可预测幻觉，与过度顺从行为相关，根源在预训练阶段，为解决幻觉问题、开发可靠大模型提供新思路。
罗福莉携小米MiMo-V2-Flash首次亮相：一次在推理与Agent上的下注｜甲子光年
大模型进入新阶段，效率成能力一部分。小米MiMo团队12月16日晚发布并开源MiMo - V2 - Flash，负责人罗福莉首亮相。该模型在推理、编程和智能体场景表现出色，在架构、训练方法等有创新。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。