「自注意力层」共找到 1538 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
顶级工程师Karpathy的“AI革命”：一个月前还在焦虑“落后”，如今“20年古法编程习惯”被彻底颠覆，80%代码已交给AI！
顶级工程师Andrej Karpathy分享用Claude编程心得，称过去20年编程方式在几周内改变，12月约80%代码交agent，自己做20%修改。Claude和Codex在2025年12月跨过‘一致性/连贯性门槛’，让agent编程可行。
中国芯片迎来关键一战
自2020年华为麒麟芯片断供，中国芯片加速自主研发，2025年末集体冲刺上市。如摩尔线程、沐曦股份等，虽多数亏损，但市值狂飙。不过，国产GPU面临技术、生态等挑战，崛起需漫长蛰伏与突破。
DeepSeek 模型技术之旅：从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
将导游装在口袋里：AI 对景区游览新赋能
同程旅行研发的“同程伴游”AI助理，能为景区游客答疑解惑，实现原生数字化导览。它可按需讲解、避免走回头路，还能生成数字旅行日记。其基于高精度定位和大语言模型，未来还将持续升级。
LLM 语境下，「持续学习」是否是 「记忆」 问题的最优解？
本期通讯解读 3 个 AI 业内要事，包括谷歌嵌套学习范式引争议、AI 产品记忆方向探讨、英伟达合成数据等。谷歌 NL 范式想规避遗忘问题，测试中 HOPE 表现优，但也遭质疑，当前 LLM 研究更关注改善记忆。
堪比金条，存储迎来三十年未见的涨价潮
全球存储现缺货涨价潮，由云服务供应商采购推动。自2025年3月起，存储产品价格持续上涨，预计开启数年“超级周期”。AI火热与原厂技术迭代催化涨价，内存条成“理财佳品”，也催生“国产替代”需求。