「自注意力层」共找到 1530 篇相关文章
全球开源 AI 生态的未来：从 DeepSeek 到 AI+
这是关于中国开源社区自2025年1月‘DeepSeek时刻’以来进展的系列博客最后一篇，介绍中国AI企业和机构发展路径，展望开源未来方向，指出全方位开放共享成关键路径，‘有机生态’正成型。
从开源狂热到应用为王，AI 正在回归常识
AI行业正发生变化，模型行业对“开源还是闭源”态度转向商业共识，旗舰模型开始闭源；应用变得更重要，应用层机会多；智能体重新定义AI价值边界，推动行业从“模型思维”走向“系统思维”。
安卓党狂喜！Open-AutoGLM让手机自己订外卖、抢票、刷小红书
Open - AutoGLM是能让手机自己干活的黑科技，给手机装了「AI打工人」。它整合视觉语言模型与ADB远程操控技术，适配50 + 款主流应用，自带安全边界，普通人易安装，开发者可自定义流程。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
解决特斯拉「监督稀疏」难题，DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law
自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。
ICML 2025 | 打破残差连接瓶颈，彩云科技&北邮提出MUDDFormer架构让Transformer再进化！
彩云科技与北邮联合提出多路动态稠密连接（MUDD）替代残差连接，提升Transformer跨层信息传递效率。实验显示，采用该架构的模型性能显著提升，论文等均已公开。
个人AI知识库的最优解
作者认为2026年搞个人AI知识库，自己的东西放Obsidian，别人的放NotebookLM。介绍了Obsidian接入AI的两种方法，还称NotebookLM性能强，最后总结这两套方案最适合个人。
Andrej Karpathy：一场里氏 9 级的大地震正在重塑整个编程行业
文章围绕AI在编程领域的应用展开，作者与大师交流AI Coding方式，后提及Andrej Karpathy观点，指出编程行业正被重构，程序员需掌握新抽象层，应对不稳定智能系统。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
Claude Science几周干完两年活，10倍科研提速真来了？
2026年6月30日，Anthropic发布Claude Science，定位面向科学家的AI工作台。它将科研拆成可审计流水线，整合工具链，自带可追溯代码，有协调与审查智能体，首落生命科学领域，与Google、OpenAI玩法不同。