「分组查询注意力」共找到 291 篇相关文章
氛围编程后，Karpathy又双叒有新「脑洞」！PDF将死，未来99%是AI氛围阅读
Karpathy提出未来研究论文不应是PDF格式，未来99%注意力将来自AI，科研成果应为AI优化。此观点源于生物学家Michael Levin关于为AI写作的讨论，引发众多科技思想者回应。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
模型宣称的“百万字处理能力”是真本事，还是营销噱头？LongCodeBench揭露真相
近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。
龙虾部署不求人，还附5个OpenClaw必备技能
OpenClaw火爆带来新商业模式，新手5分钟可上手，官方推荐一行命令安装。文章介绍其5个实用技能，包括Tavily Search、n8n Workflow Automation等，还给出办公、科研党使用方案。
比SOTA快9倍，谷歌DeepMind时空重建，把视频变成时空搜索引擎
谷歌DeepMind联合团队发布D4RT时空重建框架，颠覆传统视频转3D方法。它按需提问，像搜索引擎，处理动态视频高效。内部结构分编码、解码两步，速度快，还发明聪明收割机算法，在多项测试中表现优异。
AI教父Hinton首爆十年前拍卖：我早已内定谷歌必赢！
NeurIPS 2025访谈中，AI教父Hinton和Jeff Dean回顾AI发展。Hinton透露Scaling顿悟源于Ilya演讲，还谈及AlexNet、谷歌大脑诞生等。二人探讨Transformer、Gemini，也对AI未来发展方向发表看法。
20000 GPU·h砸出 106 个SOTA模型架构：AI 科研进入“自我加速”时代
模型架构发现领域迎来突破，ASI - ARCH超级智能体无需人类预设搜索空间，完成科研闭环。经20000 GPU·h、1773次实验，发现106个超越人类SOTA的线性注意力架构，且已开源。
DeepSeek们越来越聪明，却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证，模型推理能力变强时，提示词遵循能力变差。研究团队对15个模型测试，发现用CoT推理后执行准确率下降，还提出4种提升指令遵循效果的方案。
Karpathy又封神！掀翻RAG，把你的笔记变成第二大脑
前OpenAI创始成员Andrej Karpathy提出让大模型把笔记「编译」成持续生长的活Wiki，替代RAG。他将笔记当源代码，LLM当编译器，实现知识结构化。此方案降低维护成本，解放人类注意力。
刚刚，梁文锋署名开源「记忆」模块，DeepSeek V4更细节了
十几个小时前，DeepSeek 发布新论文，与北大合作，作者有梁文锋。针对大模型问题提出条件记忆，用 Engram 模块实现，已开源。结合此前研究，DeepSeek v4 模样渐清。模型性能、效率表现优，并发现 U 型扩展规律。