「注意力残差」共找到 555 篇相关文章
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。
仅用提示词工程摘下IMO金牌！清华校友强强联手新发现，学术界不靠砸钱也能比肩大厂
清华校友杨林和黄溢辰，仅用提示词设计和自我迭代验证流程，让基础模型Gemini 2.5 Pro达到IMO金牌水平。他们设计的流程分六个步骤，用差异化提示词，最终为5道题生成严谨解答。
中学生就能看懂：从零开始理解LLM内部原理【十】｜ “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。
田渊栋：连续思维链效率更高，可同时编码多个路径，“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。
现实世界的天气能复刻？Weather-Magician实时渲染下雨打雷下雪
传统工业方法在还原复杂现实场景时成本高、质量差，当前算法也难重建和渲染真实天气效果。上海交通大学提出Weather - Magician框架，能重建场景并渲染4D天气效果，对硬件要求低且可实时渲染。
马斯克的作业还是被奥特曼「抄走了」
奥特曼宣布几周内发布ChatGPT新版本，12月推成人模式，让其重获个性化“灵魂”。这似在抄马斯克Grok作业，背后是为AI产品增长，当下AI之战已演变成争夺用户注意力和多巴胺的战争。
AI原生产品不等于全部功能AI化，保留传统功能让用户体验更完整 | 对话小卡健康
AI健康管理赛道竞争激烈，产品各有差异。量子位智库访谈小卡健康产品负责人李雅，探讨AI如何赋能、产品功能拓展、数据指标关注、智能设备联动、开发问题及运营推广等，展示其差异化策略和发展思考。
李飞飞一年前究竟说了啥？怎么又火了
AI教母李飞飞一年前访谈再引关注，她指出大语言模型或许并非真正智能，其基于一维语言信号训练，在理解三维物理世界存在局限。相关实验也证实大模型在物理任务表现差，不过也有人提出不同观点。
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
Claude降智实锤了！还变相涨价，Opus跌下神坛
AMD高级总监审计发现Claude处理复杂任务能力变差，第三方跑分排名下降。官方称调整是为平衡速度与成本，但用户认为是变相降智。此外，企业包月套餐涨价，而Anthropic将推Opus 4.7和新设计工具。