「全注意力残差」共找到 2020 篇相关文章
Kimi新论文太硬核了！马斯克和Karpathy相继点赞~
马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
TinyAI ：全栈式轻量级 AI 框架
TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。
GPT-Image-2全量上线，强出天际线
OpenAI的GPT - Image - 2虽未正式发布但已全量上线，实测在文字渲染、知识理解等方面超强大，有信息图、专辑封面、UI设计等多种玩法，Sam Altman官宣明天发布内容或含它，还可能宣布实现AGI时间。
FutureHouse 联合创始人：AI Scientist 不是“全自动化科研”
FutureHouse 由 Google 前 CEO 资助创立，今年 5 月推出四个 AI 科研 agent，6 月宣布 AI 系统 Robin 发现新药。联合创始人 Andrew White 表示，AI Scientist 并非‘全自动化科研’，生物比化学更具‘平台化’潜力，团队聚焦科研自动化。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
小白 Vibe Coding 发行全平台&可变现应用指南
文章以作者用 Youware 开发 AI 日记软件 Vibe Diary 为例，介绍 Youware 的 Youbase 和 Coview 能力，展示其构建全平台可变现应用的强大，包括后端服务、数据库、AI 功能、UI 修改等，还提及 PWA 打包和变现集成。
全网开测GPT-oss！技术架构也扒明白了
全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。