「上下文去噪训练」共找到 2917 篇相关文章
iPhone本地跑Gemma 4火了，0 token时代还有多远？
谷歌开源新模型Gemma 4，部分小型号可在手机端本地运行，速度惊人，还有128k上下文窗口。但在处理复杂任务时表现欠佳。未来端侧模型有望蚕食云端高频简单任务，将冲击现有AI商业模式。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
迈向原生全模态AI智能体：人大&小红书发布OmniGAIA新基准
中国人民大学等团队推出 OmniGAIA 新基准及 OmniAtlas 训练框架。OmniGAIA 含 360 个高难度任务，覆盖多领域。实验显示闭源与开源模型差距大，OmniAtlas 显著提升开源模型表现，并指出未来全模态智能体发展方向。
智能体时代的强化学习：AReaL 框架与 Agent 最佳实践
本文整理自吴翼博士在 2025 年 QCon 全球软件开发大会的分享。他介绍 AReaL 框架及 Agent 最佳实践，阐述强化学习与大模型联系，指出 Agent 是 AGI 未来 5 年关键，强化学习是 Agent 技术核心，还分享团队成果与经验。
GPT-5.4意外泄露！OpenAI最新模型瞄准这2大能力突围
GPT - 5.4疑似泄露，此前在OpenAI编码助手、GitHub代码拉取请求等多处有踪迹。传闻其将搭载200万Tokens上下文窗口，具备像素级精准视觉分析能力，不过也可能是炒作，网友关注其准确率。
OpenAI要跳过5.3，直接迈向GPT-5.4了？
近日，一名OpenAI工程师在公开的Codex GitHub仓库中提交拉取请求，让GPT - 5.4型号出现在代码版本判断条件中，同时有用户发现它曾短暂出现在Codex应用的模型选择器里。线索被迅速修改或删除，引发诸多猜测。
“代码 + 编译器”要消失了？马斯克在 xAI 全员会上放话：到今年年底，AI 或将直接生成二进制
xAI 近期出现离职潮，马斯克公开全员大会视频回应。他表示离职是阶段适配问题，还预测到 2026 年底 AI 或直接生成二进制，跳过编程。此外介绍了 xAI 新架构及各团队进展，强调基础设施重要性，甚至提及将算力扩展到月球。
内存涨价，千元机的天塌了
去年下半年起存储芯片涨价，因AI基础设施需求爆发，三大存储芯片厂产能被榨干。消费级产品供应受挤压，中低端手机成最大受害者，各厂商搁置低价产品线，中低端市场持续萎缩。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
空间智能爆发只需24个月？群核科技首席科学家唐睿预言：具身智能才是AGI终极形态 | 万有引力
群核科技首席科学家唐睿在访谈中表示，空间智能是具身智能基础设施，可解决其数据不足痛点。破数据瓶颈靠普及感知硬件，2D、视频与3D生成走向融合，空间智能爆点24个月内或随硬件突破到来。