「简单持续预训练」共找到 2905 篇相关文章
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
一手实测！不用研究小龙虾了：腾讯搬出QClaw，直连微信，零门槛
腾讯基于OpenClaw开源生态推出QClaw，主打简单、零门槛部署，可直连主流大语言模型，集成微信能远程操控电脑。还推出SkillHub技能社区，腾讯电脑管家有安全防护功能，但权限问题待解决。
迈向原生全模态AI智能体：人大&小红书发布OmniGAIA新基准
中国人民大学等团队推出 OmniGAIA 新基准及 OmniAtlas 训练框架。OmniGAIA 含 360 个高难度任务，覆盖多领域。实验显示闭源与开源模型差距大，OmniAtlas 显著提升开源模型表现，并指出未来全模态智能体发展方向。
智能体时代的强化学习：AReaL 框架与 Agent 最佳实践
本文整理自吴翼博士在 2025 年 QCon 全球软件开发大会的分享。他介绍 AReaL 框架及 Agent 最佳实践，阐述强化学习与大模型联系，指出 Agent 是 AGI 未来 5 年关键，强化学习是 Agent 技术核心，还分享团队成果与经验。
“代码 + 编译器”要消失了？马斯克在 xAI 全员会上放话：到今年年底，AI 或将直接生成二进制
xAI 近期出现离职潮，马斯克公开全员大会视频回应。他表示离职是阶段适配问题，还预测到 2026 年底 AI 或直接生成二进制，跳过编程。此外介绍了 xAI 新架构及各团队进展，强调基础设施重要性，甚至提及将算力扩展到月球。
豆包上可以体验 Seedance 2.0 了，我已经试了一下。
Seedance 2.0是字节自研视频生成模型，已接入豆包App、电脑端和网页版。支持文生视频、图生视频、分身视频等，动作自然、镜头连贯，生成质量高，还解决了创作者出镜难题，操作也简单。
内存涨价，千元机的天塌了
去年下半年起存储芯片涨价，因AI基础设施需求爆发，三大存储芯片厂产能被榨干。消费级产品供应受挤压，中低端手机成最大受害者，各厂商搁置低价产品线，中低端市场持续萎缩。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
空间智能爆发只需24个月？群核科技首席科学家唐睿预言：具身智能才是AGI终极形态 | 万有引力
群核科技首席科学家唐睿在访谈中表示，空间智能是具身智能基础设施，可解决其数据不足痛点。破数据瓶颈靠普及感知硬件，2D、视频与3D生成走向融合，空间智能爆点24个月内或随硬件突破到来。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。