「预训练」共找到 2201 篇相关文章
全球首个！10万小时人类数据全开源，Hugging Face罕见站台
上周Dyna Robotics公司用超100万小时人类第一视角视频训练DYNA - 2模型，发现物理AI有Scaling Law。8月20日光轮智能宣布10万小时全模态人类行为数据EgoSuite - Open100K开源，与Hugging Face联合发布。
连续自回归的dots.tts：小红书开源语音合成模型「基座」
语音合成赛道发展如早期大语言模型，路线未收敛。小红书与上海交通大学合作开源的 dots.tts，是 20 亿参数、全连续、端到端自回归 TTS 基础模型，有准确度高、可扩展等特点，还开源了代码。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
DeepSeek-V4-Flash正式版发布并开源，全面超越V4-Pro预览版
DeepSeek-V4-Flash正式版发布并开源，这一304B轻量级模型经后训练，性能远超V4-Pro预览版，与Claude Opus-4.8接近。模型权重开源后上Huggingface趋势榜第二，性价比高，实测表现佳。
OpenAI 全面拥抱 Agentic-First，实测有点扎心
OpenAI发布GPT - 5.6系列，Sol定位长周期Agent，训练目标转向Agentic - First。但目前难以用上Sol，且其评测数据因计数规则差异大，还出现变身话痨、少说话和干完活难兼顾的问题。
CVPR 2026 | 1000万段驾驶视频，教会模型如何估计相机位姿
Wayve的LA - Pose研究，不依赖百万级3D标注，从约1000万段未标注驾驶视频自监督学习‘潜在动作’，再用少量3D标注微调，转化为相机位姿估计能力，在多基准上提升精度且泛化能力强。
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
迈向原生全模态AI智能体：人大&小红书发布OmniGAIA新基准
中国人民大学等团队推出 OmniGAIA 新基准及 OmniAtlas 训练框架。OmniGAIA 含 360 个高难度任务，覆盖多领域。实验显示闭源与开源模型差距大，OmniAtlas 显著提升开源模型表现，并指出未来全模态智能体发展方向。
智能体时代的强化学习：AReaL 框架与 Agent 最佳实践
本文整理自吴翼博士在 2025 年 QCon 全球软件开发大会的分享。他介绍 AReaL 框架及 Agent 最佳实践，阐述强化学习与大模型联系，指出 Agent 是 AGI 未来 5 年关键，强化学习是 Agent 技术核心，还分享团队成果与经验。