「预训练」共找到 2194 篇相关文章
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
快手在 AI 上，渐入佳境
文章介绍快手多模态大模型 Keye-VL 1.5，参数 8B 适合中小企业。它侧重短视频场景，视频理解能力强，能与业务结合，提升推荐等场景效率。还详述其架构、预训练、后训练及训练架构优化等技术细节。
从最优传输角度训练奖励模型：让 RLHF 学会「忽略错误偏好」丨ICML 2026
浙江大学、小红书、北京大学等团队提出SelectiveRM，基于最优传输训练奖励模型。它重构训练目标，通过选择性分布对齐排除噪声偏好，解决了奖励模型训练中监督信号不可靠的问题，实验验证其有效且泛化能力好。
开源！强效果，高性能，严隐私？我全都要：OPPO 终端大模型实践
OPPO AI 中心推出开源端侧多模态大模型 AndesVL，含 0.6B - 4B 四档尺寸套件，有通用能力强等优势。它经多阶段训练，OPPO 还构建端侧部署方案，评测显示其在多方面表现优异，未来会继续技术革新。
AutoResearch-LLM：让 Agent 接手 LLM 训练优化
本文是 LLM 微调 AutoResearch 落地实战。作者将电商场景 Qwen3 微调流水线沉淀成 Agent 驱动的三阶段框架，还分享踩坑经验。思路方法与平台无关，可类比到外部环境，适合关注 AI Coding 等的同学。
ROCK & ROLL！阿里给智能体造了个实战演练场 | 开源
阿里开源新项目ROCK，解决了智能体无法在真实环境中规模化训练的难题。它与阿里此前的RL训练框架ROLL配合，构成完整的智能体训练闭环，推开了Agentic AI规模化应用的大门。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。
如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果，探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载，分析共享文件系统类别，给出比较视角，解读各负载测试结果并总结选型要点。
清华、北大，上海交大等发布人机协同训练框架，让机器人零样本学会新技能
清华、北大等发布人机协同训练框架MotionTrans，能让机器人零样本学会新技能。它将人类数据翻译成机器人语言，构建数据集，经格式转换、速度调整等处理后训练模型，实验验证其有效性，且数据、代码和模型已开源。