「强化预训练」共找到 2544 篇相关文章
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高，降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知，揭示FP4训练不稳定源于结构性微缩放误差，非随机性不足，还在原生FP4硬件完成大模型预训练。
Scaling Law再现Agent领域！阿里提出训练新范式：在预训练和后训练之间还需一个Agentic CPT
近年来，大型语言模型向智能体系统进化。但当前主流方法构建智能体不佳，阿里通义实验室团队论文提出智能体持续预训练（Agentic CPT）新范式，开发AgentFounder模型，在多基准测试表现卓越。
英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限
学界对强化学习能否让模型学会新推理技能争论已久，过去研究多悲观。英伟达研究指出，问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数，释放小模型潜力，还构建技术组合拳。
AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式
在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。
清华叉院教授手把手教你用强化学习训练智能体
在大模型智能体时代，智能体强化学习训练通用智能体很关键。ASearcher 是相关项目，AReaL 有交互次数和代码设计优势。本次吴翼教授将带团队成员，以多轮搜索智能体为例，教用最少代码实现训练。
RL缩放王炸！DeepSWE开源AI Agent登顶榜首，训练方法、权重大公开
今天凌晨，Together.ai联合Agentica开源AI Agent框架DeepSWE，基于Qwen3 - 32B模型用强化学习训练。所有内容开源，测试中性能超所有开源Agent框架，证明强化学习训练潜力。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
ACL 2026 | 中科大&上海AILab揭示强化学习后训练的Scaling Law
中国科学技术大学和上海人工智能实验室等团队，在Qwen2.5和Llama 3模型开展研究，揭示强化学习后训练的Scaling Law，提出幂律公式预测模型学习效率与训练轨迹，成果被ACL 2026接收。