「强化预训练」共找到 2553 篇相关文章
RL 将如何提高具身大模型 VLA 泛化性？清华大学团队NeurIPS 2025文章分析 RL 与 SFT 泛化性差异
清华大学团队在NeurIPS 2025发表文章，揭示强化学习（RL）提升具身大模型VLA泛化能力的优势，对比其与SFT差异，还提出评测基准和训练方法，为VLA训练提供新方向。
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
Multi-Agent 的灵活编排之路
文章从Copilot 3.0架构规划模块出发，结合DeepSeek R1强化学习训练实践，探讨多智能体架构下大模型编排智能体解决问题。分析Copilot 2.0局限并介绍3.0升级，指出难点，展示效果对比及解决方案。
一张俯视图，竟然能生成完整3D小镇？
获取高质量3D场景成本高、耗时长，现有3D生成模型扩展到完整场景生成时问题多。加州大学提出无需训练的3DTown框架，能从单张俯视图合成真实连贯3D场景，虽有挑战但表现优于基线方法。
伯克利最强代码Agent屠榜SWE-Bench！用Scaling RL打造，配方全公开
开源软件工程模型DeepSWE横空出世，基于Qwen3 - 32B，仅用强化学习训练，以59%准确率刷新SOTA。它采用rLLM框架、R2E - Gym环境，用改良GRPO++算法，还介绍了评估策略及训练挑战的解决办法。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
UserBench 与 UserRL 带来的交互智能范式转向
当下大模型在与用户交互时存在不足，来自UIUC与Salesforce的UserBench和UserRL两篇新作，将‘用户价值’量化，把‘可测的交互’转化为‘可训练的策略’，从评测和训练层面推动模型向‘懂用户’转变。