算法论文8

中期训练策略让 Llama 追平 Qwen

机器之心2025-06-30

AI 摘要

上海创智学院和上海交大团队研究发现，通过中期训练策略，可将 Llama 改造成适配强化学习的推理基础模型，缩小与 Qwen 差距。还指出高质量语料、数据格式等对提升 RL 性能很重要，后续将多方向探索。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

小米6天烧2000万拿下开源第一大模型

本文报道小米开启史无前例的大模型训练直播，6天花费约2344万元完成MiMo-V2.6系列强化学习训练，训练出的MiMo-V2.6-Pro登顶开源大模型第一，全套技术资源全部开源，引发AI行业热议。

本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。

本文是对千问最新推出的Qwen3.8-Omni-Flash全模态模型的实测，该模型大幅降低全模态Agent使用成本，API价格远低于竞品，开放1M上下文免费测试额度。

针对原生视觉推理缺少完整训练评估基础设施的现状，NTU等多校联合推出VBVR-Pro系统，构建了从任务构建、模型训练、能力评测到强化学习优化的完整闭环，论文、数据、代码均已公开。