开源动态8
Rubicon:5000样本让30B模型击败671B DeepSeek V3
机器之心
AI 摘要
蚂蚁技术研究院与浙大联合开源Rubicon强化学习范式,构建超10000条评分标准知识库。其30B的Rubicon-preview模型用5000样本超671B的DeepSeek V3,提升创意与推理能力。
阅读原文 · 机器之心
仅靠5000+样本,全新强化学习范式让30B轻松击败671B的DeepSeek V3
传统强化学习在创意写作领域举步维艰,蚂蚁技术研究院联合浙江大学开源全新强化学习范式Rubicon,构建10000+条「评分标尺」,拓展应用至主观任务领域,其30B模型用5000样本超越671B的DeepSeek V3。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文9
对错之外,推理轨迹暗藏训练价值
本文结合EchoRL、ReflectRL两项最新研究,重新解读推理轨迹的训练价值,解决全答对无强化信号、错题全丢弃的训练痛点,梳理方法设计、实验结果与适用边界,为大模型推理训练提供新参考。
深度学习自然语言处理
算法论文8
小偏差为何带偏大模型RL训练
本文解读Together AI的新算法论文,讲解大模型强化学习中,采样端与训练端的微小偏差如何累积放大导致训练跑偏,介绍Score Centering校正方法的原理、效果与应用边界。
深度学习自然语言处理
开源动态9
小米6天烧2000万拿下开源第一大模型
本文报道小米开启史无前例的大模型训练直播,6天花费约2344万元完成MiMo-V2.6系列强化学习训练,训练出的MiMo-V2.6-Pro登顶开源大模型第一,全套技术资源全部开源,引发AI行业热议。
量子位
算法论文9
万卡RL训练:如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。
机器之心