「RL后训练」共找到 3920 篇相关文章

算法论文8

用中等难度prompt做高效post training

近年来,RL后训练在LLM发展中至关重要,但传统方法效率低。本文提出PCL轻量级算法,通过动态选中等难度提示提升LLM后训练效率,经多基准实验验证其优越性,也指出方法局限与未来方向。

深度学习自然语言处理
开源动态8

英伟达韩松团队新作:具有后神经架构搜索的高效语言模型

英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron,在基准测试中表现出色,准确率与Qwen3等相当甚至更优,生成吞吐量大幅加速。模型构建经多步骤优化,代码和预训练模型将开源。

量子位
开源动态8

阿里Qwen3技术报告核心要点解读!

阿里Qwen3技术报告发布,披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构,预训练数据量和语种增多,后训练采用强到弱蒸馏提升性能,各模型表现优异。

PaperAgent
算法论文8

打破「数据暴力」预训练惯性,阿里Qwen、上交大等提出预训练动态数据选择范式OPUS

阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS,打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐,提升预训练效率与下游泛化表现,实验显示其“效率+性能”双提升。

机器之心
开源动态8

3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。

机器之心
推荐文章7

微软副总裁X上「开课」,连更关于RL的一切,LLM从业者必读

微软副总裁 Nando de Freitas 在 X 上「开课」,分享人工智能教育帖子,从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论,分布式强化学习系统构建,RL 用于后训练 LLM 等,还介绍单步强化学习与策略梯度及相关技巧。

机器之心
开源动态8

YOLO12改进引入DINOv3少样本目标检测精度飙升,分享训练自定义数据集代码

Meta 人工智能研究院的 DINOv3 是基于自监督学习的视觉大模型,解决诸多问题且无需微调,在多任务表现出色。将其引入 YOLO12 后,在不同规模数据集上检测性能显著提升,还分享训练自定义数据集代码。

机器学习AI算法工程
开源动态8

OpenClaw 能“边用边训”了:智能体强化学习训练框架 AReaL v1.0 稳定版发布

3月4日,蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版,主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题,还推出原生训练引擎Archon,集成AI辅助开发体系。

InfoQ
产品应用9

让企业拥有自己的模型!PyTRIO定义TaaS新范式:大模型训练进入API时代

本文围绕企业自主训练专属大模型的行业趋势展开,指出当前大模型训练门槛高、工程成本大的痛点,介绍情感机器推出的PyTRIO训练平台,提出TaaS新范式,封装底层工程,开放训练API,降低训练门槛。

机器之心
算法论文8

AMD新论文颠覆认知:FP4训练不稳定,原因不是随机性不足

大模型训练成本高,降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知,揭示FP4训练不稳定源于结构性微缩放误差,非随机性不足,还在原生FP4硬件完成大模型预训练。

机器之心