「RL训练范式」共找到 2913 篇相关文章
只训练数学,却在物理化学生物战胜o1!新强化学习算法带来显著性能提升,还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD,缓解训练崩溃问题,提升性能。还构建多模态强化学习框架,推出MMK12数据集和MM - PRM模型,开源相关成果。
CVPR 2025 | 多模态统一学习新范式来了,数据、模型、代码全部开源
中国人民大学、清华和腾讯合作的CVPR 2025论文指出,当前多模态学习范式有缺陷。为此提出新范式,构建AV - UIE数据集、Crab框架,实现任务互助,在多任务上超垂类专家模型,数据、模型、代码开源。
Thinking Machines发布首个产品Tinker :大模型后训练彻底变天
OpenAI前CTO Mira Murati的Thinking Machines公司发布首个产品Tinker,这是为微调大模型设计的灵活API,能简化LLM后训练过程,让用户专注算法和数据,平台处理分布式训练。它有多种特性,已被顶尖机构采用。
Hugging Face开源nanoVLM,750行代码可训练视觉语言模型,简单到令人发指!
Hugging Face开源全新视觉语言模型框架nanoVLM,仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后,在MMStar数据集准确率达35.3%,且能在免费Google Colab跑。
智谱发布GLM 4.5,不仅开源模型还把训练框架也开源了
智谱AI发布GLM 4.5,不仅开源模型,还开源整套后训练基础设施。模型规格亮眼,性能也超越qwen 235b。其开源的训练框架slime专为强化学习扩展设计,完整工具链支持多种模型。
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
理解帮助生成?RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡,常理解强但生成弱。本文提出重建对齐(RecA)自监督后训练方法,不改动架构,用未标注图像训练,在多模型实验中提升性能,部分达SOTA。
从RLHF、PPO到GRPO再训练推理模型,这是你需要的强化学习入门指南
强化学习是当今LLM重要技术,Unsloth团队发布教程,从吃豆人谈起,介绍RLHF、PPO到GRPO,分享用GRPO训练推理模型技巧,涵盖相关概念、训练方法及奖励函数设计等内容。
无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架,模仿人类推理心理学原理,将演绎、归纳与溯因能力融入模型训练。实验显示,该方法提升模型在多任务上的性能,且有跨领域可扩展性。
535B大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺
当多数模型公司还在争论是否开放权重时,斯坦福大学的Marin项目启动535B-A23B模型训练,并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设,引发关注。