两阶段后训练方法」共找到 3662 篇相关文章

算法论文8

RL成本降幅超90%!Meta提出Agent训练新范式DreamGym

传统强化学习(RL)训练LLM Agent面临成本高、任务多样性不足等挑战。Meta团队提出DreamGym框架,以经验合成为核心,通过三大组件协同工作,在多种任务和模型上提升性能,为通用Agent训练开辟新路径。

深度学习自然语言处理
开源动态8

训练数学,却在物理化学生物战胜o1!新强化学习算法带来显著性能提升,还缓解训练崩溃问题

上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD,缓解训练崩溃问题,提升性能。还构建多模态强化学习框架,推出MMK12数据集和MM - PRM模型,开源相关成果。

量子位
算法论文8

10个小模型并联跑赢GPT-4.1!无额外训练方法仅4步

上海人工智能实验室等机构提出Avengers框架,无需额外训练,通过四步集结小模型优势。实验表明,其在15个数据集上平均得分超GPT - 4.1,还探究了框架有效的要素,对AI研究和开源社区意义重大。

量子位
算法论文8

博士学位答辩PPT分享 | 基于神经网络的偏微分方程优化求解方法研究

本文聚焦基于神经网络的偏微分方程优化求解方法,指出传统数值求解范式有局限,物理信息神经网络(PINNs)虽有潜力但面临瓶颈。作者从多方面研究,形成工程流动问题分析框架与改进方法

力学与人工智能
产品应用8

Thinking Machines发布首个产品Tinker :大模型后训练彻底变天

OpenAI前CTO Mira Murati的Thinking Machines公司发布首个产品Tinker,这是为微调大模型设计的灵活API,能简化LLM后训练过程,让用户专注算法和数据,平台处理分布式训练。它有多种特性,已被顶尖机构采用。

AI寒武纪
开源动态7

VeRL-Omni:面向扩散和全模态生成模型的通用RL后训练框架

VeRL-Omni是面向多模态生成模型的通用RL后训练框架,覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性,支持多种硬件,团队还验证了不同训练方式,后续将扩展模型与算法支持。

机器之心
开源动态8

Hugging Face开源nanoVLM,750行代码可训练视觉语言模型,简单到令人发指!

Hugging Face开源全新视觉语言模型框架nanoVLM,仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后,在MMStar数据集准确率达35.3%,且能在免费Google Colab跑。

AGI Hunt
开源动态8

智谱发布GLM 4.5,不仅开源模型还把训练框架也开源了

智谱AI发布GLM 4.5,不仅开源模型,还开源整套后训练基础设施。模型规格亮眼,性能也超越qwen 235b。其开源的训练框架slime专为强化学习扩展设计,完整工具链支持多种模型。

AI工程化
开源动态8

微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率

随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。

AIGC开放社区
新闻资讯7

535B大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺

当多数模型公司还在争论是否开放权重时,斯坦福大学的Marin项目启动535B-A23B模型训练,并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设,引发关注。

InfoQ