「强化预训练」共找到 2553 篇相关文章
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。
震惊海外开发者！BOSS直聘3B小模型比肩80B，怎么做到的？
BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B，性能震惊海外开发者。团队从多方面改进，如优化推理和偏好对齐，重构训练数据，采用多种强化学习算法，使其性能比肩大模型。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT，在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距，其损失函数梯度和GRPO在On - Policy条件下等价。
开源模型首次物理奥赛IPhO夺金！上海AI Lab 235B模型击败GPT-5和Grok-4
上海AI Lab的P1 - 235B - A22B在国际物理奥林匹克竞赛夺金，在HiPhO基准测试获12金1银，超越GPT - 5等闭源模型。团队构建HiPhO基准测试，用多阶段强化学习训练模型，开发PhysicsMinions系统提升推理能力。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
智能体新范式Chain-of-Agents，多项任务新SOTA
论文提出Chain-of-Agents (CoA) 范式，结合多智能体系统与工具集成推理优势。通过多智能体蒸馏和智能体强化学习训练智能体基础模型（AFM），实验显示其在Web和Code任务上达新SOTA，效率、泛化性佳。
清华开源首个股票k线大模型
清华开源首个股票K线大模型Kronos，是专为金融市场K线序列预训练的模型，处理金融数据高噪声特性。采用两阶段框架，有安装、预测步骤，还有批量预测方法，项目地址为https://github.com/shiyu-coder/Kronos。
Dario Amodei真的很焦虑...
文章围绕Dario Amodei的采访展开，探讨AI多方面问题。他坚信计算要素假说，认为RL与预训练有相似规模化现象；预计一两年编码达AGI，十年内信心90%；谈AI盈利、算力采购、应用扩散等，还提及机器人革命和AGI定价。