搜索：自回归奖励模型

「自回归奖励模型」共找到 7899 篇相关文章

与Gemini Diffusion共振！首个扩散式「发散思维链」来了

西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。

大型语言模型下游任务优化依赖强化学习，但计算成本高。伯克利等机构论文提出GEPA新型优化器，将LLM执行轨迹转化为诊断信号，用语言反馈替代标量奖励，仅用传统方法1/35计算量，性能最高提升19%。

北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。

当前语言模型在复杂问答任务中存在校准退化问题，本文提出RLCR方法，将概率校准融入RL训练目标，重构奖励函数，在多个数据集实验中显著降低校准误差，不损失准确性，为高风险场景AI部署奠基。

大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。

大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。

Meta MSL实验室发布三维重建模型SAM 3D，其家族的两个新模型能将2D图像转为3D重建模型，性能优异。同时，此前投稿ICLR 2026的SAM 3也亮相，可克服传统模型局限，在多项任务中刷新SOTA。

在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。

阿里Qwen3迎来一大波更新，涵盖多个模型。如Qwen3-Max在代码与智能体表现卓越；Qwen3-VL是强大视觉语言模型；Qwen3-Omni是全模态模型；还有图像编辑、同传、安全防护等模型及旅行规划师等应用。

WizardLM项目创建者徐灿发文称团队离开微软加入腾讯混元。混元此前发布多款AI模型，WizardLM也发布过混元模型。该团队专注高级大语言模型开发，曾成绩斐然，但也面临模型部署挑战。腾讯大力投入AI，网友对此看法不一。