搜索：奖励模型漏洞

「奖励模型漏洞」共找到 7905 篇相关文章

只要强化学习1/10成本！翁荔的Thinking Machines盯上了Qwen的黑科技

新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。

大语言模型（LLM）智能体兴起，记忆机制是核心。本次报告将探讨记忆管理对其性能的影响及潜在风险，展示缓解关键挑战的策略，介绍新攻击范式，揭示安全漏洞，强调需重新审视与建模。

B站升级动画视频生成模型Index - AniSora技术并开源，支持多种二次元风格视频镜头一键生成。基于相关研究提出首个专为二次元视频生成的强化学习技术框架，构建奖励数据集、训练AnimeReward、提出GAPO优化策略，实验验证其有效性。

西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。

大型语言模型下游任务优化依赖强化学习，但计算成本高。伯克利等机构论文提出GEPA新型优化器，将LLM执行轨迹转化为诊断信号，用语言反馈替代标量奖励，仅用传统方法1/35计算量，性能最高提升19%。

OpenClaw「2026.3.22-beta.1」预览版上线，对插件系统重构，新SDK替代旧API，ClawHub成首选分发渠道；安全防护升级，封堵多个漏洞；模型配置升至GPT - 5.4，接入Anthropic Vertex等；多平台体验和Agent引擎也有优化。

北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。

当前语言模型在复杂问答任务中存在校准退化问题，本文提出RLCR方法，将概率校准融入RL训练目标，重构奖励函数，在多个数据集实验中显著降低校准误差，不损失准确性，为高风险场景AI部署奠基。

大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。

大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。