搜索：奖励模型漏洞

「奖励模型漏洞」共找到 7824 篇相关文章

Talking-Critic奖励模型带来更自然的音频驱动肖像

近期音频驱动肖像动画技术发展快，但现有方法存在嘴型声音不对、动作不自然等问题。阿里提出Talking - Critic奖励模型，构建Talking - NSQ数据集，还提出TLPO优化框架，提升多维度表现，实验超现有SOTA方法。

安全研究机构Wiz Research曝光英伟达Triton推理服务器一组高危漏洞链，可组合利用实现远程代码执行，造成模型被盗、数据泄露等后果。英伟达已发布补丁，25.07版本前系统有风险。

伊利诺伊大学香槟分校张令明老师团队的论文提出KNighter，它让大模型生成静态分析检查器，在Linux内核挖出92个长期潜伏漏洞，将LLM归纳能力沉淀为规则，带来可落地等好处。

此前学术界发现大模型用虚假奖励训练也能提升准确率，背后微观机制是黑盒。南科大等团队深度拆解，定位到关键记忆节点，发现‘困惑度悖论’，还能操控记忆，成果对评估、检测和去污染有意义。

Anthropic发布神话模型Claude Mythos Preview却不开放使用，发起玻璃翼计划联合科技巨头用该模型修复全球软件漏洞。此模型能自主发现众多零日漏洞，合作伙伴应用后强调跨行业协作应对网络安全挑战。

研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。

字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。

文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。

B站开源动画视频生成模型Index - AniSora，支持多种二次元风格视频镜头一键生成。基于AniSora系统，全面提升动画生产效率与质量，开源内容丰富，还构建奖励数据集和奖励模型提升对齐性能。

华盛顿大学博士生团队用Qwen模型对虚假奖励进行RLVR，使MATH - 500准确率显著提升约25%。研究发现RLVR不考虑奖励正确性，还分析了虚假奖励有效的原因，提示现有研究要在非Qwen模型验证。