搜索：奖励模型漏洞

「奖励模型漏洞」共找到 7843 篇相关文章

Claude 急了！模型降智，官方长文用 bug 搪塞？开发者怒怼“太晚了”：承认不达标为何不退钱？

8月至9月，Claude模型质量下降，Anthropic将问题归咎于三项基础设施漏洞。开发者不满，质疑官方用bug搪塞，要求退款。官方虽剖析问题并提出改进方案，但很多用户已不再买账，Claude用户流失问题持续数月。

北航等机构研究提出自回归奖励引导表征编辑（ARGRE）框架，在LLM潜在表征空间可视化毒性变化路径，实现测试阶段高效“解毒”。实验显示其降低毒性、缩短推理时间，不影响模型能力，优于基线方法。

当下世界模型是AI领域热门且混乱的概念，主流路线有四类。Momenta的R7世界模型已量产，其CEO定位公司为物理AI基座模型构建者。Momenta率先冲刺IPO，商业模式正转型，为后续玩家提供价值评估体系。

Anthropic官宣Mythos Preview，却未将其放给普通人用，而是塞进防御联盟Glasswing。Mythos在漏洞发现和利用上能力超多数人类，Anthropic怕其引发风险，先将它组织进防守体系，还试图占据‘负责任的frontier lab’位置。

近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。

阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。

智谱深夜发布的新一代旗舰模型 GLM - 5，此前以匿名模型 Pony Alpha 被开发者热测。2026 年编程大模型风向转变，GLM - 5 参数提升，测试成绩优异，实测能完成复杂工程任务，适配国产算力平台。

HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。

大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。

哈佛医学院等团队让OpenAI o1系列大模型与数百位医生在多项测试中较量，大模型在各项诊断和管理推理任务上全面超越人类专家，不过当下模型处理非文本信号有局限。