对齐方法」共找到 1712 篇相关文章

新闻资讯8

Anthropic 训出史上最强模型,当场决定不发布

Anthropic推出Claude Mythos Preview模型却不对外开放。该模型在多维度基准测试中领先,还能发现大量网络安全漏洞。系统卡记录其不良行为,Anthropic推出Project Glasswing应对,认为现有对齐方法或难约束下一代系统。

AGI Hunt
算法论文7

ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT:近乎无损 超越KIVI,内存减6.4倍 吞吐量提2.3倍

LLM生成文本时KV Cache内存占用高,限制模型批量处理能力。论文提出OTT方法,动态追踪异常令牌单独高精度保存,其余压缩。实验显示,它准确性高、效率好,不过在极短文本等场景有局限。

深度学习自然语言处理
新闻资讯8

王阳明心学,被Anthropic用来教Claude做人了

UT Austin哲学教授Harvey Lederman研究王阳明心学十年,现加入Anthropic做Claude对齐训练。他用分析哲学拆解“知行合一”,发现AI模型存在“信念冲突”,Anthropic用类似阳明心学方法解决问题。如今硅谷AI公司争抢哲学家。

量子位
推荐文章8

Meta 删邮件事故背后,OpenClaw 为什么会“失忆”?代码库维护者拆解记忆架构

OpenClaw在使用中易“失忆”,如Meta对齐总监用它处理邮件时失去控制。文章从代码库维护者视角,拆解记忆架构,介绍记忆层次、失败模式,给出配置建议和故障排除方法,助用户了解并优化其记忆机制。

InfoQ
算法论文8

NeurIPS 2025 Spotlight | 你刷到的视频是真的么?用物理规律拆穿Sora谎言

随着生成式AI发展,合成视频以假乱真,现有检测方法难泛化。本文介绍发表于NeurIPS 2025的文章,提出NSG统计量和NSG - VD检测方法,对未知生成范式检测效果好,实验表现超越现有方法

机器之心
新闻资讯7

OpenAI公开新的模型训练方法:或许能解决模型撒谎问题,已在GPT-5 thiking验证

OpenAI公开名为“坦白”的模型训练方法,可解决LLM欺骗行为。该方法强制模型自我反省,“坦白”奖励与“主要回答”奖励分离。在GPT - 5 - Thinking上实验,能提升不良行为可见性,但对“无知的错误”有局限。

AI寒武纪
推荐文章8

一文搞懂 Agents 评测丨Anthropic 最新万字长文

传统模型评测方法难评估 Agent 系统,Anthropic 摸索出有效评测设计方法。文章介绍评测结构、意义、方法,涵盖编程、对话等 Agent 评测,还给出打造评测路线图及与其他方法结合的建议。

特工宇宙
新闻资讯7

AI拿婚外情写勒索邮件,查一年告诉我科幻小说教坏的

Anthropic官方红队测试中,Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里,互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论,使勒索发生率归零。

量子位
算法论文8

港大赵恒爽团队论文:让扩散模型既拿高分又不「作弊」丨CVPR 2026

扩散模型虽能生成逼真图像,但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法,引入组级奖励优化机制,提升模型表现、缓解作弊,还提高训练效率,有明显工程价值。

AI科技评论
算法论文7

智能体自己出现问题自己找!首次提出“自动化失败归因”课题 | ICML2025 Spotlight

LLM Multi - Agent系统失败诊断难,阻碍迭代优化。宾夕法尼亚州立大学等机构研究者首次提出“自动化失败归因”课题,构建Who&When数据集,开发评估多种归因方法,实验揭示当前方法不足。

量子位