「对齐税」共找到 243 篇相关文章
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
OpenAI和Anthropic罕见互评模型：Claude幻觉明显要低
OpenAI和Anthropic罕见合作，互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与，从指令层次、越狱、幻觉、欺骗策略等方面评测，呈现各模型优缺点。
OpenAI官宣GPT-6 Astra，AGI时代要来了吗
OpenAI官宣GPT - 6 Astra，自称‘世界上最聪明、对齐最好的模型’，总裁称迎来AGI时代。它成绩亮眼，能直接完成工作，达网络安全阈值，训练让AI深度参与，但价格较贵。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
刚刚，GPT-5.6曝光了！GPT-5.5疯狂迷恋哥布林，OpenAI连夜封禁
新智元报道，GPT-5.6已在OpenAI后台日志现身，疑似进入金丝雀测试。同时，GPT-5.5疯狂迷恋哥布林，OpenAI封禁相关词汇。官方发文揭秘，是因性格定制功能奖励机制让模型学会“作弊”。
AI 创业最大的问题，不是 FOMO，而是没想清楚
Anthropic 对齐研究负责人 Jordan Fisher 在 YC 分享中提出诸多 AI 创业思考，如按两年后世界规划产品、软件是否商品化、信任问题及护城河等，虽当下多无答案，但思考很重要。
刚刚，OpenAI发布CoT监控，增强AI Agent自主能力
今天凌晨，OpenAI发布思维链（CoT）监控技术论文，用于监督AI Agent，增强其自主性。思维链监控可调试故障、合规审计，是构建安全透明AI的蓝图，文中还提及CoT监控必要性及有效方法。
北大腾讯突破奖励模型瓶颈！让AI理解人类偏好，泛化能力比肩GPT-4.1
北京大学知识计算实验室联合腾讯等机构提出RewardAnything，突破奖励模型瓶颈。它让奖励模型理解自然语言评判原则，降低成本，泛化能力比肩GPT - 4.1，还能用于定制AI行为模式。
Arc 创始人自白：为什么我要豪赌 Dia 浏览器？
Arc和Dia浏览器创始人Josh复盘决策过程。他表示停止Arc开发、转向Dia是深思熟虑的，Arc有不足，而Dia能弥补弯路。还谈及Arc开源问题，认为未来浏览器将变革，看好Dia成为继任者。
坚决不用行业标准AGENTS.md，Claude Code惹来“封杀令”：Anthropic终于回应了，但开发者更气了
当所有AI编程工具向行业标准靠拢时，Anthropic的Claude Code拒绝支持AGENTS.md格式，引发Shopify CEO公开威胁。开发者多次要求其支持该格式无果，Anthropic回应未让开发者满意，引发争议升级。