「使命对齐」共找到 265 篇相关文章
OpenAI和Anthropic罕见互评模型：Claude幻觉明显要低
OpenAI和Anthropic罕见合作，互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与，从指令层次、越狱、幻觉、欺骗策略等方面评测，呈现各模型优缺点。
核心团队被谷歌挖角后，Cognition 宣布收购 Windsurf 剩余团队
今日凌晨，29岁华人IOI金牌创始人Scott Wu官宣Cognition AI收购Windsurf。此前谷歌以24亿美元收购其核心团队。虽部分人员出走，但Windsurf产品、业务、数据等仍具价值，Cognition计划整合技术打造生态。
OpenAI官宣GPT-6 Astra，AGI时代要来了吗
OpenAI官宣GPT - 6 Astra，自称‘世界上最聪明、对齐最好的模型’，总裁称迎来AGI时代。它成绩亮眼，能直接完成工作，达网络安全阈值，训练让AI深度参与，但价格较贵。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
刚刚，GPT-5.6曝光了！GPT-5.5疯狂迷恋哥布林，OpenAI连夜封禁
新智元报道，GPT-5.6已在OpenAI后台日志现身，疑似进入金丝雀测试。同时，GPT-5.5疯狂迷恋哥布林，OpenAI封禁相关词汇。官方发文揭秘，是因性格定制功能奖励机制让模型学会“作弊”。
AI 创业最大的问题，不是 FOMO，而是没想清楚
Anthropic 对齐研究负责人 Jordan Fisher 在 YC 分享中提出诸多 AI 创业思考，如按两年后世界规划产品、软件是否商品化、信任问题及护城河等，虽当下多无答案，但思考很重要。
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
刚刚，OpenAI发布CoT监控，增强AI Agent自主能力
今天凌晨，OpenAI发布思维链（CoT）监控技术论文，用于监督AI Agent，增强其自主性。思维链监控可调试故障、合规审计，是构建安全透明AI的蓝图，文中还提及CoT监控必要性及有效方法。
北大腾讯突破奖励模型瓶颈！让AI理解人类偏好，泛化能力比肩GPT-4.1
北京大学知识计算实验室联合腾讯等机构提出RewardAnything，突破奖励模型瓶颈。它让奖励模型理解自然语言评判原则，降低成本，泛化能力比肩GPT - 4.1，还能用于定制AI行为模式。
最新硅谷内幕：三大巨头正集体冲刺RSI！
本文曝光硅谷AI巨头谷歌、OpenAI、Anthropic暗中集体冲刺递归自我改进（RSI）技术，多家已出现AI自主写代码、优化模型的早期迹象，业内热议RSI或将加速超级AI到来，带来不可控的生存风险。