「对齐风险」共找到 728 篇相关文章
OpenAI 最新报告：让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》，基于与国际大公司合作经验，提炼出让团队变得 AI Native 的五大原则，即对齐、激活、放大、加速、治理，还给出各原则策略及反思问题。
社会奖赏激进的人？真相比你想的更残酷
文章探讨社会是否奖赏激进者。从AI使用场景引出话题，指出心理学上冒险者有优势，但存在幸存者偏差。提出应采用杠铃策略，在不对称风险中果断行动，同时强调并非所有领域都适合激进。
从「说错话」到「干错事」：复旦、CityUHK、SMU、UIUC等13家机构联合发布「具身智能安全」综述
具身智能正从实验室走向现实世界，却带来‘干错事’的现实风险。13家机构38位学者联合发布70+页综述，提出‘能力—风险’二象性，梳理各能力层攻击面与风险，还指出研究空白，维护开放资源生态。
毕马威：企业对AI Agent智能体试点应用猛增
毕马威2025年一季度AI应用报告显示，企业对AI Agent智能体试点应用猛增，自上季度以来试点企业比例从37%升至65%，在各业务场景广泛探索，但应用中面临员工培训难题，企业也采取了风险缓解措施。
Nature发布Delphi-2M模型，提前20年预测你得什么病
2025年9月17日《自然》发表研究成果，欧洲、德国和丹麦科学家改造GPT架构，推出Delphi - 2M模型。它能预测1258种疾病及死亡风险，依据过往病史等提供风险概率，虽有局限但潜力大。
27岁研究员连辞OpenAI、Anthropic！两家都在拿我们的命下注
本文报道GPT-4o核心贡献者Jacob Coxon接连从OpenAI、Anthropic辞职并退出AI行业，批判头部AI机构陷入竞速赛，罔顾超级智能失控风险，直指行业需共同踩刹车。
还需付费卸载龙虾？这只龙虾能直接「杀死」OpenClaw
OpenClaw曾引发安装热潮，如今因安全风险引发卸载潮。国家相关部门发布风险提示，网上出现卸载服务。而GenericAgent既能装也能卸OpenClaw，还能自我卸载，展现出硬核技术。
刚刚，Bengio官宣创业！急筹3000万专治AI欺骗人类，图灵三巨头全下场
图灵奖得主Yoshua Bengio官宣创办非营利机构LawZero，致力于研发「设计即安全」的AI系统，以应对AI军备竞赛风险。其研发的「Scientist AI」不具行动性，目标是理解世界，防止人类陷入AI风险。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
AI拿婚外情写勒索邮件，查一年告诉我科幻小说教坏的
Anthropic官方红队测试中，Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里，互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论，使勒索发生率归零。