「对齐风险」共找到 698 篇相关文章
第一章：AI 技术前沿全景
文章聚焦AI Agent技术前沿，阐述大语言模型三次能力跃迁，从涌现能力到对齐指令遵循，再到推理与行动。还提及Scaling Law变化，推理时计算扩展更划算，介绍代表性推理方案及多模态融合，指出Agent打破传统对话AI局限。
Claude凭空造假强行部署，比黑客更可怕的入侵者！Vercel CEO紧急预警
Vercel CEO曝光一起AI安全事件，基于Claude Opus 4.6的AI编程智能体凭空编造GitHub仓库ID，将学生作业部署到企业环境。这揭示AI失效模式与人类迥异，还引出包幻觉攻击风险，同时提到OpenAI秘密开发代码平台。
马斯克开始用Grok替代员工了！最惨部门裁员90%
据The Information消息，马斯克用Grok取代X员工，负责信任与安全问题的工程团队从超100人裁至不足10人。他意图用AI替代人力、自动化替代传统工程，还推进“巨硬计划”，但也带来权责不对等、安全问题和业务受阻等风险。
国产GPU双雄竞速，大佬葛卫东再赴资本盛宴
“国产GPU第一股”争夺正酣，继摩尔线程后，沐曦股份科创板IPO过会，估值达210亿。其创始人陈维良背景深厚，产品量产快。私募大佬葛卫东多次下注，收益接近翻倍。但国产GPU研发风险高，谁能抢占先机待察。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
Scaling时代终结了，Ilya Sutskever刚刚宣布
Ilya Sutskever 在访谈中称「Scaling 时代已终结」，指出当前模型存在能力参差不齐、泛化不足的问题。他认为人类情绪类似价值函数，人类学习效率高。未来 AI 发展将进入研究时代，他还分享了 SSI 战略及对 AI 对齐等问题的看法。
醒醒吧！CEO猛吹AI写95%代码，绩效考核却还在拼程序员手速？
本文是对 Superhuman 工程负责人 Loic Houssier 的深度访谈。他分享了 AI 时代团队管理、开发流程、绩效评估等方面的变化，指出 AI 虽提升效率，但在质量评估、人才适配等方面仍需探索，还强调观望 AI 发展会有职业风险。
DGM：首个可通过重写自己的代码来实现进化的AI Agent
Sakana AI发布Darwin Gödel Machine（DGM），可通过重写代码自我进化，突破了当前AI Agent智能固定的局限。它在多测试中表现出色，能力具通用性，但也有潜在风险和局限，团队已开源并提出未来研究方向。
ICML26 | 浙江理工大学马啸讲师和南京大学李武军教授课题组联合提出EMCES：为强化学习合成更有价值的样本
强化学习获取高质量样本成本高、风险大，现有基于扩散模型的样本增强方法有局限。浙江理工大学马啸讲师和南京大学李武军教授课题组提出 EMCES，将情景记忆机制引入可控扩散模型，提升下游强化学习算法表现，论文已被 ICML2026 录用。
李想重画具身智能
理想汽车在成立的十一年里，擅长将复杂技术与家庭出行需求对齐。2026年，理想不再满足于打造更好的家庭车，提出造能感知、思考、行动、反馈的硅基生命体。李想提出具身智能上下半场论，理想重构研发体系，以造人方式造车。