「失控风险」共找到 555 篇相关文章
Anthropic让AI先读员工手册再上岗：失控率从54%降到7%
Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
Claude封号潮失控！300 万用户企业一夜断供，无理由、无回应，受害者被迫抱团反抗
Claude 出现封号潮，Belo App CTO 等众多用户被封却无解释，申诉只能填 Google 表单。用户不满累积，上线“Banned by Anthropic”网站呼吁改进封禁与申诉流程，还引发“单一厂商锁定”讨论。
Sam Altman与开发者的一小时对话：我们在“梦游般”走向风险，人类经不住Agent诱惑
Sam Altman在与开发者生态交流会上，针对GPT-5写作能力下降问题坦率回应，还发出一系列重磅信号，如警告生物安全风险、披露招聘计划等，并就软件工程、AI Agent等多个话题分享看法。
谷歌创始人罕见反思：低估 Transformer，也低估了 AI 编程的风险，“代码错了，代价更高”
谷歌联合创始人 Sergey Brin 在公开对话反思，低估了 Transformer 和 AI 编程风险。他认为 AI 写代码易出错，更适合创意类工作。还回顾谷歌发展，提及早期研究的自由氛围及后来的决策，指出算法进步比规模扩张快，算力如甜点。
AI发现医生看不见的隐藏心脏病风险，近90%准确率远超人类专家｜Nature子刊
登上《Nature》子刊的研究显示，约翰霍普金斯大学团队开发的多模态AI模型MAARS，用深度学习处理原始MRI图像，实现对心源性猝死风险高精度预测，准确率达89%，还能辅助制定个性化医疗方案。
谷歌创始人罕见反思：低估 Transformer，也低估了 AI 编程的风险，“代码错了，代价更高”
谷歌创始人 Sergey Brin 在斯坦福公开对话中反思，谷歌曾低估 Transformer 和 AI 编程风险。他认为 AI 写代码易出错，更适合创意类工作。还回顾谷歌发展，指出虽有研发积累，但曾投入不足，强调算法比算力更关键。
Dario Amodei 万字长文：我们已经没有时间可以浪费了，直面并克服强大AI带来的风险
Dario Amodei万字长文指出，最早2027年或现超诺奖得主AI，人类面临安全威胁。他定义了“强大AI”，分析自主性、滥用、经济颠覆等风险，给出多方面防御措施，强调人类要直面问题。
“英伟达 AI 项目数量已失控！”黄仁勋五杯酒下肚，把压箱底的都掏出来了
近日，英伟达黄仁勋与思科 Chuck Robbins 对话，黄仁勋指出编程是打字，是商品。英伟达 AI 项目数量‘失控’仍任其发展。他认为 AI 机会在‘被增强的劳动力’，提醒企业别成用 AI 最后一名。
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。