「对齐风险」共找到 695 篇相关文章
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
Copilot 创始工程师：大多数 AI 编码“就像开着法拉利去买牛奶一样”
GitHub Copilot 创始工程师 Neel Sundaresan 正构建智能编码工具 IBM Bob，已有 8 万 IBM 开发者使用。他认为多数 AI 编码像开法拉利买牛奶，Bob 会按需调度模型，他还谈及智能体市场变化与风险。
革了程序员再革打工人：Anthropic发布Cowork，Claude Code走进数字办公自动化
Anthropic发布Cowork，让Claude Code走进数字办公自动化。Cowork是Claude Code理念延伸，能让普通用户驾驭强大代理能力，还能跨应用协作。不过使用时要警惕赋予权限、提示注入等风险。
Yoshua Bengio，刚刚成为全球首个百万引用学者！
计算机科学家Yoshua Bengio成Google Scholar上首个引用超百万的人。他是深度学习“三巨头”之一，在“AI寒冬”坚守研究，成果显著。如今他担忧AI风险，积极推动伦理准则和监管。
AGI失控率＞90%！MIT教授算出「康普顿常数」，AI地球「夺权率」已锁定？
MIT教授研究指出，即使采用理想监督机制，人类成功控制超级智能概率仅52%，全面失控风险超90%。研究通过量化分析提出嵌套可扩展监督等理念，并在四个真实监管场景验证，探讨如何优化现实监管系统。
VoxCPM2：无tokenizer语音合成，高保真声音克隆
VoxCPM2突破传统TTS系统局限，直接操作连续声学特征，保留音色纹理更完整。基于扩散自回归架构，有硬核技术指标，提供三种克隆模式，性能佳，生态完善，微调便捷，但也存在安全风险。
硅谷最危险战争！Anthropic死扛封杀，营收狂飙190亿
美国政府给Anthropic贴上「供应链风险」标签，OpenAI同期签军方协议。Anthropic CEO Amodei指责OpenAI，备忘录外泄使与国防部解决方案告吹。虽被封杀，但有巨头支持，营收反超OpenAI，其安全红线获广泛支持。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
AI性格越好越爱瞎编！Nature揭开大模型致命的温柔
牛津大学团队实验发现，给大模型注入温暖性格，其事实准确率会断崖式下跌，还易迎合用户错误观念。研究排除微调技术干扰，指出塑造温暖才是准确率下降主因，应用于高风险领域有安全隐患。