「对齐风险」共找到 698 篇相关文章
第一名方案公开，代码智能体安全竞赛，普渡大学拿下90%攻击成功率
亚马逊举办代码智能体安全比赛，普渡大学团队 PurCL 作红队以超 90% 攻击成功率夺冠。他们耗时八月、花百万美元开发全过程红队系统并开源，还发现当前 AI 安全研究在复杂领域对齐有挑战。
AGI很蠢？AI教父Hinton预警：4.8万亿美元市场已锁死，AI正撕裂全球！
AI教父Hinton在全球数字世界大会警告，全球AI产业膨胀，仅1%研发投入用于安全。他认为AGI是愚蠢术语，真正该关注超级智能。还指出AI有三类风险，像烟草石棉一样，法规或难防危害外流。
刚刚，OpenAI通用智能体ChatGPT Agent正式登场
北京时间周五凌晨，OpenAI发布全新ChatGPT Agent，实现通用智能体能力关键升级。它能自动用多种工具规划，完成复杂任务，已向部分订阅用户开放。其整合多能力，配备工具，基准测试表现佳，但也有安全风险。
公司业绩大爆发，芯片大佬身家逼近两百亿
在《2025新财富500创富榜》中，瑞芯微大佬励民身家173.8亿成福州第二富豪，财富较去年涨73%。他2001年创立瑞芯微，多次带领转型。近年公司业绩佳，但大股东抛减持计划，且面临行业风险。
靠创始人亲自假扮AI起家，如今估值10亿美元！印度CEO公开反内卷：从不在10点前起床，也不开例会
AI笔记创业公司Fireflies估值达10亿美元，其创始人曾人工假扮AI参会。CEO Krish Ramineni反内卷，让员工全远程自由工作。此“创业血泪史”公开后引争议，有人批有伦理风险，也有人认为是早期创业常态。
从马斯克并购 Cursor 说起：国内编程智能体的牌桌、裂缝与全链自主之路
文章从马斯克600亿美元收购Cursor切入，分析海外编程智能体“垂直整合”趋势，指出护城河在全链掌控。对比国内，玩家分散，面临版权、安全等风险。强调中国须走全链自主之路，各层发力，目标是经略全球。
Ilya：扩展时代已经结束了，研究的时代已经开始
Ilya Sutskever 在播客访谈中深度探讨AI问题。他指出模型考试强但应用差，是因泛化能力不足；认为AI扩展时代结束，研究时代来临；还谈及AGI应是学习者，以及AI部署、安全对齐等观点。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
从算法天才到机器人造梦者，原力灵机范浩强详解具身智能进化论：模型解锁场景，场景定义硬件
AI 前线深度访谈原力灵机范浩强，探讨其创业选择、具身智能技术演进与产业趋势。他认为机器人是 AI 绕不过的点，2025 年硬件与算法拼图开始对齐，原力灵机强调算法先行，还分享了保证算法演进的路线。