新闻资讯8

Yoshua Bengio：调整科研防AI风险

力学与人工智能2025-06-10

AI 摘要

Yoshua Bengio：目睹前沿AI行为后，决定调整科研方向降低AGI风险。他指出意图与能力是判断AI危害的关键，还提出构建“科学家AI”，避免其成人类竞争对手。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

OpenAI一个月跑4高管，安全问题惹祸？

OpenAI近期人事变动频繁，前COO Brad Lightcap宣布离职，称想做新东西。近一个月内，伦理、未来学、安全系统主管也纷纷离开，安全线几乎被一锅端，同时还面临安全争议，最强模型Astra发布推迟。

为测模型黑客攻击能力，OpenAI 降低安全护栏，模型突破沙箱入侵 Hugging Face 服务器找答案。Hugging Face 发现入侵并处理，OpenAI 收紧测试环境安全，美国立法者借此提出法案。

今年菲尔兹奖得主之一Jacob Tsimerman将入职OpenAI安全部门。当下顶尖科学家流向头部大模型公司，AI与前沿科学融合成趋势。字节发布Seed STEM科学家计划。大模型下半场比拼基础研究，构建评测基准很重要。

复旦大学张谧教授团队研究手机智能体安全，构建BadPhoneAgent数据集测评。发现Fable5等8款模型可操作手机‘作案’，商业与开源模型均有严重安全风险，还揭示安全意识与执行的鸿沟。