「建设性安全对齐」共找到 1074 篇相关文章
OpenAI波兰双雄：GPT不是偶然！再忆奥特曼被逐当天实况
OpenAI宫变时，Jakub Pachocki与Szymon Sidor力助奥特曼翻盘。他们高中相识，因AlphaGo加入OpenAI。ChatGPT并非偶然，是团队深耕成果。二人推动推理模型发展，强调AGI发展中对齐问题重要，要兼顾能力与安全。
奥特曼马斯克豪言：我们已进入奇点！AGI加速窗口已至
新智元报道，奥特曼和马斯克都认为奇点已至，当下处于AGI加速窗口。OpenAI曾靠资源猛追让Codex逆袭。但AI发展也引发担忧，如人类能否保持理智、安全对齐进展不明等。
Ilya：扩展时代已经结束了，研究的时代已经开始
Ilya Sutskever 在播客访谈中深度探讨AI问题。他指出模型考试强但应用差，是因泛化能力不足；认为AI扩展时代结束，研究时代来临；还谈及AGI应是学习者，以及AI部署、安全对齐等观点。
跨越智能体落地的可信鸿沟：玄甲（AgentWard）全链路防御操作系统正式发布
大模型向自主智能体演进，安全威胁全域化。当前安全方案有局限，制约产业落地。清华大学团队推出玄甲全链路安全防御操作系统，构建五层纵深防御体系，已落地应用，降低安全事件发生率，筑牢安全防线。
OpenAI解散「灾难风险应急」团队！GPU大神Scott Gray也跑路了
OpenAI解散「Preparedness」团队，该团队负责评估自家AI灾难级社会风险。官方称安全工作已融入开发流程。此前多个安全团队也已解散，多名安全高管离职，引发员工不安。
Replit 怒锤“欧洲版 Cursor”：造出百款“高危”应用，普通开发者一小时内黑入，氛围编码成了黑客“天堂”？
近日，Replit 员工报告 Lovable 未修复关键安全漏洞，扫描发现其百款应用高危，普通开发者一小时内可黑入。Lovable 虽推出‘安全扫描’功能，但仍未解决底层问题，引发对氛围编码安全责任的讨论。
龙虾安全被3层硬核架构焊死了！一份面向开发者的硬核生存指南
随着OpenClaw等高权限智能体应用爆发，AI自主性与失控的赛博博弈开启。文章从源头对齐、边界重构、结果保障三个维度，拆解适应智能体自主行动时代的新型安全框架，为开发者提供生存指南。
389万寻找翁荔继任者！OpenAI紧急开招安全防范负责人
OpenAI在连遭安全指控后，豪掷约389万元+股权急招安全防范负责人，要制定执行安全防范框架。此前其安全团队负责人更迭频繁，此次招聘是否‘应激之举’待商榷。
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
Anthropic "泄露"Claude Mythos 最强模型到底有多猛？
Fortune爆出Anthropic因CMS配置失误，致新模型Claude Mythos信息泄露。该模型有阶跃式进步，在多领域表现超前代，网络安全能力突出。此事反映AI迭代快但安全待提升，安全成模型评估关键。