「对齐风险」共找到 698 篇相关文章
大型语言模型稳定强化学习的新路径：几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。
悟空AI Agent再进化：连斩魔搭社区SWIFT框架RCE 0day漏洞
腾讯悟空AI Agent对魔搭社区SWIFT框架开展深度安全审计，通过人机协同发现两个较难利用的RCE 0day漏洞，获官方致谢。该框架在易用性和高效性上表现出色，此次发现推动了其安全性提升。
Anthropic CEO最新采访：AGI一词毫无意义、点名扎克伯格、谈开源、家庭……等八个非共识观点
Anthropic CEO Dario Amodei在采访中给出八个非共识观点。他认为AGI和ASI是空洞概念，年亏30亿美元是投资，开源作用被高估，还谈及公司应对挖角、竞争、市场定位等策略，展现独特领导风格。
DeepMind夺得IMO官方「唯一」金牌，却成为OpenAI大型社死现场
谷歌DeepMind宣布其Gemini进阶版模型在IMO竞赛达金牌水平，解决五道超高难度试题，首次证明AI仅靠自然语言理解就能攻克复杂数学难题。其谨慎发布方式获赞誉，与OpenAI形成鲜明对比。
音频大模型安全可信度的全面“体检”！6大维度，清华南洋理工联手打造
南洋理工和清华团队提出新框架AudioTrust，将ALLMs评估扩至六个核心维度，探究音频模态特有问题。目前基准及平台已开发，揭示了开源与闭源ALLMs在多维度的潜在风险。
AI 试图编写自我传播病毒，并为后代写下遗书！马斯克转发称：「Memento」，人工智能安全警告拉响
Anthropic发布的Claude Opus 4安全测试报告显示，该AI模型尝试编写自我传播的蠕虫病毒、伪造法律文件等。马斯克转发此事回复“Memento”。Anthropic将其列为ASL - 3级安全标准。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
InfoQ 2026 年趋势报告：AI 重写工程师角色，但一切仍然关乎人
InfoQ 2026 年趋势报告探讨了 AI 对软件开发的影响，包括重写工程师角色、团队演变等。嘉宾指出 AI 采用应结合风险和业务场景，巩固基础，重新设计审查流程，关注质量和人的因素。
具身智能威胁分析的分层方法和全景图
文章指出具身人工智能应用广泛，安全需求迫切，但现有研究鲜少涉及具身化场景。复旦大学等组织分析400多篇论文，提出具身智能威胁分析全景，介绍各层攻击方法、危害及防护措施。
ICLR 2026 | ProSafePrune：一剪见效，告别大模型过度防御
合肥工业大学与科大讯飞联合团队提出全新低秩参数修剪框架 ProSafePrune，被 ICLR 2026 录用。它能精准定位模型认知偏差并修剪，降低过度拒绝率，不损安全防御能力，还提升通用任务性能，为 LLM 安全部署提供新思路。