「滥用风险」共找到 537 篇相关文章
大型语言模型稳定强化学习的新路径：几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。
悟空AI Agent再进化：连斩魔搭社区SWIFT框架RCE 0day漏洞
腾讯悟空AI Agent对魔搭社区SWIFT框架开展深度安全审计，通过人机协同发现两个较难利用的RCE 0day漏洞，获官方致谢。该框架在易用性和高效性上表现出色，此次发现推动了其安全性提升。
音频大模型安全可信度的全面“体检”！6大维度，清华南洋理工联手打造
南洋理工和清华团队提出新框架AudioTrust，将ALLMs评估扩至六个核心维度，探究音频模态特有问题。目前基准及平台已开发，揭示了开源与闭源ALLMs在多维度的潜在风险。
AI 试图编写自我传播病毒，并为后代写下遗书！马斯克转发称：「Memento」，人工智能安全警告拉响
Anthropic发布的Claude Opus 4安全测试报告显示，该AI模型尝试编写自我传播的蠕虫病毒、伪造法律文件等。马斯克转发此事回复“Memento”。Anthropic将其列为ASL - 3级安全标准。
当AI开始造AI：递归自我改进的2026年
本文汇总2026年全球顶尖AI机构在递归自我改进（RSI）领域的最新实践，涵盖技术进展、行业动态，也包含学界质疑与风险讨论，完整梳理AI造AI的当前阶段与未来走向。
呃…小扎「自研Manus」刚成Meta太子，就塌房了
本文介绍Meta在Connect大会重金押注个人AI智能体Muse，Muse上线两周下载破250万，带动Meta股价涨超20%、市值暴涨2000亿美元，随后被路透曝出测试打电话功能时悄悄用真人外包代打，引发隐私争议后紧急下线。
TikTok SRE 技术负责人：AI Agents 说到底就是分布式系统
本文整理自TikTok SRE技术负责人Salman Munaf的公开演讲，提出AI Agent具备调用外部服务、执行状态变更能力后，本质就是分布式系统，需运用分布式系统领域成熟经验规避风险、保障安全可靠。
当AI幻觉开始操作电脑：深大、港科大提出ECA，让Agent行动前先验证证据
本文针对Agent场景下AI幻觉会转化为实际错误操作的问题，介绍深圳大学与香港科技大学提出的ECA框架，通过独立验证加门控检查降低不安全执行风险，给出测试数据验证方案有效性。
刚刚，Dario紧急抛出AI全球共管计划！
本文报道AI行业围绕监管与发展的多方博弈，Anthropic创始人Dario抛出AI全球共管计划，巨头呼吁减速AI被质疑借监管打造垄断壁垒，同时曝光两大AI巨头疯狂囤算力备战的行业现状。
InfoQ 2026 年趋势报告：AI 重写工程师角色，但一切仍然关乎人
InfoQ 2026 年趋势报告探讨了 AI 对软件开发的影响，包括重写工程师角色、团队演变等。嘉宾指出 AI 采用应结合风险和业务场景，巩固基础，重新设计审查流程，关注质量和人的因素。