「安全对齐」共找到 1059 篇相关文章
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
代码暴减99.9%！独立开发者仅用500行代码做出安全版OpenClaw，GitHub星数狂飙
近日，独立开发者 gavrielc 制作的开源 AI 助手 NanoClaw 火了。它核心代码仅约 500 行，实现 OpenClaw 同等核心功能。相比原版 Clawdbot 代码量大减，还解决了 OpenClaw 安全架构问题，是其安全替代方案。
ACL'25 | 多智能体叛变进行中？首个多智能体安全守卫G-Safeguard亮相！
随着基于LLM的多智能体系统崛起，其安全隐患凸显。中国科学技术大学等机构提出G - Safeguard安全防护框架，它基于图神经网络，通过构建多智能体话语图等方式，能有效抑制恶意信息传播，有强大防御和泛化能力。
生成视频总出物理bug？用VLM迁移+token级对齐，让燃烧在正确位置发生，碰撞遵循动量守恒丨CVPR 2026近满分接收
现有生成式视频模型多停留在“外观拟合”，未真正“物理建模”。中山大学等机构提出ProPhy，构建渐进式物理对齐框架，使模型有“分层物理理解”与“空间物理对齐”能力，论文被CVPR2026近满分接收。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。
《动手写AI Agent》权限与安全：让 Agent 不敢乱来
文章指出LLM不理解操作后果，不加权限的AI Agent如定时炸弹。介绍权限模型设计，采用Deny→Ask→Allow三层过滤；给出权限规则结构，用glob模式匹配工具参数；还解释用glob而非正则的原因。
谨慎用OpenClaw：上海科技大学发布其全面安全体检报告
上海科技大学联合上海人工智能实验室对爆火的智能体OpenClaw做安全审计，在34个测试场景中，整体安全通过率58.9%，暴露出多方面问题，研究据此给出纵深防御策略。
OpenAI：人&AI对齐技术应该是一个动态、双向的循环
在NeurIPS 2025上，NYU&OpenAI就Human - AI Alignment发布Tutorial。指出当前对齐像打地鼠，根源是将其当成静态、单向的，提出HAA框架，强调多元目标、人类全链路话语权及社会 - 技术系统量化监督。