安全对齐」共找到 1068 篇相关文章

算法论文8

大模型最后一层竟是推理累赘?绕开对齐税,奥数准确率暴涨 22.4%!

Qwen团队、清华和南洋理工研究打破传统认知,揭示‘对齐税’现象。提出Confident Decoding策略,在多架构和评测集实验中表现出色,开销低,挑战‘LLM最后一层最优’常识。

量子位
新闻资讯8

20美元,扒掉AI安全底裤!智能体2小时,攻破160亿美元巨头

红队安全创业公司CodeWall的AI智能体,花20美元Token费、运行2小时,自主选麦肯锡为目标,攻破其「数字大脑」Lilli,获4650万条聊天记录等读写权限,暴露AI安全隐患。

新智元
算法论文8

ICML 2026 | 将多教师冲突转化为动态约束,破解多模态大模型推理对齐难题

在多模态大模型发展中,多教师知识蒸馏成提升性能关键,但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架,将模型间“漂移”转化为动态负约束,解决多模态大模型多师蒸馏概念对齐难题,工作被 ICML 2026 接收。

机器之心
开源动态8

6K+ star神器!Docker也能跑桌面了,安全隔离还能硬件加速,太绝了!

文章介绍开源工具`x11docker`,它专为 Docker、podman 等设计,能让图形应用在容器正常运行,增强隔离性、避免安全隐患。该项目获 6K+ Star,功能丰富,安装使用简单。

开源先锋
开源动态8

腾讯混元开源AI绘画新框架:24维度对齐人类意图,让AI读懂复杂指令

腾讯混元团队开源PromptEnhancer框架,通过“思维链提示重写”提升AI绘画文本 - 图像对齐精度,复杂场景准确率提升17%以上。还开源高质量基准测试数据集,为研究提供支撑。

量子位
算法论文8

重写手机AI安全边界!首个MoAI攻防SoK,系统梳理三大安全支柱

墨尔本大学等联合发布论文指出,移动端AI硬件和模型发展使MoAI成重要范式,但带来安全风险。论文给出统一框架,拆解系统为四层,定义三大安全支柱,梳理攻击、防御图谱等,还提出开放问题与未来方向。

新智元
算法论文8

大模型“精细化”对齐,真实性提升25.8%刷新SOTA!token级精准编辑,无需训练即插即用

北航团队在EMNLP 2025提出Token - Aware Editing (TAE)方法,从token层面解决传统表征编辑技术问题,无需训练、即插即用,在多个对齐维度显著提升,如在TruthfulQA任务上真实性指标提升25.8%。

量子位
算法论文8

开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险

清华、墨尔本大学团队研究指出,基于开源模型微调专有模型存在新型隐藏安全风险,开源模型发布者可埋后门窃取下游微调数据,新风险难检测、危害大,目前攻防方法待改进。

机器之心
算法论文8

ICLR 2026 | ProSafePrune:一剪见效,告别大模型过度防御

合肥工业大学与科大讯飞联合团队提出全新低秩参数修剪框架 ProSafePrune,被 ICLR 2026 录用。它能精准定位模型认知偏差并修剪,降低过度拒绝率,不损安全防御能力,还提升通用任务性能,为 LLM 安全部署提供新思路。

机器之心
算法论文8

加速近5倍!北大与字节团队提出BranchGRPO,用「树形分叉 + 剪枝」重塑扩散模型对齐

北京大学与字节团队提出 BranchGRPO 新型树形强化学习方法,通过在扩散反演中引入分叉与剪枝,解决扩散/流匹配模型人类偏好对齐难题。该方法在图像与视频生成任务中表现优异,迭代时间最高近 5 倍加速。

机器之心