「安全对齐」共找到 1071 篇相关文章
0.25秒识破未见攻击，这套检测方法没看过任何越狱样本 | EMNLP'26
大视觉语言模型带来隐蔽攻击面，现有检测器难平衡。中国人民大学与阿里巴巴集团联合提出Learning to Detect（LoD），不依赖攻击样本和手工规则，从模型内部激活学安全模式，实验效果好且代码开源。
真钱买假模型？187篇论文被「套壳API」坑惨，准确率暴跌
CISPA论文指出，第三方影子API可能用廉价替代品替换前沿大模型。研究追踪17个服务，发现已被187篇论文引用。测试显示，影子API在多领域性能差，安全不可控，供应商有三种欺骗手段。
被Anthropic强制改名！Clawdbot 创始人一人开发、100% AI 写代码，腾讯又跟上了热度
个人AI助手ClawdBot席卷硅谷，后被Anthropic强制改名Moltbot。它由Peter Steinberger一人开发，近乎100%用AI写代码。该项目已开源，有诸多亮点，但也存在安全隐患，网友使用场景多样。
OpenAI 离职员工爆料公司压力巨大发展速度惊人
前OpenAI员工Calvin回顾工作经历，称其发展极快、压力大。公司依赖Slack沟通，自下而上创新，重能力而非政治。还提到技术栈、安全关注重点等，认为OpenAI、Anthropic和Google是AGI赛道主力。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
AI武装的黑产背后，这群人正在打一场看不见的战争。
文章揭示AI在黑产中的应用，如换脸、薅羊毛、钓鱼等，还介绍网商银行安全团队以攻为守的防御策略，像用AI生成验证码、检测行为特征，目标是抬高黑产作恶成本。
突发！Anthropic禁止中国控股公司使用Claude等，无论公司在哪都不行
9月5日，Claude开发商Anthropic发布公告，停止向多数股权由中国资本持有的集团或子公司提供Claude服务，无论运营地点在哪。此举涉及法律、监管和安全风险，也适用于俄、伊、朝等国实体。
ChatGPT到底学了多少「污言秽语」？清华团队首提大语言模型中文语料污染治理技术
清华等团队研究发现，先进ChatGPT系列模型中文词表污染达46.6%，含色情、赌博等词元。团队定义分类中文污染词，构建识别模型，还能由词表污染估计数据污染，为语料治理提供方案。
vLLM 技巧： 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”，可在不重启服务时几秒内释放约90% GPU显存，实现模型热插拔与高效轮转，还介绍使用方法、不同休眠级别，提醒生产环境要确保安全。
Cursor 重新定义 Agent：脑子再大，不如会翻书。
Cursor 分享博客指出，Dynamic Context Discovery 效果远好于 long context 方式，开启动态上下文可使总 Token 消耗降 46.9%，还能减成本、降延迟、提准确率，但也存在成本转嫁、工程复杂度高和安全风险等问题。