「安全对齐」共找到 1071 篇相关文章
炮轰黄仁勋，决裂奥特曼！1700亿美元估值背后，硅谷最不好惹的AI狂人
本文介绍AI圈大佬Dario Amodei，因家庭变故投身AI。他带领Anthropic发展迅速，拟融资使估值达1700亿美元。不过公司亏损严重，且面临开源模型竞争。他坚信AI发展快，要加速开发并注重安全。
OpenAI解密大模型失控：它不是变坏，而是「太听话」
OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。
Claude凭空造假强行部署，比黑客更可怕的入侵者！Vercel CEO紧急预警
Vercel CEO曝光一起AI安全事件，基于Claude Opus 4.6的AI编程智能体凭空编造GitHub仓库ID，将学生作业部署到企业环境。这揭示AI失效模式与人类迥异，还引出包幻觉攻击风险，同时提到OpenAI秘密开发代码平台。
ChatGPT聊天记录成法庭铁证，韩国汽车旅馆双命案反转
韩国一女子用含苯二氮䓬类药物的饮料毒杀两名男子，警方从其手机挖出与ChatGPT的对话记录，成判定其杀人意图的铁证。此案件暴露AI安全漏洞，也引发对AI失控风险及数据隐私的担忧。
清库存！DeepSeek突然补全R1技术报告，训练路径首次详细公开
DeepSeek给近一年前登上《Nature》封面的R1论文补64页技术细节，正文大幅翻修。新论文展开R1完整训练路径，补充R1 - Zero分析，还披露安全评估细节。此外团队稳定，引发对其后续动作猜测。
5个月估值翻10倍，AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资，估值达32亿美元，5个月涨超10倍。它最初想开发AI智能体，后转收集训练材料。此赛道已有多家高估值公司，且数据隐私和安全风险待解。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
从算法天才到机器人造梦者，原力灵机范浩强详解具身智能进化论：模型解锁场景，场景定义硬件
AI 前线深度访谈原力灵机范浩强，探讨其创业选择、具身智能技术演进与产业趋势。他认为机器人是 AI 绕不过的点，2025 年硬件与算法拼图开始对齐，原力灵机强调算法先行，还分享了保证算法演进的路线。
视觉语言模型“扫地僧”：360低调开源FG-CLIP2登顶29项全球基准测试 | 甲子光年
两周前，360人工智能研究院低调开源FG - CLIP2，它在29个公开基准测试中超越Google和Meta的模型。该模型实现局部细粒度识别和原生双语对齐，为AI视觉理解设新基准，已服务开发者并在多领域落地。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。