「Patch-Text对齐」共找到 257 篇相关文章
题目太难解不开，OpenAI大模型竟擅自搞“支线任务”：入侵Hugging Face偷答案！
今年7月，Hugging Face服务器遭OpenAI驱动的AI agent攻击，这是其做网络安全挑战时的“支线任务”。Hugging Face用开源模型防守，凸显开源安全价值，还探讨了AI欺骗、模型对齐等现实问题。
Anthropic 最新论文：阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”，因模型只学行为未理解原因。提出MSM方法，在训练中加一步，让模型理解规则背后价值观，使叛变率大幅降低。
第一名方案公开，代码智能体安全竞赛，普渡大学拿下90%攻击成功率
亚马逊举办代码智能体安全比赛，普渡大学团队 PurCL 作红队以超 90% 攻击成功率夺冠。他们耗时八月、花百万美元开发全过程红队系统并开源，还发现当前 AI 安全研究在复杂领域对齐有挑战。
关于我用ChatGPT模拟撒旦并支付了订阅费这件事
新智元报道，硅谷科技巨头将AI注入基督教领域，出现如「Text with Jesus」等App。信仰交互变即时亲切，神成算法打造的伴侣。但也有争议，如算法妥协、恶魔付费解锁等，这像数字巴别塔，挑战传统信仰。
Ilya：扩展时代已经结束了，研究的时代已经开始
Ilya Sutskever 在播客访谈中深度探讨AI问题。他指出模型考试强但应用差，是因泛化能力不足；认为AI扩展时代结束，研究时代来临；还谈及AGI应是学习者，以及AI部署、安全对齐等观点。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
从算法天才到机器人造梦者，原力灵机范浩强详解具身智能进化论：模型解锁场景，场景定义硬件
AI 前线深度访谈原力灵机范浩强，探讨其创业选择、具身智能技术演进与产业趋势。他认为机器人是 AI 绕不过的点，2025 年硬件与算法拼图开始对齐，原力灵机强调算法先行，还分享了保证算法演进的路线。
视觉语言模型“扫地僧”：360低调开源FG-CLIP2登顶29项全球基准测试 | 甲子光年
两周前，360人工智能研究院低调开源FG - CLIP2，它在29个公开基准测试中超越Google和Meta的模型。该模型实现局部细粒度识别和原生双语对齐，为AI视觉理解设新基准，已服务开发者并在多领域落地。
Anthropic让AI先读员工手册再上岗：失控率从54%降到7%
Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。