「未对齐行为」共找到 1130 篇相关文章
吴恩达来信:美国的“大而美法案”将如何影响AI监管
吴恩达认为美国“大而美法案”未纳入“暂停州一级AI监管”条款很遗憾。早期AI监管易被企业利用打击开源,虽有合理监管措施,但多数州级提案负面影响大,应暂停州级监管。
关键突破:理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型,成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型,从理论和实验证明其可高效实现模型对齐。
AI武装的黑产背后,这群人正在打一场看不见的战争。
文章揭示AI在黑产中的应用,如换脸、薅羊毛、钓鱼等,还介绍网商银行安全团队以攻为守的防御策略,像用AI生成验证码、检测行为特征,目标是抬高黑产作恶成本。
摆脱遥控器,波士顿动力人形机器人,开始「长脑子」干活了
世界人形机器人运动会引发对人工遥控机器人的争议。波士顿动力与丰田研究院合作为 Atlas 开发大型行为模型,展示其自主收纳整理成果,模型构建有流程,成果显著,研发遵循三项核心原则。
A社旗舰Fable 5卖不动了。。两款神秘新模型已现身
支付平台Ramp统计显示,A社旗舰Fable 5上线两月销量不佳,收入仅占整体的11.4%。其价格高、性价比低,拖累公司收入未达预期。同时,X上出现Claude的两个神秘内测代号,或几周内上线。
OpenAI波兰双雄:GPT不是偶然!再忆奥特曼被逐当天实况
OpenAI宫变时,Jakub Pachocki与Szymon Sidor力助奥特曼翻盘。他们高中相识,因AlphaGo加入OpenAI。ChatGPT并非偶然,是团队深耕成果。二人推动推理模型发展,强调AGI发展中对齐问题重要,要兼顾能力与安全。
GPT-5刚刚正式发布,首次面向免费用户开放
OpenAI正式发布GPT - 5,有架构统一、性能大幅提升、全用户开放三大核心变化。测试数据显示性能进步明显,采用新定价策略面向所有用户开放。但演示未带来突破感,编程能力还面临Claude Opus 4.1挑战。
伦理防线不可靠!分布偏移诱导,大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出,当前大语言模型对齐机制仅实现表层合规,预训练时内化的有害知识仍潜藏。遇数据分布偏移,模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效,凸显现有范式缺陷。
刚刚,苹果官宣iphone搭载最强AI,每年给Google 10亿,不愿在信ChatGPT。
早上苹果与Google官宣的新闻刷屏,下一代苹果基础模型将基于Gemini构建。苹果因自研来不及且人才流失,选择花10亿买Google模型。还分析了未选OpenAI的原因,以及隐私方面的问题。
国产GPU造富狂欢:谁是最大赢家?
2025年12月,摩尔线程和沐曦股份上市引发资本市场狂欢,股价暴涨带来造富效应。国资背景投资方在两家公司上市前占据重要地位,私募大佬葛卫东等也入局。但两企业未盈利,面临技术、竞争等挑战。