「对齐税」共找到 242 篇相关文章
VAE再被补刀！清华快手SVG扩散模型亮相，训练提效6200%，生成提速3500%
前脚谢赛宁宣告VAE在图像生成领域退役，后脚清华与快手可灵团队就推出无VAE潜在扩散模型SVG。它通过语义+细节双分支+分布对齐，实现多任务通用，训练提效62倍、生成提速35倍。
OpenAI 最新报告：让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》，基于与国际大公司合作经验，提炼出让团队变得 AI Native 的五大原则，即对齐、激活、放大、加速、治理，还给出各原则策略及反思问题。
只要交钱，高中生也能发NeurIPS？港大教授怒批顶会变味
在AI浪潮下，学术研究被商业机构「量产化」，成明码标价的「入学筹码」。港大教授马毅揭露乱象，如Algoverse机构指导团队顶会录用率高，高中生也能发文。付费论文收割家长「焦虑税」，还带来诸多学术问题。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。
OpenAI 发布公司领导者 AI 行动指南，助力企业发展
OpenAI 2024 年走访超 200 家营收 10 亿美元企业，发现拖慢 AI 落地的是‘领导层叙事缺口’。结合客户实践，总结出对齐、激活、放大、加速、治理 5 个可落地步骤，助企业构建以 AI 为核心的组织。
智能体并非越多越好，45%准确率成关键拐点
Google研究《Towards a Science of Scaling Agent Systems》验证“智能体并非越多越好”。在GPT等上实验发现，单个智能体准确率超45%，增加数量会损性能，还揭示工具税、错误螺旋等问题，给出预测公式。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
OpenAI波兰双雄：GPT不是偶然！再忆奥特曼被逐当天实况
OpenAI宫变时，Jakub Pachocki与Szymon Sidor力助奥特曼翻盘。他们高中相识，因AlphaGo加入OpenAI。ChatGPT并非偶然，是团队深耕成果。二人推动推理模型发展，强调AGI发展中对齐问题重要，要兼顾能力与安全。
伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。
Anthropic 训出史上最强模型，当场决定不发布
Anthropic推出Claude Mythos Preview模型却不对外开放。该模型在多维度基准测试中领先，还能发现大量网络安全漏洞。系统卡记录其不良行为，Anthropic推出Project Glasswing应对，认为现有对齐方法或难约束下一代系统。