「反馈对齐」共找到 466 篇相关文章
OpenAI 最新报告：让团队变得 AI Native 的五大原则
OpenAI 发布白皮书《Staying ahead in the age of AI》，基于与国际大公司合作经验，提炼出让团队变得 AI Native 的五大原则，即对齐、激活、放大、加速、治理，还给出各原则策略及反思问题。
AI会做题，却未必能自进化：字节Seed等提出三项新基准
字节跳动Seed联合多家机构，针对当前递归式自我改进AI依赖外部给定目标反馈的缺陷，提出三项新基准，从三个核心维度研究Agent自进化能力，揭示了当前AI自进化的核心瓶颈。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。
OpenAI 发布公司领导者 AI 行动指南，助力企业发展
OpenAI 2024 年走访超 200 家营收 10 亿美元企业，发现拖慢 AI 落地的是‘领导层叙事缺口’。结合客户实践，总结出对齐、激活、放大、加速、治理 5 个可落地步骤，助企业构建以 AI 为核心的组织。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
OpenAI波兰双雄：GPT不是偶然！再忆奥特曼被逐当天实况
OpenAI宫变时，Jakub Pachocki与Szymon Sidor力助奥特曼翻盘。他们高中相识，因AlphaGo加入OpenAI。ChatGPT并非偶然，是团队深耕成果。二人推动推理模型发展，强调AGI发展中对齐问题重要，要兼顾能力与安全。
伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。
DeepSeek R1 的小更新，却大有深意？
5月28日，DeepSeek低调宣布R1模型小版本试升级，API接口和使用方式不变，但未公布具体更新内容。从用户反馈看，语义理解、逻辑推理等能力提升，实测表现出色。此次升级或有安全、产品路线等考量。
Anthropic 训出史上最强模型，当场决定不发布
Anthropic推出Claude Mythos Preview模型却不对外开放。该模型在多维度基准测试中领先，还能发现大量网络安全漏洞。系统卡记录其不良行为，Anthropic推出Project Glasswing应对，认为现有对齐方法或难约束下一代系统。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。