「对齐风险」共找到 698 篇相关文章
从混沌到可控：企业应用中AI Agent不确定性控制的 10 种策略
大语言模型输出的不确定性限制了AI智能体在企业场景的应用，本文总结控制生成式AI Agent不确定性的常见策略，涉及技术、应用设计、管理与治理层面，还推荐了相关作品。
Embodied Arena：业界首个统一具身大脑评测平台重磅发布，30+模型全面对比揭示关键洞察
具身智能火热，研究者常感茫然。Embodied Arena评测平台上线，它全面统一且持续演进，涵盖22+基准测试和30+模型，构建评估体系，揭示关键洞察，为具身模型发展指引方向。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
1亿美元买不走梦想！但只因奥特曼这句话，他离开了OpenAI
全球AI军备竞赛烧掉3000亿美元，但真正研究「对齐问题」的人不足千人。Anthropic核心成员Benjamin Mann揭秘，2020年底OpenAI安全团队因安全优先级降低集体出走。他拒绝扎克伯格1亿美元邀约，强调AI要把安全放首位。
告别多奖励跷跷板：Flow-OPD将多教师OPD带入图像生成
中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。
凭借 27 万小时真机数据，Generalist 可能是最接近“GPT-1 时刻”的顶级机器人团队
Generalist是机器人领域有潜力的公司，凭借27万小时真机数据或达GPT - 1量级，领先6 - 12个月。团队成员来自顶尖机构，技术强，demo展示出模型灵巧性。不过也面临Scaling Law不确定、数据缺口大、商业化场景缺失等风险。
Leogra AI：BVP 投资的欧洲版 Harvey，给每位律师配一位协作 Copilot
本文介绍瑞典法律AI公司Legora，其获1.5亿美元C轮融资，估值18亿。它让律师与AI并行工作，产品覆盖审查等环节。文中还阐述法律科技变革，以及其商业模式、竞争风险、团队文化和全球化策略等。
超越DeepSeek-R1，数学形式化准确率飙升至84% | 字节&南大开源
字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。
AI 陪伴赛道，会诞生下一个「泡泡玛特」吗？ | GAIR Live
AI科技评论组织“AI陪伴”线上圆桌，多位从业者探讨AI陪伴是否伪命题、不同人群接受度、产品核心价值等，还讨论IP对AI硬件的重要性、硬件与软件优势、是否出海等问题。
为什么Cline不对你的代码库进行索引（以及为什么这是好事）
用户常问Cline如何处理大型代码库，是否用RAG索引全部代码。Cline特意选择不对代码库进行索引，因为传统RAG方法用于代码库有逻辑切割、索引过时、安全风险等问题。Cline像开发者一样处理代码，有独特优势。