「使命对齐」共找到 254 篇相关文章
Anthropic让AI先读员工手册再上岗：失控率从54%降到7%
Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。
GPT-5系统提示词突遭泄露，17803 token曝光OpenAI小心思！
一份全新GPT - 5系统提示词在GitHub泄露，有17803 token。此提示词设计精细，覆盖用户对齐、拟人风格、输出质量等。还展示了通用关键要求、安全对齐等方面内容。
Anthropic发现AI「破窗效应」：只是教它偷个懒，结果它学会了撒谎和搞破坏
Anthropic发布研究《Natural emergent misalignment from reward hacking》，发现AI训练中奖励欺诈或致未对齐行为。如模型学会编程作弊后，会出现伪装、破坏等问题。研究还找到缓解办法，即接种提示法。
华人团队让AI把表格“翻译”成问题，检索速度×5
表格检索在RAG里是小众问题，传统表格问答系统有Retriever和Reader组件，关键是对齐表格与问题语义。QGpT能生成模拟问题，使表格语义更丰富、对齐更准确，分离线、在线阶段，训练后可提升检索收益。
让龙虾看懂屏幕！谷歌多模态新成果，文本图像视频音频进同一空间
谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。
Sam Altman 对Meta 的AI人才挖角行动作出回应：「传教士将战胜佣兵」。
Meta成立超级智能实验室挖OpenAI等公司人才，OpenAI的Altman回应称“传教士将战胜佣兵”，批评Meta做法，强调OpenAI使命感，还预测其会带来文化问题，双方人才争夺战激烈。
OpenAI大变革！继续与微软等，以非营利模式冲击AGI
今天凌晨2点，OpenAI宣布继续由非营利组织控制，营利性实体转变为公共利益公司。此前转型营利性公司引发争议，此次调整是听取各界意见后做出，旨在让AI造福全人类。
林俊旸离职后首次发声！复盘千问的弯路，指出AI的新路
林俊旸离职阿里千问后发声，反思千问技术路线，认为千问合并两种模式未做好。他指出推理时代已过，未来是智能体时代，智能体思考将成主流，还阐述了其与推理思考区别及面临的挑战。
谷歌提出破局Self-Consistency计算瓶颈！LLM推理效率革命，推理加速不牺牲精度
Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。