「对齐训练」共找到 2287 篇相关文章
王阳明心学，被Anthropic用来教Claude做人了
UT Austin哲学教授Harvey Lederman研究王阳明心学十年，现加入Anthropic做Claude对齐训练。他用分析哲学拆解“知行合一”，发现AI模型存在“信念冲突”，Anthropic用类似阳明心学方法解决问题。如今硅谷AI公司争抢哲学家。
完全透明开源的共情语音大模型，三阶段训练，四大模块实现端到端对话 | 紫东太初联合长城汽车开源OpenS2S
GPT - 4o、Gemini等顶级语音模型闭源，紫东太初团队联合长城汽车AI Lab开源端到端共情语音语言大模型OpenS2S，提供构建共情语音系统新范式，开源所有核心资源，还介绍了技术方案、数据构建及训练流程等。
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
Mythos限测首日破防，论坛玩家猜网址就摸进门了
4月7日，Anthropic新模型Claude Mythos Preview限量发布，当天就有未授权用户猜出在线地址获得访问权限。Anthropic称未发现自身系统受影响，该模型对齐表现较好，但训练有技术错误。
具身智能从此「边听边说」，智源研究院开源原生全双工语音大模型RoboBrain-Audio
北京智源研究院联合多方发布原生全双工语音对话大模型 RoboBrain - Audio，采用新架构和创新训练范式，在性能上全面领先，革新音频 - 文本对齐方式，丰富了 RoboBrain 全栈体系，推动具身智能发展。
伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。
音画同步视频生成重磅开源！Character AI和耶鲁大学推出Ovi，让音、画在一个大脑里思考
Character AI和耶鲁大学团队推出开源模型OVI，它采用双骨干交叉模态融合架构，让音视频同步生成。其架构对称，用旋转位置嵌入技术对齐时间，训练策略分步进行，生成效果佳，为开源音视频生成提供新路径。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。