「人机对齐」共找到 454 篇相关文章

新闻资讯8

AI for Health:从「实验室Demo」到「国民级健康伙伴」的范式跃迁 | GAIR Live 024期预告

医疗大模型正从“聊天工具”进化为“生命基础设施”,但面临诸多挑战。GAIR Live 024期圆桌将汇聚学术与产业顶尖智慧,探讨构建可信、高效、人机协同的医疗新范式,剖析核心议题,分享讨论精华。

AI科技评论
推荐文章7

从HITL(Human In The Loop) 实践出发看Agent与设计模式的对跖点

本文围绕在 ReactAgent 中引入并实践 HITL 机制展开,介绍实现方案与代码设计。分析无通用人机协同时的问题,阐述 HITL 核心要点、实现效果与细节,还探讨 Agent 演进与工程设计模式的关联。

阿里云开发者
产品应用7

Human In the Loop竟然可以是个MCP?

文章基于阿里实践,阐述如何在大模型研发平台OpenLM及其他Agent平台,针对“Human In The Loop”场景做产品设计与研发。介绍用MCP实现人机回路的方案,还探讨人类回答及提示词倾向性等问题。

阿里云开发者
算法论文8

从最优传输角度训练奖励模型:让 RLHF 学会「忽略错误偏好」丨ICML 2026

浙江大学、小红书、北京大学等团队提出SelectiveRM,基于最优传输训练奖励模型。它重构训练目标,通过选择性分布对齐排除噪声偏好,解决了奖励模型训练中监督信号不可靠的问题,实验验证其有效且泛化能力好。

AI科技评论
推荐文章8

Meta 删邮件事故背后,OpenClaw 为什么会“失忆”?代码库维护者拆解记忆架构

OpenClaw在使用中易“失忆”,如Meta对齐总监用它处理邮件时失去控制。文章从代码库维护者视角,拆解记忆架构,介绍记忆层次、失败模式,给出配置建议和故障排除方法,助用户了解并优化其记忆机制。

InfoQ
产品应用8

大模型落地 B 端营销:京东物流如何用 Agentic Workflow 破解"机械感"难题,实现降本 50%

在数字经济与物流产业融合背景下,B端营销面临挑战。京东物流王春阳分享B端营销实践,从人机协同到全流程大模型培育,用Agentic Workflow破‘机械感’难题,实现降本和转化率提升。

InfoQ
算法论文8

Anthropic 在 Claude 内部发现"全局工作空间",可以直接读取模型没说出口的想法

Anthropic发布研究,在Claude内部发现J - space(雅可比空间),即“全局工作空间”,它在训练中自发形成。用雅可比透镜技术可读取其内容,还验证了其功能属性,可用于对齐审计等。

AI工程化
算法论文8

面对无解问题大模型竟会崩溃?港中文&华为联合提出首个大模型推理可靠性评估基准

港中文和华为诺亚实验室联合提出ReliableMath基准,探究大模型推理可靠性。提出评估准则,构建含可解与不可解问题的ReliableMath数据集,实验揭示大模型缺陷,还提出提高可靠性的对齐策略。

机器之心
开源动态8

悟空AI Agent再进化:连斩魔搭社区SWIFT框架RCE 0day漏洞

腾讯悟空AI Agent对魔搭社区SWIFT框架开展深度安全审计,通过人机协同发现两个较难利用的RCE 0day漏洞,获官方致谢。该框架在易用性和高效性上表现出色,此次发现推动了其安全性提升。

腾讯技术工程
新闻资讯8

刚刚,奥特曼预言:人类「只剩」最后5年!

奥特曼接受采访时预测,到2030年AI将全面超越人类,届时或诞生攻克量子引力难题的超级智能。他认为人们应关注任务变化,人类关怀有存在价值,且AI要与人类价值观对齐。同时,OpenAI开展巨额算力基建。

新智元