搜索：人类意图对齐

「人类意图对齐」共找到 1445 篇相关文章

逆强化学习全新视角的大模型对齐技术

文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。

文章围绕AI时代展开，指出互联网时代商业模式核心是“入口”，AI时代应关注“意图”。还提及上周对冲基金资金流动、AI企业动态，如微软推安全方案、Alphabet合资开发机器人等。

Figure 02机器人开启打工模式，创始人放出其分拣快递新视频，它动作流畅像人类，由端到端通用控制模型Helix自主驱动。此前它还在宝马生产线连续20小时轮班作业，Figure与OpenAI分道扬镳后推出Helix。

有传言GPT - 5将发布，X上一博主称其或揭示人类‘创造力’是模式识别，引发热议。有人认为创意是碎片重组，也有人坚持创造力不只是模式识别，还需推理等，AI完美识别模式反被困住。

当前人像动画扩散模型在人物身份一致性上表现不佳，复旦大学联合多团队提出StableAnimator++，它是首个可学习姿态对齐的视频扩散模型，能生成自然保真的人物动画，还在保持人脸一致性上做了改进。

上海交大等团队提出视频评估框架Video - Bench，让多模态大模型‘像人一样评判视频’。它构建双维度评估框架，引入链式查询和少样本评分技术，与人类判断73%高相关，为视频生成模型优化提供标尺。

目前学术会议论文评审无统一规范，投稿量膨胀致审稿周期冗长。吴恩达发布‘Agentic Reviewer’，在ICLR 2025数据测试中接近人类水平，现阶段在arXiv研究领域表现佳，但仍处实验阶段。

哈佛医学院神经科学家 Gabriel Kreiman 推出 Engramme，旨在赋予人类完美且无限的记忆。它能在特定场景下主动推送相关记忆，构建了大记忆模型，有深厚研究积累，已开放 beta 版申请。

AI编程发展使人们认为人类开发者将消失，但卡内基梅隆等大学研究者提醒，当前AI编程研究陷入追求机器全自动解决任务的怪圈，应转向以人为本，还提出构建人机协作的四大支柱及升级基础设施等建议。

LLM智能体进化为“行动派”，但自主权带来安全问题。现有评估基准缺乏有效精准评估器，研究者推出AgentAuditor框架及ASSEBench基准，让LLM评估器精确度达人类水平，为构建可靠智能体提供工具。