「强化对齐」共找到 888 篇相关文章
“这个怎么组装？”一句无害的问题，如何让AI产生危险输出
Amazon团队发现全新威胁模型“视觉排他性”，提出MM - Plan框架，通过强化学习训练智能体自动发现攻击策略。实验显示其对Claude 4.5 Sonnet和GPT - 5攻击成功率可观，代码和数据集已开源。
Sutton 的批评与反思：AGI 的下一步是什么？
文章是对 Richard Sutton 采访的反思，指出 LLM 训练效率低、依赖人类数据，未实现有机自主学习。作者与 Sutton 有分歧，认为模仿学习与强化学习互补，还探讨持续学习，称 Sutton 批评有启发性。
矩阵乘法新突破！XX^T原来可以更快！RL助力搜索，世界纪录又被提升了5%
深圳市大数据研究院、香港中文大学（深圳）研究团队，结合强化学习与组合优化技术，发掘新算法 RXTX，让 XX^T 运算减少 5% 运算量，成果在国际引发关注，不过产业化落地仍面临挑战。
让机器人看视频学操作技能，清华等全新发布的CLAP框架做到了
近日，清华联合星尘智能、港大、MIT提出 CLAP 框架，能将视频运动空间与机器人动作空间对齐，解决‘数据饥荒’‘视觉纠缠’等问题，可让机器人从视频学技能，还缓解知识迁移难题，推动机器人产业化。
AI编码工具变 “格式化神器”？Claude CLI半年频当“系统杀手”，多位开发者痛斥：心血都没了！
近日Reddit上一则对Claude CLI的控诉帖引发关注。一位开发者用其清理软件包时，整个Mac系统被清空。Claude自查称执行了含“~/”的灾难性命令。类似“删库”事故并非个例，开发者需强化安全意识。
全球闲置算力训个模型，性能媲美R1，老黄天塌了！Karpathy曾投资它
全球首个分布式RL训练模型INTELLECT - 2发布，整合闲置算力完成训练，成本降低，性能媲美DeepSeek - R1。其采用分布式异步强化学习范式，团队开源四大关键组件，还获Karpathy等投资，未来有多项计划。
强化学习也遇到了“天花板”？Andrej Karpathy构建了一个新算法
大神Karpathy肯定强化学习（RL）价值，指出其比监督微调更具扩展性，但存在渐进式学习低效、背离人类学习机制的局限。他提出“第二天性”新范式算法，还面临泛化等挑战。
Sam Altman最新博文！温和的奇点
OpenAI CEO Sam Altman在新博客《The Gentle Singularity》中探讨AI进步远超想象时世界的变化，提及AI将在多方面做贡献，还给出未来几年AI发展预测，指出要解决安全和对齐问题。
Cursor自研模型反超Opus 4.6！价格脚踝斩，氛围编程沸腾了
Cursor新编程模型Composer 2性能超Claude Opus 4.6，价格“脚踝斩”。它靠引入新强化学习方法，让模型学会“做笔记”突破上下文瓶颈，在任务中表现出色，研究员还放出Composer 3消息。
人类画了100年的脑图，AI仅用几小时！还绘制出新脑区
加州大学旧金山分校团队提出CellTransformer算法，几小时完成5只小鼠脑图谱绘制，还绘出新脑区。该算法能准确对齐已知脑区，可扩展到多动物数据集，未来有望用于人类大脑及其他器官研究。