「强化对齐」共找到 911 篇相关文章
强化学习也遇到了“天花板”？Andrej Karpathy构建了一个新算法
大神Karpathy肯定强化学习（RL）价值，指出其比监督微调更具扩展性，但存在渐进式学习低效、背离人类学习机制的局限。他提出“第二天性”新范式算法，还面临泛化等挑战。
Sam Altman最新博文！温和的奇点
OpenAI CEO Sam Altman在新博客《The Gentle Singularity》中探讨AI进步远超想象时世界的变化，提及AI将在多方面做贡献，还给出未来几年AI发展预测，指出要解决安全和对齐问题。
Cursor自研模型反超Opus 4.6！价格脚踝斩，氛围编程沸腾了
Cursor新编程模型Composer 2性能超Claude Opus 4.6，价格“脚踝斩”。它靠引入新强化学习方法，让模型学会“做笔记”突破上下文瓶颈，在任务中表现出色，研究员还放出Composer 3消息。
人类画了100年的脑图，AI仅用几小时！还绘制出新脑区
加州大学旧金山分校团队提出CellTransformer算法，几小时完成5只小鼠脑图谱绘制，还绘出新脑区。该算法能准确对齐已知脑区，可扩展到多动物数据集，未来有望用于人类大脑及其他器官研究。
Agent创业者的天塌了，OpenAI发布ChatGPT Agent
昨晚OpenAI发布ChatGPT Agent，这让Agent创业者紧张。它整合多种能力，功能强大，支持多操作。新模型经强化学习调优，在多基准测试中表现佳，或挤压初创公司通用Agent赛道空间。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5，提供长文本推理后训练“配方”，含数据合成管线、强化学习方法和智能体架构。通过三大“法宝”重塑模型能力，效果显著，相关代码已开源。
Anthropic 反杀 OpenAI，LLM 企业市场新格局
Menlo Ventures 报告显示，Anthropic 超越 OpenAI 成企业 LLM 市场新王者。代码生成成杀手级应用、强化学习成扩展路径、Agent 时代到来支撑其胜利。企业重性能，支出从训练转向推理。
突发！OpenAI新模型Astra吓瘫奥特曼：暂停训练两周，GPT-6训练一并冻结
OpenAI宣布暂停内部最强大模型强化学习，Astra模型暂停训练两周，GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施，或有营销意图。