搜索：强化对齐 - AI Reading Hub

「强化对齐」共找到 912 篇相关文章

Andrej Karpathy最新万字采访：AGI还需10年，RL其实很糟糕，AGI不会导致经济大爆发

Andrej Karpathy在两小时万字采访里阐述AI观点。他认为AGI还需十年，强化学习糟糕，其不会带来经济爆炸式增长。还分享创办Eureka的愿景，想构建“知识斜坡”，让人类在AI时代有更强认知力。

本文介绍阿里千问最新开源的7B参数量生图模型Qwen-Image-2.1，该模型拿下公开评测开源生图第一，实现文生图与图像编辑一体化，原生支持透明图生成，最多支持10张参考图输入，强化了局部编辑与人像商品保真，轻量且实用性强

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。

腾讯AI Lab等机构研究者首创Parallel - R1框架，通过强化学习让大模型掌握并行思维。它解决了RL训练的冷启动和奖励设计难题，在多数学基准上提升准确率，还揭示模型思维策略变化及并行思维的‘脚手架’作用。

Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。

阿里通义实验室开源MAI - UI，通过端云协同架构等解决GUI智能体部署难题。它全谱系模型设计应对硬件约束，自进化数据管线和在线强化学习提升性能，端云协同平衡隐私与效率，扩展动作空间打破局限，在多基准测试创SOTA。

Qwen团队发布长上下文Reasoning模型QwenLong - L1。当前大模型处理长文本有训练效率低、过程不稳定难题。QwenLong - L1用分阶段强化学习等方法，实验中超越o3 - mini、比肩Claude，还在案例表现出色。