「预训练研究」共找到 3691 篇相关文章
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
谢赛宁REPA得到大幅改进，只需不到4行代码
Adobe Research等团队对REPA展开研究，发现驱动目标表征生成性能的是空间结构而非全局性能。基于此构建iREPA，代码不到4行，能提升REPA收敛速度，在多方面表现出色。
Andrej Karpathy回应强化学习之父Sutton最新观点「LLM是“死路一条”」
图灵奖获得者、强化学习之父Richard Sutton认为当前热门的大语言模型是“死路一条”，因其缺乏从实际互动中学习的能力。AI大神Andrej Karpathy认同其批评，认为当前LLM是向现实妥协的产物，还提出了“幽灵”比喻。
最好的 DeepResearch 平替开源了
ROMA是元代理框架，以递归分层结构解决复杂问题，有并行问题解决、透明开发等优势。它通过计划 - 执行循环处理任务，介绍了安装选项、技术栈，还有预构建代理展示功能。
Meta联合Google新作：语言模型到底“记”了多少东西？
Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量，发现模型记忆有上限且与参数线性相关，还揭示学习转折、隐私规律等重要结论。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。
在ICLR 2026主会之前，我们和30多位入选者聊了聊最前沿的AI细节
4月14日，智源社区、DeepTech联合举办ICLR 2026预讲会。会议聚焦顶会核心精华，三十余位论文作者分享AI Agent、大语言模型等热门领域成果，展示解决大模型痛点的研究。
速度提升，能力却暴跌？扩散模型做智能体的残酷真相
南洋理工大学陶大程教授团队联合发布评测报告，揭示扩散语言模型在智能体能力上有系统性缺陷，落后自回归模型。还分析其失败原因，提出评测框架，明确能力边界并给出研究建议。
揭秘！RLVR/GRPO中那些长期被忽略的关键缺陷
近年来大模型任务突破离不开RLVR关键技术，许多RLVR方法会进行组内优势估计，北航等最新工作揭示其存在系统性偏差，困难题优势被低估，简单题被高估。这会影响训练，论文提出校正算法。
JustGRPO：扩散语言模型的极简主义回归
本文提出回归极简的方法 JustGRPO，在 RL 阶段让模型自回归生成，用标准 GRPO 训练，能超越各类针对 dLLM 设计的 RL 算法表现，提升推理表现同时保留并行解码能力。