搜索：经验驱动训练

「经验驱动训练」共找到 3185 篇相关文章

大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱

CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。

受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。

近期，RAE 提出以「冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。

1月11日马斯克宣布7天内开源X平台推荐算法，如今承诺兑现。新算法由Grok驱动，全AI化，移除人工规则。它双引擎驱动信息流、15种行为预测打分，还揭示过滤机制与设计理念，为创作者提供曝光建议。

谷歌开发者博客展示由大模型驱动的“神经操作系统”研究原型，由Gemini 2.5 Flash - Lite驱动，屏幕由大语言模型即时生成。介绍了实现UI即时生成等的核心技术理念，虽为原型但应用前景好。

中国科学技术大学和上海人工智能实验室等团队，在Qwen2.5和Llama 3模型开展研究，揭示强化学习后训练的Scaling Law，提出幂律公式预测模型学习效率与训练轨迹，成果被ACL 2026接收。

强化学习之父Richard Sutton在演讲中指出，人类数据耗尽，AI正进入“经验时代”，真正的AI要从与世界互动的“经验”中获取数据。他还认为创造超级智能体是好事，人类和AI繁荣应基于“去中心化合作”。

DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。

多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。