搜索：经验驱动训练

「经验驱动训练」共找到 3124 篇相关文章

DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了

DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。

CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。

受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。

近期，RAE 提出以「冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。

1月11日马斯克宣布7天内开源X平台推荐算法，如今承诺兑现。新算法由Grok驱动，全AI化，移除人工规则。它双引擎驱动信息流、15种行为预测打分，还揭示过滤机制与设计理念，为创作者提供曝光建议。

谷歌开发者博客展示由大模型驱动的“神经操作系统”研究原型，由Gemini 2.5 Flash - Lite驱动，屏幕由大语言模型即时生成。介绍了实现UI即时生成等的核心技术理念，虽为原型但应用前景好。

中国科学技术大学和上海人工智能实验室等团队，在Qwen2.5和Llama 3模型开展研究，揭示强化学习后训练的Scaling Law，提出幂律公式预测模型学习效率与训练轨迹，成果被ACL 2026接收。

强化学习之父Richard Sutton在演讲中指出，人类数据耗尽，AI正进入“经验时代”，真正的AI要从与世界互动的“经验”中获取数据。他还认为创造超级智能体是好事，人类和AI繁荣应基于“去中心化合作”。