「强化预训练」共找到 2553 篇相关文章
微软开源3大突破AI Agent模型，仅140亿参数超越DeepSeek-R1
微软研究院开源AI Agent推理模型rStar2-Agent，140亿参数在多测试超6710亿参数的DeepSeek-R1。其通过智能体强化学习，在训练基础、算法、流程上有三大突破，显著提升性能且降低算力成本。
The Batch：927｜极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。
清华刘洋团队论文：揭示为何 70B 的医疗模型，反而不如 8B 会问诊丨ILCR 2026
在医疗AI领域，模型静态评测与临床问诊能力存在断层。清华刘洋团队提出DOCTOR - R1，将临床问诊建模为POMDP，用强化学习训练。实验验证了其有效性，对医疗AI发展有深远启示。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。
蚂蚁出手VLA，就是开源超越Pi0.5的基座模型
当前具身智能落地面临泛化能力不足的挑战，蚂蚁灵波开源发布的基座模型 LingBot-VLA 带来突破。它基于大量真实世界数据预训练，在多项真机任务测试中超越 Pi0.5，且在架构、效率等方面有创新。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
模拟大脑功能分化！北大与港中文发布Fast-in-Slow VLA，让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。
刚刚，Dexbotic开源！VLA性能+46%，机器人叠盘子100%成功，统一具身智能底座
Dexmal原力灵机开源的Dexbotic是具身智能VLA模型一站式科研服务平台，可提供基础设施。其预训练模型在多仿真器中提升传统VLA策略，还推出开源硬件DOS - W1，覆盖训练需求，架构有创新。