「预训练语言模型」共找到 8240 篇相关文章
RL成本降幅超90%！Meta提出Agent训练新范式DreamGym
传统强化学习（RL）训练LLM Agent面临成本高、任务多样性不足等挑战。Meta团队提出DreamGym框架，以经验合成为核心，通过三大组件协同工作，在多种任务和模型上提升性能，为通用Agent训练开辟新路径。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
只训练数学，却在物理化学生物战胜o1！新强化学习算法带来显著性能提升，还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD，缓解训练崩溃问题，提升性能。还构建多模态强化学习框架，推出MMK12数据集和MM - PRM模型，开源相关成果。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
Grok最新模型吃上Cursor「加餐」，马斯克：Coding实现巨大改进
马斯克在X上透露，xAI的Grok基础模型V9 - Medium（1.5T）完成训练，预计2 - 3周后发布，训练加入大量Cursor数据。同时，xAI的AI编程代理工具Grok Build进入早期Beta测试阶段。
智能必须基于世界模型？我们和蚂蚁灵波团队聊了聊
上周图灵奖得主 Yann LeCun 认为真正的智能应能在脑海推演，而大语言模型难以触及真实世界。2026 年初，蚂蚁灵波连续四天开源四款具身智能模型，探索从物理交互构建智能的新路径。
开源中小模型+Skills也性能暴增！卢森堡大学探索了小模型驾驭Skills的边界
卢森堡大学等研究探索小模型驾驭Skills的边界。工业界因数据安全渴望开源小模型，智能体Skills框架让小模型性能暴增。研究拆解小模型处理复杂任务的方法，还验证不同策略有效性，发现代码专用模型优势。
告别「利用率崩溃」：GIPO开启大模型强化学习高效训练新方法 | ICML 2026
树根科技与三一集团团队联合提出 GIPO 算法，在机器人操控及大语言/视觉动作模型强化学习训练中，缓解了策略滞后痛点，改善了 PPO 硬截断引发的‘利用率崩溃’问题。介绍了 GIPO 算法原理、优势及实验结果。
刚刚，OpenAI内部推理模型斩获IOI 2025金牌！所有AI选手中第一
OpenAI内部推理模型获IOI 2025金牌，总排名第6、AI组第1，沿用IMO金牌版本且未专门训练。商业模型在IOI表现不足，Grok 4相对领先。巨头热衷竞赛，源于竞争、技术迭代及多方利益考量。
DeepSeek 新模型 R1-0528 悄悄开源，与o3 相当，实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528，基于DeepSeek-V3-0324模型，架构和训练方法有改进，性能与o3相当，实测表现不错。