「预训练时代」共找到 3275 篇相关文章
抗干扰能力提升近40% ！无需对抗训练，北航上海AI Lab新蒸馏方法提升模型鲁棒性 | ICML 2025
在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。
1.5B推理模型新SOTA，RL训练新解法打破「简单题过拟合、难题学不动」的魔咒
QuestA通过在训练中注入解题提示，实现两项成果：在1.5B模型上实现Pass@1的SOTA性能，还提升了Pass@k性能。它解决了RL训练中简单与困难任务的权衡问题，为开发强推理模型打开大门。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦
香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。
Agentic RL训练：它不是单一 RL 算 法，而是一整套环境建模、学习信号、异步数据流、策略优化和基础设施的协同系统
文章指出Agentic RL训练不是单一算法，而是协同系统。它与传统RL不同，有四个训练变化。理解它要围绕三个不变量，还从环境建模等八个方面阐述，强调其竞争在于环境、信号、分布与系统的协同闭环。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
LeCun发布最新世界模型：首次实现16秒连贯场景预测，具身智能掌握第一视角！还打脸用了VAE
LeCun团队推出PEVA模型，让具身智能体学会人类“预判能力”，首次实现16秒连贯场景预测。它结合结构化动作表示与条件扩散Transformer，用真实数据训练，解决长时序问题，还能筛选最优动作。
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
Nous Research推出Psyche Network，可整合全球算力训练AI。它基于Deepseek的V3 MLA架构，有DisTrO优化器等技术，能让个人和小团体创建大规模模型，还实现40B参数LLM预训练。
1万4颗星！机械臂可以接大模型了！面向真实世界机器人的尖端人工智能LeRobot
LeRobot 为 PyTorch 中真实世界机器人提供模型、数据集和工具，降低入门门槛。包含尖端方法，已提供预训练模型等，未来将增加真实机器人支持，文中还介绍其安装、使用等内容。
The Batch：927｜极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。