「预训练范式」共找到 2961 篇相关文章
第二代AI预训练范式：预测下个物理状态
英伟达科学家Jim Fan发布文章《第二代预训练范式》指出，当前以LLM为代表的AI模型基于「对下一词的预测」，在物理世界应用中「水土不服」，第二代范式应是「预测下一个物理状态」，引发机器学习社区讨论。
英伟达Jim Fan：「世界建模」是新一代预训练范式
英伟达机器人主管Jim Fan判断，继“下一个词预测”后，世界建模将成新预训练范式，2026年大世界模型将为多模态AI奠基。他还讨论世界模型定义、应用，展望新推理形式，业内人士也各抒己见。
第二代AI预训练范式：预测下个物理状态
英伟达科学家 Jim Fan 发布《第二代预训练范式》，指出当前以 LLM 为代表的第一代范式应用于物理世界时「水土不服」，认为第二代范式是「预测下一个物理状态」，引发机器学习社区讨论。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
打破「数据暴力」预训练惯性，阿里Qwen、上交大等提出预训练动态数据选择范式OPUS
阿里Qwen、上交大等团队提出预训练动态数据选择范式OPUS，打破“数据暴力”预训练惯性。它将数据选择与优化器更新轨迹对齐，提升预训练效率与下游泛化表现，实验显示其“效率+性能”双提升。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
预训练Token消耗直接腰斩！上海AI Lab&上交大提出全新预训练任务，开源首个8.9B隐空间大模型NCP-ArchPreview
本文介绍上海AI Lab与上海交大团队联合提出全新预训练任务NCP，打破传统逐词预测教条，开源全球首个8.9B规模离散隐空间基座大模型，预训练Token消耗仅需一半，收敛速度提升近一倍，下游性能显著提升，公开全部训练资产供全球研究使用。
Scaling Law再现Agent领域！阿里提出训练新范式：在预训练和后训练之间还需一个Agentic CPT
近年来，大型语言模型向智能体系统进化。但当前主流方法构建智能体不佳，阿里通义实验室团队论文提出智能体持续预训练（Agentic CPT）新范式，开发AgentFounder模型，在多基准测试表现卓越。
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。