「预训练策略」共找到 2840 篇相关文章
成本不到8千美元！新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。
L4大方向有了：理想自动驾驶团队，在全球AI顶会上揭幕新范式
在全球计算机视觉学术顶会 ICCV 2025 上，理想汽车自动驾驶高级算法专家詹锟发表演讲，阐述了‘从数据到训练’的系统化思路，提出将世界模型与强化学习闭环落地于量产自动驾驶系统的完整架构。
独家 | 乐聚发布垂域具身模型：一倍工业提效，两项榜单第一
AI科技评论独家获悉，乐聚机器人将推出面向工业场景的“垂域具身智能模型”——KUAVO VLA，该模型用600+小时真机数据进行中训练，能提效且减少适配与训练成本，两项指标排名第一，利好二次开发者。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
告别多奖励跷跷板：Flow-OPD将多教师OPD带入图像生成
中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。
自搜索强化学习SSRL：Agentic RL的Sim2Real时刻
本文由多机构联合完成，引入自搜索强化学习SSRL。它利用结构化prompt和format reward提取模型world knowledge，降低幻觉。还探索Sim2Real有效性，验证SSRL训练模型在真实场景泛化性，且所有训练数据等已开源。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
LeCun世界模型：48倍规划速度，单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型，仅靠两条数学规则，让机器几小时学会物理运转逻辑，动作规划速度超同类48倍。它跳出复杂训练修补怪圈，单卡训练，在多环境测试表现出色，还展现对物理法则的深刻理解。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。