「预训练范式」共找到 2961 篇相关文章
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高，降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知，揭示FP4训练不稳定源于结构性微缩放误差，非随机性不足，还在原生FP4硬件完成大模型预训练。
OpenClaw 之后，Agentic RL有了新训练范式
大模型技术推动AI从‘回答问题’迈向‘执行任务’，Agentic AI兴起。中国科大认知智能全国重点实验室提出Claw - R1项目，将前沿Agent Runtime与强化学习训练框架结合，为Agentic AI提供新训练基础设施。
AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式
在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。
NeurIPS 25 | GRPO进阶版来了，GVPO重构大模型后训练范式
大模型后训练越发关键，GRPO 有缺陷。作业帮与香港科技大学（广州）团队在 NeurIPS 2025 提出 GVPO 方法，解决 GRPO 稳定性难题，理论有最优解保证，实验表现超现有方法。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
2篇最新Anthropic论文，揭开LLM对齐新范式
Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。
奖励模型也能Scaling！上海AI Lab突破强化学习短板，提出策略判别学习新范式
上海人工智能实验室提出策略判别学习（POLAR）新范式，解决奖励模型设计与训练瓶颈。POLAR可灵活适配多样需求，弥补传统奖励模型短板，契合强化微调框架，实验证明其性能和泛化性优越。