「预训练范式」共找到 2901 篇相关文章
从视觉出发统一多模态！颜水成团队最新研究：不再把图像编解码器塞进LLM｜ICLR'2026
NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。
因果发现进入基础模型时代：CDFM 如何从数据中推断因果结构 | GAIR Paper 120
因果发现正从“手工挑选算法”走向“大模型统一零样本推断”范式。广东工业大学等团队提出CDFM，能统一处理多种情况，解决传统方法痛点，在多方面展现良好性能，是因果发现基础模型时代的重要起步。
agent未来落地的收敛形态
当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。
字节跳动开源文档解析大模型Dolphin，告别繁琐的文档处理，上线狂揽1k星，真是绝了！
字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
8块钱跑通一次强化学习全流程，潞晨云重塑微调赛道：1名算法工程师=1支Infra团队
大模型下半场，后训练特别是强化学习成核心战场。潞晨云微调SDK上线，它是国内首个全面开放、且兼容Tinker范式的Serverless微调平台，为强化学习提供低成本解法，在易用性和成本上有优势。
经典之作！Agent无需奖励也能学习：通过“早期经验”的Agent Learning
该论文提出‘早期经验’范式，让智能体通过执行动作、观察结果状态学习，无需外部奖励。它能降低数据依赖，提升泛化与鲁棒性。实验显示，其在多样环境中效果出色，为智能体训练提供新思路。
无VAE扩散模型！ 清华&可灵团队「撞车」谢赛宁团队「RAE」
清华大学智能视觉团队和快手可灵团队联合推出《Latent Diffusion Model without Variational Autoencoder》，提出 SVG 框架，用预训练视觉特征编码器替代传统 VAE，解决了传统「VAE + Diffusion」范式的效率与通用性痛点。
智元机器人发布并开源首个机器人动作序列驱动的世界模型
智元机器人发布并开源全球首个基于机器人动作序列驱动的具身世界模型 EVAC 及具身世界模型评测基准 EWMBench，构建全新开发范式，解决具身智能演进制约，提升策略模型筛选与训练效率。
直面LeCun愿景，智在无界发布最强具身世界模型，20万小时人类视频屠榜6大榜单
智在无界作为人类视频学习路线开创者，4月14日发布第三代旗舰模型Being - H0.7，用20万小时人类视频训练，提出新范式，在6项权威评测中综合排名全球第一，拓展了世界模型能力边界。