算法论文8

字节PCL：大模型训练新突破，推理零开销

量子位2025-08-13

AI 摘要

字节团队提出PCL训练法，打破传统训练推理对称约束。训练时让模型反思评估，推理零开销。还实现强化学习白盒化，融合SFT与GRPO，有望成大模型训练标准做法。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

LeCun团队：LLM - JEPA改造大语言模型

LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。

上海交大等机构团队在ICML 2025提出预测一致性学习（PCL），通过扩散过程消减标签信息，引入噪声标签，将标签学习分解为渐进式任务，实现标签信息复用。在多模态任务实验中，PCL表现优于传统监督学习。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。