算法论文8

字节PCL：大模型训练新突破，推理零开销

量子位2025-08-13

AI 摘要

字节团队提出PCL训练法，打破传统训练推理对称约束。训练时让模型反思评估，推理零开销。还实现强化学习白盒化，融合SFT与GRPO，有望成大模型训练标准做法。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

LeCun团队：LLM - JEPA改造大语言模型

LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。

上海交大等机构团队在ICML 2025提出预测一致性学习（PCL），通过扩散过程消减标签信息，引入噪声标签，将标签学习分解为渐进式任务，实现标签信息复用。在多模态任务实验中，PCL表现优于传统监督学习。

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。

当前大模型效率优化多聚焦降低单位Token计算存储开销，本文解读arXiv新预印论文，针对传统BPE分词的固有局限，提出CNF-MCE分词框架，可大幅提升Token压缩率，开辟大模型效率优化新路径。