「多模态训练」共找到 2826 篇相关文章
破局大模型训练黑盒，MegatronApp开源实现万亿参数「可视可控」训练
在2025上海QCon大会上，算秩未来赵伯罕博士指出万亿级大模型训练困境。上海期智研究院和算秩未来联合研发MegatronApp，以低入侵方式补齐链路，其四个模块形成闭环，让训练从黑盒变白盒，项目已开源。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
后训练中的RL已死？MIT新算法挑战传统后训练思维，谢赛宁转发
MIT研究人员提出RandOpt新算法，挑战传统后训练思维。该算法通过随机扰动和集成突破限制，在多任务中表现出色，揭示了预训练模型权重空间的“神经丛林”现象，引发AI社区关注。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。
总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。