搜索：视觉语言预训练

「视觉语言预训练」共找到 3299 篇相关文章

舍弃 VAE，预训练语义编码器能让 Diffusion 走得更远吗？

纽约大学谢赛宁团队、清华&快手 Kling 团队的研究者指出 VAE 制约当前 Diffusion 范式，提出用预训练视觉模型作语义编码器改进。介绍了 VAE 不足及 RAE、SVG 工作如何解决问题，将扩散模型从‘压缩优先’转为‘语义优先’。

消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。

2025年底大模型“年终决战”，Gemini 3强势突围。其预训练负责人Sebastian Borgeaud指出，谷歌转向“做系统”，AI进入“数据有限”阶段，合成数据等构成未来进化路径，还分享了预训练热点与挑战。

腾讯混元团队发布RLPT，是在预训练数据上应用强化学习的方法，可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力，无需人工标注，在Qwen3 - 4B - Base模型实验中性能显著提升。

文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。

本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。

在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。

英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。

树根科技与三一集团团队联合提出 GIPO 算法，在机器人操控及大语言/视觉动作模型强化学习训练中，缓解了策略滞后痛点，改善了 PPO 硬截断引发的‘利用率崩溃’问题。介绍了 GIPO 算法原理、优势及实验结果。

腾讯开源Penguin - VL，直接用纯文本LLM训视觉编码器，跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强，训练分三阶段，相关代码、模型等已开放。