「冻结编码器」共找到 80 篇相关文章
腾讯纯文本LLM训视觉encoder，拿捏图表长视频，达到开源小模型SOTA！
腾讯开源Penguin - VL，直接用纯文本LLM训视觉编码器，跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强，训练分三阶段，相关代码、模型等已开放。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
清华&Qwen最新论文实证： VLM 智商与机器人操控能力“零相关”
清华和 Qwen 最新论文《VLM4VLA: Revisiting Vision - Language Models in Vision - Language - Action Models》测试 24 个 VLM 模型，构建极简 VLM4VLA 测试，发现 VLM 通用能力与机器人操控能力‘零相关’，还揭示视觉编码器短板。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
Apple | 开源视觉语言模型：FastVLM，可手机运行，首token速度提升 85 倍
苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM，代码仓库含 iOS/macOS 演示应用。它解决体积和速度问题，首 token 输出速度提升 85 倍，引入 FastViTHD 编码器，适配 iOS/Mac 生态，有不同参数量级版本。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。
真可用！美团数字人模型开源，MV、电商等统统拿下
美团开源数字人视频生成框架 LongCat - Video - Avatar 1.5 版本，换音频编码器、加速推理，支持多任务与多场景。经770人评测，它在多维度领先对手，各方面表现均衡，效率与质量兼得。