「双视觉编码器架构」共找到 2408 篇相关文章
刚刚，DeepSeek全新多模态技术开源！
DeepSeek联合北大、清华开源多模态技术及论文，提出“视觉基元推理”框架，解决MLLM指代鸿沟问题。基于DeepSeek - V4 - Flash构建的模型，性能比肩GPT - 5.4等。论文还介绍架构、训练流程等。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
DeepSeek-OCR降本增效，10×暴力压缩还能读得清
Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
腾讯重磅开源：端到端文档转换VLM，中英文错误率双料最佳！
腾讯开源端到端文档转换视觉模型POINTS - Reader，可将文档图片转结构化文本。它基于POINTS1.5架构，支持中英文。在OmniDocBench基准上，中英文错误率暂列最佳，具零后处理简单等亮点。
开源即爆火！英伟达重磅推出OmniVinci全模态大模型
英伟达在华盛顿GTC大会开源OmniVinci全模态大语言模型，实现视觉、音频、语言统一理解。它性能超竞品，架构有创新，数据引擎庞大。实验有重要洞察，在多场景表现佳，代表全新AI范式。
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。
SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案
文章介绍轻量级开源视觉 - 语言 - 动作 (VLA) 模型 SmolVLA，专为机器人领域设计，可在消费级硬件运行。它用公开数据集训练，架构经优化，还引入异步推理堆栈，性能超部分大模型，降低研究门槛。
The Batch：927｜极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。