搜索：双视觉编码器架构

「双视觉编码器架构」共找到 2408 篇相关文章

别再乱调图像塔了！浙大 IJCAI 论文揭露 VLM 非对称性真相，给 CLIP 微调「踩刹车」

浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。

LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。

Dexmal原力灵机推出基于PyTorch的开源视觉-语言-动作模型（VLA）代码库Dexbotic，面向具身智能研究者。其架构含三大核心组件，有五大特征，还推出开源硬件，未来将持续投入生态建设。

当下视觉生成中，开源模型在逻辑推理生成任务上频频翻车，与闭源模型有差距。浙大与阿里团队提出Unified Thinker，将思考与执行解耦，构建数据集、采用创新算法，实验显示其有效提升逻辑执行准确度。

自变量机器人发布全球首个世界统一模型架构的具身智能基础模型WALL - B，它打通视觉、听觉等模块，让机器人理解物理世界。还让机器人拥有多能力，通过真实家庭数据形成数据飞轮，助力其融入家庭。

天下苦机器人看不清透明和反光物体久矣，问题出在深度相机。蚂蚁集团具身智能公司蚂蚁灵波开源深度视觉模型LingBot - Depth，无需换硬件，用创新算法和大量数据提升性能，还将开源数据集。

DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。

图像超分辨率技术在多种视觉任务中重要，但传统方法泛化能力有限。德克萨斯A&M等大学研究人员推出4K Agent，其多智能体架构能将低分辨率图像提至4K高清，在多领域测试表现出色。

全景深度估计在3D视觉领域日益受关注，但因全景数据稀缺、球面畸变问题，以往方法零样本泛化和效率不佳。腾讯混元3D团队提出DA²，通过数据扩充引擎和SphereViT架构，提升性能，展现SOTA表现。

当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。