「VLM」共找到 69 篇相关文章
真实场景也能批量造「险」！VLM+扩散模型打造真实域自动驾驶极限测试
浙江大学与哈工大（深圳）联合推出SafeMVDrive，将VLM关键车辆选择器与两阶段轨迹生成结合，可在真实域批量制造高保真安全关键视频，用于端到端自动驾驶系统安全性测试。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
实测爆火的阶跃星辰Step 3，性能SOTA，开源多模态推理之王
在 WAIC 2025 前一天，阶跃星辰推出新一代基座模型 Step 3，它是开源 VLM 新晋之王，性能超同类别开源模型，与顶尖闭源 VLM 也有一战之力。该模型具备多开好省特点，还展示了宏大技术生态与商业化布局。
大模型外挂“三维物体知识库”来了，大幅增强机器人长程自主操作能力
现有视觉语言大模型（VLM）能让机器人理解指令，但在操作中缺三维空间知识。近日研究提出 RAM 框架，它像“三维物体知识库”，为 VLM 补充空间知识，经 14 项实验验证其操作能力，还探索了在铰接与柔性物体操作中的应用。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
别再乱调图像塔了！浙大 IJCAI 论文揭露 VLM 非对称性真相，给 CLIP 微调「踩刹车」
浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。
多模态推理最高加速3.2倍！华为诺亚新算法入选NeurIPS 2025
华为诺亚方舟实验室研究入选NeurIPS 2025，其提出视觉感知投机推理（ViSpec）框架，解决草稿模型处理图像信息效率难题，在不牺牲生成质量下，对主流VLM最高达3.22倍推理加速。
最强开源VLM“华山论剑”丨多模态专场直播
近期Intern - S1等多模态大模型开源，引发热烈讨论。本周四OpenMMLab等发起AI Insight多模态专场，邀请模型核心研发者分享，涵盖模型设计思路、实践经验等，还有圆桌对谈。
从 VLM 到 VLA，智驾距离跨过「L2.9999」还有多远？
2025 年上半年，国内智驾安全受关注，浮夸宣传行不通。文章探讨厂商智驾宣传卡「L2.9999」玄机、端到端成主流原因等，分析了 L2 与 L3 区别及事故责任界定，还提及车企应对策略。
腾讯重磅开源：端到端文档转换VLM，中英文错误率双料最佳！
腾讯开源端到端文档转换视觉模型POINTS - Reader，可将文档图片转结构化文本。它基于POINTS1.5架构，支持中英文。在OmniDocBench基准上，中英文错误率暂列最佳，具零后处理简单等亮点。