搜索：VLM多模态理解能力

「VLM多模态理解能力」共找到 1578 篇相关文章

Meta扩张继续！挖走OpenAI 2名多模态AI研发人员，收购语音初创公司PlayAI

据报道，Meta 首席执行官扎克伯格从 OpenAI 挖走 2 名多模态 AI 研发人员，还完成对语音初创公司 PlayAI 的收购。Meta 近期在 AI 人才争夺上攻势猛，想补足短板，其超级智能团队未来表现值得关注。

北京智源研究院推出多模态世界模型Emu3.5，能原生预测视觉和语言下一状态。用超10万亿token数据预训练，后经强化学习训练。团队提出DiDA提升推理效率，其性能媲美Nano Banana，项目已开源。

麻省理工、英伟达等推出FoundationMotion，它是全自动数据生成流水线，能解决运动数据稀缺难题。通过自动标注生成问答数据，让小模型经微调后在运动理解上超越顶尖闭源模型，还介绍了其数据生成、问答设计等环节。

北航陆峰教授团队联合东京大学，提出视频理解新框架 TSS，引入“状态”作视觉锚点，解决抽象文本指令与具象视频对齐难题，已被 AAAI 2026 接收，代码已开源。

日常文档处理麻烦，现有工具或体积大、算力消耗高，或识别精度不够。IBM 开源轻量多模态文档处理模型 Granite - Docling，仅258M参数，性能超 GPT - 4o，适用于多场景。

北大王选所彭宇新团队在论文中提出TARA方法，引入生物分类学知识与多模态模型中间表征对齐。实验显示，TARA能提升模型层级识别和未知类别识别能力，还可加速训练收敛，计算开销小。

YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。

金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。