「多模态框架」共找到 2465 篇相关文章
邱锡鹏团队新作：让机器人学会「察言观色」
复旦大学邱锡鹏团队等发布全新操作框架 RoboOmni，突破传统 VLA 依赖显式指令局限。它融合多模态信号，构建数据集，在成功率等方面超基线，以跨模态指令让机器人主动推断意图，开启具身智能‘共情时代’。
太强了 Yan！腾讯打造的全能交互视频生成引擎
腾讯提出的面向交互式视频生成的基础性框架 Yan，集 AAA 级模拟、多模态生成和多粒度编辑于一体，为下一代 AI 内容引擎提供可行路径，但也面临长时视频视觉一致性不足等问题。
ICML 2025 | 给AI装上「智能升级插件」！阿里安全-清华大学D-MoLE让模型在持续学习中动态进化
近日，阿里巴巴集团安全部 - 交互内容安全团队与清华大学联合研究成果被 ICML 2025 收录。他们提出 D - MoLE 框架应对多模态大模型持续学习挑战，实验显示其性能优、训练快，还能用于提升阿里安全审核模型适应力。
只训练数学，却在物理化学生物战胜o1！新强化学习算法带来显著性能提升，还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD，缓解训练崩溃问题，提升性能。还构建多模态强化学习框架，推出MMK12数据集和MM - PRM模型，开源相关成果。
如何将LLM的"思考习惯"迁移到视觉领域？
传统多模态模型处理复杂视觉推理能力不足，OVR团队以Qwen2.5 - VL - 7B为基础构建开源强化学习框架，成果模型OVR在12个基准测试刷新记录，揭示认知行为跨模态迁移三条黄金定律。
全图与切片并非等价？LLaVA-UHD-v3揭示差异推出高效全图建模方案
随着多模态大模型发展，处理高分辨率图像成关键。主流视觉编码范式难兼顾性能与效率，清华和中科院团队发布 LLaVA-UHD v3，提出 PVC 框架，对比 SBE 和 GNE，验证其在提升效率同时保留模型能力。
从「对口型」到「会表演」，刚进化的可灵AI数字人，技术公开了
快手可灵团队让数字人从「对口型」进化到「会表演」，全新数字人功能在可灵平台公测。技术报告Kling - Avatar解析背后技术路径，设计多模态两阶段生成框架，实验显示其在多方面领先竞品。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
昆仑万维多模态视频生成开源，影音图文全统一
昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。
两张图就能重构3D空间？清华&NTU利用生成模型解锁空间智能新范式
ICCV 2025中稿的LangScene-X以全新生成式框架，仅用稀疏视图就能构建可泛化的3D语言嵌入场景。它攻克传统方法痛点，将多模态信息统一在单一模型，为空间智能领域打开新大门。