「多模态视频推荐」共找到 2088 篇相关文章
打破具身世界模型可执行性鸿沟 ！港中深-跨维智能团队提出EVA框架，用强化学习让视频世界模型真正“动”起来
近期，利用视频生成模型为机器人构建“世界模型”成热门路线，但存在“可执行性鸿沟”。港中深 - 跨维智能团队提出 EVA 框架，用强化学习优化视频生成，实验显示其能提升视觉规划、仿真任务成功率及真实部署稳定性，还有数据合成潜力。
MIDAS：快手可灵发布实时交互式数字人生成框架
近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。
一个模型统一4D世界生成与重建，港科大One4D框架来了
港科大研究团队提出 One4D 框架，可统一 4D 生成与重建，构造同步输出多模态的视频扩散模型，支持多种任务形态。其有 DLC、UMC 等亮点，用合成与真实数据混合策略训练，实验表现佳。
对话灵感实验室：全帧率 VLM、低成本与分层部署，业务现场不止需要炫技模型
InfoQ对话格灵深瞳灵感实验室，探讨多模态大模型下视频理解问题。指出传统视频模型抽帧处理浪费算力和信息，介绍LLaVA - OneVision - 2.0突破长视频理解瓶颈，还提及“视觉智能工坊”助力业务落地。
视频字幕处理开源神器
卡卡字幕助手（VideoCaptioner）操作简单，无需高配置，支持 API 和本地离线语音识别，利用大语言模型处理字幕。它支持多平台视频下载处理，有专业语音识别引擎，能智能纠错、高质量翻译、调整字幕样式。
工具增强的多模态LLM综述
多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
字节推出全新视频换装框架DreamVVT
视频虚拟试穿技术受关注，但现有方法有局限。字节推出DreamVVT框架，基于扩散变换器，分两阶段试穿，能应对多种复杂场景，不过也存在依赖遮罩、复杂动作表现不稳定等问题。
刚刚微软开源视频录制技能skill-recorder
微软开源视频录制技能 Skill Recorder，能将用户完成任务的过程转化为 AI 智能体可重复执行的技能。它捕获屏幕工作会话，用 GitHub Copilot CLI 重构操作，生成可复用内容，支持多平台。