搜索：多模态视频生成

「多模态视频生成」共找到 3291 篇相关文章

工具增强的多模态LLM综述

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。

基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。

视频虚拟试穿技术受关注，但现有方法有局限。字节推出DreamVVT框架，基于扩散变换器，分两阶段试穿，能应对多种复杂场景，不过也存在依赖遮罩、复杂动作表现不稳定等问题。

该项目可自动从Reddit AI相关社区生成双语趋势报告。具备实时监控、多社区分析等功能，有详细趋势分析。介绍了安装设置、使用方法、创建仓库、自定义配置等内容，助用户掌握AI领域发展。

今年2月，美国阿拉巴马州州长签署行政命令推动生成式AI在州政府大面积应用，并发布深度应用报告。报告涵盖应用现状、伦理风险与策略、数据管理、政策治理等方面，为生成式AI在政府应用提供指引。

在2025秒哒创造者大会上可知，“三无”AI生成应用已诞生50万个商业应用，覆盖200多个细分领域。如“荣堂古村数字博物馆”等，它们变现能力强。秒哒是相关工具，操作简单，技术体系完整。

阿里Qwen3迎来一大波更新，涵盖多个模型。如Qwen3-Max在代码与智能体表现卓越；Qwen3-VL是强大视觉语言模型；Qwen3-Omni是全模态模型；还有图像编辑、同传、安全防护等模型及旅行规划师等应用。

深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。

InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。