搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

AI 会生成 PPT 之后，Runtime 决定了它能做多好

作者回顾PPT Agent发展，指出存在Agent理解操作文档及AI生成PPT表达单一的问题。提出Artifact Runtime概念，它让PPT可被持续操作，还能接管重复决策，但不能替代专业判断。

现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。

近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。

商汤科技正式发布并开源商汤日日新SenseNova U1系列原生理解生成统一模型，基于NEO - unify架构，实现模态集成向原生统一跨越，其轻量版在多项测试达同量级开源SOTA，还能连续性图文创作。

快手开源多模态Keye-VL 1.5，为8B视频理解大模型，公开3大核心创新技术。靠Slow - Fast视频编码等，在20 + 基准屠榜。它能精确视频定位，实验显示通用、视频理解和数学推理表现佳。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。

近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。

东方理工陈云天等团队在论文中提出让视频扩散模型学习“潜在科学知识”的框架，方法分三步，在流体和台风数据实验中表现超主流方法，展示生成式AI在科学建模的探索。

文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。