搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

交互式世界模型来了：不止理解世界，更要改造世界

8月17日，智象未来发布交互式世界模型HiDream - O1 - World，定位为全球首款原生全模态交互式世界模型。它提供漫游和编辑两种交互方式，在WBench测试中成绩优异，但开放场景表现待验证。其采用独特生成方式，有广阔应用前景。

英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。

OpenAI、Anthropic、Google等公司签署欧盟《AI生成内容透明度行为准则》，承诺推进AI生成内容标记与检测。Claude已公布落实方案，文本水印早有先例，但「水印」可信度遭质疑。

今天上午腾讯发布混元图像2.0，以“更智能、更开放、更中国”为理念。其参数规模提升，推理时间大幅压缩，实现毫秒级实时生成，还在画面质量等方面升级，新增实时绘画板功能。

北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。

上海交通大学提出SceneGen框架，可从单张场景图像及其对应目标掩码中，同时生成带有几何结构与纹理的多个3D资产。它一次前向传播即可完成生成，在效率与稳健性上优于现有方法，虽有局限但应用潜力大。

自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。

国内多模态AI发展中，模型层火热但应用层落地慢。多模态应用落地面临体验升级、视频化扩展、大模型部署下沉挑战，催生智能视频云升级需求。火山引擎在FORCE大会展示分布式多媒体处理实践，推出MIPP平台，未来将开源并推商业化产品。

现有音频驱动人体动画方法多聚焦单人，处理多音频流能力弱、指令跟随有局限。中山大学提出多人对话视频生成新框架MultiTalk，介绍了技术原理，演示效果显示其指令跟随能力强、伪影少。

智谱创始人唐杰透露原生多模态模型数月内上线。智谱上市后股价涨幅大，但多模态是短板。唐杰还判断今年AI最可能在长时程任务突破，阐述技术支柱、自我进化等观点，称将重塑各行业。