搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

天工Skywork开始"看"小红书了，1247个帖子的图片信息被它吃透！

昆仑万维技术发布周推出Skywork Deep Research Agent v2。它整合多模态检索理解和跨模态生成能力，有信息检索、小红书Agent等功能，Office Agent也有升级，还新增积分预估等特性，邀测后将全量开放。

文章介绍快手多模态大模型 Keye-VL 1.5，参数 8B 适合中小企业。它侧重短视频场景，视频理解能力强，能与业务结合，提升推荐等场景效率。还详述其架构、预训练、后训练及训练架构优化等技术细节。

飓风Melissa来临前，DeepMind算法提前5天预言其强度变化。该模型用两类数据训练，能生成多种未来场景，在路径和强度预测上优于传统模型，已被NHC投入实战，但AI不能理解灾难，人类仍需做决策。

Seedance 2.5升级，3D导演台自带图片生成白模功能、打通3D工作流；有片段重拍实用功能；小云雀升级角色资产能力。除素材增加，其更理解原视频创意逻辑，还有多模态参考等功能，降低创作门槛。

谷歌Nano Banana模型刷屏，其项目负责人等揭秘技术。它有场景一致性、文本渲染等特性，团队用文本渲染能力作评估指标，还靠原生多模态、交错式生成等技术，结合用户反馈实现多方面进步，图像模型做PPT尚处起步。

为让模型真正“能行动”，需可执行、可验证的符号世界模型，但现有自动生成路线有困局。研究团队提出 Agent2World，经实验验证有显著效果，能稳定产出高质量符号世界模型，开辟 AI 理解现实环境新可能。

腾讯全新开源Hunyuan3D - Part和Omni。Hunyuan3D - Omni支持多模态输入，统一信号到跨模态架构提升融合鲁棒性。Hunyuan3D - Part含P3 - SAM和X - Part，分别用于部件分割与生成，在对应领域达先进水平。

清华大学吕帅团队提出FloorPlan-LLaMa模型，采用自回归生成架构与RLHF机制，解决传统平面图自动生成模型‘指标优秀但实际不可用’痛点，提升生成式平面图设计质量与实用价值。该论文被ACL录用获领域主席奖。

过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。

清华大学TSAIL实验室与生数科技开源视频生成加速框架TurboDiffusion，引发全球AI社区热议。它能在几乎不影响生成质量的前提下，让视频生成速度飙升100 - 200倍，将AI视频带入实时生成时代。