搜索：理解与生成统一

「理解与生成统一」共找到 3126 篇相关文章

清华联手快手可灵，撞车谢赛宁团队RAE，用SVG再证明VAE已过时

AI图像生成正告别VAE技术。清华与快手可灵联合提出SVG方案绕开VAE，纽约大学谢赛宁团队也提出RAE模型。SVG用自监督特征构建潜空间，在质量、效率和通用性上超传统，证明统一视觉模型可行。

飓风Melissa来临前，DeepMind算法提前5天预言其强度变化。该模型用两类数据训练，能生成多种未来场景，在路径和强度预测上优于传统模型，已被NHC投入实战，但AI不能理解灾难，人类仍需做决策。

国内大模型竞争分资源派、技术派、国家队三阵营，多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型，16款为多模态。其坚持理解生成一体化路线，在多模态领域有优势，还布局多应用场景。

Luma AI推出全新图像模型Uni - 1，对标谷歌Nano Banana Pro和GPT Image 1.5。它是统一图像理解与生成模型，多项评测表现出色。背后是不到15人的华人团队，由DDIM之父和CVPR最佳论文作者带队。

为让模型真正“能行动”，需可执行、可验证的符号世界模型，但现有自动生成路线有困局。研究团队提出 Agent2World，经实验验证有显著效果，能稳定产出高质量符号世界模型，开辟 AI 理解现实环境新可能。

腾讯全新开源Hunyuan3D - Part和Omni。Hunyuan3D - Omni支持多模态输入，统一信号到跨模态架构提升融合鲁棒性。Hunyuan3D - Part含P3 - SAM和X - Part，分别用于部件分割与生成，在对应领域达先进水平。

腾讯发布并开源混元世界模型1.1，是统一的端到端3D重建基座大模型。它支持从多视图或视频一键生成3D世界，单卡秒级推理完成高精度重建，性能达SOTA，还具多特性，打破技术壁垒。

今年图像生成模型迭代快，海外AI初创公司Luma将统一图像模型Uni - 1升级到1.1版并开放API。它在榜单排名前三，价格与延迟低，有诸多品牌客户接入。展示了多场景应用效果，技术路线独特，定价有优势。

清华大学吕帅团队提出FloorPlan-LLaMa模型，采用自回归生成架构与RLHF机制，解决传统平面图自动生成模型‘指标优秀但实际不可用’痛点，提升生成式平面图设计质量与实用价值。该论文被ACL录用获领域主席奖。

过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。