搜索：视觉生成模型

「视觉生成模型」共找到 8747 篇相关文章

视觉模型既懂语义，又能还原细节，南洋理工&商汤提出棱镜假说

南洋理工与商汤团队提出 Prism Hypothesis（棱镜假说）与 Unified Autoencoding（UAE）。论文指出视觉基础模型中语义理解和像素保真很难兼得，用频率谱统一视角解决冲突，UAE 实验效果良好。

马斯克的xAI入局世界模型开发，对手是Meta和谷歌等。其从英伟达挖专家，目标是开发先进AI系统，还计划明年底前发布AI生成游戏。不过构建世界模型挑战大，游戏行业有人对此谨慎。

这是对Nano Banana核心团队的专访。团队认为图像生成质量提升空间有限，未来关键在模型可表达性和读懂用户意图。还探讨了图像模型发展趋势、应用场景、产品设计、评估方式等，提及与传统工具将长期共存。

港科大（广州）和字节联合推出开源框架ComfyMind，它是通用视觉生成框架，能统一处理主流视觉生成任务。其性能超现有开源方法，媲美GPT - 4o - Image，还介绍了架构、接口等及性能评估情况。

多模态大模型代码能力强，但基础视觉任务常失误。UniPat AI推出极简视觉智能体框架SWE-Vision，让模型用代码弥补视觉短板，在五个主流视觉基准测试达最优。该框架设计独特，开源代码和数据已发布。

4月16日，腾讯正式发布并开源混元3D世界模型2.0（HY - World 2.0）。它是多模态模型，能理解多种输入，自动生成、重建和模拟3D世界，支持多格式3D资产导出，可与游戏工作流对接。

麻省理工、英伟达等推出FoundationMotion，它是全自动数据生成流水线，能解决运动数据稀缺难题。通过自动标注生成问答数据，让小模型经微调后在运动理解上超越顶尖闭源模型，还介绍了其数据生成、问答设计等环节。

音乐生成领域有重大突破，腾讯AI Lab开源高保真音乐生成模型LeVo。它由LeLM和音乐编解码器组成，能解决现有方法在音质、音乐性等方面的局限，实验显示其优于现有方法，功能强大且适用场景多。

OpenAI 2025 年推出的 GPT - 4o 结合图像与语言能力，但引发视觉解码器设计及统一模型训练问题。Alibaba 力作 Ovis - U1 单一模型能完成理解、生成与编辑任务，介绍了其架构、训练过程和应用。

中山大学梁小丹团队提出《ProPhy: Progressive Physical Alignment for Dynamic World Simulation》，通过分层建模和逐步对齐，引入视觉语言模型作监督，解决视频生成模型物理建模问题，提升物理正确性和视频质量。