搜索：多模态图像生成

「多模态图像生成」共找到 3041 篇相关文章

Qwen新开源，把AI生图里的文字SOTA拉爆了

通义模型家族新开源图像生成模型Qwen - Image，是通义千问系列首个图像生成基础模型。实测其对提示词理解到位，文字渲染高保真。它具备复杂文本渲染、一致性图像编辑能力，在多基准测试达SOTA。

随着文本领域思维链推理机制成功应用，研究者将其引入视觉理解任务。现有模型有局限，本文提出UV - CoT新框架，设计无监督数据生成与偏好优化机制，提升模型能力，摆脱对人工标注依赖。

文章深度解析生成式AI行业，介绍其宏观图景、商业运作、行业定位与战略考量。指出行业价值链呈“杠铃”形态，应用层机会大，还提及盈利模式、岗位薪酬、开源闭源之争等，为从业者提供职业指南。

在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。

大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。

来自清华、阿里等的团队推出S² - Guidance方法，通过随机丢弃网络模块动态构建子网络实现自我修正。它避免了其他方法繁琐调参，在文生图和文生视频任务中显著提升生成质量与连贯性，且计算高效。

4月16日，腾讯正式发布并开源混元3D世界模型2.0（HY - World 2.0）。它是多模态模型，能理解多种输入，自动生成、重建和模拟3D世界，支持多格式3D资产导出，可与游戏工作流对接。

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。

去年Sora等模型革新视频生成领域，相机可控的视频生成技术是构建世界模型核心。但从单视角生成极端视角视频是难题，PICO - MR团队提出EX - 4D，能从单目视频生成新视角视频，多方面表现出色。

李飞飞创办的 World Labs 发布新一代世界模型 Atlas，称其为‘全球首个多模态世界模型’。它从零训练，能同时完成视频生成、3D 重建和时空模拟，已向少数伙伴开放测试，未来将成 Marble 底层模型。