搜索：统一多模态生成编辑模型

「统一多模态生成编辑模型」共找到 3193 篇相关文章

ICLR 2025新成果：文档检索“降本增效”，从此“开挂”

传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

一支不到15人的华人团队推出AI生图模型Uni-1.1，在Arena.ai榜单冲进全球前三。它将推理和生成融入同一模型，创意可控，价格低，已获阿迪等企业认可，未来将拓展到多模态系统。

Odyssey公司推出世界模型Agora - 1，驱动网页版多人FPS游戏，无游戏引擎等，画面实时生成。该公司专注通用世界模型，此前业务转向主动交互，此成果解决多人游戏一致性难题，还发布多模态模型Starchild - 1。

港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。

商汤新开源的 8B 多模态模型 SenseNova U1，架构独特，图像评测表现好，信息图生成能力强、延迟低。它具备图文交错能力，适合自媒体、敏感行业等，有在线体验和开源代码入口。

复旦、创智联合推出RSAgent，让多模态大模型通过多轮工具调用生成准确掩码，解决视觉分割难题。该工作入选ICML 2026，实验显示其在多个测试集上表现领先，还展示了从‘看图问答’到‘视觉行动’的路径。

CVPR 2025落下帷幕，中国企业参与规模创纪录，腾讯40+篇接收论文亮眼。多模态、3D生成是热门方向，高斯泼溅技术成亮点。企业探讨主题拓展至产业应用，腾讯投入大，借顶会展示实力、吸引人才。

文章认为2026年多模态技术将有大发展，世界模型轮廓渐清。文中对比语言、视频生成模型，指出世界模型优势，分析实时视频与3D结构化两条路线，介绍不同公司产品并以四象限框架分类。

文章从工程师视角剖析现代搜索，指出传统搜索难适应多模态内容世界。快手推出 UniDex 和 UniSearch，前者变革搜索倒排，后者为统一生成式搜索架构，二者成快手新一代工业搜索‘双引擎’，有广阔应用前景。