「多模态视觉理解模型」共找到 1962 篇相关文章
联合理解生成的关键拼图？腾讯发布X-Omini：强化学习让离散自回归生成方法重焕生机，轻松渲染长文本图像
图像生成领域，自回归与扩散模型技术路线之争不断。腾讯混元团队发布X-Omni模型，通过强化学习提升自回归图像生成质量，能渲染长文本图像。该模型已开源，还构建奖励系统评估生成质量。
字节开源了一个了不得的模型！
字节跳动开源统一多模态基础模型BAGEL，一个模型能同时理解和生成文本、图像、视频。部署测试有亮点但效果不稳定，还分享该模型体验Demo、地址及安装使用教程。
「一只手有几根手指」，你的GPT-5答对了吗？
CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。
GPT-4o-Image仅完成28.9%任务！上海AI实验室等发布图像编辑新基准，360道人类专家严选难题
上海人工智能实验室等团队针对图像编辑AI提出问题，推出RISE任务及配套评测基准RISEBench。测试九个视觉编辑模型，结果显示当前模型完成复杂指令能力欠缺，闭源与开源差距大。
纯靠“脑补”图像，大模型推理准确率狂飙80%丨剑桥谷歌新研究
剑桥、伦敦大学学院和谷歌团队推出基于强化学习的视觉规划（VPRL）新范式，纯靠图像推理。新框架利用GRPO后训练，准确率达80%，超文本推理至少40%，代码已开源。
上手“设计界的Manus”，朱啸虎点赞，Lovart这波魔法破圈了丨TIP 002
国产出海产品Lovart被称为“设计界的Manus”，获朱啸虎点赞。它是设计领域首个Agent，能用自然语言驱动生成多模态视觉作品，可生成VI体系、短片等，适合文创领域，还能人工编辑，调用多模型。
腾讯发布WeKnora知识库，无缝链接微信生态
微信团队推出基于大模型的文档理解检索框架WeKnora，应用于复杂异构文档场景。它采用多模态预处理等设计，有文档解析、意图识别等特点，可本地私有化，还能与微信生态无缝衔接。
上海AI实验室发布 Intern Lumina U2：全离散扩散建模，让模型既能“看懂”也能“生成”
上海人工智能实验室发布新一代多模态统一模型 Intern Lumina U2，基于全离散扩散建模路线，支持多任务，适配两大硬件生态，在昇腾千卡级集群训练效率提升 1.85 倍，性能优异且将开放资源。
5B参数+4060Ti，10秒出图，全流程开源可复现！补齐统一多模态生成编辑的开源版图，让高质量图像生成真正变得更轻量、更普及
近日，多机构联合发布统一多模态生成编辑模型DeepGen 1.0，仅5B参数，集成五大能力，4060ti 16G上10秒出图，多项指标超大4倍工业级模型。团队开源全流程代码与数据，可从零复现。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。