「多模态统一建模」共找到 1461 篇相关文章
ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。
比NotebookLM更好的「开源播客」，可根据多模态内容生成30分钟以上播客音频。
Podcastfy是开源Python工具，能把文本、图片等多模态内容，借生成式AI转化为播客。它支持自定义，适配多种语言和文本转语音模型，能生成2 - 5分钟或30分钟以上的播客，使用体验比NotebookLM好。
海外华人15人团队打造，统一理解与生成的图像模型，超越Nano banana登顶图像编辑
海外AI初创公司Luma发布图像生成模型Uni-1，将「理解」与「生成」统一，在多任务测试中表现优于GPT Image 1.5和Google Nano Banana Pro。它采用独特架构，提升理解能力，由华人团队打造。
不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？
文章指出企业训练多模态助手，30B 参数的开源多模态模型如 Qwen-VL-30B 是不错选择，但多模态场景下显存需求大。联想 ThinkStation PGX 解决了显存难题，还介绍其性能、优势、适用场景及服务等。
具身智能学界业界思想「惊人的统一」？美团在IROS开了个学术年会
美团在IROS举办学术年会，展示了在具身智能与零售服务结合方面的愿景与成果，如无人机配送初具规模。多位学界和业界大咖参会并发表见解，对具身智能发展方向观点惊人统一。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
刚刚，智谱和华为搞波大的：中国首个国产芯片训练出的SOTA多模态模型！
智谱与华为合作开源新一代图像生成模型GLM-Image，是中国首个全程用国产芯片训练的SOTA多模态模型，擅长文字渲染，拿下多项榜单第一，API调用一张图只要0.1元，还解析了其技术架构。
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。
谷歌太壕了！编程Agent大招至简：开源且免费，百万上下文、多模态、MCP全支持
谷歌开源免费的编程Agent Gemini CLI，提供业界最高免费限额，能在终端访问Gemini。其能力多样，涵盖代码理解等，支持百万上下文、多模态和MCP，开源协议为Apache 2.0，还给出安装和使用指引。