「多模态支持」共找到 1362 篇相关文章
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
AI 如何讲好一个多人故事？首个支持多角色互动的3D场景叙事系统
首尔国立大学提出全新框架，能生成虚拟动态场景并支持多角色上下文动作生成。引入LLM拆解复杂任务，系统用事件驱动方式规划动作，还构建基准评估相关能力，有良好扩展性和实用性。
架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。
当微信支付开放MCP之后，我却有一点后怕。
微信开放微信支付MCP，补上智能体链路支付短板，使用门槛低。作者分享体验，做了多个案例，如一周健康餐智能体。但全量开放或带来风险，如AI自主完成灰产闭环、AI骗AI钱等。
终于开源升级OmniGen2，统一多模态图像生成模型，真的惊艳。
OmniGen2是强大的开源统一多模态图像生成模型，针对文本和图像模态构建独立解码路径，运用未共享参数。新架构提升处理效率和质量，在图像编辑等任务表现出色，还有多技术特点。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。