「多模态感知」共找到 1183 篇相关文章
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
清华-腾讯联手：音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
DeepMind发布SIMA 2！打通「感知-推理-行动-反思」闭环
DeepMind推出的SIMA 2，可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力，从指令执行者变为互动伙伴，有强大迁移泛化与自我提升能力，是迈向AGI重要一步，但也面临一些挑战。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
理解与生成统一多模态模型：现状与未来 | 直播预约
从GPT - 4o到Gemini，AI实现跨模态联合理解与生成，核心是统一多模态基础模型。但开源社区构建强大统一模型面临挑战。南大等团队梳理超750篇论文分析技术路线，将有直播探讨现状与未来。
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
150%训练效率提升：感知检测小模型训练优化方法
文章基于业务实践，总结感知检测小模型在不同算力卡上的训练方法，为智能驾驶场景提供借鉴。介绍测试环境、技术架构，分析环境依赖冲突、源代码适配等问题并给出解决方法，还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。