「多模态向量检索」共找到 1202 篇相关文章
GAG：超越RAG，无需检索的私有知识注入新范式
在高价值私有场景，主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案，无需检索、固定底座、单Token、即插即用，实验显示效果佳，也指出跨域组合等局限。
理解与生成统一多模态模型：现状与未来 | 直播预约
从GPT - 4o到Gemini，AI实现跨模态联合理解与生成，核心是统一多模态基础模型。但开源社区构建强大统一模型面临挑战。南大等团队梳理超750篇论文分析技术路线，将有直播探讨现状与未来。
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
大涨240%，Doc-Researcher确立多模态文档深度研究新范式
在ChatGPT引领的AI革命中，大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案，构建M4DocBench评测，性能远超现有方案，还适用于多产业场景。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。