「多模态检索」共找到 1147 篇相关文章
Science重磅！新药发现提速千万倍，清华用AI把药物筛选变成向量检索
清华大学团队在《科学》发表DrugCLIP研究，将对比学习引入药物发现，把分子对接转为向量检索，使虚拟筛选速度提升千万倍，还构建全球首个全人类蛋白质组药物筛选数据库。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
国内首篇！融合语言模型的多模态触觉传感器，推动机器人触觉迈向人类水平
清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。
刚刚，Claude 推出记忆功能，比ChatGPT 好用
Anthropic为Claude推出引用过往对话新功能，向部分用户开放，其他用户也将很快获得。它能搜索和引用历史对话，与ChatGPT记忆功能不同，是按需检索，检索原始内容，还能隔离工作与个人内容。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
检索做大，生成做轻：CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中，系统评估RAG语料规模与生成模型规模替代关系。实验表明，语料扩容可让小模型追上大模型，提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
时隔9个月Meta全新模型Muse Spark发布：闭源，原生多模态，一发布就落后？
时隔9个月，Meta推出Muse家族首款大模型Muse Spark，原生多模态推理，但能力表现一般，编程领域落后于opus 4.6和GPT 5.4等。它有沉思模式，致力于成个人超级智能，技术亮点多，性能高效。
减少检索增强生成（RAG）语义缓存中的误报：以银行业为例
文章围绕检索增强生成（RAG）语义缓存展开，指出其虽能提升效率，但设计不当会产生假阳性。以金融服务FAQ系统为例，经多组实验，发现缓存设计比模型优化更能减少假阳性，还给出未来架构路线图。
视觉思维链全新架构，加州大学让多模态大模型有了灵性，整体性能提升5.3%
加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。
上科大何旭明团队新作：克服简单样本偏置，让多模态模型学会「难题优先」
上海科技大学何旭明团队针对多模态模型幻觉问题，提出DA-DPO框架。该方法不依赖额外人工标注，通过动态调整样本权重，缓解简单样本偏置，在降低幻觉率同时提升综合能力，具成本效益。