搜索：多模态向量检索

「多模态向量检索」共找到 1204 篇相关文章

大模型被确诊「视觉文盲」！多校联合提出MILO，为它植入空间想象力

空间推理是多模态大语言模型（MLLMs）应用关键挑战，当前‘语言描述式调优’让模型成‘视觉文盲’。多校联合提出MILO范式，结合视觉生成反馈与语言调优，还构建GeoGen数据集，经五大任务验证其有效。

英伟达CEO黄仁勋在GTC大会展示LabOS，这是全球首个融合AI与XR的协研科学家平台。它将多模态感知等技术融合，构建端到端闭环，还通过三大生物医学案例展示功能，开启人机协同科研新纪元。

11月4日，昆仑万维发布全新SkyReels，定位“一站式、零门槛多模态AI创意平台”。它有无限画布、智能副驾、AI视频模板三大革新，重构创作流程。其技术进化快，还加入平面设计功能，有望撬动更大应用市场。

弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。

全世界等了2年，GPT - 5正式发布，面向所有人免费开放。它在AIME 2025取得优异成绩，编程等方面全面提升，集成多模态和推理能力，还推出多种使用模式和API模型，不过也遭马斯克等质疑。

来自多家机构团队发布 Agent KB 框架，构建经验池实现 AI Agent 经验共享。在 GAIA 基准测试中表现出色，提升多模型 Pass@1 性能，还在软件工程领域展现价值。其设计精妙，经消融、检索策略等实验验证有效。

上海交通大学人工智能学院等联合发布全球首个罕见病推理型智能体诊断系统DeepRare。它结合大模型和多智能体架构，模拟医生诊断思维，支持多模态输入，在多数据集评估中表现出色，已上线在线平台。

文章介绍2025最新版MCP说明手册，阐述MCP是让AI模型无缝交互的标准化接口和框架，解决AI与外部连接难题。还给出实操案例，如本地构建MCP项目、实现MCP驱动的代理式RAG搜索向量数据库。

百度发布国内首个多模态、多智能体协同的AI IDE：Comate AI IDE。其功能完备，百度在AI IDE赛道决心大。随着模型和Agent能力提升，百度认为未来IDE竞争本质是Agent竞争，其早有相关布局。

当前 Agentic RAG 落地有挑战，UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本，训练快且效果好，解决了优化目标偏离、检索与生成耦合等问题，在通用和医学 QA 任务中表现出色。