「多模态文档」共找到 1215 篇相关文章
结构化扩展拿下Agent工具检索新SOTA，精准找到API｜ICLR'26
宁波东方理工大学沈晓宇团队在ICLR 2026发表论文，指出当前工具检索瓶颈在于工具文档。提出对文档结构化扩展，再训练模型的方案，构建TOOL - REX等组件，实验显示显著提升检索性能。
吴恩达推出 Context Hub，专治 AI 写代码时的「瞎编」问题
吴恩达推出开源工具 Context Hub，解决 AI 写代码时的「API 幻觉」问题。它通过喂最新文档，让 Agent 按需取用，还能做批注。与 MCP 路线工具不同，它按需拉文档，且引入反馈机制更新文档。
谷歌预览Code Wiki：你能信任AI来记录你的代码库吗？
谷歌预览Code Wiki，为代码库生成并更新文档，预览版含数百开源项目文档，Gemini CLI扩展将支持内部代码库。它有聊天界面，但AI生成文档缺乏权威性，开发人员看法不一，且非真正维基。
确认！DeepSeek多模态AI已经开测
DeepSeek研究员陈小康、陈德里确认其V4视觉模式开始灰度测试。更新后出现识图模式，具备真实图像理解能力。陈小康是多模态研究组负责人，陈德里负责语言模型等核心方向，V4可谓满血归来。
多模态Qwen3-VL-Embedding开源&技术剖析
互联网内容多元，传统文本搜索引擎应对跨模态需求力不从心。阿里开源Qwen3-VL系列两大模型，Qwen3-VL-Embedding负责“海选”，Qwen3-VL-Reranker负责“决赛”，技术亮点多，实验表现优异。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
清华-腾讯联手：音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
LangExtract：用LLM 一键完成长文档信息抽取与可视化
在2025年大语言模型迅猛发展时，信息抽取成了NLP场景里的“硬骨头”。Google在7月30日开源的LangExtract利用多种LLM，实现“按指令抽取+源文对齐 + 一键可视化”的完整闭环，还给出使用步骤和进阶操作。