「多模态知识图谱」共找到 1408 篇相关文章
0人工参与实现梯度更新!MIT新框架让AI自动生成微调数据,权重自主升级
MIT提出新强化学习框架SEAL,可让模型生成微调数据和自我更新指令,实现权重更新。无需人工,模型能自动梯度更新。经知识注入和小样本学习实验验证效果,还介绍了其双循环工作机制。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
向量数据库开创者 Pinecone 宣布 RAG 时代结束,推出面向 Agent 的知识引擎 Nexus。它认为当前 RAG 模式脆弱、缓慢且昂贵,提出“知识编译”概念,称能提升任务完成率、降低 token 开销,虽面临质疑,但方向明显。
统一框架下的具身多模态推理:自变量机器人让AI放下海德格尔的锤子
当前先进机器人无法像人类自如用工具,现有多模态系统有局限。自变量机器人提出端到端统一架构,以统一表示学习和多任务多模态生成解锁具身多模态推理能力,实现范式转换。
独家|前DeepSeek核心研究员魏浩然出任百度文心多模态算法负责人
9月3日消息,原DeepSeek核心研究员魏浩然带队转入百度,任文心大模型多模态算法负责人。此前他在多模态与端到端OCR底层重构有突出成绩,这是百度布局青年顶尖研发人才的又一动作。
Claude Skills|将 Agent 变为领域专家
今年10月,Anthropic推出Claude Skills能力,可在Claude多产品使用。它是向Agent注入内部知识的标准化方案,与MCP可协同工作,还介绍了实现Agent Skills的方法及主动式智能导购AI助手构建。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。
为什么你的 AI Agent 总是用不起来?答案在 Skills
文章围绕AI Agent的Skills展开,介绍其范式价值,如从“单一智能”到“模块化智能”;还提及知识沉淀、跨平台能力迁移等作用,以及对人机关系、人力市场与劳动结构的影响。
【综述】MRAG5项关键技术(一):解析、索引
文章围绕多模态检索增强生成(MRAG)的关键技术展开。介绍多模态文档的三种类型,阐述文档解析与索引的方法,包括基于提取和基于表示的方法,还指出基于提取方法存在的局限性。
给 Agent Skills 装上眼睛:MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills,将可复用技能扩展为多模态程序性知识,通过 branch loading 调用视觉证据,在 GUI 与游戏任务评测中表现出色。
给几何图片写标题就能让AI更聪明,UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用,其几何推理能力成研究热点。现有方法泛化能力有限,UIUC团队提出Geo - Image - Textualization框架,发布GeoReasoning - 10K数据集,提升模型几何推理表现。