「跨模态知识」共找到 537 篇相关文章
3天狂揽23.1k星!把代码库变成知识图谱,AI编程成本降低35%
CodeGraph是开源本地代码知识图谱工具,提前为项目建索引,组织代码信息,让Agent直接查询。能减少token消耗与工具调用、提高响应速度,数据本地保存,还具备多语言支持等特点。
重新定义检索!一款真正“跨模态”的 RAG 模型来了!用音频搜视频、文本找音乐!
传统RAG有速度慢、细节丢失等问题。Vidore开源的ColQwen - Omni 3B多模态RAG模型,支持跨模态检索,能直接处理音视频原始数据,保留细节,检索速度快,还具备轻量高效等特性,适用于多场景。
比传统方法强7倍:Anthropic物理隔离危险知识,重塑大模型安全训练范式
Anthropic团队提出选择性梯度掩码技术(SGTM),在训练阶段将危险知识物理隔离到特定参数并剔除,实现安全性与通用能力更好平衡,抗恢复性是传统方法7倍,还能处理未标记危险数据。
中英双语、29项第一、像素级理解:360 FG-CLIP2登顶全球最强图文跨模态模型
360推出FG-CLIP2图文跨模态VLM模型,在八大类任务、29项测试中超越Google与Meta。它能像素级看图,中英文皆强且已开源。其优势源于高质量数据集和先进训练方法,还在多业务落地并开放API。
VEGA-3D:释放视频生成模型中的隐式3D知识,重塑3D场景理解与具身交互
华中科技大学与百度联合提出VEGA - 3D,释放视频生成模型隐式3D知识。它将视频生成模型作‘潜在世界模拟器’,用自适应门控融合机制,提升场景理解等任务表现,无需额外3D标注数据。
突破万次连续编辑极限!中科院提出首个理论保稳的知识保留方法
中科院信工所研究人员提出LyapLock,将连续编辑建模为受约束随机规划问题,整合排队论和李雅普诺夫优化。实验显示,它能突破万次连续编辑极限,编辑效果比主流方法提升11.89%,还可赋能现有模型。
知识类型视角切入,全面评测图像编辑模型推理能力:所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench,从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务,设四维度评估指标,测10款模型,发现模型程序性推理等能力不足。
通用模型无法完全理解用户,AI产品的下一站是上下文的战场|对话AI知识助手remio
量子位智库对话remio创始人汪源,探讨其开发初衷、核心价值等。remio主打无感自动化,成用户第二大脑,有信息捕获、管理等功能,数据本地存保隐私。还聊了目标用户、指标、功能及应对竞争等。
深度解读|LLM Wiki 的工程实践,从 AI Coding、Obsidian 到 RAG 协同。
文章介绍 LLM Wiki 工程实践。包括为 AI Coding 创建知识地图,指导 Agent 加载上下文;在 Obsidian 构建知识体系,有插件和自定义 Agent 两种方法;还分析其与 RAG 关系,指出可融合互补,不要过度神话 LLM Wiki。
当国产模型追上闭源旗舰,企业 AI 编程的真正障碍才浮出水面
过去企业AI Coding讨论多集中在模型能力等方面,DeepSeek V4出现缓解了模型问题,但更深层的代码库业务隐知识等问题浮现。合规限制使企业工具建设受阻,V4打破了模型供应瓶颈,可组织知识管理仍成难题。