「视觉知识」共找到 1115 篇相关文章
ETT:打破原生多模态学习视觉瓶颈,重塑视觉tokenizer优化范式
本文由多机构联合完成,针对传统视觉 tokenization 方法优化与下游任务训练割裂问题,提出 ETT 调优方法。它实现联合优化,在多模态理解、生成、重构任务表现出色,虽有局限但带来新突破。
给Agent加上知识图谱,开源版Palantir
Semantica是LLM、向量库与Agent框架下的语义/上下文层,能把碎片化企业数据变成结构化、可查询的上下文图与知识图谱。介绍了其面向对象、功能、优势、使用方法、架构等内容。
为AI打造的知识图谱服务器MemoryMesh
MemoryMesh是专为AI模型设计的知识图谱服务器,适用于多种结构化数据场景。它有动态模式驱动工具等特性,可自动生成管理工具,还配备记忆查看器,提供安装指南和提示词建议。
GitNexus 开源代码库知识图谱引擎,效果惊艳!
GitNexus 是在浏览器运行的客户端代码智能工具,能将代码库转化为知识图谱,内置 RAG 智能代理。有 CLI + MCP 和 Web UI 两种使用方式,支持多种主流语言,还提供详细文档。
清华-腾讯联手:音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型,目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点,通过构建数据集、设计结构和统一架构实现多任务合作。
人大-清华-腾讯发布:音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文,目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案,构建数据集、设计LoRA结构、统一架构,训练分预训练和指令调整两阶段。
盲人复明!马斯克Neuralink联创实现人工视觉里程碑
Nature刊登人工视觉研究PRIMA,其让70岁失明奶奶重获光明。该研究由Neuralink联创带队,视网膜植入物使80%患者视力显著改善。PRIMA能逆转恢复视力,与传统疗法不同,已申请监管批准。
Ultralytics & lightly-train:简化计算机视觉模型训练,无需标签
在计算机视觉领域,获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练,减少标注成本与时间,可集成到现有训练管道,支持多种模型架构和应用场景。
做RAG这一年,最后悔的就是上知识图谱
基于知识图谱的检索增强生成在问答任务中存在三元组索引丢失上下文语义问题,作者提出MDER - DR双阶段框架,在标准测试和特定数据集上性能提升最高66%,还具备多方面优势。
最新研究揭示视觉模型与人脑的对齐机制
FAIR与巴黎高等师范学院通过训练自监督视觉Transformer模型(DINOv3),评估脑 - 模型相似性。发现模型大小、训练数据量和图像类型影响相似度,DINOv3学到的表征会逐步与人脑一致。