「向量数据库」共找到 210 篇相关文章
重塑注意力机制:GTA登场,KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发,提出大模型框架,解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示,削减计算量、缩减KV缓存,实验验证其性能优、效率高,虽有局限但前景好。
用子模优化法为DeepResearch生成多样性查询
开发DeepResearch时,生成多样化查询是关键。多数开源项目处理方法粗放,本文提出结合句向量与子模优化的方法,设计子模目标函数,给出代码实现,实验显示该方法生成的查询组合多样性更高。
【7.2K Star】Google 基于LangGraph打造全栈Deep Research
谷歌开源Deep Research全栈应用,前端用React(with Vite)和Shadcn UI,后端研究代理用LangGraph,需Redis和Postgres数据库,LLM用Google Gemini,网络搜索用Google Search API,还介绍了Agent执行流程。
搜索智能体也需要「操作系统」:SearchOS 开源多智能体协作框架
人大和蚂蚁的 SearchOS 研究,给出搜索智能体在长程任务中问题的答案。它借鉴数据库理念,做了多项核心设计,在开放信息检索基准评测领先,已提供多种使用方式,值得长程调研尝试。
谷歌公开全新极限压缩算法:LLM提速8倍、内存占用狂降6倍,精度零损失
谷歌推出全新量化算法 TurboQuant,瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点,能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步,实验数据表现优异,将改变搜索格局。
炸裂提速30倍!Meta提出REFRAF,无需改动模型,让RAG告别冗余与等待
近年来,RAG任务在提升模型回答质量的同时带来性能代价,Meta等团队合作提出REFRAG框架。它将无关段落压缩,引入强化学习选关键段落,实现高达30.85倍的TTFT加速,且无需改模型结构,实用性强。
从BERT到T5再到Qwen3:关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入(GPTE),系统介绍其架构、数据、模型,探讨预训练语言模型(PLM)给GPTE带来的基础能力与高级扩展,还涉及多模态、多语言、代码嵌入等应用。
好奇心之旅:Cursor代码库索引机制的学习笔记
作者作为高德信息工程团队AI先锋队一员,日常用Cursor开发,因好奇其代码库索引机制展开探索。介绍了Cursor索引工作流程、隐私安全等,还研究Merkle树、turbopuffer向量库及开源方案Continue。
Agent 基建不是设计出来的,是被 Kimi K3 和一堆应用公司卷出来的
文章以 Kimi K3 模型及相关 agent 产品为例,讲述 TiDB 作为基建服务商,满足 AI 团队需求形成 Agent Stack。还指出 Agent 时代基建难题、数据库使用变化,以及创业团队做 Agent 业务的三个判断。
Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降低KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。