「向量蒸馏」共找到 210 篇相关文章
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放
检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。
核心模型被曝蒸馏DeepSeek？前女友一纸控诉，曝出欧版OpenAI塌房真相！
曾被誉为「欧洲OpenAI」的Mistral AI陷入「抄袭」丑闻。前员工在分手小作文爆料其核心技术蒸馏DeepSeek，却误导外界为自主RL成果。此前也有博主发现二者特征相似。蒸馏本身没错，缺乏透明度才是关键问题。
总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。
抗干扰能力提升近40% ！无需对抗训练，北航上海AI Lab新蒸馏方法提升模型鲁棒性 | ICML 2025
在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。
在向量数据库公司工作两年后，我学到的37个检索真相
Leonie在向量数据库公司工作两年后，分享37条信息检索经验，涵盖从BM25到RAG等多方面，涉及向量数据库、嵌入模型和向量搜索细节，勾勒技术演进图景，强调选合适工具找信息。
被曝蒸馏DeepSeek还造假！欧版OpenAI塌房了
被誉为欧洲版OpenAI的Mistral被离职员工爆料多项黑幕，其最新模型疑似直接蒸馏自DeepSeek，却包装成RL成功案例，歪曲基准测试结果。此前就有人发现其模型与DeepSeek相似，目前官方暂无回应。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
Zvec: 开箱即用、高性能的嵌入式向量数据库
Zvec是轻量级嵌入式向量数据库，为终端侧设计，有开箱即用等四大优势。它基于Apache 2.0协议开源，能满足向量检索在多场景需求，相比现有方案功能更全、资源管控强、性能出色，后续还将持续迭代。