「向量蒸馏」共找到 210 篇相关文章
蒸馏效果起飞！DOPD破解「特权幻觉」，让在线策略蒸馏更有效
近期，新加坡国立大学等团队提出 DOPD 法解「特权幻觉」难题。该法依 token 情况动态蒸馏，实验表明其在 LLM、VLM 蒸馏效果好，鲁棒性强，训练稳定，为在线策略蒸馏提供新思路。
大模型之外，向量存储如何支撑 Agent 的检索链路
文章指出大模型负责理解、推理和生成，而Agent需获取外部数据等。向量存储可将数据转化为语义向量，在Agent执行任务时找回相关内容。文章探讨向量存储技术方向，分享做法，还演示阿里云两种Serverless向量存储用法。
百亿向量，毫秒响应：清华研发团队向量数据库 VexDB 首发，攻克模型幻觉难题
9月25日，清华数智引航团队发布向量数据库VexDB，能支持百亿千维向量数据毫秒级查询，召回准确度超99%。它可解决大模型幻觉问题，已在多领域深度应用，为企业AI转型提供方案。
AliSQL 向量技术解析（一）：存储格式与算法实现
随着AI与大模型应用普及，向量存储与检索需求大增。AliSQL基于MySQL 8.0扩展向量处理能力，本文聚焦其向量索引，介绍存储格式、算法实现，如HNSW算法及插入、搜索等操作，还提及辅助表设计与DDL原子性。
向量数据库要被取代？DynamoDB 开始原生支持 AI 搜索
Amazon DynamoDB 推出原生向量搜索，允许开发者将嵌入向量与应用数据存一起，直接在其中运行近似最近邻查询，无需单独向量数据库。介绍了功能特点、成本计费及开发者反馈等。
蒸馏出「乔布斯」之后，他说Apple AI完全是shit
文章用女娲.skill蒸馏出乔布斯等人物，借乔布斯之口评Apple AI，指出Siri弱在vision。还介绍女娲造出的8个skill，对比其与ChatGPT角色扮演的区别，说明可蒸馏不同对象及用途，最后展示蒸馏喜剧技巧写的吐槽段子。
一条SQL管理向量全生命周期，让AI应用开发更简单
在大模型驱动的AI浪潮中，向量在AI应用开发中至关重要，但开发者面临技术栈分裂等隐形成本。PolarDB IMCI提出解决方案，在数据库内核集成向量索引与Embedding能力，用一条SQL管理向量全生命周期，降低开发和维护门槛。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
MariaDB LTS 年度发布集成了向量搜索
MariaDB发布2025年度LTS版本11.8，引入集成向量搜索功能，适用于AI驱动和相似性搜索应用。还增强了JSON功能，提供时态表。新向量数据类型利于机器学习等应用，同时解决了2038年问题。