「向量蒸馏」共找到 219 篇相关文章
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。
在 RDS PostgreSQL 中实现 RaBitQ 量化
本文介绍在阿里云 RDS PostgreSQL 上，pgvector 能力进一步增强，引入 RaBitQ 量化提升其在大规模向量场景下的表现。分析了 pgvector 面临的挑战，阐述 RaBitQ 原理、优势，给出性能测试结果及快速上手的 SQL 操作。
谷歌：Embedding检索存在根本理论局限，Sparse、Graph才是未来？
近年来稠密向量检索广泛应用，社区认为embedding能‘包打一切’，但谷歌DeepMind从理论与实验指出其存在根本局限。相关实验代码和数据已开源，还给出替代方案。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
谷歌AGI底座降临！首个原生全模态嵌入模型上线，已实现全模态SOTA
谷歌发布首个原生全模态 Embedding 模型 Gemini Embedding 2，将文本、图、音视频及 PDF 融于统一向量空间，实现跨模态检索，降低架构成本，赋予 AI 连贯「记忆」，是重塑 AI 基建的里程碑。
Turso：用 Rust 重写 SQLite，让数据库跑在每一个边缘节点
Turso用Rust重写SQLite内核，解决其单写者限制和缺乏网络同步能力的短板。它有嵌入式副本、边缘同步和向量搜索等特性，适用于AI Agent、多租户SaaS等场景，与竞品相比优势独特。
Jeff Dean最新访谈：未来开发者人均50个智能体，写需求成核心技能
谷歌首席AI科学家Jeff Dean在访谈中预言，未来开发者人均管理50个智能体，写需求成核心技能。他还揭秘谷歌帕累托前沿策略，介绍蒸馏技术让小模型接近大模型性能，强调多模态及低延迟价值，给出未来模型发展预测。
沉默的进化：LatentMAS 如何通过“潜意识通信”重塑多智能体协作？
这是对多智能体协作领域突破性研究的深度解读。论文提出LatentMAS框架，让智能体直接交换“思维向量”，实现“机器心灵感应”，在性能、速度和Token消耗上全方位碾压传统文本交互模式。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。