「向量蒸馏」共找到 210 篇相关文章
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？
DeepMind一篇关于向量嵌入局限性的论文在AlphaXiv爆火。其证明向量嵌入有数学上限，Scaling laws或放缓。研究构建LIMIT数据集，测试发现即便是先进嵌入模型也难解决简单任务，揭示了RAG系统约束，让人反思Scaling Laws边界。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
推翻「预测下一个token」范式！微信AI新研究：把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。
微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。
OceanBase全面拥抱AI新进展：OB Cloud支持十亿级多类型向量数据，数十家企业实现AI应用落地
大模型热潮下，企业面临AI落地难题。OceanBase的OB Cloud支持十亿级多类型向量数据，已有数十家企业实现AI应用落地。它具备多云原生、AI能力优势，提供一体化架构和多模向量一体化，还降低了AI应用门槛。
Correlations：氛围测试你的向量模型
Jina AI分享内部调试可视化向量小工具Correlations，它能生成交互式热图展示内容间余弦相似度，提供多种交互方式。工具已在GitHub开源，适用于内容去重、验证引文等场景。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。