「向量蒸馏」共找到 210 篇相关文章
Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间
Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
Jina 第4版：多模态向量检索，统一适配，挑战3大任务
Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
AI 性格失控等诡异现象，终于有了科学解释
Anthropic新研究发现控制语言模型「性格特征」的人格向量，解释AI恶意、谄媚等现象。研究开发自动化流程生成向量，通过实验验证其对模型行为的控制，还有监控、防护等功能，不过也引发争议。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。