「向量蒸馏」共找到 210 篇相关文章
KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。
甲骨文副总裁吴承杨：AI 放大了数据优势，数据融合至关重要
甲骨文公司副总裁吴承杨认为 AI 放大了数据优势，多模融合数据库至关重要。对比传统开源数据库，Oracle 能精简编排步骤。嵇小峰指出企业构建 Agent AI 要关注数据需求和安全。
Jina Embeddings v4 的量化感知训练
文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率，对比四种主流量化方法，重点实验PTQ和Output QAT，还测试非对称量化，给出实验结果与结论。
搜索 ≠ 简单匹配！0代码实现语义级图文互搜
在非结构化数据爆发增长的当下，传统图文检索方式难以满足企业需求。本方案介绍借助阿里云 Milvus 实现高效多模态图文检索，覆盖多场景，有开箱即用、性能强等优势，还给出架构、部署、验证及清理资源的方法。
开源AI开发生态大洗牌：低代码平台逆袭，传统LLM框架日渐式微
第十届527蚂蚁技术日，蚂蚁对现有开源生态全面剖析，发布2025大模型开源生态全景图。分析显示开源生态有三个主导技术赛道，还总结出七大趋势，为从业者提供生态演进规律参考。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
给Agent加上知识图谱，开源版Palantir
Semantica是LLM、向量库与Agent框架下的语义/上下文层，能把碎片化企业数据变成结构化、可查询的上下文图与知识图谱。介绍了其面向对象、功能、优势、使用方法、架构等内容。
DeepMind 创始人 Hassabis 语出惊人：百万 token 只是在贴胶带，AGI 在 2030 年
DeepMind创始人Hassabis在访谈中评估AGI进展，认为当前范式是最终架构一部分，但持续学习等问题待解决，预计2030年左右实现AGI，还探讨了Agent、蒸馏等多方面内容，并给创业者建议。
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。
AMS | 西工大向锦鹏、宋述芳等：一种用于伴随方程求解的物理约束图神经网络
伴随方法用于高维优化问题，但求解伴随方程代价大。本文提出物理约束图神经网络(ADJ - PCGN)，构建流场解与伴随向量映射模型，有精度和泛化性，能加速优化，方便嫁接求解器。