「向量压缩」共找到 313 篇相关文章
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
关于多模态大模型Token压缩技术进展，看这一篇就够了
多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。
模型砍掉一大半，准确率反升15%！华科&阿里安全新研究实现ViT近乎无损的类特定压缩｜ICLR'26
华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时，提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息，有完整开源。它历经多版本演进，还能用于安全防御，使用简单，值得开发者跟踪。
不得了，这个新技术把视频压缩到了0.02%！
中国电信人工智能研究院的生成式视频压缩（GVC）技术，将视频数据压缩率干到0.02%，还能保持画面高清连贯和细节。它以‘用计算换宽带’为核心理念，在实测中表现优异，有诸多应用场景。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
重磅！DeepSeek再开源：视觉即压缩，100个token干翻7000个
DeepSeek-OCR模型探索视觉-文本压缩边界，用少量视觉token解码出10倍以上文本信息。它在OmniDocBench基准上表现超GOT-OCR2.0，为LLM长上下文问题提供方案，还能处理多类图像与近100种语言。
揭秘 | 桥梁缺陷检测新突破：模型压缩42%，精度几乎不掉
全国公路桥梁超百万座，传统人工巡检效率低且有安全风险，现有深度学习检测模型体积大、计算量高。研究团队提出LBSD - YOLO网络，通过创新实现轻量化，实验显示模型瘦身但性能不减，有重要应用价值。
Booking.com 的向量数据库选型：100M 数据、三种负载、一个决定
本文分享Booking.com在1亿条embedding数据规模下，原有OpenSearch向量方案遇到性能、成本、运维瓶颈后，自行设计贴合生产的压测对比不同方案，最终完成选型迁移的全过程，总结了实用经验。