「向量压缩」共找到 293 篇相关文章
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。
微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。
OceanBase全面拥抱AI新进展：OB Cloud支持十亿级多类型向量数据，数十家企业实现AI应用落地
大模型热潮下，企业面临AI落地难题。OceanBase的OB Cloud支持十亿级多类型向量数据，已有数十家企业实现AI应用落地。它具备多云原生、AI能力优势，提供一体化架构和多模向量一体化，还降低了AI应用门槛。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
Correlations：氛围测试你的向量模型
Jina AI分享内部调试可视化向量小工具Correlations，它能生成交互式热图展示内容间余弦相似度，提供多种交互方式。工具已在GitHub开源，适用于内容去重、验证引文等场景。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
模型压缩与量化：让大模型走向轻量化落地
文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。
EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法：LightThinker
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理时产生大量中间步骤和文本，拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker，可动态压缩推理步骤，降低内存占用和计算成本。