「向量压缩」共找到 293 篇相关文章
推理成本太高、算力不够用？单纯堆卡没用，得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上，阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案，覆盖云到边缘、多算力平台。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
炸裂提速30倍！Meta提出REFRAF，无需改动模型，让RAG告别冗余与等待
近年来，RAG任务在提升模型回答质量的同时带来性能代价，Meta等团队合作提出REFRAG框架。它将无关段落压缩，引入强化学习选关键段落，实现高达30.85倍的TTFT加速，且无需改模型结构，实用性强。
像原始人一样和AI对话，费用可直接砍掉40%
开源项目‘caveman-compression’能帮使用ChatGPT API或其他大模型的用户省钱。原理是删废话留关键信息，有调用OpenAI和本地NLP两种压缩方式，不同场景省钱效果不同，还介绍了使用方法。
MongoBleed 漏洞允许攻击者从 MongoDB 的堆内存中读取数据
MongoDB 修补 CVE - 2025 - 14847（MongoBleed）漏洞，该漏洞 CVSS 得分 8.7，可被未认证攻击者远程利用致敏感数据外泄。此漏洞由 zlib 压缩网络流量处理不当触发，影响 2017 年后版本，部分云环境和服务器有风险。
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
AI编程Token消耗降低神器：RTK（Rust Token Killer）实战指南
文章介绍RTK（Rust Token Killer），它能在CLI命令输出到LLM上下文前智能过滤压缩，节省60 - 90%Token。文中说明了其原理、特性、压缩策略，还给出安装配置步骤、实测数据及使用建议。