「语义压缩」共找到 385 篇相关文章
谷歌公开全新极限压缩算法:LLM提速8倍、内存占用狂降6倍,精度零损失
谷歌推出全新量化算法 TurboQuant,瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点,能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步,实验数据表现优异,将改变搜索格局。
Graph工程的尽头是,Ontology工程
15家机构联合发布图工程系统性综述,指出此前“XX工程”范式多优化单个智能体,而图工程能将智能提升到系统层面。论文还指出图工程语义局限,认为本体工程可作下一代系统智能语义地基。
不用额外缓存!英伟达开源大模型记忆压缩方案,128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法,在长文本处理上提速显著且性能不打折。它基于标准Transformer,将长文本建模转为「持续学习」任务,核心是上下文压缩,避免额外缓存,代码和论文已开源。
GAIR Paper 106|追踪视觉 Token 的演化轨迹,实现无损压缩与 60% 推理加速|CVPR 2026
近年来大视觉语言模型虽推动多模态智能发展,但推理成本高昂。山东大学和MBZUAI团队提出TransPrune,从演化视角衡量视觉Token重要性,保持性能无损同时降低60%推理成本。
推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。
8B模型可以超过GPT-4o!并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈,作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新,能让 8B 模型性能达 GPT - 4o 的 91.17%,特定任务超 GPT - 4o。
仅保留35% Token,性能反超原模型!快手可灵等用视觉信息引导音频压缩,推理时间直降42%
Omni - LLM计算浪费严重,快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系,通过时空联合剪枝压缩视频、视觉引导筛选音频Token,大幅减少Token数量,提升性能和推理效率。
企业级 AI Agent 的终极王牌:从 0 到 1 带你理解 “本体论” 与 6 块核心“积木”。
文章指出大部分企业Agent项目因幻觉、跑偏等问题失败,引出基于“本体论”的企业“本体”工程。介绍企业AI困境、现有工程手段不足,阐述本体可补企业“语义层”及构建本体的6块核心“积木”。
像原始人一样和AI对话,费用可直接砍掉40%
开源项目‘caveman-compression’能帮使用ChatGPT API或其他大模型的用户省钱。原理是删废话留关键信息,有调用OpenAI和本地NLP两种压缩方式,不同场景省钱效果不同,还介绍了使用方法。
MongoBleed 漏洞允许攻击者从 MongoDB 的堆内存中读取数据
MongoDB 修补 CVE - 2025 - 14847(MongoBleed)漏洞,该漏洞 CVSS 得分 8.7,可被未认证攻击者远程利用致敏感数据外泄。此漏洞由 zlib 压缩网络流量处理不当触发,影响 2017 年后版本,部分云环境和服务器有风险。