「语义压缩」共找到 385 篇相关文章
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
Langchain 、 Manus 组了一个研讨会：Agent越智能，死得越快！
Langchain工程师Lance Martin和Manus创始人Peak季逸超研讨Agent，指出Agent越智能死得越快，原因是疯狂调用工具致上下文过大。还介绍解决方案，如压缩与总结不同，Manus做减法架构更优。
小模型推理极限在哪里？微博开源3B小模型，比肩顶级闭源
微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
阿里千问你别太荒谬！连漫画PPT都能一键生成？我以前那些夜真是白熬了
阿里千问发布AI PPT生成工具Qwen AI Slides，从内容结构到视觉配图全包。实测显示，其语义理解能力不错，文本渲染在简单字体表现好，排版有小瑕疵，适合课堂展示等场景。
Claude Code 强大的秘密究竟是什么？
Claude Code 强大源于其强大模型基础、丰富实用的内置工具、不压缩上下文信息及无 IDE 包袱等优势。相比之下，OpenAI 的 Codex 因模型能力、强化训练不足等落后，Anthropic 还靠亏本推广积累数据。
让RAG告别断章取义，HiChunk做到了~
现有RAG评测忽视文档切分，腾讯优图提出HiCBench评测基准和HiChunk框架。HiCBench含人工标注多级切分点与证据稠密QA，HiChunk用微调LLM建多级语义树，配Auto - Merge算法，实验效果佳。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
ICML 2026 | 只用少量Thinking Tokens，大模型依然能深度思考
近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。