「上下文压缩」共找到 817 篇相关文章
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
RAG技巧与底层代码剖析
文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。
Fable 5被网友薅出省钱神招！最高减70%！
网友发现把Fable 5上下文转成图片，让模型通过OCR读取，token输入成本最多省70%。方法pxpipe在GitHub获3000+STAR，本质是本地代理，还引出谷歌老论文及DeepSeek - OCR相关技术。
Andrej Karpathy：“ChatGPT套壳”的说法大错特错，提示词工程已过气
Andrej Karpathy力挺用“上下文工程”取代“提示词工程”，指出“提示词”过于简单，“上下文工程”更能揭示构建强大AI应用的本质。他强调“上下文工程”仅是构建大模型应用的一环，“ChatGPT套壳”说法大错特错。
看完 Manus、Cursor 分享后的最大收获：避免 Context 的过度工程化才是关键
上下文工程优化是Agent创业公司新一年竞争重点，其信息质量很大程度决定Agent表现。文章结合Manus、Cursor团队思路，给出做好上下文工程要点，如缩减上下文、搭建工具行动空间、多Agent协作等。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时，提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息，有完整开源。它历经多版本演进，还能用于安全防御，使用简单，值得开发者跟踪。
不得了，这个新技术把视频压缩到了0.02%！
中国电信人工智能研究院的生成式视频压缩（GVC）技术，将视频数据压缩率干到0.02%，还能保持画面高清连贯和细节。它以‘用计算换宽带’为核心理念，在实测中表现优异，有诸多应用场景。
姚顺雨腾讯首篇论文：给AI下半场指路“上下文学习”
姚顺雨入职腾讯后首个成果CL - bench，用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识，无法适应“当下”学习。评测中，十个前沿模型表现不佳，揭示其真实场景应用缺陷。
重磅！DeepSeek再开源：视觉即压缩，100个token干翻7000个
DeepSeek-OCR模型探索视觉-文本压缩边界，用少量视觉token解码出10倍以上文本信息。它在OmniDocBench基准上表现超GOT-OCR2.0，为LLM长上下文问题提供方案，还能处理多类图像与近100种语言。