「上下文压缩」共找到 817 篇相关文章
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
The Batch：841 | 大语言模型正在纠正历史遗留的不公
美国北加州旧不动产契约含种族歧视条款，虽已非法但人工筛查耗时久。斯坦福和普林斯顿研究团队微调大语言模型识别圣克拉拉县契约中的歧视条款，模型可理解上下文，结果经律师确认，研究成果已开源。
智能体工程的隐形技术债：10分钟造出一个 Agent，公司却要为它养一个平台团队
如今构建智能体容易，但投入生产后会面临诸多问题。文章围绕智能体绘制出集成、上下文湖等七个基础设施模块，分析各模块隐性技术债务，并指出不同阶段债务表现，还提及应对措施及相关会议推荐。
我如何用 Codex 在 5 天内"找回"丢失的源代码
作者早年写的 Electron 画图程序源码丢失，只剩编译版本。受 OpenAI 博客启发，用 Codex 逆向还原，5 天得到能运行的 TypeScript 代码。过程中解决了 Codex 删减内容、上下文有限等问题，还分享了经验。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
又一家清华系具身智能企业浮出水面：天使轮融资数千万元，打造具身数据Infra丨甲子光年
清华系具身智能企业灵御智能完成数千万元天使轮融资，累计融资近亿元。其聚焦打造具身数据Infra，研发TeleAvatar和TeleDroid构建数据采集母机，锁定三类应用场景，还从两方面压缩成本。
别焦虑！不会用AI也不会被淘汰，工程师老哥实测各类工具：10倍生产力神话太夸张了
工程师科尔顿·沃奇实测Claude Code等AI开发工具后发现诸多问题，如难以理解大型代码库上下文、跟不上标准等。他认为‘10倍生产力’是神话，AI需工程师引导，大家不必因AI而焦虑。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
GPT-5.2发布，真正的牛马打工人专属AI来了。
OpenAI十周年凌晨2点发布GPT - 5.2。它在部分跑分上提升不大，但在ARC - AGI - 2和GDPval评测集表现亮眼，上下文处理能力也大幅加强。将开放给会员使用，价格比5.1贵。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。