算法论文8
陈丹琦团队:砍掉70%内存破LLM长文本瓶颈
深度学习自然语言处理
AI 摘要
陈丹琦团队破解LLM长文本瓶颈,提出KV足迹评估标准,推出分块驱逐和PruLong训练技术。实验显示,新技术降低内存显著,PruLong擅召回任务,分块驱逐在RAG等任务表现佳。
阅读原文 · 深度学习自然语言处理
砍掉70%内存!陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时,KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺,推出分块驱逐与PruLong训练技术,在128K长文本任务中最高降低70%内存,性能损失仅10%。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
谷歌下一代Gemini 4 Carbon曝光
外媒爆料谷歌下一代Gemini 4模型Carbon已进入内部测试,性能逼近Anthropic Opus 5.5,核心进展来自递归自我提升RSI技术,业内对谷歌拖沓的发布策略争议不断。
新智元
产品应用8
Google推出企业级Gemini agent
本文介绍Google Cloud推出的Gemini agent,面向企业工作流的智能体产品,支持跨多模型调度,AI可拥有独立企业身份,可接入多款企业常用工具,解决企业部署AI的权限、审计痛点。
AIGC开放社区
产品应用8
实测豆包新版多模态写代码
本文为豆包Doubao-Seed-2.1-pro-0915新版本实测内容,展示该模型的多模态编程能力,以生成鱼类识别微信小程序为例,给出基准测试成绩,介绍其适用开发场景。
机器学习AI算法工程
推荐文章9
AI造AI:2026递归自我改进加速
本文汇总2026年全球顶尖AI机构在递归自我改进(RSI)领域的最新实践,涵盖技术进展、行业动态,也包含学界质疑与风险讨论,完整梳理AI造AI的当前阶段与未来走向。
机器之心