算法论文8
UNCOMP:解锁 LLM 信息压缩新密码
机器之心
AI 摘要
论文 UNCOMP 被接收,引入截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过层级、头级压缩优化 KV Cache,Prefill 阶段加速 60%,吞吐量提升 6.4 倍,极端压缩率下性能有保障。
阅读原文 · 机器之心
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章8
人生周报v094:AI与人生感悟
本文是李继刚的第094期人生周报,收录每周优质观点句子,涵盖AI Agent发展、成长认知、生活感悟,推荐书籍启发AI时代思考。
李继刚
新闻资讯8
OpenAI悄悄上架生命科学新模型
本文报道OpenAI在API价格页悄然上线未正式发布的生命科学新模型gpt-rosalind-discovery,梳理OpenAI Rosalind产品线布局,对比头部厂商路径,分析AI+药物发现赛道商业化的机遇与挑战。
DeepTech深科技
新闻资讯9
OpenAI攻克千禧难题 人类看不懂
本文报道OpenAI攻克千禧年数学难题纳维-斯托克斯方程事件,探讨AI生成证明超出人类认知上限的现状,剖析AI对传统科研范式、学术体系的冲击与伦理困境
新智元
开源动态9
清华开源VeriLoop E2 推进黑洞信息悖论研究
针对大模型长链推理、科研任务中无法自我验证结果可靠性的结构性缺口,清华团队推出开源项目VeriLoop E2,拆分模型探索权与外部证据提交权,在多场景完成验证,推进可验证智能发展。
量子位