开源动态8
英伟达等开源TriAttention,大模型推理内存降10倍
新智元
AI 摘要
英伟达、MIT、浙大华人团队推出TriAttention,能让单张4090跑32B大模型,内存消耗降10倍、吞吐量提2.5倍。还提供vLLM插件和MLX实验性支持,加速大模型消费级部署。
阅读原文 · 新智元
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
全球最大AI芯片Cerebras迎商业化考验
本文分析“全球最大AI芯片”厂商Cerebras的商业化现状,结合与OpenAI的合作动态、最新财报数据,拆解其晶圆级推理芯片的技术优势,同时点出其交付、现金流等核心考验,探讨推理芯片赛道的路线选择。
DeepTech深科技
新闻资讯8
传英伟达拟收购Reflection AI
本文是InfoQ编译的科技播客访谈,Reflection AI由前Google DeepMind Gemini团队成员创立,近期发布了5010亿参数的开放大模型Beam,主打编程、推理和智能体任务,发布一周后传出英伟达拟收购该公司的消息,访谈中分享了对开放模型诸多问题的观点。
InfoQ
新闻资讯9
黄仁勋:没有Windows就没有英伟达
本文整理了黄仁勋与纳德拉在微软英伟达联合活动的对话,回顾双方数十年合作历程,分享下一代AI PC、Agent安全、混合智能构想,发布RTX Spark新品,探讨Agent落地的权责问题。
AI科技大本营
算法论文9
ACL两篇技能论文杀疯了
本文整理六大2026顶会共460篇高引机器学习论文,详细介绍ACL下两篇聚焦技能拆解复用的高引论文,给出效果数据与论文链接,开放论文合集获取。
PaperAgent