算法论文8
上海交大:扩散模型推理加速9倍
量子位
AI 摘要
上海交大EPIC Lab团队:提出dLLM - Cache机制,复用特征降低计算量,可让扩散语言模型推理最高加速9.1倍,还能保持生成质量,通用于主流架构。
阅读原文 · 量子位
扩散语言模型九倍推理加速!上海交大:KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache,复用特征降低计算量。它即插即用,通用于主流dLLM架构,在多个基准测试中实现数倍推理加速,且不降低生成质量。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
华为升级AI数据平台解决Agent痛点
本文针对企业落地AI Agent遇到的知识口径不一、推理慢、风险不可控等痛点,介绍华为AI数据平台三大升级路线,结合案例说明方案价值。
InfoQ
产品应用9
拆解Gemini 3.8 Live:Agent需Runtime
本文深度拆解Google发布的Gemini 3.8 Live,分析其将语音、推理、工具调用整合进持续运行链路的架构创新,探讨Voice Agent进入Runtime阶段的核心技术挑战与未来AI Agent发展趋势。
AI科技评论
产品应用8
AI缓存不该困在单台服务器
本文分析大模型推理阶段KV缓存的行业痛点,指出传统单机缓存孤立无法跨节点复用的问题,介绍焱融科技的分层共享缓存方案,公开了方案的实测性能数据,展现AI存储的新发展方向。
InfoQ
算法论文8
人大蚂蚁团队发布LLaDA MoE v2及扩展定律
中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。
机器之心