「GPU优化」共找到 1613 篇相关文章
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。
Q2 GPU市场,英伟达独占94%,AMD被逼上绝路?
权威机构JPR报告显示,2025年Q2全球PC用GPU出货量环比增8.4%,CPU出货量也同步增长。这是关税恐慌引发的‘囤货潮’所致。英伟达在GPU领域优势巨大,AMD在CPU战场表现出色,三家旗舰产品各有特色。
【万字长文】大模型训练推理和性能优化算法总结和实践
本文总结大模型落地的训练、推理和性能优化算法与实践,介绍语言模型发展,对比BERT、GPT等训练方式,分析生成式大模型问题,还阐述数据处理、推理优化及训练调优等内容,并给出不同场景技术选型建议。
AIA | 西工大马启悦,高传强等:物理指导的激波抖振抑制翼型优化设计研究
激波抖振影响飞行品质、限制飞行包线。本文提出物理指导的气动优化设计框架,基于DDPG算法,优化RAE2822翼型激波位置与分离区范围,提升抖振起始边界,改善综合气动性能。
基于Agent的SGLang Diffusion Kernel优化实践:Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程,包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构,分析数值敏感原因,展示各模型优化实践、无收益实验及验证流程。
「美队」老黄深夜扔出地表最强GPU!算力百倍狂飙,下次改演雷神
凌晨,老黄GTC主题演讲华盛顿首秀,亮出下一代GPU核弹Vera Rubin,性能狂飙100倍。目前,Blackwell已全面量产,2026年底两大GPU王牌预计爆赚5000亿美金。此外,英伟达还公布了一系列合作与技术创新。
全给黄仁勋玩明白了!15亿美元租自家GPU/教小弟用GPU换融资,英伟达又一世子被曝准备IPO
The Information消息,今年夏天英伟达将从Lambda租1万个GPU服务器,另达成8000个服务器租赁交易,总值15亿美元,用于内部研发。英伟达是Lambda供应商、投资者、客户,Lambda或2026上半年IPO。
企业官网GEO优化实操:如何让AI主动推荐你的官网?
本文作者白杨SEO从2011年入行SEO,2024年起研究AI搜索优化。他指出当下AI平台引用来源变化大,企业官网成重要来源。作者从网站代码、站内内容、站外推广三方面,教大家做好官网GEO优化,让AI推荐官网。
AST | 西工大马龙、邬晓敬等:几何特征知识驱动的代理优化方法
机器学习为气动外形设计提供新方法,但高效挖掘利用几何与气动数据知识是难题。本文提出气动监督自编码器架构,利用小样本气动数据监督学习几何特征,嵌入优化框架提升样本质量及优化效率,经翼型和机翼验证有效。