「GPU优化」共找到 1613 篇相关文章

产品应用7

LLM加速利器LMCache,极大降低GPU资源消耗

LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。

GitHubStore
推荐文章7

性能最高提升7倍?探究大语言模型推理之缓存优化

文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。

阿里云开发者
新闻资讯7

Q2 GPU市场,英伟达独占94%,AMD被逼上绝路?

权威机构JPR报告显示,2025年Q2全球PC用GPU出货量环比增8.4%,CPU出货量也同步增长。这是关税恐慌引发的‘囤货潮’所致。英伟达在GPU领域优势巨大,AMD在CPU战场表现出色,三家旗舰产品各有特色。

AIGC开放社区
推荐文章8

【万字长文】大模型训练推理和性能优化算法总结和实践

本文总结大模型落地的训练、推理和性能优化算法与实践,介绍语言模型发展,对比BERT、GPT等训练方式,分析生成式大模型问题,还阐述数据处理、推理优化及训练调优等内容,并给出不同场景技术选型建议。

阿里云开发者
算法论文7

AIA | 西工大马启悦,高传强等:物理指导的激波抖振抑制翼型优化设计研究

激波抖振影响飞行品质、限制飞行包线。本文提出物理指导的气动优化设计框架,基于DDPG算法,优化RAE2822翼型激波位置与分离区范围,提升抖振起始边界,改善综合气动性能。

力学与人工智能
产品应用7

基于Agent的SGLang Diffusion Kernel优化实践:Qwen-Image、FLUX.2和视频模型

本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程,包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构,分析数值敏感原因,展示各模型优化实践、无收益实验及验证流程。

GiantPandaLLM
新闻资讯8

「美队」老黄深夜扔出地表最强GPU!算力百倍狂飙,下次改演雷神

凌晨,老黄GTC主题演讲华盛顿首秀,亮出下一代GPU核弹Vera Rubin,性能狂飙100倍。目前,Blackwell已全面量产,2026年底两大GPU王牌预计爆赚5000亿美金。此外,英伟达还公布了一系列合作与技术创新。

新智元
新闻资讯7

全给黄仁勋玩明白了!15亿美元租自家GPU/教小弟用GPU换融资,英伟达又一世子被曝准备IPO

The Information消息,今年夏天英伟达将从Lambda租1万个GPU服务器,另达成8000个服务器租赁交易,总值15亿美元,用于内部研发。英伟达是Lambda供应商、投资者、客户,Lambda或2026上半年IPO。

量子位
推荐文章7

企业官网GEO优化实操:如何让AI主动推荐你的官网?

本文作者白杨SEO从2011年入行SEO,2024年起研究AI搜索优化。他指出当下AI平台引用来源变化大,企业官网成重要来源。作者从网站代码、站内内容、站外推广三方面,教大家做好官网GEO优化,让AI推荐官网。

孔生SEO
算法论文8

AST | 西工大马龙、邬晓敬等:几何特征知识驱动的代理优化方法

机器学习为气动外形设计提供新方法,但高效挖掘利用几何与气动数据知识是难题。本文提出气动监督自编码器架构,利用小样本气动数据监督学习几何特征,嵌入优化框架提升样本质量及优化效率,经翼型和机翼验证有效。

力学与人工智能