「GPU优化」共找到 1613 篇相关文章

新闻资讯7

国产GPU芯动科技发布最新芯片,单卡直接堆上了112GB以上的超大显存

9月22日,芯动科技在珠海正式发布“风华3号”全功能GPU,它有诸多亮点,如集成国产RISC - V CPU与兼容CUDA的GPU、原生支持DICOM显示等,还构建了国产GPU完整生态。

AIGC开放社区
算法论文8

ICLR 2026!代码优化不再靠玄学:大模型真正学会“又快又准”,效率提升71.06%,加速比达6.08x

ICLR 2026顶会文章提出全新大模型代码优化方案,切入代码优化核心难题。该方案将代码优化率提至71.06%,加速比达6.08x,正确性提至74.54%,有很强工程可用性。

AINLPer
推荐文章7

GPU到底是如何工作的?这篇AI Infra入门全部告诉你

本文详细介绍了GPU工作原理及编程模式。它从图形渲染发展到GPGPU,NVIDIA推动其通用计算。还阐述了CPU/GPU异构架构,对比二者性能,介绍编译、加载、启动过程,以及GPU硬件架构、编程与执行模型,分析SIMD和SIMT。

腾讯技术工程
新闻资讯7

马斯克22万张GPU救场后,Claude勉强恢复“三个月前体验”,Gary Marcus却警告:GPU将严重过剩,很快不值钱

当地时间5月6日,Anthropic宣布用SpaceX算力,提升Claude服务能力。此前其算力紧缺致口碑下滑,此次合作让Claude恢复到3个月前体验。同时,纽约大学学者警告GPU将过剩,而Anthropic发新功能争企业客户。

InfoQ
算法论文8

成本仅0.3美元,耗时26分钟!CudaForge:颠覆性低成本CUDA优化框架

CUDA代码性能对模型训练与推理重要,但手动优化门槛高。明尼苏达大学团队提出CudaForge,是低成本多智能体CUDA Kernel生成与优化工作流,实验效果好,成本低且具通用性。

机器之心
算法论文7

震撼实锤!清华姚班校友揭「1.4×加速」陷阱:AI优化器为何名不符实?

为降低大模型预训练成本,近年新优化器频出,宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷,对比不同缩放范式加速差异,给出优化器设计见解,证实严格基准评测必要。

新智元
开源动态8

SGLang 2025-8月性能优化技巧记录

本笔记记录2025年8月SGLang框架性能优化实践,涉及GPT - OSS、DeepSeek - V3等模型,采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术,在性能提升、减少延迟等方面效果显著。

GiantPandaLLM
推荐文章7

一文读懂:GPU到底是怎么工作的?

文章详细介绍GPU工作原理,对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题,还分析FLOPS、延迟、内存等因素对性能的影响,最后讲了GPU通过多线程和超量订阅获高吞吐量。

芯师爷
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读,详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案,包括Prefill和Decode阶段的优化、通信优化、观测诊断等,并给出了评测结果。

GiantPandaLLM
9

合理利用应用商店ASO优化工具,提升APP产品权重和转化率(工具篇)

应用商店优化(ASO)是提升App曝光和下载转化率的关键过程,涉及榜单排名、关键词搜索、转化率及其他展位优化。图标、截图、宣传文本、关键词设置等都是影响用户感知和下载决策的重要因素。

孔学长