「内存占用」共找到 241 篇相关文章

推荐文章8

极致优化Android平台APK的大小

文章以Android为例,介绍UE包可裁剪部分的优化思路与实践,优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手,还给出优化效果和额外资料。

腾讯技术工程
算法论文7

EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法:LightThinker

随着AI发展,大语言模型处理复杂推理任务能力提升,但推理时产生大量中间步骤和文本,拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker,可动态压缩推理步骤,降低内存占用和计算成本。

AINLPer
开源动态8

openJiuwen协同昇腾打造智能体「算力亲和」技术,首token时延砍半,推理存储占用下降25%

传统推理引擎难以理解 Agent 任务状态,导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术,建立语义协同机制,优化 KV Cache 管理,提升 Agent 系统运行效率。

机器之心
新闻资讯8

内存减6倍、精度0损失,推理提速8倍!谷歌新技术震撼了AI圈

Google Research团队推出TurboQuant技术,能将KV缓存6倍压缩、无精度损失,推理速度提升8倍,解决内存瓶颈问题,为大语言模型应用扫清障碍,引发业界关注,还致存储芯片巨头股价大跌。

AIGC开放社区
推荐文章7

【博客转载】CUDA Shared Memory Swizzling

文章讨论用swizzling技术处理CUDA共享内存bank冲突,它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例,对比有冲突、填充、swizzling三种实现,还分析了swizzling和填充优缺点。

GiantPandaLLM
推荐文章7

【博客转载】CUDA Local Memory

文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。

GiantPandaLLM
产品应用7

748GB内存、20P算力,英伟达把数据中心塞进了桌子底下,第一台已经送到Karpathy家里

英伟达DGX Station GB300首批系统交付开发者,首台给了Andrej Karpathy。它有748GB内存、20P算力,用GB300芯片架构。背后是长时运行自主智能体开发需本地算力,英伟达从软硬层面推进。

AI寒武纪
新闻资讯8

英伟达新“桌面超算”800GB大内存,满血DeepSeek R1能装1个半

英伟达在Computex大会宣布新办公室落户中国台湾省台北市,还推出多款新品。如面向个人的DGX Station有800GB内存,能跑大模型;面向企业的RTX PRO Server可加速多种用例。此外,还发布新平台、宣布合作等。

量子位
8

库克清空弹夹!2nm,韬定律,最强AI电脑

库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。

量子位
8

超越英伟达B200!AMD最强AI芯:1.6倍大内存、大模型推理快30%,奥特曼都来站台

AMD发布最强AI芯片MI350X和MI355X,号称大模型推理比英伟达B200快30%,内存是其1.6倍。该系列本月初已批量出货,还发布ROCm 7软件栈。AMD还预告明年推MI400系列,由其与OpenAI联合研发。

量子位