「内存占用」共找到 241 篇相关文章
极致优化Android平台APK的大小
文章以Android为例,介绍UE包可裁剪部分的优化思路与实践,优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手,还给出优化效果和额外资料。
EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法:LightThinker
随着AI发展,大语言模型处理复杂推理任务能力提升,但推理时产生大量中间步骤和文本,拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker,可动态压缩推理步骤,降低内存占用和计算成本。
openJiuwen协同昇腾打造智能体「算力亲和」技术,首token时延砍半,推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态,导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术,建立语义协同机制,优化 KV Cache 管理,提升 Agent 系统运行效率。
内存减6倍、精度0损失,推理提速8倍!谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术,能将KV缓存6倍压缩、无精度损失,推理速度提升8倍,解决内存瓶颈问题,为大语言模型应用扫清障碍,引发业界关注,还致存储芯片巨头股价大跌。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突,它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例,对比有冲突、填充、swizzling三种实现,还分析了swizzling和填充优缺点。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。
748GB内存、20P算力,英伟达把数据中心塞进了桌子底下,第一台已经送到Karpathy家里
英伟达DGX Station GB300首批系统交付开发者,首台给了Andrej Karpathy。它有748GB内存、20P算力,用GB300芯片架构。背后是长时运行自主智能体开发需本地算力,英伟达从软硬层面推进。
英伟达新“桌面超算”800GB大内存,满血DeepSeek R1能装1个半
英伟达在Computex大会宣布新办公室落户中国台湾省台北市,还推出多款新品。如面向个人的DGX Station有800GB内存,能跑大模型;面向企业的RTX PRO Server可加速多种用例。此外,还发布新平台、宣布合作等。
库克清空弹夹!2nm,韬定律,最强AI电脑
库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。
超越英伟达B200!AMD最强AI芯:1.6倍大内存、大模型推理快30%,奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X,号称大模型推理比英伟达B200快30%,内存是其1.6倍。该系列本月初已批量出货,还发布ROCm 7软件栈。AMD还预告明年推MI400系列,由其与OpenAI联合研发。