「内存优势」共找到 1316 篇相关文章
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。
748GB内存、20P算力，英伟达把数据中心塞进了桌子底下，第一台已经送到Karpathy家里
英伟达DGX Station GB300首批系统交付开发者，首台给了Andrej Karpathy。它有748GB内存、20P算力，用GB300芯片架构。背后是长时运行自主智能体开发需本地算力，英伟达从软硬层面推进。
英伟达新“桌面超算”800GB大内存，满血DeepSeek R1能装1个半
英伟达在Computex大会宣布新办公室落户中国台湾省台北市，还推出多款新品。如面向个人的DGX Station有800GB内存，能跑大模型；面向企业的RTX PRO Server可加速多种用例。此外，还发布新平台、宣布合作等。
Kimi K2发布两天即“封神”？80%成本优势追平Claude 4、打趴“全球最强AI”，架构与DeepSeek相似！
国内独角兽月之暗面发布开源模型 Kimi K2，推出两天就在 OpenRouter 超越 xAI 的 Grok 4。它成本优势大，能力泛化和实用性强，编码、Agent 工具调用等方面表现出色，架构与 DeepSeek 相似。
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
“你的Agent，我一周末就能做出来！” AI时代的护城河：Cursor 卷每日迭代速度，DeepSeek 用技术撕大厂规模优势
文章围绕AI时代创业的“护城河”展开，介绍YC播客讨论内容，指出因ChatGPT易复制，创业者需思考持久商业模式。还列举Cursor、DeepSeek等案例，阐述速度、流程之力等多种构建护城河的方式。
一起聊聊Nvidia Blackwell新特性之低比特GEMM
本文是NVIDIA Blackwell架构GEMM研究系列文章第三部分，介绍低精度计算，探讨Blackwell GEMM如何执行，关注6位和4位格式及对内存布局影响。还提及低精度优势、数据格式、UMMA实现、操作限制、CUTLASS抽象方式等。
腾讯开源Cube Sandbox：60毫秒冷启动的AI沙盒运行时
Harness设计中沙箱是重点难点，传统方案在安全与性能间妥协。腾讯开源Cube Sandbox，用RustVMM重构虚拟化层，冷启动60毫秒，单实例5MB内存开销，有真内核隔离等优势，开源版本含网络隔离组件。