「GPU内存共享」共找到 732 篇相关文章
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
6 天、96 万行 Rust、直接合并？Claude Code 被 Bun 的内存泄漏拖垮后，Bun 让 Claude 亲手重写了自己
2026 年 5 月，Bun 创始人 Jarred Sumner 宣布将合并 Rust 重写版本，终结 Zig 版。此次迁移仅用六天，涉及 96 万行代码。此前，Bun 内存泄漏影响 Claude Code，促使 Anthropic 让 Claude 重写 Bun。不过，AI 重写也引发对代码质量和流程的争议。
为什么HBM能摆脱传统周期？
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。
MiniMax都在用！5500PB幕后功臣首次亮相，国产黑马祭出杀招
AI浪潮中，数据流不动致GPU算力空转，XSKY星辰天合举办AIMesh产品战略发布会破局。AIMesh含三网，分别解决IO墙、重力墙、内存墙问题，且开放解耦，获多方认可。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
微软机房大量英伟达GPU开始吃灰……
微软CEO纳德拉承认，因缺电、缺机房空间，大量英伟达AI芯片闲置。这不仅是微软烦恼，也是大模型巨头共同问题。奥特曼称行业挑战在能源与基础设施匹配，算力企业也在调整策略。
探索 GPU 加速向量检索：NVDIA Cagra 在微信大规模推荐系统中的应用实践
本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势，讲述线上化改造、架构演进、CPU/GPU 协同优化等，展示业务落地显著收益。
昔日GPU霸主，今日CPU屠夫？黄仁勋亮大招
2026年1月26日，英伟达CEO黄仁勋宣布以20亿美元购入CoreWeave的A类普通股。Vera CPU首次作为独立基础设施选项走向市场，挑战英特尔和AMD。其技术规格有巨大飞跃，能减少数据中心能耗与散热。
使用 Hugging Face 轻松构建并共享 ROCm 内核
自定义内核是高性能深度学习基础，但构建整合麻烦。Hugging Face的kernel - builder和kernels库可助轻松构建、分享自定义内核。本文聚焦构建ROCm兼容内核，展示构建、测试与分享步骤。
Unsloth-MLX：在Mac上微调LLM，代码无缝迁移到云端GPU
对于Mac用户，在原型实验阶段反复租云端GPU是资源浪费。开发者推出Unsloth - MLX，基于MLX框架，让Mac用户本地高效微调大模型，改一行导入语句就能无缝迁移代码到云端，还介绍项目特点、状态等。