「GPU kernels」共找到 442 篇相关文章
微信自研高性能推理计算引擎 XNet-DNN:跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN,介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力,在多方面超越现有解决方案,还给出了详实对比实验数据。
81岁老板一边狂赚1000亿成全球首富,一边公司大裁员!老员工自嘲:“我们被 GPU 替代了”
81岁的甲骨文联合创始人拉里·埃里森一日财富暴涨近千亿成全球首富。虽甲骨文营收利润未达预期,但AI订单量大,股价创新高。同时,公司大规模裁员,员工自嘲被GPU替代。
对谈 Chai-2 核心科学家乔卓然:抗体生成成功率提升百倍,分子生成平台是药物研发的 GPU|Best Minds
文章访谈 Chai Discovery 创始科学家乔卓然,探讨 Chai-2 设计理念与行业意义。Chai-2 能零样本生成活性抗体,成功率提升百倍,将开发周期从数月缩至两周。未来分子生成平台或成药物研发的 GPU,合成数据将成“第三模态”。
刚刚,1122人干出“国产GPU”第一股,摩尔线程成功IPO:开盘股价疯涨,市值破2800亿!专家:国产AI芯片商业化进入关键期
今天摩尔线程在科创板挂牌上市,募资 80 亿用于核心产品研发。其团队技术强,研发投入高但仍亏损,预计 2027 年盈利。产品迭代快,不过与国际龙头有差距,专家认为国产 GPU 商业化关键在软件生态。
142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
微软机房大量英伟达GPU开始吃灰……
微软CEO纳德拉承认,因缺电、缺机房空间,大量英伟达AI芯片闲置。这不仅是微软烦恼,也是大模型巨头共同问题。奥特曼称行业挑战在能源与基础设施匹配,算力企业也在调整策略。
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记,解释接口和约束、kernel 关键路径等问题,还介绍 NVFP4 和 MX-Formats 量化原理、代码实现,以及 LightX2V 项目中的实际使用。
如何为 GPU 提供充足存储:AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果,探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载,分析共享文件系统类别,给出比较视角,解读各负载测试结果并总结选型要点。
探索 GPU 加速向量检索:NVDIA Cagra 在微信大规模推荐系统中的应用实践
本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势,讲述线上化改造、架构演进、CPU/GPU 协同优化等,展示业务落地显著收益。
了解下 FlashInfer SKILLS 写法
文章介绍 FlashInfer 的三个 SKILL 文件,涉及调试、性能测试、添加新 kernel 等开发场景。如通过装饰器做 CUDA 调试,提供两种计时方式做性能测试,还给出添加新 kernel 的 10 步流程及最终文件清单,实用价值高。