「GPU kernels」共找到 430 篇相关文章
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
成立7个月首发声！百亿美金独角兽万字雄文：攻克LLM推理非确定性难题
估值120亿美元的Thinking Machines Lab成立7个月首次公开研究成果，揭示LLM推理非确定性的真凶是kernel缺乏批处理不变性。介绍了实现批处理不变性的方法，还通过实验展示其效果及对同策略强化学习的意义。
国产英伟达，离上市越来越近了
国产GPU明星企业摩尔线程申报不足3个月即上会，刷新科创板上会速度。它由前英伟达中国区总裁创立，获众多资本支持，虽营收增长快但累计亏损53亿，预计2027年或盈利，监管关注其盈利能力等问题。
OpenAI转向谷歌TPU：宿敌也能变朋友？
据路透社等报道，OpenAI 开始租用谷歌 AI 芯片支持产品。它本是英伟达 GPU 大买家，现面临 GPU 紧缺且想降低对微软绑定。此举或使 TPU 成替代，也提升谷歌在高端 AI 云市场话语权。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
沐曦上市背后：那些陪它穿越“死亡谷”的投资人｜甲子光年
沐曦股份在上海证券交易所科创板挂牌上市，发行价104.66元/股，上市首日高开。早期投资人陪其穿越‘死亡谷’，上市验证‘陪跑型投资’价值，也标志国产GPU进入‘资本验证期’，但仍面临生态和制程挑战。
CUTE DSL学习笔记一 CUTLASS 4.3.5 CuTe DSL 文档翻译
本文是 CuTe DSL 4.3.5 文档翻译，介绍了其核心概念、使用方法、与 CUTLASS C++ 关系等。它通过 Python DSL 降低 CUDA Kernel 开发门槛，支持 JIT 编译、多种架构，还说明了当前限制与未来计划。
华为版CUDA，全面开源了
华为宣布为昇腾AI GPU开源CANN软件工具包及Mind系列套件、工具链，让昇腾更好用。CANN类似华为版CUDA，目前到8.0版，支持多深度学习框架。同日，传奇GPU架构师创业公司浮出水面，挑战英伟达。
争夺3500亿估值！谁会是真的“中国英伟达”
6月30日，摩尔线程和沐曦同日递交科创板IPO申请，预计未来A股将涌现近10家“中国英伟达”。这轮上市潮源于政策松动，且美国出口管制为国产GPU提供了市场窗口期，但竞争也日趋激烈。目前国产GPU营收与亏损齐飞，未来需构建生态并解决产能问题。
英伟达GPU，将沦为白菜价
硅谷投资大佬Peter Thiel称AI芯片最终会成白菜价。当前英伟达靠垄断赚大钱，但AMD、ASIC、TPU、Trainium等正围剿它，利润将从硬件层转移到应用层，英伟达可能慢慢走下坡路。