「CUDA」共找到 94 篇相关文章
谷歌用Gemini 3同时革了OpenAI和英伟达两家的命
谷歌发布Gemini 3全家桶,打断英伟达和OpenAI双赢美梦。它实现原生多模态,对OpenAI构成代际优势;用TPU训练模型,摆脱CUDA依赖,冲击英伟达算力神坛。谷歌全栈自研,其发展或改变AI格局。
SGLang JIT Kernel 介绍
文章介绍SGLang JIT Kernel,此前开发CUDA Kernel流程繁琐、编译时间长,现基于TVM - FFI探索JIT开发加速迭代。文中梳理其机制、抽象及新增Kernel流程,还给出环境设置、目录结构等内容,并以实例说明开发过程。
算力十年狂飙100000倍,他却每天担心破产!黄仁勋亲述:如何用“30天危机感”逆袭万亿AI市场
英伟达推出 CUDA Toolkit 13.1,号称 20 年来最大更新,有 Tile 编程等亮点。黄仁勋回顾创业,称每天有破产危机感。他还谈 AI 发展、应用、意识及工作影响等,认为 AI 会创造新工作,也能缩小技术鸿沟。
腾讯混元AI Infra核心技术重磅开源:推理吞吐提升30%!
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops,基于生产环境痛点开发,降低底层算子开发门槛,实现显著性能突破。在真实场景下,混元、DeepSeek模型推理QPM提升,单算子性能也超越主流算子库。
记录下SGLang 开发,debug的几个技巧第二弹
作者BBuf继上次分享后,又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重,介绍SGLang Serve模型短期和长期崩溃的调试方法,还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
谷歌AI的“心脏”长什么样?读懂TPU就够了
文章介绍了谷歌TPU的发展历程,从2015年为解决AI计算效率瓶颈自研,发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线,强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。
AI终端驱动下的芯片产业:新周期的起点与方向|甲子引力X
在8月21日的投资大会上,六位半导体领域顶级投资人剖析AI时代芯片破局路。他们认为中国虽在核心制造与软件生态是“跟随者”,但贴近终端等构成独特优势,还探讨突破壁垒、应对困境之法及未来投资方向。
不上云、不租卡,如何优雅地在本地微调Qwen-VL-30B?
文章指出企业训练多模态助手,30B 参数的开源多模态模型如 Qwen-VL-30B 是不错选择,但多模态场景下显存需求大。联想 ThinkStation PGX 解决了显存难题,还介绍其性能、优势、适用场景及服务等。
大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核,当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench,打破现有评测基准局限,构建模块化评测体系,多模型实测,还指出LLM短板并明确未来方向。
GPT-5.6 Sol首批内测结果来了!同任务成本只有Fable 5一半
GPT-5.6 Sol预览版发布半月,首批内测报告出炉。它代码简洁,适合长链路任务,视觉效果好。虽整体略逊Fable 5,但成本近乎减半,且安全限制小,即将全量上线。