「GPU kernels」共找到 443 篇相关文章
预计募资80亿,摩尔线程发行价定了
11月20日摩尔线程公告,协商确定发行价为114.28元/股,预计募资79.996亿。该公司由有GPU行业近二十年经验的张建中创立,构建智算产品线,其夸娥万卡智算方案特性突出。
让AI生成视频「又长又快」:Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究,由博士生刘坤昊等完成,提出Rolling Forcing方法,通过滚动窗口联合降噪等创新设计,突破实时长视频生成瓶颈,实现分钟级实时生成,还支持交互控制,但仍有优化方向。
NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。
大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核,当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench,打破现有评测基准局限,构建模块化评测体系,多模型实测,还指出LLM短板并明确未来方向。
SGLang 推理引擎的技术要点与部署实践|AICon 北京站前瞻
SGLang 是开源推理引擎,截至 2025 年 6 月,GitHub 近 15K Stars,月均下载量超 10 万次,被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升,他分享关键技术等内容,6 月 27 - 28 日他将在 AICon 演讲。
假如有一万张卡,RL训练该怎么扩大规模?十万张呢?
本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。
Agentic RL 后训练资源怎么分?港中文、恒生大学提出 Libra,吞吐最高提升 3 倍
大语言模型走向“完成任务”,Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统,统一优化训练与 rollout,在多任务中提升吞吐,论文与代码已公开。
英伟达MoE新开源:一行import,微调加速3.7倍
英伟达开源NeMo AutoModel,基于Hugging Face Transformers v5,不改代码API,添一行import就能更快速微调MoE模型。实验显示,它能提升3.4 - 3.7倍训练吞吐,减少29% - 32% GPU显存占用。
为什么算力追赶这么难?前谷歌架构师现场黑板推演底层架构,看懂芯片底层逻辑里被忽视的“空间博弈”
前谷歌架构师、MatX CEO Reiner Pope在访谈中从基础逻辑门讲起,推导芯片架构,指出芯片大部分成本花在搬运数据上,还探讨乘加运算、脉动阵列等原理,以及时钟周期、FPGA与ASIC差异等内容。
字节清华智能体自动写CUDA内核,比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent,在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统,训练数据经多阶段构建,分阶段训练,全面超越商业模型,还开源了训练数据集。