「GPU内核优化」共找到 1625 篇相关文章
斯坦福:优化器「诸神之战」?AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出,虽有不少声称能显著加速的优化器替代方案,AdamW 仍为预训练稳健首选,但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
GPU-MODE Leaderboards之nvfp4_gemv代码阅读
文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开,先介绍问题及官方baseline,后详细解读rank1代码,含数据加载、线程模型等,还剖析核心计算函数,最后总结代码在缓存控制、数据格式等方面的调优亮点。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
NVIDIA 推出Rubin CPX,专为AI推理设计的GPU
NVIDIA发布专为大规模上下文AI推理设计的Rubin CPX GPU,性能提升显著,集成视频编解码器和长文本推理处理。新平台算力强,适用于代码生成与视频处理,多家公司将采用,2026年底上市。
低延迟、高吞吐,LLM优化与高效推理引擎综述
LLM计算成本高,用户要低延迟,企业要高吞吐。工程师开发优化技术,如动态批处理、KV缓存、模型量化。论文对比25款推理引擎,还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
255亿估值,国产GPU第一股要来了?
6月18日,摩尔线程IPO辅导状态变更为“辅导验收”。它成立于2020年,累计融资超45亿,估值255亿。若上市成国产GPU第一股,或受二级市场追捧。当下国产芯片替代空间广,相关企业有望增长。
AI Agent平台Sedai获2000万美元融资,主打云优化
AI Agent平台Sedai获2000万美元B轮融资,由AVP领投。它聚焦云优化,用智能体取代人工运维,节省成本。产品应用广泛,核心能力突出,2024年收入增长7倍,计划扩平台、引新功能、扩市场团队。
150%训练效率提升:感知检测小模型训练优化方法
文章基于业务实践,总结感知检测小模型在不同算力卡上的训练方法,为智能驾驶场景提供借鉴。介绍测试环境、技术架构,分析环境依赖冲突、源代码适配等问题并给出解决方法,还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
GPU荒还没结束,CPU可能要被抢起来了
2026 年英伟达宣布量产为 AI 智能体打造的 CPU Vera。此前 AI 产业硬件焦虑多围绕 GPU,如今 AI Agent 改变任务形态,CPU 负担加重,芯片厂商纷纷布局,产能变化或让消费者买单。
17 万模型背后:魔搭联合 AMD 送 1000 小时 GPU 的算盘
魔搭社区联合 AMD 推出「AMD 开发者激励计划」,提供最高 1000 小时 GPU 算力额度。魔搭社区对标 Hugging Face,托管超 17 万个开源模型。此次激励是三方匹配的生意,还释放了硬件去美元化和模型托管社区升级的信号。