「MoE算子」共找到 208 篇相关文章

新闻资讯8

9位顶级研究员连讲3晚,华为盘古大模型底层研究大揭秘

华为诺亚方舟实验室成果颇丰,4月开发千亿级通用语言大模型Pangu Ultra,5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日,机器之心联合举办分享会,9位研究员揭秘量化、剪枝等关键技术突破。

机器之心
开源动态8

还在为AI数据发愁?张文涛和鄂维南院士团队推出Data-centric AI系统

近年来大模型发展由科技公司主导,其数据资源不公开,学术界构建优化数据难。张文涛和鄂维南院士团队推出DataFlow系统,可实现数据治理,有算子和流水线,支持文本模态,多模态版待推出。

机器之心
开源动态7

DeepSeek突然拥抱国产GPU语言!TileLang对标CUDA替代Triton,华为昇腾Day0官宣支持适配

DeepSeek v3.2开源TileLang版本算子引关注,其可对标CUDA替代Triton,还适配国产算力生态,华为昇腾官宣支持。TileLang由北大团队主导,提供不同层次编程接口,助DeepSeek提升性能。

量子位
开源动态8

如何在24GB显存里,塞下一个万亿参数的巨兽?KTransformers入选顶会SOSP

清华大学与趋境科技联合研发的KTransformers系统,可让消费级显卡跑万亿级参数模型,其论文入选SOSP 2025。该系统解决MoE模型本地部署难题,技术创新多,还与SGLang合作,提升硬件利用率。

AIGC开放社区
新闻资讯7

对话西工大徐韬:昇腾生态如何为AI创新装上涡轮增压?|甲子光年

本文讲述西工大徐韬团队与昇腾平台深度合作的故事。他们从算子研究攻坚底层技术,开发抑郁症初筛等系统。昇腾还助力教学,让学生实践操作。未来,更多人将参与国产AI源头创新。

甲子光年
推荐文章7

CUTLASS 笔记 (2):混合精度 GEMM kernel

文章介绍实现支持不同精度的 GEMM 算子,解析精度转换技术细节,还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel,包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等,最后完成精度验证。

GiantPandaLLM
开源动态7

FlashInfer集成TensorRT-LLM cubin kernel技术分析

文章以MoE模块为例,分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件,介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。

GiantPandaLLM
推荐文章7

[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解

文章详细介绍vLLM中Triton Merge Attention States Kernel的实现,与PyTorch原生实现对比,该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。

GiantPandaLLM
开源动态8

英伟达开源全新大模型:黄仁勋不想只「卖铲子」

2025年底英伟达宣布开源全新模型家族Nemotron 3,含Nano、Super和Ultra。它融合Mamba、Transformer和MoE技术,有诸多创新。这不仅是产品更新,更是战略突袭,标志着英伟达想构建AI闭环开放生态。

新智元
技术实践8

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。

阿里云开发者