「NPU算子」共找到 77 篇相关文章
推荐系统进入“大模型时刻”：昇腾NPU如何支撑千亿级生成式推荐落地
文章基于华为郭威在2025 AICon大会演讲，复盘华为推荐技术探索。介绍FuXi-α、β模型设计，解决训练和推理难题；分享“多阶段统一建模”进展，提出Performance Law；还介绍了训推系统优化及未来聚焦“强算力”“强模型”融合。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
华为开源突破性技术Flex:ai，AI算力效率直升30%，GPU、NPU一起用
11月21日，华为发布AI容器技术Flex:ai并联合高校将其开源。该技术基于Kubernetes构建，有三大核心突破，能提升算力利用率，异构兼容性优于Run:ai，将推动国产算力应用。
MUSA获得SGLang主线支持！5月10日北京，AI Meetup等你来
5月10日北京将举办「SGLang × MUSA」技术沙龙。契机是摩尔线程MUSA后端加入SGLang官方支持体系，代码合入主线，开发者可原生调用摩尔线程GPU。还将探讨框架适配、算子编译等议题。
PD 分离推理的加速大招，百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
Ollama升级模型调度系统：内存管理更精准，多GPU性能提升
Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。
Google Research 开源新架构，AI 不再依赖云端，直接跑在手表和耳机上
Google Research 开源 Coral NPU 平台，是面向硬件工程师与 AI 开发者的全栈开源方案，可克服 AI 在可穿戴和边缘设备落地的瓶颈，实现能耗与算力平衡，还能解决算力、生态、隐私等问题。
还在为AI数据发愁？张文涛和鄂维南院士团队推出Data-centric AI系统
近年来大模型发展由科技公司主导，其数据资源不公开，学术界构建优化数据难。张文涛和鄂维南院士团队推出DataFlow系统，可实现数据治理，有算子和流水线，支持文本模态，多模态版待推出。
刚刚，全球首个超高帧世界模型诞生！英伟达含量0，狂飙50帧
魔芯科技联合浙大潘云鹤院士团队发布全球首个Flash World Model——MoWorld，全栈基于国产NPU，实现50FPS实时推理，推理成本降70%，为世界模型产业化带来新思路。