高性能Kernel」共找到 3423 篇相关文章

开源动态8

千问3:开源第一不只是说说!

英伟达新开源的OpenCodeReasoning系列选千问作基础底座。千问3以Apache 2.0发布后,开发者生态更新频繁,衍生模型超10万,下载量破3亿,全球第一。其性能强,正加速开启全栈式AI时代。

探索AGI
算法论文8

142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要

文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。

GiantPandaLLM
开源动态7

1.5B参数!支持本地实时语音转录

Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B,参数1.5B,能在本地设备处理质量端到端音频任务。它是统一多模态模型,支持两种生成策略,多种应用场景,虽仅支持英文但性能出色。

AI工程化
新闻资讯8

英伟达新GPU,超长上下文/视频生成专用

在AI Infra Summit上,英伟达宣布推出NVIDIA Rubin CPX GPU,专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU,性能强且能效,预计2026年底推出。

量子位
新闻资讯7

中国 AI 正处于反超美国的前夜

2025下半年中美AI圈有新现象,一是认可中国AI崛起或反超,如海外企业用通义千问,MiniMax开源模型编程能力强;二是资本豪赌与泡沫风险加剧。中国AI成本低、性能优、ROI,MiniMax或成中国版OpenAI。

AI科技评论
新闻资讯7

Claude Opus 4.6差评如潮!思考深度暴跌67%,AMD总监6852次日志打脸

Claude Opus 4.6遭差评,用户感其「变笨」,输出浅、易失败、违规提示增多。AMD总监用6852次日志证明其「思考深度」降67%,价格性能倒退。Anthropic虽称优化,但用户不满默认值被改。

新智元
产品应用7

华为昇腾推理对决:开源vLLM vs 官方MindIE,数据说话「Qwen与DeepSeek推理实测」

文章围绕华为昇腾推理,对比开源vLLM与官方MindIE。借助GPUStack平台测试Qwen与DeepSeek模型,分析不同场景性能。指出vLLM和MindIE各有优势,还强调构建国产AI推理生态需多要素,鼓励开源协作。

AI寒武纪
推荐文章7

一文读懂:GPU到底是怎么工作的?

文章详细介绍GPU工作原理,对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题,还分析FLOPS、延迟、内存等因素对性能的影响,最后讲了GPU通过多线程和超量订阅获吞吐量。

芯师爷
算法论文7

从数据分布视角,重新认识下CoT

本文从数据分布视角重新审视大语言模型的思维链(CoT)推理。指出CoT并非真正推理,而是模仿,其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化,提醒勿过度依赖。

深度学习自然语言处理
算法论文7

手机上实现AI视频实时生成,DiT模型上移动端

扩散变换器在视频生成任务性能强,但计算成本,在手机上难实用。Snap提出创新优化法,加速视频生成,能在iPhone 16 Pro Max上每秒超10帧,不过也存在细节退化等局限。

带你学AI