「高性能Kernel」共找到 3513 篇相关文章
【博客转载】CUDA Reduction
文章来自Lei Mao,介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性,接着实现两个批量归约求和kernel,还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
本周推荐的6个超级6的Github开源项目!
本文推荐6个GitHub开源项目。如WeClone用微信记录定制数字分身、支持语音克隆;Windmill将脚本转工作流和UI;Zed是高性能Rust代码编辑器;webfunny_monitor监控前端性能;Rybbit分析网站流量;Lite XL是轻量级文本编辑器。
从MiniMax到DeepSeek:为何头部大模型都在押注「交错思维」?
昨日推特博主公布国内几大开源模型在 mini - SWE - agent 测试成绩,MiniMax 新一代大模型 M2 表现最佳。其采用的「交错思维」技术成亮点,解决了状态漂移问题,正成高性能 Agent 模型标配。M2 既强又省,还给出使用最佳实践。
OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段
8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。
vivo发布端侧多模态模型,只有3B可理解GUI界面,20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B,融合文本与图文能力,支持长短思考模式切换。它在20余项评测中表现出色,参数量小,训练和推理成本低,有精巧结构、高效策略,还有高质量数据和高性能平台支撑。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
库克清空弹夹!2nm,韬定律,最强AI电脑
库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。
腾讯混元AI Infra核心技术重磅开源:推理吞吐提升30%!
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops,基于生产环境痛点开发,降低底层算子开发门槛,实现显著性能突破。在真实场景下,混元、DeepSeek模型推理QPM提升,单算子性能也超越主流算子库。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠,指出有足够计算资源时可重叠,通过调整`blocks_per_grid`值,观察到不同并行化程度。还提到隐式同步会影响重叠,可启用`per-thread` default Stream 禁用。
CVPR 2026新规:强制披露算力成本,高效率、高透明度论文可获三项认可奖
CVPR2026出台‘计算资源报告表(CRF)’试点计划,要求论文作者报告研究中使用的计算资源,提交报告不影响论文接收决策,展示出色计算效率和透明度的论文可获认可奖项。