高性能Kernel」共找到 3419 篇相关文章

新闻资讯8

OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段

8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。

DeepTech深科技
产品应用8

vivo发布端侧多模态模型,只有3B可理解GUI界面,20项评测表现亮眼

vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B,融合文本与图文能力,支持长短思考模式切换。它在20余项评测中表现出色,参数量小,训练和推理成本低,有精巧结构、效策略,还有质量数据和性能平台支撑。

量子位
算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM
8

库克清空弹夹!2nm,韬定律,最强AI电脑

库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,内存版限购且供货晚,价格也涨了。

量子位
开源动态8

腾讯混元AI Infra核心技术重磅开源:推理吞吐提升30%!

腾讯混元AI Infra团队开源生产级性能LLM推理核心算子库HPC-Ops,基于生产环境痛点开发,降低底层算子开发门槛,实现显著性能突破。在真实场景下,混元、DeepSeek模型推理QPM提升,单算子性能也超越主流算子库。

腾讯技术工程
推荐文章7

【博客转载】CUDA Kernel Execution Overlap

文章讨论CUDA kernel执行重叠,指出有足够计算资源时可重叠,通过调整`blocks_per_grid`值,观察到不同并行化程度。还提到隐式同步会影响重叠,可启用`per-thread` default Stream 禁用。

GiantPandaLLM
新闻资讯7

CVPR 2026新规:强制披露算力成本,效率、透明度论文可获三项认可奖

CVPR2026出台‘计算资源报告表(CRF)’试点计划,要求论文作者报告研究中使用的计算资源,提交报告不影响论文接收决策,展示出色计算效率和透明度的论文可获认可奖项。

机器之心
产品应用8

又一款国产性能GPU问世,实力对标海外巨头

2025年9月22日,芯动科技发布“风华3号”全功能GPU,它架构全面,功能覆盖广,在大模型等领域有多个突破,还适配多生态与系统。该产品能为多行业定制服务,标志国产GPU进入规模化应用阶段。

芯师爷
产品应用7

AMD服务器上一个诡异的性能问题诊断历程

本文复盘AMD服务器优故障,从8月底起,集团amd turind机器业务cpi和cpu利用率飙升,影响业务性能。经排查是split lock问题,由python解释器调用__libc_free时出错引发,还分析了问题原因、传导路径,并给出应对措施。

阿里云开发者
开源动态8

开源!强效果,性能,严隐私?我全都要:OPPO 终端大模型实践

OPPO AI 中心推出开源端侧多模态大模型 AndesVL,含 0.6B - 4B 四档尺寸套件,有通用能力强等优势。它经多阶段训练,OPPO 还构建端侧部署方案,评测显示其在多方面表现优异,未来会继续技术革新。

InfoQ