「高性能Kernel」共找到 3419 篇相关文章
OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段
8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。
vivo发布端侧多模态模型,只有3B可理解GUI界面,20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B,融合文本与图文能力,支持长短思考模式切换。它在20余项评测中表现出色,参数量小,训练和推理成本低,有精巧结构、高效策略,还有高质量数据和高性能平台支撑。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
库克清空弹夹!2nm,韬定律,最强AI电脑
库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。
腾讯混元AI Infra核心技术重磅开源:推理吞吐提升30%!
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops,基于生产环境痛点开发,降低底层算子开发门槛,实现显著性能突破。在真实场景下,混元、DeepSeek模型推理QPM提升,单算子性能也超越主流算子库。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠,指出有足够计算资源时可重叠,通过调整`blocks_per_grid`值,观察到不同并行化程度。还提到隐式同步会影响重叠,可启用`per-thread` default Stream 禁用。
CVPR 2026新规:强制披露算力成本,高效率、高透明度论文可获三项认可奖
CVPR2026出台‘计算资源报告表(CRF)’试点计划,要求论文作者报告研究中使用的计算资源,提交报告不影响论文接收决策,展示出色计算效率和透明度的论文可获认可奖项。
又一款国产高性能GPU问世,实力对标海外巨头
2025年9月22日,芯动科技发布“风华3号”全功能GPU,它架构全面,功能覆盖广,在大模型等领域有多个突破,还适配多生态与系统。该产品能为多行业定制服务,标志国产GPU进入规模化应用阶段。
AMD服务器上一个诡异的性能问题诊断历程
本文复盘AMD服务器高优故障,从8月底起,集团amd turind机器业务cpi和cpu利用率飙升,影响业务性能。经排查是split lock问题,由python解释器调用__libc_free时出错引发,还分析了问题原因、传导路径,并给出应对措施。
开源!强效果,高性能,严隐私?我全都要:OPPO 终端大模型实践
OPPO AI 中心推出开源端侧多模态大模型 AndesVL,含 0.6B - 4B 四档尺寸套件,有通用能力强等优势。它经多阶段训练,OPPO 还构建端侧部署方案,评测显示其在多方面表现优异,未来会继续技术革新。