技术文章7

NCCL 2.27新特性：symmetric memory揭秘

GiantPandaLLM2025-09-17

AI 摘要

黄randolf：NCCL 2.27的symmetric memory设计像NVSHMEM，当前仅支持单节点通信，未来支持跨节点。其低延迟内核提升小数据通信性能，还结合案例介绍CUDA内存管理及Symmetric Memory实现等。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

金煜阳：大模型推理加速全链路方案揭秘

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。

每年的 Advancing AI 大会，AMD 都要回答 Instinct GPU 除训练大模型外的应用问题。今年大会上，AMD 把一个位置留给 AI 制药公司 MindWalk。而其对手英伟达已在生命科学领域布局多年，生命科学成两家竞争新战场。

一个周末，Claude直接把自家最前沿模型跑在全新AMD MI355X机架，人类工程师没改一行代码。AMD还给AI开发调GPU的工具，ROCm.AI可让Agent自己部署操作。Agent补生态积累短板，对CUDA生态形成降维打击。