开源动态7

揭秘NCCL 2.27 symmetric primitives机制

GiantPandaLLM2025-09-18

AI 摘要

文章深入解析NCCL 2.27中symmetric primitives实现机制，介绍多种接口功能与工作机制，分析LL Buffer划分策略，指出BytePack越大，slot数和并发线程数越少但单slot承载数据多，且LL Buffer安全性由算法同步依赖保证。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

腾讯程序员：揭秘大模型输出确定性结果之道

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。

本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。

文章介绍了27.2k Star的FastMCP，它是Python MCP应用框架，能让普通Python函数成为MCP工具。讲了其适合场景、省事原因及上线安全边界，还给出了适用人群和注意点。

香港科技大学（广州）和腾讯团队开源VibeWorlding框架，实现说句话造3D世界。它由VWE - Bench和VibeWorlding - Gym组成，开源模型经强化学习训练后成绩逆袭，证明强化学习解锁3D推理潜力巨大。