「CUDA架构」共找到 1962 篇相关文章
架构彻底重构！DeepSeek新模型代码曝光，要来的V4让国内外都坐不住了？
DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索，或为V4内部代号。代码显示其有重大架构变更，能并行处理稀疏与稠密计算，适配英伟达新架构。此前R1发布推动中国AI开源生态发展，新模型备受期待。
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠，指出有足够计算资源时可重叠，通过调整`blocks_per_grid`值，观察到不同并行化程度。还提到隐式同步会影响重叠，可启用`per-thread` default Stream 禁用。
Patreon 年度回顾中的架构经验
2025年Patreon工程团队在为超千万付费会员推新功能时重建底层设施。其年度回顾详述12个项目，提炼韧性迁移、数据模型重构、分布式系统一致性权衡三大架构主题，还分享多项目实操经验。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
OpenAI失去了「CUDA内核之神」
近日热传Scott Gray已离开OpenAI。这位有「CUDA内核之神」称号的工程师声名起于Nervana Systems，加入OpenAI后贡献颇多。2026年OpenAI已流失不少人才，他的离开对公司影响值得关注。
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例，对比普通和向量化版本，通过查看SASS代码，解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。
InfoQ 2025 年趋势报告：软件架构和设计
InfoQ 2025 年软件架构和设计趋势报告，借助《跨越鸿沟》模型分类。涉及 AI 多方面趋势，如 LLM 普及但应用场景存疑，还有 Agentic AI、SLM 等创新领域，以及 RAG、AI 辅助开发等不同阶段趋势。