「并行计算」共找到 906 篇相关文章
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
8B模型任务击败GPT-5？阶跃星辰开源Deep Think新框架，小模型解锁百万Token测试时计算
阶跃星辰推出并行协同推理框架PaCoRe，让大模型突破上下文窗口和处理速度限制。基于此框架，小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5，还具备前沿性能、“综合”能力涌现等优势。
Manus 数月憋大招， 100 个 Agent 并发只为选双鞋？肖弘放话：第一阶段就得先做超贵的 AI！
中国人工智能初创公司 Manus 推出新功能“Wide Research”，可让用户借助多个 AI Agent 同时处理大规模任务。该功能不走“深度研究”路径，架构经优化，计算能力扩展 100 倍，但效果待察。Manus 撤出中国市场，欲借此求差异。
CVPR 2026新规：强制披露算力成本，高效率、高透明度论文可获三项认可奖
CVPR2026出台‘计算资源报告表（CRF）’试点计划，要求论文作者报告研究中使用的计算资源，提交报告不影响论文接收决策，展示出色计算效率和透明度的论文可获认可奖项。
仅需一个混频器的无线射频机器学习推理，登上Science Advances！
杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案，在边缘端混频器模拟计算中完成推理，解决传统方案问题，还在测试平台验证，能耗低且能完成多项机器学习任务。
19年不丢数据，擦写6万次不坏，原子级材料重新定义未来芯片
上海大学王震宇副教授团队在《自然·电子学》发文，用二硫化铌和二硫化钼做出新型非易失存储器，能保持数据约19年、擦写超6万次，还具备计算和存储两种本领，对未来低功耗计算和存内计算有吸引力。
DeepSeek 复盘：128 天后，为什么用户流量一直在下跌？
文章深入分析DeepSeek和Anthropic策略，揭示行业计算资源稀缺难题。指出AI服务定价是延迟、吞吐量、上下文窗口三个指标的权衡，DeepSeek牺牲体验换研发，Anthropic提升‘智能密度’优化资源。