「带宽利用率」共找到 81 篇相关文章
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
昨天下午，DeepSeek 更新了 DeepGEMM 代码库，带来新东西 Mega MoE。它将 MoE 计算流程整合，让数据通信和计算同时发生，提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等，是基础设施层重构尝试。
集合通信库VCCL释放GPU极致算力，创智、基流、智谱、联通、北航、清华、东南重磅开源
在超大规模智算集群需求下，创智、基流等多方联合开源集合通信库VCCL。它基于NCCL开发，有智能调度、容错、细粒度观测机制，实测能提升算力利用率、降低故障率，还解决了服务器异构等问题。
传言：华为版 DeepSeek R2 本月发布
据 Huawei Central 报道，DeepSeek R2 可能本月 15 至 30 日发布，运行在华为 Ascend 910B 集群，硬件利用率 82%，算力 512 PetaFLOPS FP16，效率达 A100 的 91%，将与 ChatGPT 5 竞争，但消息未证实。
在智算中心，部分国产芯片闲置率高达80%？
随着人工智能发展，智算中心成为科技竞争“新基建”。国内建设热潮出现波动，存在投资热度与阶段性“算力过剩”并存现象，还面临国产芯片闲置率高问题，提出需“精细化”管理提升算力利用率 。
指导Harness的越多，收益反而越差
Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。
DeepSeek不惜代价保住它！V4关键特性被挖出来了
DeepSeek V4技术报告被深挖，为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐，是复杂上下文系统底座，但会牺牲GPU利用率等，换来训练等多阶段可复现和稳定度。
全球第一！西湖大学成功登顶Science，卷赢同行背后黑科技揭秘
西湖大学一篇论文登顶Science，力压4篇同主题投稿。其成功除科研人员实力，还靠曙光存储支持。曙光为其AI集群升级，提供单节点带宽150GB/s的存储方案，且已大规模落地科研领域。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。