「CPU/GPU异构计算」共找到 467 篇相关文章
卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独
当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现(v1 和 v2),前者从 vLLM 移植,后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容,还对比了两代差异,并提及相关环境变量。
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
读万卷书,大模型就能「看」懂视觉世界?Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现,只见过文本的大语言模型(LLM)能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时,揭开LLM视觉先验来源,还给出预训练数据配方。
AMD服务器上一个诡异的性能问题诊断历程
本文复盘AMD服务器高优故障,从8月底起,集团amd turind机器业务cpi和cpu利用率飙升,影响业务性能。经排查是split lock问题,由python解释器调用__libc_free时出错引发,还分析了问题原因、传导路径,并给出应对措施。
英特尔接不住泼天富贵?
英特尔公布2025年第四季度财报,营收137亿美元,净亏损6亿美元,但好于市场预期。不过,其对2026年第一季度业绩展望低于市场共识,股价盘后一度跌逾12%。主要因供应限制,无法兑现AI驱动的CPU需求红利,且业务短板仍存。
“国产英伟达”沉浮:经历欠薪、二度创业
本文讲述了从 2018 年起,一支人才“梦之队”投身国产 GPU 芯片创业。先后成立中天恒星和砺算科技,却都遭遇资金问题。砺算科技正在流片的 G100 号称对标英伟达,但其资金困境使其未来充满未知,也反映了芯片创业市场现状。