「CPU利用率」共找到 122 篇相关文章
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
老黄回应英伟达入股英特尔
英伟达50亿美元入股英特尔，将持有超4%股份成大股东之一。双方要联合开发用于PC和数据中心的AI芯片，未来芯片或成CPU与GPU融合的超级芯片。此合作或冲击AMD和台积电。
AI低质代码泛滥、API经济盛行，老牌科技厂商 F5 如何应对大模型应用“后遗症”？
F5亚太区CTO Mohan Veloo指出AI编程工具带来安全、低质代码、‘黑盒子’等问题。F5调查显示企业业务AI驱动下，安全成挑战。F5推出ADSP平台应对，还发布AI Gateway、AI助手等产品。
Switch 2芯片细节曝光！英伟达专门定制支持DLSS，网友：掌机模式相当于PS4
数毛社消息，Switch 2采用英伟达真·定制版芯片，含8核CPU和12GB LPDDR5X内存，GPU基于Ampere架构，支持DLSS和光线追踪。不过配置也引吐槽，如掌机性能降、续航或不长等。
零GPU，世界第一超算！深圳制造改写游戏规则了
中山大学教授带队、深圳制造的灵晟超算登顶全球超算TOP500榜单，零GPU采用纯CPU架构，全链路自研。图灵奖得主评价其为“AI4S新型架构的希望之光”，还在多领域展开应用。
KTransformers入选计算机系统顶会、与主流框架合作，趋境&清华让「异构」成为推理新范式
KTransformers由趋境科技与清华团队联合研发，是高性能异构推理框架。其论文入选SOSP 2025，还与SGLang合作。它有算子优化等创新，能让CPU与GPU协同，推动推理架构融合，已成广泛复用的底层框架。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
Sora 模糊视频有救了！强大的免费开源AI视频处理工具！硬件要求低！
Video2X-QT6是免费开源AI视频处理工具，支持视频超清放大、补帧，兼容CPU和GPU，低配置电脑也能用。6.0.0版本用C/C++重写，速度快、跨平台，还能处理图片。介绍了不同系统安装方法等。