新闻资讯9
谷歌TPU跑Kimi比英伟达GPU快57%
量子位
AI 摘要
vLLM原班人马创立的Inferact,优化后谷歌TPU v7跑Kimi K3比同配置英伟达GB200快57%,提速得益于megakernel和DeepSeek加速框架,相关代码已开源。
阅读原文 · 量子位
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
本文报道由vLLM原班人马创立的Inferact公司,联合谷歌优化后,16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%,相关代码已开源,详解了背后的技术优化思路。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
大模型后训练数据单条最高卖到1万元
大模型后训练推高专业数据身价,单条完整操作数据最高卖到1万元。随着阿里、腾讯与DeepSeek等大厂加码采买,成立不到一年的数据创业公司估值已冲上25亿美元。
硅星人Pro
开源动态7
DeepSeek开源Super-Agent原型
DeepSeek Harness开源原型系统,探索跨会话任务调度。在约300条消息的合成测试中,其任务完成p95时间为15.7分钟,比单会话方案的29.5分钟缩短近半。
AIGC开放社区
开源动态7
DeepSeek 开源 Super-agent 架构原型
DeepSeek 开源 Super-agent 架构原型,无需人工指令即可主动排查 Bug 并提交代码,多任务协作测试中 任务完成时间中位数为 12.4 分钟。
机器学习算法与自然语言处理
开源动态8
面壁智能开源算子比DeepSeek快9.8%
面壁智能开源 ForgeKernel。在英伟达 B200 上耗时 22.5 小时,把 DeepSeek 核心算子 FlashMLA 运行速度提升了 9.8%。
量子位