开源动态7

昇腾推理：vLLM Ascend与MindIE性能大比拼

AI工程化2025-06-13

AI 摘要

国内开发者在昇腾NPU大模型推理遇挑战，MindIE使用门槛高。昇腾联合推出vLLM Ascend插件，用GPUStack平台实测发现：vLLM在单卡和并发场景有优势，MindIE在多卡部署更优，两者各有千秋。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

谷歌TPU跑Kimi比英伟达GPU快57%

本文报道由vLLM原班人马创立的Inferact公司，联合谷歌优化后，16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%，相关代码已开源，详解了背后的技术优化思路。

当前大模型算力需求攀升，高端GPU供给紧成本高，大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎，通过纯软件优化挖掘硬件潜力，让DeepSeek推理吞吐提升近7倍，方法也适配国产GPU。

本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。

本文整理自启邦泽益联席CEO马冠华在2026芯算力创新峰会上的演讲，针对大模型推理爆发、算力成本高企的行业痛点，介绍启邦泽益从芯片到集群的全栈高性价比推理算力方案。