开源动态8

KTransformers：异构推理成大模型新范式

量子位2025-10-22

AI 摘要

趋境科技与清华团队联合研发的KTransformers，论文入选SOSP 2025。它创新异构推理架构，加入专家延迟机制，与SGLang合作推动架构融合，成广泛复用框架，未来想让AI能力普惠。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

谷歌TPU跑Kimi比英伟达GPU快57%

本文报道由vLLM原班人马创立的Inferact公司，联合谷歌优化后，16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%，相关代码已开源，详解了背后的技术优化思路。

本文是百度百舸与SGLang联合Meetup的分享整理，讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化，覆盖多类模型场景，公布实测性能提升数据与百度百舸的通信优化效果。

当前大模型算力需求攀升，高端GPU供给紧成本高，大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎，通过纯软件优化挖掘硬件潜力，让DeepSeek推理吞吐提升近7倍，方法也适配国产GPU。

本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。