开源动态8

苏剑林揭秘 Kimi K3 架构升级内幕

Agent的潜意识2026-08-05

AI 摘要

苏剑林：K3 是持续进化的成果，架构含 KDA、MLA 等。MoE 上提出 SiTU、Norm、QB 优化；注意力选 MLA 并与 KDA 混合，DSV4 是 MLA 升级，K3 因 KDA 可不用 RoPE。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

OpenAI亲儿子自研模型选中国K3

OpenAI投资的法律AI公司Harvey，首个自研模型Harvey Tenet选中国开源模型Kimi K3作底座。因原用闭源模型成本高、有竞争风险。Tenet训练成本低、性能佳，显示出可复制路径。

文章以 Kimi K3 模型及相关 agent 产品为例，讲述 TiDB 作为基建服务商，满足 AI 团队需求形成 Agent Stack。还指出 Agent 时代基建难题、数据库使用变化，以及创业团队做 Agent 业务的三个判断。

作者用 Kimi K3 为墨问的 CatReader 增加发现页，实操中它多数时候快且抗用，不过周五晚变慢，收尾工作交给了 GLM 5.2。对用户觉得 K3 又慢又贵的问题进行分析，还区分了 Kimi App 和 Kimi Code 使用场景。

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。