开源动态8

苏剑林揭秘 Kimi K3 架构升级内幕

Agent的潜意识2026-08-05

AI 摘要

苏剑林：K3 是持续进化的成果，架构含 KDA、MLA 等。MoE 上提出 SiTU、Norm、QB 优化；注意力选 MLA 并与 KDA 混合，DSV4 是 MLA 升级，K3 因 KDA 可不用 RoPE。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Kimi K3 DeepRSI夺国产第一

本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准，测试大模型递归自我改进能力，设置48小时无网络自主科研挑战，最终Kimi K3拿下国产第一、开源第一，成果引发行业关注。

本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值

本文梳理大模型Attention架构从分流到重组的变迁路径，以MiniMax多次架构调整、GLM-5.3-Flash融合Kimi与DeepSeek技术路线的案例，分析大模型研发的平衡逻辑与行业竞争力核心。

本文深度梳理了DeepSeek梁文锋过去三年署名的11篇AI核心论文，还原其从成本破局到Agent基础设施卡位的底层技术路线，拆解各论文核心突破，展现中国大模型差异化竞争路径。