开源动态8

Kimi开源架构：推理速度暴涨6倍

量子位2025-10-31

AI 摘要

月之暗面开源Kimi Linear架构，以Kimi Delta Attention为核心创新，改进线性注意力机制。实验显示，它在多基准测试超Transformer，长上下文推理加速6倍、缓存降75%，或推动AI架构多元创新。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

从Sigmoid到SwiGLU 读懂激活函数

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。

OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。

前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。