算法论文8

苹果：Transformer改Mamba，降本又保性能

机器之心2026-04-22

AI 摘要

苹果：将Transformer改造成Mamba，采用‘两步走’避免性能崩塌。实验表明，新方法性能近原始模型，成本降低，为模型降本重构提供新思路。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

三万字讲透大语言模型入门

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

本文梳理大模型Attention架构从分流到重组的变迁路径，以MiniMax多次架构调整、GLM-5.3-Flash融合Kimi与DeepSeek技术路线的案例，分析大模型研发的平衡逻辑与行业竞争力核心。

本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。