新闻资讯8

Mamba一作预告新架构，挑战Transformer

量子位2025-07-09

AI 摘要

Mamba一作长文探讨SSMs和Transformer模型。指出Attention非万能，Transformer非最终解法。SSMs适合长序列，Transformer像数据库。还称几天后发新架构，可结合二者优势处理原始数据。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

三万字讲透大语言模型入门

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点，作者复刻实验实测现役DeepSeek V4.1-Flash，讨论了长上下文评测的盲区，新版本弱点已明显减轻。

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。