算法论文8
Kimi 新架构爆改 Transformer，比 DeepSeek 更省钱
AI前线
AI 摘要
Kimi：提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，AI 更聪明、省钱。与 DeepSeek 方案不同，Kimi 方案适配成本低、性价比高，或引领下一代大模型竞争。
阅读原文 · AI前线
融资 1200亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱
Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
DeepSeek悄悄更新API 实测变强
DeepSeek未发官方公告就悄悄更新模型，网友发现其deepseek-flash接口输出效果明显提升，本文整理了网友的实测对比结果，目前更新版本仍存多种猜测。
量子位
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。
腾讯技术工程
新闻资讯8
字节发现DeepSeek弱点 实测V4.1结果不同
本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点，作者复刻实验实测现役DeepSeek V4.1-Flash，讨论了长上下文评测的盲区，新版本弱点已明显减轻。
AI科技评论
推荐文章8
从Sigmoid到SwiGLU 读懂激活函数
本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路
AINLPer