推荐文章7

拆解深度神经网络训练五大核心步骤

阿里云开发者2025-08-19

AI 摘要

谦行：从经典 PyTorch 手写数字识别代码入手，拆解深度神经网络训练的五步——前向、算损、反向、更新、循环。介绍激活函数等概念及正则化等技术，助读者吃透训练全过程。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

从Sigmoid到SwiGLU 读懂激活函数

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

Kimi 发布新论文，提出“注意力残差”架构改进 Transformer 残差连接，解决“稀释问题”，让 AI 更聪明、更省钱，还推出“分块注意力残差”优化成本。与 DeepSeek 方案对比，Kimi 方案性价比更高。

17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。

马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。