推荐文章8
从Sigmoid到SwiGLU 读懂激活函数
AINLPer
AI 摘要
ShuYini：梳理激活函数从饱和型Sigmoid/Tanh、硬门控ReLU，到平滑软门控GELU/SiLU，再到门控SwiGLU的演进，讲清各激活的优缺点与适用场景
阅读原文 · AINLPer
从 Sigmoid 到 SwiGLU：一文读懂神经网络激活函数的设计逻辑
本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路
关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
腾讯15年工程师转战大模型推理
本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。
腾讯技术工程
新闻资讯7
OpenAI新Astra架构曝光，GPT - 6或今晚上线
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
新智元
推荐文章8
前英伟达工程师：AI 终局是后台 Agent
前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。
AI科技大本营
新闻资讯8
张朝阳对话刘若微：揭秘智能材料底层逻辑
8月12日，张朝阳与刘若微教授围绕“复杂的世界：从沙子到智能”主题，从沙堆、泡沫切入软物质与非平衡统计物理前沿，探讨阻塞相变、低功耗类脑智能材料研究路径及未来潜力，还分享科研感悟。
量子位