算法论文8
清华联手千问，SiameseNorm让Transformer深度学习
机器之心
AI 摘要
清华黄高Leap Lab团队联合千问C端团队：提出SiameseNorm架构，解耦Pre - Norm与Post - Norm，在不增计算开销下实现稳定训练，在多项测试中提升模型性能，让Transformer回归‘深度’学习。
阅读原文 · 机器之心
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
千问发布全新主动交互AI眼镜N1 Pro
本文介绍千问最新发布的N1 Pro AI眼镜，颠覆传统AI眼镜需手动/语音唤醒的交互逻辑，搭载全天候视觉感知、眼动追踪，集成健康监测、高像素影像等功能，起售价2600元，同时推出性价比款N1。
量子位
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。
腾讯技术工程
推荐文章8
从Sigmoid到SwiGLU 读懂激活函数
本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路
AINLPer
新闻资讯9
吴泳铭：千问将训练5-10万亿参数新模型
本文整理阿里CEO吴泳铭在2026杭州云栖大会的演讲，提出机器将成为思考主力，智能将成为规模化商品，公布阿里AI三大基石最新进展与目标
InfoQ