算法论文7
拆解大模型核心操作数学与优化逻辑
腾讯技术工程
AI 摘要
作者认为深度学习易现梯度与溢出问题，神经网络重特征相对差异。LayerNorm和RMSNorm可稳定数据，Softmax转换实数为概率分布，大模型推理优化用数学变换换性能。
阅读原文 · 腾讯技术工程
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
发布9天，Jev估值破百亿美元
本文报道AI初创公司TypeSafe AI发布的模型Jev上线仅9天，就传出投资者给出超百亿美元估值，剖析资本追捧低价薄利模式的原因，同时梳理业内对其护城河的质疑，探讨大模型赛道资本动向。
DeepTech深科技
新闻资讯8
机器人的GPT时刻就是GPT本身？
本文围绕GPT-6 Astra发布后的行业测试展开，讨论通用大模型能否成为机器人的通用大脑，分析了通用大模型参与机器人控制的原理与优势，点明当前能力边界，提出了分工协作的落地方案。
DeepTech深科技
新闻资讯8
谷歌AI踩油门：Gemini冲刺TPU上天
本文报道谷歌近期AI业务最新动态，涵盖Gemini 4大模型研发进展、TPU上太空测试计划，以及工程师因AI发展太快辞职事件，展现谷歌AI全面加速的现状。
量子位
新闻资讯8
AI时代，计算机科学界死了吗？
本文整理了德克萨斯大学奥斯汀分校AI博士生曹晋的公开发帖，围绕大模型冲击下AI学术界灌水严重、研究范式过时的观点展开，探讨AI研究者与博士生的未来出路，引发业内广泛讨论。
机器之心