推荐文章7
残差连接:破解大模型训练难题
AI大模型应用实践
AI 摘要
文章指出,大型语言模型多层结构易出现网络退化和梯度传导困难问题。残差连接让信息直接从输入到输出,确保信息完整准确,使梯度反向传播更稳定,是大模型能达上百层的关键。
阅读原文 · AI大模型应用实践
中学生就能看懂:从零开始理解LLM内部原理【八】| 什么是残差连接?
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接,指出传统多层模型有网络退化和梯度传导困难问题,而残差连接能缓解,还说明了其工作原理和可行性。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
新闻资讯8
张朝阳对话刘若微:揭秘智能材料底层逻辑
8月12日,张朝阳与刘若微教授围绕“复杂的世界:从沙子到智能”主题,从沙堆、泡沫切入软物质与非平衡统计物理前沿,探讨阻塞相变、低功耗类脑智能材料研究路径及未来潜力,还分享科研感悟。
量子位
开源动态7
HarnessEval开启RSI时代新评测范式
过去一年AI进入RSI时代,但评测方式仍停留在过去。MirroS联合多方发布HarnessEval,将Harness引入评测领域,使评测成为具备自我进化能力的智能系统,还率先应用于交互式世界模型评测。
特工宇宙
新闻资讯7
DeepSeek涨价,OpenAI降价,Agent改写价格战
近期,DeepSeek上调API价格,V4 Pro等型号涨幅明显;而OpenAI的GPT - 5.6 Luna API价格降80%,Terra降20%。这背后是大模型价格竞争方向转变,受竞争、广告、效率及Agent使用方式等因素影响。
DeepTech深科技