算法论文8
Kimi论文或改写大模型训练方式
AI寒武纪
AI 摘要
Kimi论文指出大模型残差连接有PreNorm稀释问题，提出Attention Residuals方案，用注意力机制让层按需选信息。工程上用Block AttnRes，实验表明能省算力、提升效果。
阅读原文 · AI寒武纪
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文9
万卡RL训练：如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。
机器之心
新闻资讯8
国产十万卡集群 摩尔线程提前交卷
本文拆解十万卡GPU集群的核心痛点，指出其难点并非硬件堆叠，而是系统调度、稳定性等工程能力，介绍摩尔线程全栈布局及与京东云合作打造国产十万卡集群的行业信号。
芯师爷
开源动态9
7名博士生3个月从零训出7B大模型
北京中关村学院7名跨专业博士生，耗时3个月从零训练出7B参数大模型ZGCM-1，采用数百个Agent协作实践AI4AI研发范式，全程公开代码、数据、权重、训练日志，分享一线实战经验。
量子位
算法论文8
蚂蚁OmniTable驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据，解决数据准备难题，如在SFT任务中大幅缩短周期。
量子位