推荐文章8
翁荔:揭秘大模型训练Scaling law
PaperAgent
AI 摘要
翁荔:Scaling law是预训练预算表,非魔法公式。Kaplan和Chinchilla结论不同,前者主张扩参数,后者认为参数和token应同步增长。如今数据稀缺,scaling law不能只看token数。
阅读原文 · PaperAgent
重磅!翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔(Lilian Weng)的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表,能帮少烧错钱。文章探讨大模型训练预算分配,分析Kaplan和Chinchilla结论差异及数据稀缺问题。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
Claude Opus 5.5 省token四步法
本文分享网友总结的实用优化方法,针对Claude Opus 5.5浪费token的问题,给出4个可落地步骤,帮助降低大模型调用成本
AI工程化
算法论文9
万卡RL训练:如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。
机器之心
新闻资讯8
国产十万卡集群 摩尔线程提前交卷
本文拆解十万卡GPU集群的核心痛点,指出其难点并非硬件堆叠,而是系统调度、稳定性等工程能力,介绍摩尔线程全栈布局及与京东云合作打造国产十万卡集群的行业信号。
芯师爷
开源动态9
7名博士生3个月从零训出7B大模型
北京中关村学院7名跨专业博士生,耗时3个月从零训练出7B参数大模型ZGCM-1,采用数百个Agent协作实践AI4AI研发范式,全程公开代码、数据、权重、训练日志,分享一线实战经验。
量子位