搜索：Chinchilla - AI Reading Hub

「Chinchilla」共找到 5 篇相关文章

重磅！翁荔最新Scaling Law深度洞察来了

北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。

翁荔新作《谨慎对待 Scaling Law》上线，文章涵盖 Scaling Law 预测内容、计算最优分配原理等。介绍了早期对机器学习损失可预测性的研究，还对比了 Kaplan 等人与 Chinchilla 的 Scaling Law，分析了两者分歧原因。

大模型训练前，团队常用 Chinchilla 缩放律估算模型规模和数据量，但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数，降低外推误差，还采用 L 形采样降低试算成本。

前OpenAI副总裁Lilian Weng发布拖更三年的长文《Scaling Laws, Carefully》，指出AI行业依赖的Scaling Laws远比想象脆弱。OpenAI和DeepMind对算力分配结论相反，且Chinchilla方法论也有问题，同时数据快用完，经典公式前提在崩塌。

6月24日，前OpenAI安全研究副总裁翁荔在博客发表长文，对缩放定律进行系统梳理，指出该理论在实际拟合和外推过程有易被忽视的陷阱，还讨论了数据有限时定律是否成立等问题。