算法论文7
Meta:给缩放律加指数,提升外推准确性
深度学习自然语言处理
AI 摘要
Meta FAIR:常用的 Chinchilla 缩放律在边界预测跑偏,我们提出 Skaling,加一个耦合指数降低外推误差,还能用 L 形采样降成本,但耦合强度非普遍定律,具体实验要自己测。
阅读原文 · 深度学习自然语言处理
拟合接近满分,外推却会跑偏:Meta 给缩放律加了一个指数
大模型训练前,团队常用 Chinchilla 缩放律估算模型规模和数据量,但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数,降低外推误差,还采用 L 形采样降低试算成本。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
北大团队推MathDebugger,提升合成数据质量
随着合成数据增多,模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark,覆盖问答两端,评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据,证明错误标签可作监督信号。
InfoQ
新闻资讯7
Google发布Gemini 3.8双版本抢智能体入口
9月2日,Google发布Gemini 3.8 Flash和Gemini 3.8 Flash Cyber。前者用于编程等,已稳定上线;后者专用于发现修复漏洞,仅向特定方开放。二者共享基础能力,采用不同安全限制和部署环境。
AIGC开放社区
新闻资讯7
OpenAI Astra核心架构:循环深度引争议
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法,该技术能降本提效,但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题,并给出Scaling Law。
AI寒武纪
产品应用7
Anthropic发布Claude 5.1,最强能力限少数机构用
9月1日,Anthropic发布Claude Fable 5.1和Claude Mythos 5.1,二者用相同底层模型,区别在安全限制和开放范围。Fable面向订阅用户和企业,Mythos仅向少数审核机构开放,此次还尝试新的开放方式。
AIGC开放社区