推荐文章8

翁荔：揭秘大模型训练Scaling law

PaperAgent2026-06-26

AI 摘要

翁荔：Scaling law是预训练预算表，非魔法公式。Kaplan和Chinchilla结论不同，前者主张扩参数，后者认为参数和token应同步增长。如今数据稀缺，scaling law不能只看token数。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

斯坦福教授直播训练535B大模型

斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。

OpenAI Codex负责人Tibo指出，不同模型对同一段文字切分的token数不同，即便单token价格相同，最终账单也可能差异很大。他还提到，token无统一计量标准，跨厂商和新旧模型计数都难通用，真正重要的是每次成功结果的成本。

文章是五源2026年第二季度回顾，涵盖对AI多方面观察，如token军备竞赛、模型资产价值、公司组织成护城河等，还提及被投企业上市、融资情况及五源资本获多项行业荣誉。

前OpenAI安全副总裁翁荔新博客探讨AI自进化，提出从Harness开始的现实路径。DeepSeek崔添翼转发附议，认为Harness方向自进化很可能出成果。翁荔梳理研究，展示优化递进趋势，也指出实现递归自我改进存在的瓶颈。