「缩放定律Scaling」共找到 278 篇相关文章
香农、信息论、AI、Scaling Law，以及信息的观察者效应
文章围绕经典信息论在AI实践中的矛盾展开，介绍CMU和NYU论文《From Entropy to Epiplexity》提出的新概念，解释合成数据、数据排序等问题，还探讨合成数据飞轮能否持续，指出epiplexity可定义数据质量。
MIT这篇RLM论文，给出了Scaling的另一种可能~
当大家普遍认为解决长上下文问题要靠扩大模型上下文窗口时，MIT 最新的 RLM 论文提出新路径。其 code 已开源，能实现无界上下文处理，可让任意大语言模型处理 10 万 +token。
Jina AI创业复盘：AI团队的Scaling Law是什么
文章是Jina AI创始人肖涵的创业复盘。他率团队六年创业后将公司出售，期间两次转型，聚焦搜索底座模型。他分享创业经历、公司命名、业务调整等，还谈收购、模型竞争、未来创业方向及给创业者的建议。
Jina AI创业复盘：AI团队的Scaling Law是什么
本文是对 Jina AI 创始人肖涵的访谈，复盘六年创业历程。他两次转型，最终聚焦搜索底座模型，公司被 Elastic 收购。他分享创业得失，认为团队聚焦、高效运营是壁垒，还给出未来创业者专注、找优秀人才等建议。
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
文生图Scaling新变量，被字节Seed团队发现了
ByteDance Seed团队研究发现，文生图模型中自然语言Caption变长，不意味着模型获更多视觉监督，其信息量更能预测训练损失。团队提出Structured Prompt，从两侧提升文本条件，在多任务上取得显著提升。
0.7nm制程芯片问世！摩尔定律又活了
IBM推出全球首款0.7纳米芯片制程节点，指甲盖大小芯片可集成近1000亿晶体管，性能或能效大幅提升。靠‘纳米堆叠’架构实现突破，最早5年内量产，有望让芯片微缩延续十年。
用激光给芯片散热，摩尔定律天花板盖不住了
初创公司Maxwell Labs提出光子冷却法，可将芯片热量转化成光并去除。该方法基于反斯托克斯冷却原理，集成到薄膜芯片级光子冷板。相比传统散热，它效率更高，有望解决芯片散热难题，推动行业发展。
Scaling 时代落幕：Ilya 眼中下一代 AI 的关键，不在模型，在人类
深度学习亲历者 Ilya Sutskever 认为单靠扩大模型规模推进 AI 的时代已结束，未来关键在于解决 AI 泛化难题。他指出当前模型评测与现实能力脱节，人类泛化能力强或源于进化，还探讨了价值函数等内容。
押中 Figma、Scale AI 的 Thiel Fellowship， 今年下注哪些 AI 方向？
Thiel Fellowship 由 Peter Thiel 2011 年创办，为入选者提供资金与支持。2025 年入选者地域更广，项目聚焦 AI 等领域。热门方向有 AI Infra、金融 Infra、可编程生命系统，创始人年轻、跨界、实验性强。文中还介绍了多个亮点项目。