「缩放定律」共找到 87 篇相关文章
Kimi团队深夜潜入Reddit开了场AMA，他们都聊了些什么？（据说代号4494就是杨植麟本人）
今日凌晨，Kimi团队在Reddit社区开展AMA交流，解答大家疑问。期间回应Claude蒸馏争议，探讨编程写作侧重、小参数模型需求、缩放定律等问题。K2.5表现出色，K3值得期待。
谷歌分布式训练开启另一轮扩展定律！百万芯片高压高故障仍然零全局停机
谷歌Decoupled DiLoCo研究打破大模型训练锁步模式，让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损，还能提升系统有效工作时间，有算力撷取和异构计算等红利。
人大高瓴孙浩团队发表Nature子刊封面文章：基于并行符号枚举的物理定律发现
中国人民大学高瓴人工智能学院孙浩教授团队在《自然 - 计算科学》发表封面论文。提出PSE框架解决符号回归瓶颈，通过公共子树复用和GPU并行提升评估效率，实验表现优于现有方法，也指出了局限性与未来方向。
给优秀实习生期权！刚刚，一项面向AI顶级人才的「面壁计划」启动了
面壁智能发布「前进四」顶尖人才计划，面向优秀实习生，符合条件者毕业前可提前获期权。该公司过去一年成长迅速，提前押注端侧、首创「密度定律」且坚定开源，成果丰硕。
7篇顶会NeurIPS 2025最佳论文都说了什么？
NeurIPS 2025七篇获奖论文揭示大模型思维同质化、推理能力虚幻边界等隐忧，也在注意力机制、神经扩展定律等方面取得物理学层面突破，为AI建立更严谨科学地基。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
DeepSeek-V4蓄势待发！梁文锋署名论文或开启第二个DeepSeek时刻
据报道，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，其编程能力或超Claude和GPT系列。最新论文提出Engram条件记忆机制，分离死记硬背与逻辑推理，揭示新稀疏性分配定律。
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客文章中指出，计算须遵循物理定律，线性进步要指数级资源，硬件升级红利已尽。他认为美国追求AGI和超级智能不切实际，中国重应用普及更务实，AGI难以实现。
Scaling Laws起源于1993年？OpenAI总裁：深度学习的根本已揭秘
人工智能扩展定律（Scaling Laws）把模型性能和资源投入联系，是构建大模型的参考标尺。其起源说法不一，康奈尔博士生将其推至1993年贝尔实验室论文，OpenAI总裁称它揭示深度学习根本。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。