搜索：稀疏分配定律

「稀疏分配定律」共找到 265 篇相关文章

DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均

昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。

文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。

谷歌人才流失严重，一周内五名顶级研究员出走，Gemini两大核心将入职Anthropic。同时，Gemini 3.5 Pro延期至7月。Alphabet股价下跌，市值蒸发超2000亿美元。原因或是上市期权诱惑和算力分配问题。

OpenAI计划关闭视频生成器Sora，将资源重新分配到更有盈利性的投资中。Sora虽能生成高质量视频，但生成耗时久、计算成本高，日亏损约100万美元，其与迪士尼的合作也将结束。

大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。

本文围绕AI创业者出海搭建可融资企业架构展开。指出投资人投的是公司而非产品，介绍美国常见实体类型及适用场景，还谈及股权分配、董事会架构设计，以及中美创投实践差异，给出相关建议。

模型发布近3个月后，百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构，参数量万亿但推理激活参数不到3%，实现四种模态原生自回归统一，还在路由调度、训练范式等多方面有创新。

文章以拼图比赛作比，介绍了通用、科学、智能、AI专用这四种算力类型及其作用，指出摩尔定律失效下工程师探索创新提升算力。还阐述算力生态各环节，最后点明未来AI成算力市场核心引擎，中国算力发展亮眼。

AI给游戏产业带来新的生产技术，也引发了一场围绕游戏产业新价值链的争夺。本文介绍了2026 ChinaJoy现场正在发生的四个变化，包括游戏开发者的时间被重新分配、游戏引擎开始为Agent重新设计等。

文章梳理大语言模型发展，从传统稠密架构到稀疏MoE架构，参数从百亿到万亿。介绍OpenAI、Meta等厂商模型，如GPT系列、Llama系列，还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻，国产MoE模型异军突起。