算法论文8
谷歌分布式训练打破锁步模式零停机
AIGC开放社区
AI 摘要
谷歌:最新Decoupled DiLoCo研究抛弃锁步模式,让集群各部分异步工作。模拟高压训练零全局停机、性能无损,还能提高系统有效工作时间,实现算力撷取和异构计算。
阅读原文 · AIGC开放社区
谷歌分布式训练开启另一轮扩展定律!百万芯片高压高故障仍然零全局停机
谷歌Decoupled DiLoCo研究打破大模型训练锁步模式,让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损,还能提升系统有效工作时间,有算力撷取和异构计算等红利。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用7
谷歌 GR2 模型:让机器人有了‘腿’
谷歌发布 Gemini Robotics 2(GR2),能将相机图像和文字指令转为机器人关节控制命令,可同时控制人形机器人腿、躯干、手臂和手部,简化模型训练和设计,不过谷歌未公布其基础模型等信息。
DeeplearningAI
新闻资讯7
谷歌拆分DeepMind,布林力促Gemini
DeepMind换帅一周后震荡持续,谷歌将拆分它,把部分非技术团队转入谷歌汇报体系。谷歌联合创始人谢尔盖·布林重新介入Gemini。此外,Gemini因算力、内讧、官僚等问题落后。
量子位
算法论文8
牛津、NUS 提出心智世界建模新方向
牛津大学和新加坡国立大学研究团队提出心智世界建模(MWM)通用框架,将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性,实验表明 MWM 对预测人类决策必要,瓶颈是状态转移模拟能力不足。
机器之心
新闻资讯7
DeepSeek V4 Pro 发布,撞车马斯克 Grok 4.6
周三晚间,DeepSeek 突然发布 V4 Pro 大语言模型正式版,命名为 DeepSeek - V4 - Pro - 0813,官方未调升 API 使用价格。有用户称调用的 V4 Pro 思维链风格有变,跑分显示其 Agent 评测表现可媲美顶级模型,还撞车了马斯克的 Grok 4.6。
机器之心