算法论文7

Megatron 1F1B流水线并行负载不均衡问题揭秘

GiantPandaLLM2025-09-10

AI 摘要

研究发现Megatron 1F1B流水线并行中，通信时间有‘一短一长’规律。原因是最后一个Stage计算慢，额外计算带来延迟，影响全流水线，首个Stage额外计算弱化了部分影响。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

NUS邵林团队：MetaFold革新机器人衣物折叠

新加坡国立大学邵林团队提出MetaFold框架用于机器人衣物折叠。它创新分层架构，解耦任务规划与动作预测。构建开源数据集，经实验在多指标超现有方法，还验证了从仿真到现实的迁移能力。

计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。

CMU研究人员提出LegoGPT，它微调Meta的LLaMA模型，结合47000个稳定结构数据集，确保98.8%的乐高设计符合物理定律，可实际搭建。目前，数据集、代码和模型均已开源。

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。