搜索：多步聚合训练

「多步聚合训练」共找到 5661 篇相关文章

揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon

在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。

OpenAI联合英伟达等五巨头推出超算开放网络协议MRC并正式向行业开放。MRC目标是性能可预期，有多平面网络、自适应包喷射、SRv6源路由三大核心机制，已在OpenAI多台超级计算机上部署。

在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。

上海交通大学提出SceneGen框架，可从单张场景图像及其对应目标掩码中，同时生成带有几何结构与纹理的多个3D资产。它一次前向传播即可完成生成，在效率与稳健性上优于现有方法，虽有局限但应用潜力大。

Canvas - to - Image是新型图像生成框架，将多种控制方式整合到统一画布，用户可直观操作生成高保真、多控制图像。它简化创作流程，解决了现有方法控制单一分散、交互性差的问题。

微软研究提出 SkillOpt 方法，把 Skill 文档当「权重」训练，在 52 个测试组合中全部最优或并列最优，平均提升 23.5 分，碾压人类手写。该方法跨模型、环境有效，已开源，使用方便。

约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。

本文聚焦逐步式自动化定理证明器困境，腾讯AI Lab等提出MPS - Prover。它有数据筛选和多视角树搜索两项创新，提升搜索效率和证明质量，在多基准表现佳，还解决六道IMO难题。

传统联邦学习中，统计异质性是障碍，本文提出 FedDRM，将联邦学习从「聚合范式」拓展到「路由范式」，让服务器能把问题交给最合适的客户端处理，在多数据集上提升系统准确率，为多场景提供新可能。

合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。