搜索：分布式训练加速库

「分布式训练加速库」共找到 2695 篇相关文章

GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化

GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。

近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。

何恺明最新论文研究扩散模型与表征学习的联系，提出Dispersive Loss正则化方法。它无需正样本对，有高通用性、低计算开销等优势，在多模型测试中提升了生成质量，在其他任务也有潜力。

中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。

月之暗面发布全球首个万亿参数且直接开源的 Agentic Model Kimi - K2，它将 AI 下半场与经验时代理论融合。在测评中表现出色，Kimi 还通过创新方法完成预训练和后训练，并将成果开源，给中国开发者更多自主权。

上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench，填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要，当前验证方法有困境，新模型验证精度高且能用于强化学习。

东华大学、上海交大和中科院自动化所团队提出基于几何的SKS和ACA单应矩阵分解，计算量比通用方法减超95%，能减少二维码扫描等应用的计算消耗，有望用于多领域，论文已被IEEE T - PAMI接收。

腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。

5月12日，虚时科技与地瓜机器人联合开发的AnySceneGen平台发布，这是面向具身智能训练的仿真空间生成平台。具身智能训练需海量数据，传统仿真数据生产依赖人工，效率低。该平台以模型替代人工，重构生产方式，优势显著。

近日，微分智飞连续完成PreA轮和PreA+轮融资，总金额近两亿。该公司成立于2024年具身智能兴起之际，依托四大核心技术打造飞行具身大脑及群体智能系统，其产品已在多行业应用，还在前沿技术有突破。