「训练效率」共找到 3068 篇相关文章
75%预训练数据都能删!Jeff Dean新作:全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量,用元学习筛选有价值数据,提升模型训练效率。它能减少计算量、提高性能,在低质量数据集效果佳,还能跨模型规模泛化。
企业级OpenClaw最强拍档来了!万亿参数的国产多模态大模型,刚刚开源发布
YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型,是万亿级开源多模态大模型之一。它优化训练效率,在多任务表现突出,为企业Agent AI提供支撑,还提出新算法和训练策略,全面开源推动落地。
超越免训练剪枝:LightVLA引入可微分token剪枝,首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架,它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题,提出两大创新,在LIBERO实验中性能超经典模型,还实现推理加速。
DeepSeek的GRPO会导致模型崩溃?看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO,重点指出Qwen团队发现GRPO有稳定性问题,会致模型崩溃,进而提出新算法GSPO,实验显示其效率和可扩展性更佳。
英伟达&MIT等推出Long-RL,长视频训练速度翻倍
英伟达联合MIT等推出Long - RL,它是面向长序列推理和多模态强化学习的全栈训练框架,能提升RL训练数据长度上限,让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存,LongVILA - R1是其明星应用。
离职特斯拉“隐身”14个月,杨硕创业终于亮牌:重新定义机器人训练范式
杨硕从特斯拉擎天柱团队离职创业一年多后,妙动科技团队带来新论文《DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control》。该团队用视频训练机器人动作,提出DiT4DiT模型,解决VLA模型不懂物理问题,在人形机器人上有新突破。
英伟达成开源新王?Nemotron 3全新混合专家架构,推理效率升4倍
北京时间今天凌晨,英伟达发布 Nemotron 3 系列开放模型,含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face,采用混合 MoE 架构,推理效率提升显著。该系列还具备多种核心技术和实用能力,相关工具和数据集也已开源。
Thinking Machine新研究刷屏!结合RL+微调优势,小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法,结合RL与微调优势。该方法让学生模型每步由教师模型指导,用KL散度评估分歧。实验表明其训练小模型性价比高,还能解决AI“灾难性遗忘”问题。
全新预训练数据筛选方案,让数据效率提升10倍!配置仅需fastText评分器|港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect,已被ICML 2025接收。它只需训练部署基于fastText的评分器,减少10倍计算需求,在多数据集实验中效果显著优于其他方法。
只用国产GPU训练的大模型性能飙升100%!国内唯一,更懂你
科大讯飞发布全国产算力训练的讯飞星火X1.5,推理效率暴涨100%,综合性能跻身全球顶级。还首发非自回归语音大模型架构,效果提升、成本降低。此外,展示多领域应用成果,发布相关产品,开源智能体平台。