搜索：混合精度训练

「混合精度训练」共找到 2462 篇相关文章

OpenAI没做到，DeepSeek搞定了！开源引爆推理革命

文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。

文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。

阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

美团和浙大联合推出GUIRoboTron - Speech，这是首个能利用语音指令和屏幕截图端到端决策的自主GUI智能体。它解决了文本依赖问题，团队经多步骤研发，其性能评估表现佳，还给出招聘信息。

上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。

英伟达科学家 Jim Fan 发布《第二代预训练范式》，指出当前以 LLM 为代表的第一代范式应用于物理世界时「水土不服」，认为第二代范式是「预测下一个物理状态」，引发机器学习社区讨论。

字节推出的X-UniMotion代表角色动画技术突破，提供统一运动控制系统，融合先进算法与操作界面，构建强大技术架构，能生成自然流畅角色动作，还介绍了其技术原理、演示对比等内容。

NVIDIA的DreamZero在RoboArena和MolmoSpaces基准测试双登顶。分析文章《Why is DreamZero so good at robotics?》从多维度拆解其表现突出原因，质疑传统认知，如数据量并非万能，模型规模和信息输入方式也很关键。

全国公路桥梁超百万座，传统人工巡检效率低且有安全风险，现有深度学习检测模型体积大、计算量高。研究团队提出LBSD - YOLO网络，通过创新实现轻量化，实验显示模型瘦身但性能不减，有重要应用价值。