「模型训练难题」共找到 8587 篇相关文章
告别数据「噪音」，UCSD大模型推理新方法DreamPRM充当「信号放大器」，登顶MathVista测评榜
DreamPRM由加州大学圣地亚哥分校团队开发，在MathVista测评榜夺冠。它通过双层优化框架解决多模态过程奖励模型训练难题，能与多模态大模型集成，提升推理能力，实验效果显著。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
终于有AI视频模型，解决了体操难题。
前天深夜MiniMax发布Hailuo 02视频模型，虽未正式上线但放了预告片。该模型能生成杂技动作，解决了体操难题，在复杂动作肢体表现上吊打其他模型，还支持原生1080P，价格便宜。
1.5B推理模型新SOTA，RL训练新解法打破「简单题过拟合、难题学不动」的魔咒
QuestA通过在训练中注入解题提示，实现两项成果：在1.5B模型上实现Pass@1的SOTA性能，还提升了Pass@k性能。它解决了RL训练中简单与困难任务的权衡问题，为开发强推理模型打开大门。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
RL训练一层就够了！单层RL超越全参数训练，跨任务跨模型跨算法全部验证
明尼苏达大学、北大和亚马逊团队研究发现，RL收益集中在中间层，训练单层可超全参数训练。他们提出层贡献度指标，经多模型、算法、任务实验验证，还给出三种训练优化策略。
清华孙茂松团队 × 深言科技：以解释作为训练信号，让 8B 模型在幻觉检测上反超闭源大模型
大语言模型幻觉问题待解，成本与算力需求攀升。清华孙茂松团队联合深言科技提出FaithLens模型，把幻觉检测提升为整体评估，以解释作为训练信号，8B模型在多任务上超闭源大模型。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。