「训练细节」共找到 2396 篇相关文章
世界模型一口气输出小时级视频不跑偏,开源了
Alaya Lab等联合推出的Alaya - EVOKE能生成小时级视频,解决常见问题。它把记忆搬到模型外,改造教师模型,经多轮技术操作,实验成绩佳,给出清晰训练方案,也指出项目边界。
解锁任意步数文生图,港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架,可从零训练实现任意步数文生图。它改变训练范式,用两条互补训练信号,在GenEval基准表现出色,让文生图训练更灵活且具扩展性。
The Batch:927|极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练,Apple团队提出的FAE,通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题,性能与先进模型相当且训练更快。
一年从3B卷到0.xB:MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代,MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责,采用互补预训练目标,还开源训练数据,且迁移到多任务表现良好。
Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告,介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式,引入思考预算机制,降低轻量级模型计算资源,在多基准测试领先,多语言支持扩展至119种,所有模型开源。
CVPR 25 |全面提升视觉感知鲁棒性,生成模型快速赋能三维检测
香港中文大学(深圳)等单位学者提出 DriveGEN 无训练自动驾驶图像可控生成方法,无需额外训练生成模型,通过两阶段策略扩展训练数据,提升三维检测模型鲁棒性,代码已开源。
清华团队:1.5B 模型新基线!用「最笨」的 RL 配方达到顶尖性能
清华团队用两个 1.5B 模型证明,用最基础的 RL 配方可达到小模型数学推理能力 SOTA。单阶段训练加固定超参数实现 SOTA 性能且省一半算力,训练曲线还很平滑。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开,指出当前大模型训练不充分,介绍了算法层面如混合注意力机制、模型结构优化、优化器等,工程层面如细粒度专家并行、算子内核开发等,以及后训练的范式转变和领域专家网络蒸馏等内容。
SimpleTIR:让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。
一点点偏差,为什么会把大模型 RL 带跑偏?
本文解读Together AI的新算法论文,讲解大模型强化学习中,采样端与训练端的微小偏差如何累积放大导致训练跑偏,介绍Score Centering校正方法的原理、效果与应用边界。