「预训练时代」共找到 3275 篇相关文章
解决扩散模型过拟合的创新框架T-LoRA
预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。
超级个体不是全能战士
作者黄益贺指出“超级个体 = 全能战士”是工业时代认知。工业时代超级个体是“超级执行者”，产出线性；AI时代超级个体是“超级导演”，产出非线性，核心竞争力从“拥有技能”变为“定义问题”。
CVPR 25 |全面提升视觉感知鲁棒性，生成模型快速赋能三维检测
香港中文大学（深圳）等单位学者提出 DriveGEN 无训练自动驾驶图像可控生成方法，无需额外训练生成模型，通过两阶段策略扩展训练数据，提升三维检测模型鲁棒性，代码已开源。
清华团队：1.5B 模型新基线！用「最笨」的 RL 配方达到顶尖性能
清华团队用两个 1.5B 模型证明，用最基础的 RL 配方可达到小模型数学推理能力 SOTA。单阶段训练加固定超参数实现 SOTA 性能且省一半算力，训练曲线还很平滑。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
阿里深夜开源王炸Agent！硬刚OpenAI，性能全面SOTA！
过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
港大赵恒爽团队论文：让扩散模型既拿高分又不「作弊」丨CVPR 2026
扩散模型虽能生成逼真图像，但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法，引入组级奖励优化机制，提升模型表现、缓解作弊，还提高训练效率，有明显工程价值。