「强化预训练」共找到 2553 篇相关文章
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
极简主义的胜利：清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构，仅用单阶段训练和固定超参数，在1.5B模型上刷新性能纪录，计算量仅为复杂方法50%，挑战了复杂技术堆叠现状。
ICLR 2026 Oral｜中科院团队提出新框架「SparseRL」，深度强化学习可自动生成高性能CUDA代码
中科院计算所团队提出 SparseRL 框架，将深度强化学习引入稀疏 CUDA 代码生成任务。实验显示，在 SpMV 任务上编译成功率提升 20%，执行速度提升 30%。该成果已入选 ICLR 2026 Oral。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
微软开源Skill训练框架，让Agent白天干活，晚上自动复盘，Skill的自进化终于可监控了
微软开源SkillOpt v0.2.0，加入SkillOpt - Sleep让Agent可自我复盘。该文本空间优化框架能自动训练和优化skill，有透明化、质量控制等特点，适合重复、可评估任务场景。
YOLO12改进引入DINOv3少样本目标检测精度飙升，分享训练自定义数据集代码
Meta 人工智能研究院的 DINOv3 是基于自监督学习的视觉大模型，解决诸多问题且无需微调，在多任务表现出色。将其引入 YOLO12 后，在不同规模数据集上检测性能显著提升，还分享训练自定义数据集代码。
比传统方法强7倍：Anthropic物理隔离危险知识，重塑大模型安全训练范式
Anthropic团队提出选择性梯度掩码技术（SGTM），在训练阶段将危险知识物理隔离到特定参数并剔除，实现安全性与通用能力更好平衡，抗恢复性是传统方法7倍，还能处理未标记危险数据。