「强化预训练」共找到 2553 篇相关文章
刚刚，国产AI自己造了AI，全球首例！
面壁智能实现全球首例国产AI造AI，用AI编写预训练框架ForgeTrain，性能超英伟达Megatron，还训练出MiniCPM5 - 1B模型。该模型可作桌宠，小尺寸高智能，还能自定义人格，提供工具链。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。
社区供稿丨以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型发展陷入‘参数军备竞赛’，成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B，仅30亿参数，在预训练和后训练阶段采用多种创新技术，在多方面媲美甚至超越大模型。
用中等难度prompt做高效post training
近年来，RL后训练在LLM发展中至关重要，但传统方法效率低。本文提出PCL轻量级算法，通过动态选中等难度提示提升LLM后训练效率，经多基准实验验证其优越性，也指出方法局限与未来方向。
一年从3B卷到0.xB：MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代，MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责，采用互补预训练目标，还开源训练数据，且迁移到多任务表现良好。
L4大方向有了：理想自动驾驶团队，在全球AI顶会上揭幕新范式
在全球计算机视觉学术顶会 ICCV 2025 上，理想汽车自动驾驶高级算法专家詹锟发表演讲，阐述了‘从数据到训练’的系统化思路，提出将世界模型与强化学习闭环落地于量产自动驾驶系统的完整架构。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
字节Seed团队发布Seed1.5-VL，用仅20B活跃参数在60个主流测试中狂揽38项第一！
字节Seed团队发布Seed1.5-VL，仅200亿活跃参数就在60个主流测试中获38项第一。介绍其架构、预训练、后训练等情况，评估表现出色，虽处理复杂场景有局限，但仍在多模态任务取得显著进展。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。