「强化预训练」共找到 2550 篇相关文章
让AI变成Super员工的秘密：高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训，分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠，将通用模型变成懂业务、会自检、能稳定交付的员工，还给出训练方法。
ICLR 2026 Oral | Revela：用语言建模重新定义稠密检索器训练
在检索增强生成系统中，稠密检索器是核心组件，但传统训练方法有局限。德国达姆施塔特工业大学蔡丰宇团队提出Revela，将检索器训练目标统一到语言建模框架，优势明显，实验效果佳。
为了训练AI，Meta强制监控了员工的鼠标和键盘
近日，Meta宣布在美国员工电脑装追踪软件，记录鼠标、键盘操作及截取屏幕内容，用于训练AI。这引发员工愤怒，Meta CTO称员工无法退出。Meta AI投入大，此举或因缺训练数据，但也被质疑是在训练替代者。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
150%训练效率提升：感知检测小模型训练优化方法
文章基于业务实践，总结感知检测小模型在不同算力卡上的训练方法，为智能驾驶场景提供借鉴。介绍测试环境、技术架构，分析环境依赖冲突、源代码适配等问题并给出解决方法，还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
【独家】对话汤元科技任冬淳：物理AI的瓶颈，在于训练体系｜甲子光年
对话汤元科技任冬淳，探讨物理AI瓶颈。他认为物理AI瓶颈在训练体系，要满足数据结构质量、训练验证闭环、数据规模效率三要求。汤元构建训练底座，为具身智能和智驾提供服务，具身智能是未来重心。
英伟达祭出NVFP4核弹：大模型训练根本性转变，GB300效率狂飙7倍
英伟达推出新格式NVFP4，能以4 - Bit速度与效率实现16 - Bit生产件级训练精度，是LLM开发重大飞跃。虽处于研究阶段，但正与多组织合作。还介绍其方法、优势，实验也证明它在大规模训练的有效性。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。