「多步聚合训练」共找到 5652 篇相关文章
刚刚，Andrej Karpathy放出大招：开源nanochat项目，仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
听说，大家都在梭后训练？最佳指南来了
大模型时代，Scaling Law 边际效益递减，业界转向后训练。《Post-training 101》博客可助初学者入门，涵盖从预训练到指令微调、SFT 原理、多种强化学习技术及模型评测方法等内容。
让AI变成Super员工的秘密：高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训，分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠，将通用模型变成懂业务、会自检、能稳定交付的员工，还给出训练方法。
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。
6.5k星！轻量级多智能体对话编排框架Agent Squad
Agent Squad是轻量级多智能体对话编排框架，有6.5k星。它能管理多AI代理、处理复杂对话，具智能意图分类等特性。新SupervisorAgent可协调多专业代理，还有演示应用及多种使用示例。