「强化训练」共找到 2491 篇相关文章
刚刚,Andrej Karpathy放出大招:开源nanochat项目,仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目,用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元,就能有对话、写故事、答题的AI助手。项目覆盖广,含多训练步骤及评估体系。
Claude团队用Qwen测试全新训练方法
Anthropic最新研究提出中训练(MSM),在预训练后、后训练前给AI立规矩。实验显示,新增MSM能让通义千问两款32B大模型失准率大幅下降,还能精简微调数据。MSM与对齐微调结合,可提升模型泛化能力。
训练MoE足足提速70%!华为只用了3招
Scaling Law下,MoE成扩展模型能力法宝,但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案,还打造DeployMind仿真平台,解决了MoE训练中通信等待、负载不均等问题,使训练吞吐提升72.6%。
让AI变成Super员工的秘密:高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训,分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠,将通用模型变成懂业务、会自检、能稳定交付的员工,还给出训练方法。
ICLR 2026 Oral | Revela:用语言建模重新定义稠密检索器训练
在检索增强生成系统中,稠密检索器是核心组件,但传统训练方法有局限。德国达姆施塔特工业大学蔡丰宇团队提出Revela,将检索器训练目标统一到语言建模框架,优势明显,实验效果佳。
英伟达:RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术,与传统大语言模型训练不同,它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督,实验效果惊人,性能提升显著,不挑数据,打破了大模型训练范式。
为了训练AI,Meta强制监控了员工的鼠标和键盘
近日,Meta宣布在美国员工电脑装追踪软件,记录鼠标、键盘操作及截取屏幕内容,用于训练AI。这引发员工愤怒,Meta CTO称员工无法退出。Meta AI投入大,此举或因缺训练数据,但也被质疑是在训练替代者。
DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。
150%训练效率提升:感知检测小模型训练优化方法
文章基于业务实践,总结感知检测小模型在不同算力卡上的训练方法,为智能驾驶场景提供借鉴。介绍测试环境、技术架构,分析环境依赖冲突、源代码适配等问题并给出解决方法,还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
Thinking Machines 发布又一神作「在线策略蒸馏」 ,LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法,结合两种主流后训练范式优点,提升训练效率50 - 100倍,成本降低9到30倍,可用于数学推理、模型个性化等场景。