「从零训练」共找到 4868 篇相关文章
ROCK & ROLL!阿里给智能体造了个实战演练场 | 开源
阿里开源新项目ROCK,解决了智能体无法在真实环境中规模化训练的难题。它与阿里此前的RL训练框架ROLL配合,构成完整的智能体训练闭环,推开了Agentic AI规模化应用的大门。
RL是「点金石」还是「挖掘机」?CMU 用可控实验给出答案
卡耐基梅隆大学研究者构建基于GSM - Infinite的可控合成数据框架,分析预训练、中期训练和RL对模型推理泛化能力的影响,调和了RL有效性的不同观点,为改进训练策略提供基础。
Agent 开发范式演进:从环境工程出发,“简化”多源实时上下文
本文整理自阿里云沈林在2026中国生成式AI大会分享。探讨企业级Agent落地瓶颈,指出关键在上下文供给能力,围绕信息完备性等五维度,介绍EventHouse如何让Agent接入业务环境,强调构建上下文体系重要性。
LLM学习笔记:最好的学习方法是带着问题去寻找答案
文章总结拓展Andrej Karpathy教学视频,分析大模型聊天流程与原理,介绍LLM训练步骤,包括预训练、后训练和强化学习,还提及主流特性应用,如文件上传、网络搜索,强调带问题学习的重要性。
刚刚,OpenAI发长篇论文:大模型幻觉的原因找到了~
OpenAI发论文揭示语言模型出现幻觉的根本原因,即训练和评估过程奖励猜测而非承认不确定性。预训练阶段就埋下幻觉种子,后训练阶段‘考试机制’强化幻觉,还给出改评分规则的解法。
SFT在帮倒忙?新研究:直接进行强化学习,模型多模态推理上限更高
学界常用「监督微调(SFT)+ 强化学习(RL)」训练大模型。但新研究发现,SFT 会引发「伪推理路径」,阻碍推理进步。相比之下,直接进行 RL 训练,模型多模态推理上限更高,该团队训练的模型还刷新了纪录。
OpenAI这招太狠!AI从「躲猫猫」到「自爆黑料」,主打一个坦白
随着AI进入高风险场景,透明、安全变得重要。OpenAI提出「忏悔机制」,让模型回答后产出自我坦白报告,不影响主回答评分,只考察诚实,能提升不良行为可见性,目前仍处概念验证阶段。
用SFT打出RL的效果?微软联合提出高效后训练算法
大模型后训练阶段,SFT 和 RL 各有优劣。微软等联合提出新工作,量化 SFT 和 RL 在数据层面的差距,提出 IDFT 和 Hinted Decoding 等高效后训练技术,实验显示新方法泛化超 SFT、效率超 RL。
转载 | 鄂维南院士:关于推动AI从工程化走向科学化的一点思考
鄂维南院士探讨推动AI从工程化走向科学化。回顾AI先驱,指出基础理论滞后致发展起伏、大模型开发依赖经验。介绍AI主要方法,分析深度学习基础理论问题,强调从系统角度看待AI,认为已到科学化转折点。
如何为 GPU 提供充足存储:AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果,探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载,分析共享文件系统类别,给出比较视角,解读各负载测试结果并总结选型要点。