「RL Scaling」共找到 448 篇相关文章
破解「长程智能体」RL训练难题,腾讯提出RLVMR框架,让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架,将‘元认知’理论引入RL,通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题,经其训练的7B模型表现出色。
大模型刷数学题竟有害?CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型,发现只有强化学习(RL)训练的模型能将数学推理技能广泛迁移到其他任务,监督微调(SFT)训练的模型迁移有限甚至无迁移。研究还探索差异原因,表明RL微调更具优势。
听说,大家都在梭后训练?最佳指南来了
大模型时代,Scaling Law 边际效益递减,业界转向后训练。《Post-training 101》博客可助初学者入门,涵盖从预训练到指令微调、SFT 原理、多种强化学习技术及模型评测方法等内容。
Karpathy戳破强化学习神话,首提AI复盘式进化!暴力试错将死
AI大神Karpathy发文指出强化学习(RL)有局限,效率随任务时长下降,与人类学习机制差异大。他提出复盘式进化Scaling范式,虽有很多细节待完善,但认为还有更多S型增长曲线待发现。
张小珺采访了Kimi杨植麟,Agent泛化的临界点来了。
张小珺采访Kimi杨植麟,杨分享技术见解。如Scaling Law遇瓶颈,应提升Token效率;Adam与Muon对比,Muon学习效率高;模型公司下场做一方Agent产品,垂直整合模式上限高;还谈及长上下文、Agent训练及管理方式等问题。
最新 AGI 暴论:强化学习的「GPT-3 时刻」实现,还需要 1 万年?
国外AI初创公司Mechanize三位创始人联合撰文称,RL或迎“GPT - 3时刻”,但需数千至上万年“模型处理任务所用时间”训练。还提出“复制训练”新范式,能磨炼模型能力,补足短板。
强化学习 AI 系统的设计实现及未来发展
本文是阿里巴巴算法专家曹宇在 AICon 2025 北京站的分享,结合算法实践展示 RL 系统现状及发展脉络,探讨未来超大规模 RL 发展方向,涉及理论基础、业界实践、开源生态及社区共建。
AI教父Hinton首爆十年前拍卖:我早已内定谷歌必赢!
NeurIPS 2025访谈中,AI教父Hinton和Jeff Dean回顾AI发展。Hinton透露Scaling顿悟源于Ilya演讲,还谈及AlexNet、谷歌大脑诞生等。二人探讨Transformer、Gemini,也对AI未来发展方向发表看法。
大模型低价趋势延续!智象未来姚霆:B端、C端界限模糊,API不够、逼出 “按结果付费”
InfoQ 采访智象未来联合创始人姚霆,探讨多模态大模型发展。他指出深度 Scaling up 收益放缓,广度 Scaling up 有惊喜;2025 年模型价格战倒逼厂商加速,低价趋势 2026 年将延续,商业模式转向“按结果付费”。
R1/Qwen训练新范式:无需继续训练,直接“算”出权重,提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点,但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化,提出“权重外推”等方法,实现最高6.1倍训练加速,RL - Extra在多榜单展现高效率。