「学习效率」共找到 2444 篇相关文章
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限
强化学习虽提升大语言模型表现，但面临探索难题。字节跳动等团队提出FR3E框架，分两阶段重建探索机制，在多数学推理基准实验中显著优于强基线，为大模型强化学习提供新范式。
LLM将是又一个“惨痛教训”？强化学习之父Sutton再放炮：万亿美金AI泡沫可能破裂
强化学习之父Sutton在采访中认为，LLMs过度依赖人类知识，违背‘惨痛教训’原则，发展将遇瓶颈，当前投资和期望或致泡沫破裂。讨论还涉及LLM与强化学习、人类模仿方式差异及AI领域经济动态等。
Andrej Karpathy 开炮：智能体都在装样子，强化学习很糟糕，AGI 十年也出不来
本周五，Andrej Karpathy 长达两小时多的采访视频引发关注。他直言行业步子迈得太大，嘲讽 AI 现状夸大、脱离实际。他认为智能体成熟需十年，强化学习糟糕，还探讨了 AGI、人类学习、教育未来等多方面问题。
Andrew Karpathy最新访谈：RL很糟糕、人类学习和教育、智能和文化的演变、AGI还要十年，将带来2%的GDP增长
Dwarkesh Patel 播客对 Andrej Karpathy 进行深度访谈。他认为 AGI 还需十年，目前算法有缺陷；强化学习虽有问题但必要；分析了 LLM 局限，探讨人类学习机制、AGI 经济影响等多方面内容。
只训练数学，却在物理化学生物战胜o1！新强化学习算法带来显著性能提升，还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD，缓解训练崩溃问题，提升性能。还构建多模态强化学习框架，推出MMK12数据集和MM - PRM模型，开源相关成果。
MIT & Google | 提出异步并行生成新范式，LLM推理效率大幅提升！
MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。
GUI智能体训练迎来新范式！半在线强化学习让7B模型媲美GPT-4o
浙江大学与通义实验室团队推出UI - S1，提出半在线强化学习训练范式。它融合离线与在线学习优势，用三项关键技术构建核心架构，新评测指标SOP更贴近真实表现，实验显示UI - S1 - 7B性能卓越，逼近GPT - 4o。
监督学习未死，一题训练五小时起飞！华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中，RL训练资源成本高、不稳定，传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法，用一题多解多点评训练，仅需约5个GPU小时，效果好、稳定性强。
英伟达成开源新王？Nemotron 3全新混合专家架构，推理效率升4倍
北京时间今天凌晨，英伟达发布 Nemotron 3 系列开放模型，含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face，采用混合 MoE 架构，推理效率提升显著。该系列还具备多种核心技术和实用能力，相关工具和数据集也已开源。