「经验学习」共找到 1804 篇相关文章
监督学习也能从错误中学习反思?!清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT,在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距,其损失函数梯度和GRPO在On - Policy条件下等价。
微软:LLM上下文学习并非真的学习!
微软研究指出大模型上下文学习(ICL)虽数学上符合学习定义,但只是拟合prompt内统计规律,非掌握任务本质。通过大量实验,得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
AgentFly:重塑Agent,无需微调LLM,如我们一样的记忆和经验持续学习
现有LLM智能体依赖静态流程或微调参数,缺乏灵活性且成本高。论文提出基于记忆的在线强化学习框架AgentFly,不更新LLM权重,在多基准测试表现出色,为构建通用智能体提供新范式。
启发学习:让大模型认知从外化到内生
当下大模型能力多靠人为框架,能力上限受限。文章提出“启发学习”,将其集成到推理侧成Isaac框架,通过Prompt与网络层注入复用旧经验,实验显示能大幅提升大模型任务性能。
Ilya尘封10年录音曝光!大二入Hinton门下,竟坦言机器学习反直觉
新智元报道,博主曝光Ilya 2015年谈论深度学习的语音片段。数学出身的Ilya认为机器学习违反直觉,大二与Hinton合作。他指出监督学习是最成功领域,还谈及神经网络目标函数、深度学习追求等观点。
NVIDIA技术沙龙《强化学习流水线优化:性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化,强调用Nsight Systems做性能分析,介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧,如Actor训练和Rollout优化,还以Qwen 2.5 7B等模型为例总结参数调优经验。
演讲 | 强化学习之父 Sutton 隔空回应 Hinton:目前的 AI “理解不足,调参有余”
强化学习之父 Rich Sutton 在 UCLA 演讲《AI 的未来》,指出当下 AI“理解不足,调参有余”,是“脆弱的心智”。他定义智能,倡导建立统一心智科学,认为应从“人类数据时代”进入“经验时代”,还谈及 AI 政治与哲学。
伯克利神作背刺OpenAI:持续学习才是真神!
伯克利等机构发布FST框架,通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力,却忽视持续学习。FST让模型像大脑一样快慢分层,提升数据效率、减少遗忘,使持续学习可工程化。
强化学习大本营新作:如何破解「学新忘旧」困局
阿尔伯塔大学强化学习团队提出FAME框架,解决持续强化学习“学新忘旧”问题。团队先定义基础概念,将知识整合写成优化问题,再受人类学习机制启发设计FAME,实验优势明显。研究还探讨持续学习的产业价值。
Ropedia刘子纬:具身智能的Scaling Law,不是算力,是人类的经验
Ropedia刘子纬指出,当前物理AI面临差距,下一阶段需Scaling人类物理世界的经验。Ropedia构建真实世界经验引擎,形成经验飞轮,目标是打造能看见、记住、想象并行动的模型。