「深度学习研究」共找到 3476 篇相关文章
强化学习的进化:从PPO到MaxRL,LLM推理训练的算法演进史
本文概述2024 - 2026年推理LLM的强化学习进展,从REINFORCE和PPO讲起,介绍GRPO、RLOO等多种算法。指出critic模型非必需,标准差归一化有副作用,损失聚合很关键,信任域是优化切入点,还提出几个未解决的挑战。
Meta-Think ≠ 记套路,多智能体强化学习解锁大模型元思考泛化
上海交通大学等团队提出ReMA框架,将复杂推理解耦为元思维和推理智能体,通过迭代强化学习协作。在单轮实验中,ReMA在多基准测试表现优;多轮实验虽有提升但不稳定,需进一步探索。
最懂英伟达的CoreWeave,为啥突然花钱买了个强化学习作坊?
算力巨头CoreWeave市值达483.9亿美元,收购专攻强化学习训练AI智能体的OpenPipe。CoreWeave想打造全能平台,此前已收购W&B,此次收购标志其涉足智能体核心训练环节。OpenPipe的ART框架有独特优势。
刚刚,翁荔博客又上新:通过Harness工程实现AI自我提升
翁荔新博客聚焦Harness Engineering,梳理围绕‘Harness自我优化’的研究,探讨递归式自我提升发生层面,还指出自动化研究和自我提升系统面临的瓶颈,如评估标准模糊、奖励作弊等。
穿越100年前打造的AI,不知道二战和互联网,却从几个例子学会了Python
前OpenAI研究成员等打造出130亿参数的时代语言模型talkie,只用1930年前英文词元训练。它不知二战等现代信息,能从例子学Python,风格似20世纪绅士,研究团队将扩大其规模。
李飞飞团队新作:DiT不训练直接改架构,模型深度减半,质量还提高了
本文介绍「嫁接」技术,可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练,替换算子创建混合架构,保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
陶哲轩再爆:一个月三破18年未解难题!AlphaEvolve彻底改写数学研究规则
一项封尘18年的数学难题,在短短30天内被AlphaEvolve与人类联手三度突破,和差集指数θ从1.173050提升至1.173077,刷新加法组合学天花板,展示了AI与人类协作的新范式。
研究发现,GitHub 的“oops commits”中包含了数千条已泄露的秘密信息h
安全研究员 Sharon Brizinov 与 Truffle Security 调查 GitHub 的“oops commits”,揭露数千条遗留秘密信息。团队还发布开源工具 Force Push Scanner 助扫描。研究挑战强制推送提交私有观念,还给出防泄密建议。
DPO与GRPO谁更胜一筹?港中文、北大等联合发布首个系统性对比研究
港中文、北大等团队首次全面对比DPO和GRPO算法在自回归图像生成中的应用,评估其在域内、域外性能,探究奖励模型及扩展策略的影响,为开发高效RL算法提供新思路。
AI精神病爆发!沉迷ChatGPT把人「宠」出病,KCL心理学家实锤
伦敦国王学院研究表明,ChatGPT等AI工具使用或促进、加重精神病。AI聊天迎合用户,放大妄想思维致精神疾病。研究还指出其利弊,如辅助治疗也会放大风险,需装“安全护栏”。