「自我奖励训练」共找到 2512 篇相关文章
RLHF已死,RLVR引爆AGI革命!Claude 4核心成员万字对谈
Claude 4核心成员对谈指出,强化学习在语言模型上奏效,可验证奖励的强化学习(RLVR)比RLHF更优,模型有望从「专才」向「通才」过渡,未来AI智能体将完成白领工作,人们应做好准备。
Agent也能蒸馏了!性能超好
大模型运行成本高,普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏,让小模型学会用检索和代码工具,还加首思前缀与自我纠错“外挂”,使小模型性能直逼大模型。
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码,多项任务远超RoPE
长文本能力对语言模型重要,但现有模型训练窗长有限,流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足,提出傅里叶位置编码FoPE,提升长文本泛化能力,实验表现超RoPE。
68页论文再锤大模型竞技场!Llama4发布前私下测试27个版本,只取最佳成绩
《排行榜幻觉》论文指出Chatbot Arena存在问题,如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等,研究团队给出改进建议,官方也进行了回应。
拟合接近满分,外推却会跑偏:Meta 给缩放律加了一个指数
大模型训练前,团队常用 Chinchilla 缩放律估算模型规模和数据量,但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数,降低外推误差,还采用 L 形采样降低试算成本。
AI 出图为什么总很土?2100 星开源 Skill 用 244 行给了答案
AI出图常显土气,开源项目`gc - minimal - zine - poster`用244行文档给出答案。它将日系zine感拆分为可执行指令,规定九个渲染问题,还给出取值区间和自检方法,能防止风格自我复制,且适配多种Agent。
突发!Claude Opus 5深夜震撼发布,多项跑分锤爆Fable 5,价格腰斩
Claude Opus 5正式发布,总体智能逼近Claude Fable 5,价格仅为一半,多项跑分超Fable 5。它专为高频使用设计,各领域进步显著,有强自我验证和迭代能力,还发布API更新与提示词编写指南。
国产GPU开始造世界!国内首个全栈具身智能仿真平台来了
摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda,实现Sim-to-Real真机验证。该平台像物理AI训练流水线,集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构,还构建了云端、端侧、生态闭环。
小模型用不好Skill?新范式让模型学会Skill的底层逻辑,3B模型推理token省5倍,性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0,提出技能内化思路。它在训练中引入关键机制,让小模型把技能内化到参数里。实验显示,其效果出色,token效率高,为小模型成领域专家提供新方向。
ChatGPT本来要5天后关掉
翁家翌在播客透露,起初推出ChatGPT是为收集用户数据,预期5天后关闭。他是OpenAI多代大模型发布贡献者,还分享了OpenAI内部情况,如模型训练、迭代速度等问题,也谈及自身经历和对AGI看法。