「RL for LLM」共找到 1173 篇相关文章
LLM 没意思,小扎决策太拉垮,图灵奖大佬 LeCun 离职做 AMI
图灵奖得主 Yann LeCun 宣布年底从 Meta 离职创业,聚焦高级机器智能研究项目 AMI。他离职是因与 Meta 在 AI 发展路线上冲突,且不满 LLM,坚持基于“世界模型”的下一代 AI 技术。
谷歌推出 LLM-Evalkit,为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit,让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节,与谷歌云工作流集成,有无代码界面,已在 GitHub 发布。
扎克伯格的豪赌初见成效?Meta新方法让LLM长上下文处理提速30倍
Meta Superintelligence Labs提出REFRAG高效解码框架,解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码,让首个token生成时间加速达30.8倍,扩展上下文,且精度不降反升,不过价值待实际检验。
训练即服务!让模型训练回归算法语义,150行代码跑通RL
ModelScope团队开源Twinkle框架,采用Client - Server架构,支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环,底层调度等交给框架。它兼顾易用性与灵活性,有多种特点和优势,代码已开源。
告别随机性:Thinking Machines Lab如何实现了LLM推理的完全确定性?
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性,而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略,实验验证有效,还阐述其对训练、系统可靠性等方面的意义。
AI数学能力暴涨100%,自进化直逼RL极限!CMU新作颠覆认知
数据枯竭成AI发展瓶颈,CMU团队提出SRT方法,让LLM自我进化,提升数学与推理能力,性能逼近传统强化学习。研究还分析其局限,提出缓解奖励作弊策略及应对模型崩溃的方法。
ACL2025 | 传统符号语言传递知识太低效?探索LLM高效参数迁移可行性
中科院自动化所谭宇乔等研究跨规模大模型参数知识迁移(PKT)可行性。指出传统符号语言传递知识低效,LLM 模仿此范式也有局限。提出新 Pre - Align PKT 范式,实验分析 PKT 效果,揭示神经不兼容性致其失败。
以星为舵:LLM的Post-Train与Rest-Time奖励学习综述
这篇论文提出奖励信号像AI的“导航星”,引导模型优化行为。介绍奖励学习概念、来源、形式和策略,阐述其贯穿LLM生命周期的三个阶段,探讨奖励模型设计选择,还提及实际应用、挑战与未来方向。
深刻理解Token:大语言模型(LLM)是如何看待这世界?
文章指出在大语言模型(LLM)中,Token是处理文本的基本单位。介绍了Token的概念、分词方法、向量化过程,还阐述了分词对模型性能的影响,如导致模型在数学、多语言处理上表现不佳等。
生成式推理再排序,可能会是LLM4RecSys的新突破口吗?
Meta AI研究者尝试把推理模型引入推荐系统再排序阶段。论文通过监督微调等赋予模型推理能力,超LLM4Recsys标杆。中期内化物品语意ID,生成推理路径,推理赋能再排序,披露重排序提升空间。