「RL for LLM」共找到 1173 篇相关文章
万字长文!大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。
Open Responses 规范实现智能体式 LLM 工作流的统一
OpenAI发布Open Responses开放规范,获Hugging Face等支持,为智能体式AI工作流制定统一标准,减少API碎片化,支持多模态输入等,引发行业对厂商锁定和生态成熟度的讨论。
NVIDIA提出小型LLM才是未来,并将重塑Agentic AI
人工智能代理快速渗透企业场景,但当前系统依赖大型语言模型,存在经济成本和效率错配痛点。NVIDIA团队提出小型语言模型才是代理AI未来,论证其能力、经济性和操作适配性优势,并给出迁移路径。
阿里巴巴新论文:让LLM学会管理记忆,告别人工规则
大型语言模型处理长对话或复杂任务时,记忆管理靠人工规则,效果有限。阿里巴巴团队新论文提出把记忆管理变为可学习的强化学习策略,AgeMem框架统一长短期记忆管理,经三阶段训练,效果显著。
自搜索强化学习SSRL:Agentic RL的Sim2Real时刻
本文由多机构联合完成,引入自搜索强化学习SSRL。它利用结构化prompt和format reward提取模型world knowledge,降低幻觉。还探索Sim2Real有效性,验证SSRL训练模型在真实场景泛化性,且所有训练数据等已开源。
Claude团队打开大模型「脑回路」,开源LLM思维可视化工具来了
Claude团队推出“电路追踪”工具,可生成归因图呈现LLM处理信息路径,支持在主流开源权重模型上快速生成。研究人员能借此解码LLM“决策逻辑”,官方还给出多语言电路等示例。
刘壮陈丹琦新作:开源通用视觉推理RL框架,0思考数据刷新SOTA
普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA,解决了开源RL方案的问题,所有数据、代码、模型均已开源。
量化噪声竟是RL秘钥?QeRL:高效强化学习新范式,一场噪声引发的性能革命
近年来,大语言模型在复杂推理任务中面临挑战,强化学习虽更接近人类推理过程,但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源,还能增强模型探索能力,QeRL框架实现训练速度提升、内存占用减半。
美团提出多模态推理新范式:RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架,将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能,再SFT补齐短板,训练的两模型在OpenCompass榜单成绩优异。
我去,真有这种,Openclaw 增强工具,ClawRouter 让 AI Agent 自己选模型、自己付钱,还能把 LLM 成本打下来 90%,爽~~
ClawRouter是开源本地LLM Router / Proxy,支持55+模型,能让AI Agent自动选模型、付费,将LLM成本降90%。它解决路由、支付等问题,适合做AI Agent、编程工具等产品的开发者。