「RL for LLM」共找到 1173 篇相关文章
让GPU不再摸鱼!清华蚂蚁联合开源首个全异步RL,一夜击穿14B SOTA
清华与蚂蚁联合开源AReaL - boba²,实现全异步强化学习训练系统,解耦模型生成与训练流程,大幅提升GPU利用率。14B模型在多个代码基准测试达SOTA,性能接近235B模型。
英伟达揭示RL Scaling魔力!训练步数翻倍=推理能力质变,小模型突破推理极限
学界对强化学习能否让模型学会新推理技能争论已久,过去研究多悲观。英伟达研究指出,问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数,释放小模型潜力,还构建技术组合拳。
矩阵乘法新突破!XX^T原来可以更快!RL助力搜索,世界纪录又被提升了5%
深圳市大数据研究院、香港中文大学(深圳)研究团队,结合强化学习与组合优化技术,发掘新算法 RXTX,让 XX^T 运算减少 5% 运算量,成果在国际引发关注,不过产业化落地仍面临挑战。
北航领衔发布300页代码智能综述:从基础模型到智能体,一次读懂Code LLM全景图
北航领衔联合近30家机构撰写《From Code Foundation Models to Agents and Applications》,系统梳理代码智能领域,串联模型、任务等成完整技术链路,还通过实验等给出实践指南。
Sea AI Lab 揭秘:你费尽心力调的 LLM 一直在崩溃?罪魁祸首可能只是一个参数:BF16
Sea AI Lab 和新加坡国立大学研究指出,强化学习微调中训练不稳定和性能瓶颈,根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”,使训练易失败。将精度切换到 FP16 可解决问题,提升模型表现。
港科提出新算法革新大模型推理范式:随机策略估值竟成LLM数学推理「神操作」
香港科技大学联合团队提出 ROVER 算法,跳过传统强化学习推理的策略迭代循环。它在多项数学推理基准上超越现有方法,在高难度任务中大幅提高 pass@1 和 pass@256,且提升推理多样性,更轻量。
“掩码即武器”,四款扩散LLM全部破防 ? 上交&上海AI Lab发现dllm致命安全缺陷
上海交通大学、上海人工智能实验室等团队研究指出,扩散语言模型(dLLMs)有根本性架构安全缺陷。他们提出DIJA攻击框架,能让多个dLLMs大概率生成有害内容,还呼吁从多方面加强dLLM安全。
从视觉出发统一多模态!颜水成团队最新研究:不再把图像编解码器塞进LLM|ICLR'2026
NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发,用离散扩散框架统一文生图、图生文和VQA,挑战多模态“语言中心论”,在多任务表现出色。
直播预约 | 如何缓解LLM-as-a-Judge的潜在偏好?UDA:一种无需人工标注的无监督去偏对齐框架
论文针对不同大模型对同一组大模型回答打分差异大等问题,提出无需人工标注、模型无关、即插即用的UDA框架,以无监督方式动态调整Elo评分,实验表明该方法能降低打分标准差、提升与人类评分相关系数。
论文深度解读:大模型(LLM)加持下的自主无人机分层智能体框架,实现自主规划
文章解读《A Hierarchical Agentic Framework for Autonomous Drone-Based Visual Inspection》论文,介绍分层智能体框架让无人机群自主规划。研究对比三种‘思考模式’与不同‘大脑’组合,还指出未来研究可开发混合系统、混合能力智能体及自适应系统。