「RL for LLM」共找到 1173 篇相关文章
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练
传统强化学习框架在模型和集群规模达上千块GPU时，存在扩展性瓶颈和效率低下问题。上海创智学院团队推出siiRL，采用全分布式架构和多控制器范式，解决传统框架痛点，在多方面验证了其高性能。
全球首个科研LLM竞技场上线！23款顶尖模型火拼：o3夺冠，DeepSeek第四
Ai2耶鲁NYU联合推出科研版「Chatbot Arena」——SciArena，23款顶尖大模型比拼科研任务，OpenAI o3夺冠，DeepSeek第四。该平台解决通用基准测试在科研场景‘失效’问题，但其自动评估系统猜科研人偏好远未及格。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
比女皇报告还炸裂！67页AI深度调研刷屏，全球LLM大决战真正开始
硅谷财富管理巨头Iconiq Capital发布《2025年AI现状报告》，实测300家AI公司落地路径，揭示AI从概念走向实战的七大真问题，解析从构思到部署AI产品路径，核心关注高效构建、规模化落地等。
强化学习也能预训练？效果可提升20倍，华人新作引爆RL新范式!
伯克利团队提出新方法InFOM，不依赖奖励信号，能在多任务中超强迁移与推理。在36个基于状态和4个基于图像的任务测试中，InFOM表现出色，在jaco任务上改进达20倍。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
中学生就能看懂：从零开始理解LLM内部原理【九】｜ 层归一化：神经网络的稳定器
本文是系列文章第九篇，介绍了神经网络中的层归一化。先回顾标准差、标准分概念，指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络，还加入可学习参数，最后总结其作用与应用位置。