「LLM训练」共找到 2865 篇相关文章
开发者狂喜：Thinking Machines发布首款产品Tinker，后训练麻烦全给包了
OpenAI前CTO创办的Thinking Machines推出首款产品Tinker，这是用于微调语言模型的API，能简化LLM后训练过程，支持前沿模型，使用LoRA技术降低成本，还发布开源库，多高校团队已试用。
仅需152个样本，性能提升48%：Memory-R1如何重塑Agent记忆能力？
这篇文章解读论文Memory - R1，其由多所高校研究团队完成，旨在解决LLM在长对话和多轮任务中的‘记忆难题’。通过强化学习让LLM学会管理记忆，用152个问答对训练，大幅超越现有基线模型。
爆火论文颠覆RL认知！「错误奖励」让LLM推理暴涨24.6%，学界惊了
最新爆火论文颠覆传统RL训练认知，华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验，发现其对Qwen模型有效，但并非对所有模型都有效。
中科大 × 华为联合突破！SparseRM：1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案，基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数，在多任务中性能优，还能融入下游对齐流程，为LLM高效对齐提供新可能。
LLM+RL遭严重质疑，随机/错误等虚假奖励也能提升至标准效果？
论文在AI领域观察到类似随机给糖或奖励错误答案让孩子成绩提升的现象，‘虚假奖励四大奇招’效果接近用标准答案训练，Qwen2.5 - Math - 7B模型在测试集上性能飙升，还揭示了Qwen特别的原因及随机奖励有效的推手。
LLM记忆管理终于不用“手把手教”了，新框架让智能体自主管理记忆系统
加州大学圣地亚哥分校和斯坦福大学研究人员提出强化学习框架Mem-α，用于训练LLM智能体自主管理记忆系统。它将记忆构建转为序列决策问题，采用多维度奖励函数，实验显示其全面超越现有方法。
国产AI击败Meta：ReasonRank荣登BRIGHT榜单第一
基于LLM的段落排序方法中，listwise排序虽有优势，但当前重排器难处理复杂推理查询。ReasonRank通过生成推理密集型训练数据及两阶段后训练，赋予listwise重排序器强推理能力，在BRIGHT榜单击败Meta。
唯快不破：上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
用中等难度prompt做高效post training
近年来，RL后训练在LLM发展中至关重要，但传统方法效率低。本文提出PCL轻量级算法，通过动态选中等难度提示提升LLM后训练效率，经多基准实验验证其优越性，也指出方法局限与未来方向。