「LLM训练」共找到 2865 篇相关文章
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。
刚刚，OpenAI前CTO：战胜LLM不确定性的方法找到了！
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化，而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
构建 AI 时代的知识底座：直播数据 LLM Wiki 实践
文章围绕直播数据 LLM Wiki 实践展开，指出领域知识沉淀面临挑战，引出 LLM Wiki。介绍其实际效果，如指标召回、代码生成等，阐述构建方法、架构设计、编译流水线、检索方式，还提及增量编译与持续 Lint，最后给出未来规划。
RL救不了泛化性！揭示LLM数学Reasoning的深层瓶颈
大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。
何恺明等降维打击！彻底颠覆AI生图，无需预训练一步到位
何恺明团队推出生成模型MeanFlow，它跳脱传统训练范式，无需预训练等，仅一次函数评估就能完成生成。在ImageNet 256×256上表现优越，缩小了一步与多步模型性能差距。
LightMem用3招重新设计了LLM的记忆，结果出乎意料
LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制，用三招重新设计LLM记忆，实验显示其准确率超基线，还降低token使用量、API调用和运行时间。
清华叉院教授手把手教你用强化学习训练智能体
在大模型智能体时代，智能体强化学习训练通用智能体很关键。ASearcher 是相关项目，AReaL 有交互次数和代码设计优势。本次吴翼教授将带团队成员，以多轮搜索智能体为例，教用最少代码实现训练。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
5大维度、4类模态：LLM/Agent数据分析技术全景图
文章分享《LLM/Agent-as-Data-Analyst: A Survey》，上交大、清华、微软等将「LLM/Agent 当数据分析师」技术拆成 5 大设计维度与 4 类数据模态，给出 100+ 代表性方法等，还介绍不同数据类型的分析技术。
LLM 语境下，「持续学习」是否是 「记忆」 问题的最优解？
本期通讯解读 3 个 AI 业内要事，包括谷歌嵌套学习范式引争议、AI 产品记忆方向探讨、英伟达合成数据等。谷歌 NL 范式想规避遗忘问题，测试中 HOPE 表现优，但也遭质疑，当前 LLM 研究更关注改善记忆。