「长文本训练」共找到 2990 篇相关文章
真正的AI竞争力,藏在大模型“后训练”这一步
当全球聚焦基座模型参数竞赛时,后训练变革正悄然发生。产业共识是,大模型后训练是AI落地产业必经之路。后训练技术从SFT演进至强化学习范式,企业应用也有了从技术到商业价值的完整链路。
SeePhys Pro:重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro,是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等,测评显示当前模型在信息模态转变时不稳定,为模型评测和训练研究提供基础。
Glyph:文本转图片解决长上下文困境,智谱把“DeepSeek-OCR”具像化了
传统 token 扩展方式遇算力成本天花板,DeepSeek 与智谱都想到让 AI“看”文字思路。智谱发布 Glyph 框架工程化实现此思路,将文本转图片处理,降低计算成本,有不错效果但也存在排版敏感等限制。
答对之后还能学,答错之后也有用:重新理解推理轨迹的训练价值
本文结合EchoRL、ReflectRL两项最新研究,重新解读推理轨迹的训练价值,解决全答对无强化信号、错题全丢弃的训练痛点,梳理方法设计、实验结果与适用边界,为大模型推理训练提供新参考。
科普向:一文解构大模型后训练,GRPO和它的继任者们的前世今生
文章深入解读大模型后训练,先对比 PPO 与 GRPO,指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法,如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性,还提及 GRPO 其他缺陷。
新颖的人形机器人训练框架
Robot - Trains - Robot (RTR)是新颖框架,机械臂教师支持引导人形机器人学生。它能以最少人工干预实现高效长期真实世界人形机器人训练,文中还介绍安装设置、使用指南等内容。
多轮Agent蒸馏终于不翻车!港中文x通义新方法成功率暴涨18点,训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法,解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动,提升了模型成功率,压缩行动步数,还减少训练时间,未来或成训练长程Agent标配。
Scaling Law再现Agent领域!阿里提出训练新范式:在预训练和后训练之间还需一个Agentic CPT
近年来,大型语言模型向智能体系统进化。但当前主流方法构建智能体不佳,阿里通义实验室团队论文提出智能体持续预训练(Agentic CPT)新范式,开发AgentFounder模型,在多基准测试表现卓越。
7B模型对标GPT-4o,全球首个医疗代码生成大模型训练平台来了
研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym,提供评估基准和训练生态,提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平,解决医疗AI编程瓶颈。
训练加速1.8倍,推理开销降78%!精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架,解决强化微调代价高问题。它精准挑题,预测难度,开销低、动态适应且平衡探索利用,在多任务表现佳,降本增效,有新范式。