「LLM训练」共找到 2908 篇相关文章
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
Karpathy最新手搓！复现GPT-2成本狂降600倍：仅需507元3小时训练「最好的AI学习项目」
Andrej Karpathy的个人项目nanochat更新，现训练GPT - 2级别的LLM成本低于100美元，在单个8XH100节点上仅3小时花约73美元，较7年前成本降600倍，还列出关键优化技术，设排行榜。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
一键式训练端到端Agent，Qwen3+MCP工具集高效集成！
RLFactory是开源的端到端RL后训练框架，将环境与训练解耦，用Qwen3基座调用MCP工具集，可低代码训练端到端Agent模型。它极致易用、训练高效，还支持一键式训练，未来会更易用高效。
让企业拥有自己的模型！PyTRIO定义TaaS新范式：大模型训练进入API时代
本文围绕企业自主训练专属大模型的行业趋势展开，指出当前大模型训练门槛高、工程成本大的痛点，介绍情感机器推出的PyTRIO训练平台，提出TaaS新范式，封装底层工程，开放训练API，降低训练门槛。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
模型、代码、数据全开源！轻松训练自己的垂类Agent！
Together AI联合Agentica推出`DeepSWE-Preview`，基于开源Qwen模型，用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源，抛弃SFT纯用RL训练，还分享训练秘籍和TTS技巧，为垂类Agent训练提供新范本。
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高，降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知，揭示FP4训练不稳定源于结构性微缩放误差，非随机性不足，还在原生FP4硬件完成大模型预训练。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。