「SFT训练集」共找到 2530 篇相关文章
完全开源的7B模型，性能比肩主流LLM，训练成本仅16万美元，复现DeepSeek的强化学习！
Moxin-7B由多机构团队联合开发，遵循“开源科学”原则，公开全流程细节。它训练成本仅16万美元，评测表现亮眼，在架构、数据策略、训练过程等方面有创新，为中小企业提供可控AI方案。
奖励模型预训练新范式POLAR：突破强化学习短板，有望打通RL链路扩展“最后一环”
强化学习中奖励模型设计与训练是瓶颈，上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制，契合强化微调框架，通过对比学习训练，实验证明其性能和泛化性佳，有望打通RL链路扩展最后一环。
剑指“美国版 DeepSeek！”Ai2 科学家 Nathan Lambert 最新访谈：剖析 RLVR、激辩智能体与后训练
艾伦人工智能研究所科学家 Nathan Lambert 在访谈中剖析 RLVR、激辩智能体与后训练。他所在团队用 Olmo 和 Tulu 模型揭开后训练魔法，带火 RLVR 概念。他还谈到开源 AI 未来，想打造“美国版 DeepSeek”。
卡帕西8000行代码手搓ChatGPT，成本仅100美元，训练12小时CORE表现超越GPT-2，手把手教程来了
AI大神Andrej Karpathy新作nanochat，用8000行代码、100美元成本纯手搓克隆ChatGPT。它是极简全栈训练/推理pipeline，训练12小时，CORE表现超GPT - 2，还给出快速上手详细指南。
搜索智能体RAG落地不佳？UIUC开源s3，仅需2.4k样本，训练快效果好
当前 Agentic RAG 落地有挑战，UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本，训练快且效果好，解决了优化目标偏离、检索与生成耦合等问题，在通用和医学 QA 任务中表现出色。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
刚刚，Andrej Karpathy放出大招：开源nanochat项目，仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。
o3 Gemini 都翻车？首个可验证长链 GUI 数据集 VeriGUI 重磅开源，探索通用 Agent 能力边界
GUI 智能体发展遇瓶颈，现有数据集难评估其长时程规划能力。2077AI 开源基金会牵头构建的 VeriGUI 应运而生，有长链复杂性与子任务级可验证性特征，论文登 Hugging Face 月榜第三，还证明现有模型瓶颈。
1.5B推理模型新SOTA，RL训练新解法打破「简单题过拟合、难题学不动」的魔咒
QuestA通过在训练中注入解题提示，实现两项成果：在1.5B模型上实现Pass@1的SOTA性能，还提升了Pass@k性能。它解决了RL训练中简单与困难任务的权衡问题，为开发强推理模型打开大门。