「训练推理失配」共找到 3597 篇相关文章
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。
DeepSeek-V3.1震撼发布，全球开源编程登顶！R1/V3首度合体，训练量暴增10倍
DeepSeek正式上线DeepSeek-V3.1，作为首款「混合推理」模型，将开启智能体新时代。它参数共671B，具强大智能体能力，编程击败Claude 4，训练量大幅扩增，在多方面测试表现出色，稳坐编程开源第一王座。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
大模型学会拖进度条看视频了！阿里新研究让视频推理告别脑补，实现证据链思考 | ICLR 2026
阿里巴巴未来生活实验室团队解决多模态大模型视频推理难题，推出ReWatch数据集和ReWatch - R1模型。数据集克服现有训练数据痛点，模型用SFT + RL范式及创新奖励机制，实验成绩SOTA。
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。
一键式训练端到端Agent，Qwen3+MCP工具集高效集成！
RLFactory是开源的端到端RL后训练框架，将环境与训练解耦，用Qwen3基座调用MCP工具集，可低代码训练端到端Agent模型。它极致易用、训练高效，还支持一键式训练，未来会更易用高效。
让企业拥有自己的模型！PyTRIO定义TaaS新范式：大模型训练进入API时代
本文围绕企业自主训练专属大模型的行业趋势展开，指出当前大模型训练门槛高、工程成本大的痛点，介绍情感机器推出的PyTRIO训练平台，提出TaaS新范式，封装底层工程，开放训练API，降低训练门槛。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
推理路径的动态调控：让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。
模型、代码、数据全开源！轻松训练自己的垂类Agent！
Together AI联合Agentica推出`DeepSWE-Preview`，基于开源Qwen模型，用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源，抛弃SFT纯用RL训练，还分享训练秘籍和TTS技巧，为垂类Agent训练提供新范本。