搜索：大模型推理训练

「大模型推理训练」共找到 8394 篇相关文章

DSpark推理速度提升80%后，OpenAI宣布新方法将推理成本降低了一半

近日，OpenAI 工程师开发优化技术，将模型推理成本降一半。业内猜测或基于公开成果，也有人认为是模型量化。此前 DeepSeek 推出 DSpark，使 V4 模型推理速度提升 60%-85%，还引入峰谷定价机制。

当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。

大语言模型幻觉问题待解，成本与算力需求攀升。清华孙茂松团队联合深言科技提出FaithLens模型，把幻觉检测提升为整体评估，以解释作为训练信号，8B模型在多任务上超闭源大模型。

线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。

华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。

大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。

Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。

InfoQ对话小米小爱同学端侧AI负责人杨永杰，了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢，团队提前布局，自研框架，实现超180 tokens/s推理速度，还分享未来突破方向。

华为提出高效推理方法S - GRPO，突破思维链「冗余思考」瓶颈。通过“串行分组 + 衰减奖励”设计，在Qwen3上有效，推理提速60%，生成答案更精确有用，在多个推理benchmark测评中表现出色。

英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。