「训练推理效率」共找到 4331 篇相关文章
不只DeepSeek，阶跃等开源JetSpec：大模型解码提速近10倍
近期，DeepSeek 推出 DSpark，阶跃星辰提出 JetSpec，都关注大模型推理效率。DSpark 关注验证效率，JetSpec 提高有效 Token 生成率。二者切入点不同，但都显示大模型行业进入新阶段，推理效率成 Agent 落地基础变量。
破局大模型训练黑盒，MegatronApp开源实现万亿参数「可视可控」训练
在2025上海QCon大会上，算秩未来赵伯罕博士指出万亿级大模型训练困境。上海期智研究院和算秩未来联合研发MegatronApp，以低入侵方式补齐链路，其四个模块形成闭环，让训练从黑盒变白盒，项目已开源。
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
MoE推理「王炸」组合：昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。
小米罗福莉：MiMo-V2.5如何做到又快又强又便宜？ | ICML 2026
2026年7月ICML大会上，小米MiMo团队负责人罗福莉介绍MiMo - V2.5系列。该系列跳出传统思路，从架构、训练、推理协同设计，实现“聪明、快速、便宜”，如预训练降成本、后训练有硬核算法、推理加速达1000 TPS。
RL训练总崩溃？R1-Reward稳定解锁奖励模型Long-Cot推理能力
多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。
兼顾效率、成本与能力，百灵开源旗舰推理模型 Ring-2.6-1T
5月15日，蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T，权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数，‘按需思考’，在代理执行、推理机制、训练范式三方面升级，评测表现出色。
DSpark推理速度提升80%后，OpenAI宣布新方法将推理成本降低了一半
近日，OpenAI 工程师开发优化技术，将模型推理成本降一半。业内猜测或基于公开成果，也有人认为是模型量化。此前 DeepSeek 推出 DSpark，使 V4 模型推理速度提升 60%-85%，还引入峰谷定价机制。
林俊旸从阿里离开后首度发声：推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。
低Token高精度！字节复旦推出自适应推理框架CAR
字节与复旦大学研究人员提出自适应推理框架CAR，能根据模型困惑度动态选短答或长推，在多基准测试中平衡了准确性与效率，打破长文本推理必然性能更好的认知。