「推理性能优化」共找到 4155 篇相关文章
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。
生成式推理再排序，可能会是LLM4RecSys的新突破口吗？
Meta AI研究者尝试把推理模型引入推荐系统再排序阶段。论文通过监督微调等赋予模型推理能力，超LLM4Recsys标杆。中期内化物品语意ID，生成推理路径，推理赋能再排序，披露重排序提升空间。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
华为曝光两大黑科技！打破推理延迟魔咒，大模型从此「秒回」
华为通过FusionSpec和OptiQuant两大技术创新，对MoE模型进行推理优化。FusionSpec依托昇腾特点，将投机推理框架耗时降至1ms；OptiQuant支持灵活量化，为大模型推理提供高性价比。
推理能力大比拼，《推理模型综合测评报告 2025 》正式发布
过去半年，推理能力成大模型新分水岭。InfoQ研究中心评测八款热门模型，围绕五大维度，用超90%原创试题。发现各模型在不同维度表现有差异，推理模型发展正从‘一个大脑’变为‘带工具的多能智能体’。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。