「并行推理加速」共找到 2680 篇相关文章
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
75页哈工大多模态推理大模型最新综述：感知、推理、思考与规划
哈工大提出75页多模态推理大模型综述，围绕四阶段发展路线图展开，即感知驱动的模块化推理、以语言为中心的短推理、以语言为中心的长推理、迈向原生多模态推理模型，还给出挑战性基准测试和实验案例见解。
10倍加速化学推理大模型！Haven团队在隐空间思考分子式，碾压显示CoT
Haven团队提出LatentChem，把化学推理从‘文本表面’挪到‘模型内部’，先在隐空间思考，再在语言空间回答。它拆分‘推理’与‘表达’，性能优异，为AI Scientist奠定基础。
PD 分离推理的加速大招，百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。
CVPR 2026 | 20步也能稳住画质，这个扩散加速方法不一样
扩散模型推理效率是落地应用的核心制约因素，阿里安全 AGI 实验室 - 御风大模型团队联合浙江大学提出全新扩散加速方法 TC - Padé，在低步数设置下能兼顾生成质量与推理效率，已被 CVPR 2026 录用。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
帮大模型提速80%，华为拿出昇腾推理杀手锏FlashComm，三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下，华为数学家祭出 FlashComm。它包含三项技术，分别在 AllReduce 通信、以存换传、多流并行方面优化，解决通信瓶颈，提升推理性能，未来还将围绕多方向创新。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。