搜索：PD分离 - AI Reading Hub

「PD分离」共找到 76 篇相关文章

Insanely Fast Whisper：开源社区让音频转录速度提升19倍

Insanely Fast Whisper工具将OpenAI Whisper转录速度提升19倍，采用Flash Attention 2技术，零质量损失。它集成多语言支持、说话人分离等实用功能，还支持跨平台，免费运行。最初是基准测试demo，值得音频处理用户关注。

杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案，在边缘端混频器模拟计算中完成推理，解决传统方案问题，还在测试平台验证，能耗低且能完成多项机器学习任务。

字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。

传统RANS方法预测分离流动有挑战，数据驱动湍流模型泛化性能有局限。清华大学张宇飞团队研究其在复杂三维增升装置应用，验证SST - CND模型泛化能力及修正项迁移能力，证明其可用于真实工程流动问题。

文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。