「并行加速」共找到 839 篇相关文章

开源动态8

上海AI Lab发布混合扩散语言模型SDAR:首个突破6600 tgs的开源扩散语言模型

上海人工智能实验室提出全新范式SDAR,通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明,SDAR性能与原版AR模型持平或超越,还能加速推理,且已全面开源全系列模型。

机器之心
推荐文章7

吴恩达来信:利用编程智能体实现更高效开发

吴恩达认为编程智能体正加速各类软件工作,按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显,后端开发有提升但幅度小,基础设施和研究方面加速有限。

DeeplearningAI
开源动态8

【博客翻译】使用PyTorch加速生成式AI第四部分:Seamless M4T,快速优化

这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分,专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph,在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速,端到端推理2.7倍加速。

GiantPandaLLM
推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM
算法论文8

训练加速1.8倍,推理开销降78%!精准筛选题目高效加速RL训练丨清华KDD

清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架,解决强化微调代价高问题。它精准挑题,预测难度,开销低、动态适应且平衡探索利用,在多任务表现佳,降本增效,有新范式。

量子位
新闻资讯7

端侧AI加速到来,个人隐私如何保护?

Deepseek推动端侧AI加速落地,苹果、谷歌等企业纷纷布局。不过,端侧AI在发展中面临融合不佳、数据安全等问题。阿里研究院傅宏宇提出保障数据安全的建议,监管层也出台相关法规。

芯师爷
新闻资讯8

AI驱动增长,国产半导体设备加速突围

2025年全球半导体设备市场在AI拉动下增长,销售额预计达1330亿美元。中国市场领跑,国产企业加速突围。AI算力、存储芯片需求及后道封装测试成增长动力,本土企业在多领域取得进展,但也面临挑战。

芯师爷
产品应用8

阿里云发布Qwen Cloud,加速AI出海!

阿里云在新加坡面向海外发布Qwen Cloud、Agent产品MuleRun等一系列产品及更新,实现云基础设施升级。Qwen Cloud是全新AI产品官网,Qwen3.7 - Max位列全球第五,Qoder用户超500万,阿里云基础设施迈入Agentic Cloud。

阿里云开发者
产品应用8

ZeroGPU Spaces 加速实践:PyTorch 提前编译全解析

本文聚焦 ZeroGPU Spaces 加速实践,介绍 PyTorch 提前编译。ZeroGPU 使在 Hugging Face Spaces 用 Nvidia H200 硬件更高效,但有局限。提前编译可优化模型,提升演示速度,还分享了接入方法、高级技巧及演示示例。

Hugging Face
推荐文章7

高性能全闪并行文件系统的设计和实践

焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’,介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节,分享其解决 AI 训练存储难题的方案。

InfoQ