「并行解码」共找到 320 篇相关文章
突破视觉仿真算力瓶颈!新一代具身智能仿真框架开源:高吞吐并行高保真渲染助力规模化训练
具身人工智能向以视觉为中心转型,但面临“看得真”和“训得快”难题。清华大学智能产业研究院等提出GS - Playground通用多模态仿真框架,融合高吞吐量并行物理仿真与高保真视觉渲染,成果被RSS 2026录用,将开源。
AST | 西工大崔榕峰、张伟伟等:基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
传统高保真CFD模拟计算资源消耗大,现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架,实验表明其在流场重构精度上较传统U - Net提升约10%,预测速度提升2 - 3个数量级。
谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍
大语言模型领域,推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力,但开源扩散LLM推理慢。近日,NVIDIA等推出Fast - dLLM,无需训练即插即用,推理速度狂飙27.6倍,兼顾速度与精度。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
上海AI Lab发布混合扩散语言模型SDAR:首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR,通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明,SDAR性能与原版AR模型持平或超越,还能加速推理,且已全面开源全系列模型。
ParScale:一种全新的大模型Scaling Law
文章提出并行扩展(ParScale)路线,在不增模型参数下,通过引入并行流提升性能。新扩展定律打破传统范式,两阶段后训练策略降成本,还适用于边缘设备,研究仍在进行。
告别「盲目自信」,CCD:扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法(CCD)。它解决传统DLM推理“短视”和采样预算固化问题,在开源DLMs上实现3.48倍加速和3.9%性能提升,适配多种解码设定。
Claude Code 团队的 10 个内部技巧,但你不一定都要学
Claude Code团队分享10条内部技巧,像并行运行、Plan Mode等。介绍各技巧做法、价值及注意点,如并行运行虽提升效率但非适合所有人,投资CLAUDE.md性价比高,且强调找到适合自己的使用方式。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。