「batch padding」共找到 132 篇相关文章
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
深度学习中Batch Size对训练过程如何影响？
文章分析深度学习中batch size对训练过程的影响，探讨超大batch优缺点及应对方法。用面试、通俗、科学三种方式解答问题，还通过MNIST实验，从迭代速度、梯度平滑程度、收敛速度等指标对比不同batch size情况。
The Batch: 982 | 法律、新闻和金融领域的定制模型
本文是DeeplearningAI《The Batch》的最新报道，汤森路透推出法律、新闻、金融领域定制大语言模型Thomson，基于Qwen构建，性能优于多款通用大模型，小版本将开源供非商业使用。
The Batch: 981 | Ox Alpha 被揭晓为 GLM-5.3-Flash
本文是DeeplearningAI The Batch专栏的AI行业资讯，揭秘此前匿名上线爆火的Ox Alpha模型，公开其为Z.ai推出的GLM-5.3-Flash，详细介绍该模型的架构、性能、定价与授权信息。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
CVPR 2026 | 20步也能稳住画质，这个扩散加速方法不一样
扩散模型推理效率是落地应用的核心制约因素，阿里安全 AGI 实验室 - 御风大模型团队联合浙江大学提出全新扩散加速方法 TC - Padé，在低步数设置下能兼顾生成质量与推理效率，已被 CVPR 2026 录用。
The Batch: 916 | Gemini 强势领跑
谷歌更新旗舰 Gemini 模型，推出 Gemini 3.1 Pro Preview，以相同价格实现性能跃升。它在多项基准测试中领先，性价比超对手，虽部分测试落后竞品，但提升或源于模型质量改进，成本效益策略值得关注。
The Batch: 890 | 开源终将胜利
IBM研究院AI模型副总裁David Cox认为开源AI应持续繁荣并最终胜利，开源生态是创新发动机。如今部分‘开源模型’未真正开放，真正开源AI潜力巨大，开发好处多，还能解决地缘政治相关问题。