「GPU优化」共找到 1614 篇相关文章
OpenAI久违发了篇「正经」论文:线性布局实现高效张量计算
OpenAI 近日发布研究论文,提出用于高效张量映射的统一代数框架 Linear Layouts,解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式,评估显示其优化版 Triton 性能有提升。
让AI生成视频「又长又快」:Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究,由博士生刘坤昊等完成,提出Rolling Forcing方法,通过滚动窗口联合降噪等创新设计,突破实时长视频生成瓶颈,实现分钟级实时生成,还支持交互控制,但仍有优化方向。
假如有一万张卡,RL训练该怎么扩大规模?十万张呢?
本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。
刚刚,英伟达新模型上线!4B推理狂飙53倍,全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列(2B/4B),由全华人团队打造。其提出PostNAS与JetBlock,实现架构优化。相比Qwen3等模型,它在多维度准确率更高,H100 GPU上推理吞吐量最高提升53倍。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。
产学研深度融合样本:高校教授携手昇腾,共筑AI算力生态基石|甲子光年
本文对话华南理工大学陆璐教授,他有丰富业界经验,回归学界后聚焦AI算力平台性能优化。其团队与昇腾合作解决性能挑战,成果用于开源与产品集成。陆璐还对算力生态未来给出战略与实操建议。
Lilian Weng:Harness才是模型自我迭代的现实起点和关键,而不是直接重写权重
Thinking Machines Lab联合创始人Lilian Weng发文指出,实现AI递归式自我改进(RSI),设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径,也指出自我改进面临的瓶颈。
史诗时刻!AlphaGo神之一手突现,谷歌AI颠覆科研极限?
谷歌DeepMind推出AlphaEvolve,它取得多项数学成果,如改进4x4矩阵乘法、推进六边形填充问题研究等。它能自我进化,还可优化谷歌计算基础设施,预示人类与AI强大协作循环的未来。