「GPU优化」共找到 1614 篇相关文章
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
为何我的 Docker 镜像如此庞大？使用“dive”进行深度剖析以找出臃肿之处
在AI项目里，Docker镜像可能臃肿庞大，影响开发与部署。本文以朴素BERT分类器镜像为例，指出未优化镜像会导致开发慢、CI/CD低效等问题，还介绍用dive工具剖析镜像，找出臃肿之处以优化。
算力租赁要变天了
去年华尔街就算力巨头折旧问题起争议，大空头Michael Burry称其通过延长AI服务器折旧周期虚增利润。随着英伟达GPU迭代周期缩短，折旧时间应缩短。Coreweave靠出租GPU盈利，以其为抵押物的巨额贷款引发争议。Meta出租闲置算力或冲击Coreweave等公司。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。
老黄在CES 2026 上预言：将要告别应用软件的预编译时代，未来的应用是 GPU 上实时生成每一个像素
黄仁勋在CES 2026预言，应用将告别预编译时代，在GPU上实时生成像素。他回顾2025年AI关键进展，介绍Agentic AI特点与能力，还谈了其搭建及应用前景，指出未来软件或基于Agent交互。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
FriendliAI获2000万美元，以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。