「GPU内核优化」共找到 1625 篇相关文章
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
从 AI Agent、RLHF 到 MoE 大规模训练：AMD 这场开发者日，把一线实战话题凑齐了 ｜Q推荐
AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题，覆盖AI Agent、RLHF、MoE大规模训练等前沿领域，还有多场实操分享。
叶子豪、陈天奇等人开源项目FlashInfer入选，MLSys2025最佳论文奖公布
近日，MLSys 2025公布最佳论文奖，FlashInfer等入选。FlashInfer由多机构合作发起，是灵活的LLM推理内核库，优化内存访问、有可定制模板和调度机制，性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
FriendliAI获2000万美元，以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。
OpenAI久违发了篇「正经」论文：线性布局实现高效张量计算
OpenAI 近日发布研究论文，提出用于高效张量映射的统一代数框架 Linear Layouts，解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式，评估显示其优化版 Triton 性能有提升。
让AI生成视频「又长又快」：Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究，由博士生刘坤昊等完成，提出Rolling Forcing方法，通过滚动窗口联合降噪等创新设计，突破实时长视频生成瓶颈，实现分钟级实时生成，还支持交互控制，但仍有优化方向。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。