GPU调度」共找到 539 篇相关文章

开源动态8

MiniCPM-o 4.5 技术报告发布:全双工全模态 API 开放,RTX5070即可实时运行

面壁智能联合多机构发布 MiniCPM-o 4.5 技术报告,公开 Omni-Flow 框架。该模型 9B 参数实现端到端全双工全模态,开放在线 Demo、API 等,最低 12GB 显存 GPU 可运行,在多维度评测表现出色。

AI科技评论
7

当英伟达收购Groq引发行业震动,中国存算一体赛道正在发生什么?|甲子光年

2025年底英伟达200亿美元收购Groq,让存算一体成产业刚需。传统GPU受存储墙限制,算力利用率低。Groq采用SRAM成本高,而亿铸科技以消费级显卡价格提供H卡性能,兼容CUDA,或成产业真需求。

甲子光年
推荐文章8

英伟达不是被计划出来的

英伟达成全球首个市值破5万亿美元企业,打破企业体量天花板想象。其GPU起初为游戏而生,CUDA曾是失败项目,却因深度学习需求成AI关键。其崛起证明伟大难被计划,创新源于多元互动。

芯师爷
开源动态8

SGLang支持GPT-OSS:从Day 0支持到性能增强

SGLang宣布重大更新,聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升,支持多GPU,有推测解码等功能,还支持智能体应用程序,且不损害模型推理能力。

GiantPandaLLM
推荐文章7

【博客转载】CUDA Cooperative Groups

文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。

GiantPandaLLM
推荐文章7

Mini-sglang-01:从Client到Scheduler的消息流转之旅

文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。

GiantPandaLLM
技术分析类文章7

Pingpong Schedule并不是万能钥匙

SGLang社区开发者反馈,SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致,因算力提升,其使TensorCore未充分利用、TMA效率低,建议用Cooperative策略。

GiantPandaLLM
开源动态7

Unsloth宣布更新,可免费用强化学习训练视觉大模型Qwen2.5-VL-7B

Unsloth宣布更新,支持视觉/多模态模型强化学习训练,含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法,能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。

AI工程化
新闻资讯8

老黄秘密武器曝光:AI一夜设计芯片,顶人类顶级工程师10个月!

英伟达在GTC大会揭露用AI设计GPU,原本8名工程师10个月的任务,AI一夜完成。其开发NB - Cell、Prefix RL等工具,还推出内部大模型Chip Nemo和Bug Nemo,不过完全端到端自动化设计仍有距离。

新智元
新闻资讯8

OpenAI入股AMD,股价暴涨35%!奥特曼左手黄仁勋,右手苏姿丰,通吃全球算力

OpenAI宣布与AMD达成战略合作,将部署6GW的AMD Instinct MI450 GPU集群,可认购最多1.6亿股AMD普通股,持股比例或达10%。消息公布后,AMD盘前股价飙升35%。此前OpenAI也官宣与英伟达合作。

新智元