「GPU资源消耗」共找到 900 篇相关文章
从「北纬社区龙虾大赛」到「中关村论坛人工智能主题日」：海淀AI的新叙事
3月22日「中关村・北纬龙虾大赛决赛」举办，展现AI走向「生活化」场景。3月25 - 29日将进行「第三届中关村论坛人工智能主题日系列活动」。海淀京张遗址公园AI创新带串联多方资源，推动AI发展，北京正构建城市级AI操作系统。
当英伟达收购Groq引发行业震动，中国存算一体赛道正在发生什么？｜甲子光年
2025年底英伟达200亿美元收购Groq，让存算一体成产业刚需。传统GPU受存储墙限制，算力利用率低。Groq采用SRAM成本高，而亿铸科技以消费级显卡价格提供H卡性能，兼容CUDA，或成产业真需求。
英伟达不是被计划出来的
英伟达成全球首个市值破5万亿美元企业，打破企业体量天花板想象。其GPU起初为游戏而生，CUDA曾是失败项目，却因深度学习需求成AI关键。其崛起证明伟大难被计划，创新源于多元互动。
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。
HAMi 2.7.0 重磅发布 | 异构芯片全面拓展，调度更稳、生态更强
Dynamia密瓜智能宣布发布HAMi 2.7.0版，在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片；调度器优化了资源计算和可观测性；应用层与vLLM、Xinference等整合。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。
AI 的「成本」，正在把所有人都拖下水
文章指出，虽大模型成本下降，但 AI 公司仍难盈利。因市场追逐新模型，且模型消耗算力单位剧增。如 Anthropic 的不限量套餐失败，各公司陷入囚徒困境，还给出按使用量计费等破局思路。
Unsloth宣布更新，可免费用强化学习训练视觉大模型Qwen2.5-VL-7B
Unsloth宣布更新，支持视觉/多模态模型强化学习训练，含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法，能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。