「GPU内存共享」共找到 714 篇相关文章
“AI不是工具，是工人！” 英伟达GTC 2025，黄仁勋如是说
英伟达GTC 2025大会上，黄仁勋提出“AI不是工具，是会用工具的工人”，重新定义人类与技术关系。阐述AI产业本质、三大扩展定律，公布GPU路线图及新硬件，还将AI部署到多行业，构建全栈生态。
MiniCPM-o 4.5 技术报告发布：全双工全模态 API 开放，RTX5070即可实时运行
面壁智能联合多机构发布 MiniCPM-o 4.5 技术报告，公开 Omni-Flow 框架。该模型 9B 参数实现端到端全双工全模态，开放在线 Demo、API 等，最低 12GB 显存 GPU 可运行，在多维度评测表现出色。
英伟达和AMD，开始争夺AI制药的计算入口
每年的 Advancing AI 大会，AMD 都要回答 Instinct GPU 除训练大模型外的应用问题。今年大会上，AMD 把一个位置留给 AI 制药公司 MindWalk。而其对手英伟达已在生命科学领域布局多年，生命科学成两家竞争新战场。
当英伟达收购Groq引发行业震动，中国存算一体赛道正在发生什么？｜甲子光年
2025年底英伟达200亿美元收购Groq，让存算一体成产业刚需。传统GPU受存储墙限制，算力利用率低。Groq采用SRAM成本高，而亿铸科技以消费级显卡价格提供H卡性能，兼容CUDA，或成产业真需求。
英伟达不是被计划出来的
英伟达成全球首个市值破5万亿美元企业，打破企业体量天花板想象。其GPU起初为游戏而生，CUDA曾是失败项目，却因深度学习需求成AI关键。其崛起证明伟大难被计划，创新源于多元互动。
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。
EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法：LightThinker
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理时产生大量中间步骤和文本，拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker，可动态压缩推理步骤，降低内存占用和计算成本。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。