「GPU内存共享」共找到 714 篇相关文章
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context，它在CUDA 12.0+引入，能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例，不过测试性能未达预期，需关注后续发展。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
炸裂！微软开源Windows子系统
今天凌晨微软宣布开源适用于Linux的Windows子系统WSL。它能让开发者在Windows上运行Linux环境，无需虚拟机或双引导。还介绍了WSL工具、架构及文件共享机制，回顾其发展历程。
一个跑智能体，一个专门找漏洞：Google发布Gemini 3.8双版本
9月2日，Google发布Gemini 3.8 Flash和Gemini 3.8 Flash Cyber。前者用于编程等，已稳定上线；后者专用于发现修复漏洞，仅向特定方开放。二者共享基础能力，采用不同安全限制和部署环境。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。
跨会话不再「失忆」：openJiuwen社区开源 AutoGenetic Memory，让Agent记忆自主生长
华为openJiuwen社区开源AutoGenetic Memory，让Agent记忆自主生长。它有分层记忆体系、Auto Dreaming等设计，能提升记忆准确率，降低Token消耗，让记忆从被动存储变为可治理、共享和自我演化的核心资产。
英伟达MoE新开源：一行import，微调加速3.7倍
英伟达开源NeMo AutoModel，基于Hugging Face Transformers v5，不改代码API，添一行import就能更快速微调MoE模型。实验显示，它能提升3.4 - 3.7倍训练吞吐，减少29% - 32% GPU显存占用。
Karpathy刚进Anthropic，转头又投了它
AI初创公司Engram成立8个月，估值达6亿美金，获9800万美元融资。它聚焦AI记忆，用Cartridges技术降内存、提速度，将推理和记忆层拆开，团队成员背景强大，押注AI范式新转向。
为什么算力追赶这么难？前谷歌架构师现场黑板推演底层架构，看懂芯片底层逻辑里被忽视的“空间博弈”
前谷歌架构师、MatX CEO Reiner Pope在访谈中从基础逻辑门讲起，推导芯片架构，指出芯片大部分成本花在搬运数据上，还探讨乘加运算、脉动阵列等原理，以及时钟周期、FPGA与ASIC差异等内容。
分享一个 Skill：如何找到值得做的创业 idea
作者分享找创业想法的方法，认为AI时代想法重要性回归。介绍通过AI获取各平台信号，还推荐Tabbit浏览器，其能创建复用妙招扫描机会，给出结构化清单，还可定时执行，有共享社区。