「GPU内存共享」共找到 732 篇相关文章
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
内存直降50%，token需求少56%！用视觉方式处理长文本
在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。
老黄All in物理AI！最新GPU性能5倍提升，还砸掉了智驾门槛
英伟达CEO黄仁勋在CES 2026发布AI新品，全力搞AI。推出下一代Rubin架构GPU，性能大幅提升；发布五大领域成果，含新模型家族、平台等；还开源训练框架与多模态数据集，国产开源模型被提及。
本地版Jev 1G内存就能跑！四舍五入等于不要钱啊
Jev爆火一周后，开发者推出适配Apple MLX框架的Laya-MLX，是开源决策模型Laya的原生本地版，最低仅需不到700M内存即可在Mac运行，速度快准确率高，适合高频短决策任务。
随着 AI 内存需求推高非 AI 基础设施价格，OVHcloud 将上调服务价格
OVHcloud 将于秋季上调多数服务价格，主因是自 2025 年年中起内存与存储组件成本大幅攀升，创始人 Octave Klaba 认为是 AI 算力建设热潮挤占了普通服务器核心组件的晶圆制造产能。
iPhone断网跑35B多模态！国产开源新模型，只占3G内存
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值
硅谷GPU蒙尘，马斯克一言成谶：美国AI被电卡脖子
彭博社消息，加州圣克拉拉两处数据中心空置6年多等电力，凸显美国科技行业缺电问题。此前微软纳德拉承认缺电致GPU吃灰，马斯克也曾预言芯片或超供电能力。电力短缺制约数据中心发展，影响美国AI前进。
所有AI工具共享记忆！MCP协议杀疯了：100%本地运行，Cursor、Claude都能用
当下多数AI工具各自独立运行，会话结束上下文即消失。OpenMemory MCP能解决AI工具记忆痛点，实现不同工具间共享上下文信息，支持100%本地运行，有跨平台支持等丰富功能。
当黄仁勋将存储定义为「AI运行内存」，基础设施该如何实现物种进化？
AI算力需求使全球内存市场疯狂，黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案，战略转向数据智能，其方案可破传统存储架构三堵墙，还坚持中立，助力企业数据转化。