「内存占用」共找到 241 篇相关文章

开源动态8

本地版Jev 1G内存就能跑!四舍五入等于不要钱啊

Jev爆火一周后,开发者推出适配Apple MLX框架的Laya-MLX,是开源决策模型Laya的原生本地版,最低仅需不到700M内存即可在Mac运行,速度快准确率高,适合高频短决策任务。

量子位
新闻资讯7

随着 AI 内存需求推高非 AI 基础设施价格,OVHcloud 将上调服务价格

OVHcloud 将于秋季上调多数服务价格,主因是自 2025 年年中起内存与存储组件成本大幅攀升,创始人 Octave Klaba 认为是 AI 算力建设热潮挤占了普通服务器核心组件的晶圆制造产能。

InfoQ
开源动态9

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7,其35B-A3B版本总参数35B,推理仅激活3B,仅需3G内存即可在iPhone等手机断网流畅运行,性能领先同类模型,详解了其优化技术与行业价值

量子位
产品应用8

当黄仁勋将存储定义为「AI运行内存」,基础设施该如何实现物种进化?

AI算力需求使全球内存市场疯狂,黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案,战略转向数据智能,其方案可破传统存储架构三堵墙,还坚持中立,助力企业数据转化。

机器之心
开源动态8

英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍

英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。

新智元
新闻资讯7

美光三星海力士遭集体诉讼!郭明錤:27年都买不到便宜内存

17名美国消费者和小企业主起诉三星、SK海力士和美光,指控其合谋减产、抬高内存价格。二十年前它们就有类似前科。郭明錤预计‘内存荒’至少持续到2027年,这让诉讼意义复杂。

量子位
开源动态8

谷歌开源Gemma 3n:2G内存就能跑,100亿参数内最强多模态模型

本周五凌晨,谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性,核心是 MatFormer 架构,还采用了 PLE 技术等,在多方面实现质量提升。

机器之心
新闻资讯8

Google 发了个压缩算法,内存砍 6 倍,速度快 8 倍,精度零损失

Google Research发布TurboQuant压缩算法,将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit,内存降6倍、速度快8倍且精度零损失,解决了传统算法的压缩开销问题。

AGI Hunt
新闻资讯7

WebAssembly 3.0 发布,64 位内存、垃圾回收全都有,先别激动,组件模型还没做完!

WebAssembly 3.0 发布,有 64 位内存、垃圾回收等特性,但备受期待的组件模型未完成。虽未迎来‘Docker 时刻’,但服务器端生态有进展,不少平台已实现‘类组件’能力。

InfoQ
开源动态7

非Transformer架构的新突破,液态神经网络的推理小模型只用900M内存

谷歌提出的Transformer架构基本垄断大模型,而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型,仅需900MB内存就能在端侧运行,性能优于Transformer架构模型,还降低了死循环生成比例。

机器之心