「内存芯片」共找到 818 篇相关文章

开源动态7

这个框架让大模型省下50%内存,合并专家不如直接删掉?

Cerebras Research提出REAP框架,通过专家剪枝和合并技术压缩SMoE模型,能让模型‘瘦身’并保持性能,可省50%内存,但社区测试有不同结果,且存在调度开销等问题。

AI工程化
算法论文7

谷歌TurboQuant会绕过“内存墙”?这个判断有点过了|甲子光年

谷歌发布的TurboQuant论文引发市场震动,其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度,它提升单位字节信息密度,改变边际需求曲线,代表范式转移。

甲子光年
算法论文8

内存直降50%,token需求少56%!用视觉方式处理长文本

在NeurIPS 2025论文中,南京理工大学等校研究团队提出VIST框架,为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制,让模型具备选择性阅读能力,减少Token需求和内存使用。

新智元
开源动态8

本地版Jev 1G内存就能跑!四舍五入等于不要钱啊

Jev爆火一周后,开发者推出适配Apple MLX框架的Laya-MLX,是开源决策模型Laya的原生本地版,最低仅需不到700M内存即可在Mac运行,速度快准确率高,适合高频短决策任务。

量子位
新闻资讯7

随着 AI 内存需求推高非 AI 基础设施价格,OVHcloud 将上调服务价格

OVHcloud 将于秋季上调多数服务价格,主因是自 2025 年年中起内存与存储组件成本大幅攀升,创始人 Octave Klaba 认为是 AI 算力建设热潮挤占了普通服务器核心组件的晶圆制造产能。

InfoQ
开源动态9

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7,其35B-A3B版本总参数35B,推理仅激活3B,仅需3G内存即可在iPhone等手机断网流畅运行,性能领先同类模型,详解了其优化技术与行业价值

量子位
新闻资讯8

Nature | 清北合作研发全球首个全柔性存算一体AI芯片

清华任天令教授团队与北大燕博南助理教授团队合作,历经3年基于维信诺工艺研发出全球首个全柔性存算一体AI芯片。该成果发表于《Nature》,让柔性电子从“能感知”迈向“能思考”。

量子位
产品应用8

当黄仁勋将存储定义为「AI运行内存」,基础设施该如何实现物种进化?

AI算力需求使全球内存市场疯狂,黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案,战略转向数据智能,其方案可破传统存储架构三堵墙,还坚持中立,助力企业数据转化。

机器之心
新闻资讯8

突发,OpenAI首颗「辣椒」芯片压倒英伟达!GPT-6干崩CUDA

OpenAI首颗自研芯片Jalapeño「墨西哥辣椒」实测成绩亮眼,AI推理性能超英伟达全系,功耗仅为一半。它从设计到流片仅用九个月,得益于GPT - Astra协助。有观点认为CUDA护城河或已死,OpenAI正打造算力版图。

新智元
新闻资讯8

Anthropic放手,亚马逊想买!帮AI「换芯片」,凭什么值70亿美元?

本文报道《华尔街日报》爆料,亚马逊正洽谈以约70亿美元估值收购AI创业公司Decart,此前Anthropic曾推进收购后退出。Decart主打多AI芯片适配优化技术,同时自研AI模型,已获英伟达投资,是亚马逊战略客户。

新智元