内存压缩」共找到 395 篇相关文章

算法论文7

60个量子比特顶百万倍内存:量子机器学习找到新的突破口

4月8日,加州理工学院等联合团队在arXiv发布论文,证明小型量子计算机处理部分机器学习任务时,可用指数级更少内存超越经典计算机。研究绕开QRAM,提出算法框架验证优势,但仍待真实硬件验证。

DeepTech深科技
推荐文章8

解决算力瓶颈,给多模态瘦身!Token压缩完整图谱与选型指南

给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余,提升训练与推理效率。北大等团队剖析其全貌,给出完整图谱与选型指南,还揭示了未来演进路径。

AIGC开放社区
开源动态8

DeepSeek开源新模型,提出上下文光学压缩:LLM的新记忆方式

DeepSeek开源OCR模型,探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens,压缩比10倍、准确率97%。还提出模拟人类遗忘等想法,有多种应用场景,且完全开源。

花叔
开源动态7

DeepSeek-OCR降本增效,10×暴力压缩还能读得清

Deepseek - OCR模型发布,通过光学压缩技术解决长文本处理的计算效率问题,能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程,还展示其用较少token超越现有模型的能力。

CourseAI
8

仅2G内存可跑,刚刚,谷歌开源Gemma 3n,端侧原生多模态!

谷歌全面发布Gemma 3n,将多模态AI功能带入边缘设备并在Hugging Face开源。它原生支持多模态输入输出,针对设备端优化,内存占用低,采用开创性架构,Gemma系列质量也不断突破。

PaperAgent
产品应用8

内存一年疯涨170%,云账单里的“隐性成本”该算清了

2025年下半年存储价格成焦点,DRAM合同价同比涨幅达171.8%,致企业IT采购成本上升。华为云更新Flexus云服务器系列,基于柔性算力技术,打破CPU与内存固定绑定,减少浪费,还引入应用级加速,提升性能。

InfoQ
推荐文章8

大模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
算法论文8

内存直降50%,token需求少56%!用视觉方式处理长文本

在NeurIPS 2025论文中,南京理工大学等校研究团队提出VIST框架,为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制,让模型具备选择性阅读能力,减少Token需求和内存使用。

新智元
算法论文8

时空压缩!剑桥大学提出注意力机制MTLA:推理加速5倍,显存减至1/8

在大语言模型发展中,Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA,结合时空压缩策略,提升推理效率,在多任务中表现出色,代码已开源。

机器之心
产品应用8

当黄仁勋将存储定义为「AI运行内存」,基础设施该如何实现物种进化?

AI算力需求使全球内存市场疯狂,黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案,战略转向数据智能,其方案可破传统存储架构三堵墙,还坚持中立,助力企业数据转化。

机器之心