「低内存」共找到 1211 篇相关文章

算法论文8

3D高斯泼溅,可输入视图量高达500!推理速度提升3倍,内存少80%

ZPressor能高效压缩3D高斯泼溅(3DGS)模型的多视图输入,解决其在处理密集视图时的性能瓶颈。它基于信息瓶颈原理,分三步压缩信息,降低内存占用和推理时间,提升3DGS在高视图输入下的性能。

新智元
新闻资讯7

WebAssembly 3.0 发布,64 位内存、垃圾回收全都有,先别激动,组件模型还没做完!

WebAssembly 3.0 发布,有 64 位内存、垃圾回收等特性,但备受期待的组件模型未完成。虽未迎来‘Docker 时刻’,但服务器端生态有进展,不少平台已实现‘类组件’能力。

InfoQ
新闻资讯7

说一个反常识的真相,Agent如今在真实工作场景的成功率依然很低。

作者有感于AI在真实工作场景评测的稀缺性,以阿里国际站RealReplicaBench评测集为例,介绍电商场景任务,发现多数模型成功率低,其他领域类似,呼吁厂商努力,作者也计划自跑评测更新排名。

数字生命卡兹克
新闻资讯8

谷歌一篇论文引爆存储芯片崩盘!AI内存需求暴降6倍,推理狂飙8倍

谷歌发布TurboQuant算法,将缓存压到3 - bit,内存占用降为1/6,推理速度提升8倍。该算法冲击存储巨头,引发股价下跌,虽目前未改变采购量,但改写推理成本,且从论文到落地的路在缩短。

新智元
产品应用8

阿里「快乐小马」来了,首批网友已玩疯!720P低至0.44元/秒

今天,阿里HappyHorse - 1.0开启灰度测试。它有电影级叙事质感,指令遵循能力强,能驾驭多种风格,还可一句话改视频。性价比高,720P低至0.44元/秒,让AI视频从‘玩具’变‘工具’。

新智元
开源动态7

非Transformer架构的新突破,液态神经网络的推理小模型只用900M内存

谷歌提出的Transformer架构基本垄断大模型,而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型,仅需900MB内存就能在端侧运行,性能优于Transformer架构模型,还降低了死循环生成比例。

机器之心
产品应用8

医疗幻觉率比DeepSeek低3倍,百川循证增强大模型横扫全球医学考试!

百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus,将循证医学理念融入训练和推理,首创六源循证范式。其在多场景评测中幻觉率低,多国医考成绩优异,已上线百小应APP并开放API。

新智元
开源动态8

AI 本地跑?Google 新开源模型上线,本地量化后占用不到 200MB 内存,支持百余语言

Google DeepMind推出开源嵌入模型EmbeddingGemma,专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练,提升效率。在MTEB测试中成绩佳,支持百余种语言,内存占用少,已集成多种工具。

InfoQ
算法论文8

阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%

阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。

量子位
算法论文7

中移动九天团队MultiPL-MoE:全新Hybrid-MoE架构用于增强通用大模型低资源代码能力

大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE,耦合两层专家选择机制优化,实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。

机器之心