「低内存」共找到 1211 篇相关文章
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
内存直降50%，token需求少56%！用视觉方式处理长文本
在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。
本地版Jev 1G内存就能跑！四舍五入等于不要钱啊
Jev爆火一周后，开发者推出适配Apple MLX框架的Laya-MLX，是开源决策模型Laya的原生本地版，最低仅需不到700M内存即可在Mac运行，速度快准确率高，适合高频短决策任务。
随着 AI 内存需求推高非 AI 基础设施价格，OVHcloud 将上调服务价格
OVHcloud 将于秋季上调多数服务价格，主因是自 2025 年年中起内存与存储组件成本大幅攀升，创始人 Octave Klaba 认为是 AI 算力建设热潮挤占了普通服务器核心组件的晶圆制造产能。
iPhone断网跑35B多模态！国产开源新模型，只占3G内存
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值
首个开源「智能视频剪辑系统」，11个工作流覆盖所有视频制作场景，成本巨低！
今天分享开源智能视频制作系统OpenMontage，号称首个。它有11条完整生产流水线，覆盖几乎所有视频类型；有49个生产工具、400+个Agent技能。其成本低，功能丰富。
TEN VAD 开源：低延迟、高准确率，提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。
当黄仁勋将存储定义为「AI运行内存」，基础设施该如何实现物种进化？
AI算力需求使全球内存市场疯狂，黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案，战略转向数据智能，其方案可破传统存储架构三堵墙，还坚持中立，助力企业数据转化。
老年代的“滞留对象”：一次由提前晋升引发的线上内存告警排查
文章以线上环境内存告警排查为例，介绍过程和思路。发现老年代因大量不可达对象占用且未触发FullGC致告警，排查出对象提前晋升是主因，还给出调整参数、减少对象产生等解决办法。
4K-Agent：可将低分辨率图像提升至4K高清智能体
图像超分辨率技术在多种视觉任务中重要，但传统方法泛化能力有限。德克萨斯A&M等大学研究人员推出4K Agent，其多智能体架构能将低分辨率图像提至4K高清，在多领域测试表现出色。