「低内存」共找到 1172 篇相关文章
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
内存直降50%，token需求少56%！用视觉方式处理长文本
在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。
首个开源「智能视频剪辑系统」，11个工作流覆盖所有视频制作场景，成本巨低！
今天分享开源智能视频制作系统OpenMontage，号称首个。它有11条完整生产流水线，覆盖几乎所有视频类型；有49个生产工具、400+个Agent技能。其成本低，功能丰富。
TEN VAD 开源：低延迟、高准确率，提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。
当黄仁勋将存储定义为「AI运行内存」，基础设施该如何实现物种进化？
AI算力需求使全球内存市场疯狂，黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案，战略转向数据智能，其方案可破传统存储架构三堵墙，还坚持中立，助力企业数据转化。
老年代的“滞留对象”：一次由提前晋升引发的线上内存告警排查
文章以线上环境内存告警排查为例，介绍过程和思路。发现老年代因大量不可达对象占用且未触发FullGC致告警，排查出对象提前晋升是主因，还给出调整参数、减少对象产生等解决办法。
4K-Agent：可将低分辨率图像提升至4K高清智能体
图像超分辨率技术在多种视觉任务中重要，但传统方法泛化能力有限。德克萨斯A&M等大学研究人员推出4K Agent，其多智能体架构能将低分辨率图像提至4K高清，在多领域测试表现出色。
24K+ star！AI 专用无头浏览器，快11倍、内存省9倍！
Lightpanda是专为AI代理、网页抓取和自动化测试而生的开源无头浏览器，用Zig语言重写核心引擎。官方称其速度比Chrome快11倍，内存占用仅为1/9，兼容主流自动化库，目前处于Beta阶段，已获24k+ Star。
EMNLP2025 | 探究大语言模型的语言共享神经元提升低资源语言能力
论文提出BridgeX - ICL方法提升LLM低资源语言性能，通过三步实现优化。构建两类探测数据解决传统问题，识别重叠神经元，用HSIC选最优桥梁语言，在多任务实验验证其有效，揭示多语言机制规律。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。