「内存优化」共找到 1438 篇相关文章
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
CNSNS｜西工大曹文博、张伟伟：克服优化求解器中的损失条件数瓶颈：一种良性损失函数
基于优化的偏微分方程求解方法受关注，但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈，指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR，在收敛速度与稳定性间建立平衡，实验验证其有效性。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
手机跑推理模型：Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型，仅需900MB内存就能在手机运行。它专为简洁推理训练，性能提升明显，多数性能基准超Qwen3 - 1.7B，在多平台表现佳，还支持主流推理框架。
24B模型编程超DeepSeek全家桶，32G内存苹果电脑就能跑，专门针对真实GitHub Issue训练
Mistral发布最新开源编程模型Devstral，参数24B，能在单卡RTX4090甚至32G内存Mac上运行。它专为编程智能体推出，针对真实GitHub Issue训练，在SWE - Bench Verified测试中表现出色，还可与All Hands AI框架配合。
关于现代GPU体系结构内存一致性（Memory Consistency）模型的一些猜想（二）——同步性能
文章聚焦GPU应用层面，通过实验对比不同同步代码实现的性能。在H20 GPU上测试，发现scope越小同步性能越好，内存屏障开销随scope增大而增加，还介绍非PTX及官方推荐实现方式并给出性能对比。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
6 天、96 万行 Rust、直接合并？Claude Code 被 Bun 的内存泄漏拖垮后，Bun 让 Claude 亲手重写了自己
2026 年 5 月，Bun 创始人 Jarred Sumner 宣布将合并 Rust 重写版本，终结 Zig 版。此次迁移仅用六天，涉及 96 万行代码。此前，Bun 内存泄漏影响 Claude Code，促使 Anthropic 让 Claude 重写 Bun。不过，AI 重写也引发对代码质量和流程的争议。