「内存涨价」共找到 251 篇相关文章
OOM排查之路：一次曲折的线上故障复盘
文章复盘了整合Paimon数据湖与RocksDB的系统三次OOM故障排查过程，分享曲折经历，介绍MAT、NMT等排查工具，还给出内存问题排查思路，望为相似技术栈者提供启发。
推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型，使推理成本降75%，内存占用为BF16模型四分之一，生成token速度提4倍，还能降低硬件资源需求。不过MXFP4也有缺陷，英伟达推出NVFP4提升质量。
全球首个龙虾模型 GLM-5-Turbo 发布：已经在用它帮我省几千块钱了
作者作为公众号编辑，排版耗时久费钱。他测试多款模型驱动龙虾排版均失败，换上智谱 GLM - 5 - Turbo 后成功，还能让其操作飞书润稿。该模型工具调用稳定，虽 API 涨价但性价比高，未来潜力大。
刚开源仅3天狂揽4.9K star，轻量超高效版OpenClaw，10美元硬件就能跑！
OpenClaw火遍全网但硬件要求高、成本不菲。新开源的PicoClaw是其轻量替代方案，由Sipeed开发，内存占用少、启动快、成本低、便携性强，安装简单，功能多样，刚开源就成热议新星。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
揭秘存储超级周期下的机遇与挑战
随着AI算力需求爆发与存储行业超级周期开启，存储芯片价格飙升，引发全产业链连锁反应。这源于AI需求引发的结构性供需失衡，涨价将持续至2026年，还推动半导体产业结构升级。
太反差了！那边Claude强制「刷脸」认证，这边国内Coding Plan被外国人疯抢
Anthropic要求Claude用户进行严格身份验证，被网友吐槽。而国产GLM Coding Plan因模型能力提升在海外走红，海外版涨价后，海外开发者研究买中国版，国内购买也很火爆，闲鱼还出现代抢生意。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。