「内存占用」共找到 232 篇相关文章
微软介绍了 TypeScript 7 的更新
微软分享 TypeScript 7 最新进展，披露用 Go 重写编译器计划，构建速度最高提 10 倍，降低内存占用。默认启用严格模式，是不兼容变更。开发者看法不一，有人赞性能提升，有人忧工具迁移。
H100去哪儿了？
X 用户疑问引发关注，H100 供应下降成算力危机。超大规模云厂商和前沿实验室提前锁定产能，核心短缺在于内存与封装工艺。算力危机冲击 AI 生态，产业界有应对方法，但短缺问题短期内难解决。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
最低仅需2G显存，谷歌开源端侧模型刷新竞技场纪录，原生支持图像视频
今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。
OOM排查之路：一次曲折的线上故障复盘
文章复盘了整合Paimon数据湖与RocksDB的系统三次OOM故障排查过程，分享曲折经历，介绍MAT、NMT等排查工具，还给出内存问题排查思路，望为相似技术栈者提供启发。
比爆火的OpenClaw更王炸？这台百元神机，已经能让AI长出手脚帮你打工了
英伟达DGX Spark因内存供应紧张涨价，4万的成本让预算敏感者望而却步。阿里云无影个人云超算服务性价比高，按量付费百元左右。其AgentBay让AI获“手脚”，还具OpenClaw没有的能力。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。