「内存泄漏」共找到 222 篇相关文章
英伟达和AMD，开始争夺AI制药的计算入口
每年的 Advancing AI 大会，AMD 都要回答 Instinct GPU 除训练大模型外的应用问题。今年大会上，AMD 把一个位置留给 AI 制药公司 MindWalk。而其对手英伟达已在生命科学领域布局多年，生命科学成两家竞争新战场。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。
大规模替换数据库序列，保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。
微软介绍了 TypeScript 7 的更新
微软分享 TypeScript 7 最新进展，披露用 Go 重写编译器计划，构建速度最高提 10 倍，降低内存占用。默认启用严格模式，是不兼容变更。开发者看法不一，有人赞性能提升，有人忧工具迁移。
不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？
文章指出企业训练多模态助手，30B 参数的开源多模态模型如 Qwen-VL-30B 是不错选择，但多模态场景下显存需求大。联想 ThinkStation PGX 解决了显存难题，还介绍其性能、优势、适用场景及服务等。
存储芯片“局中局”
2025年10月，OpenAI与三星、SK海力士签协议锁定大量DRAM晶圆供应，致合约与零售市场价格跳涨。需求激增、生产结构转向使内存暴涨无解。科技巨头应对不同，制造商因曾产能过剩不敢增产。