「内存密集型内核」共找到 303 篇相关文章
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
顶会SOSP'25最佳论文，被一个国产自研操作系统拿下
国产自研开源操作系统星绽的学术论文获顶会SOSP'25最佳论文。它专注高可扩展内存管理研究，兼顾性能与安全。星绽由多单位联合研发，用Rust语言，解决传统系统难题，已有多篇论文被国际顶级学术会议录用。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
斩获4.1K star，再见tcpdump！这款开源神器让网络分析快如闪电！
Kyanos是基于eBPF技术的开源网络分析工具，能透视Linux内核网络活动，解决分布式系统网络难题。它零配置、有内核级透视和智能流量解密能力，功能丰富，应用场景广，相比同类优势明显。
清华校友出手，8B硬刚GPT-4o！单一模型无限工具调用，终结多智能体
MIT等机构推出TIM和TIMRUN组合拳，突破模型token天花板。TIM将推理建模为任务树，TIMRUN优化内存管理。二者结合支持长程推理，实现单模型高效推理，简化智能体构建，在多方面表现出色。
Anthropic创始人盛赞Meta：开启广告基础设施「智能体进化」时代
Meta最新论文揭示基于树状思维链搜索的智能体框架，以“无人驾驶”方式重写广告系统底层内核，将内核开发时间从数周缩至数小时，生产环境性能最高提升17倍，Anthropic创始人高度评价。
关于内存价格转跌，我们和贸易商聊了聊
3月30日，服务器内存贸易商称内存价格从前几天开始跌，30日跌得最凶。国内DDR4价格跌幅超30%，DDR3价格腰斩，DDR5较坚挺。谷歌新算法引发市场震动，从业者认为DDR4暴跌还有其他原因。
苹果提出新型反向传播：一台iPhone 15 Pro Max就能微调LLM
苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
SK 海力士，市值突破4000亿美元
1月27日，SK海力士股价创新高，市值达4031亿美元，三年涨10倍。因AI基建投资扩张，内存芯片供应紧缺。传其为微软供芯，韩媒称它和三星提高LPDDR内存价，或影响iPhone 18价，还将发高额奖金。