「内存访问」共找到 340 篇相关文章
美光沉迷制造“电子黄金”,不在乎AI泡沫
当地时间12月17日盘后,美光2026财年第一财季多项业绩指标超预期,营收和利润大涨。美光不相信“AI泡沫”,其业绩增长源于AI驱动的高带宽内存需求爆发。美光预计HBM市场规模将快速增长,还进行了产品结构优化。
谷歌的DeepSeek时刻:LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法,能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失,还介绍其工作原理及实验结果。
极致优化Android平台APK的大小
文章以Android为例,介绍UE包可裁剪部分的优化思路与实践,优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手,还给出优化效果和额外资料。
CUTLASS CuTe GEMM细节分析(三)——Swizzle<B, M, S>模板参数的取值
文章以(8, 32):(32, 1)为例,探索确定Swizzle<B, M, S>中M、S和B参数的方法。指出M、S与PTX指令及共享内存多Bank结构相关,B用于指定Swizzle行数避免bank conflict,还给出不同Layout的参数取值。
刚刚,GPT-5内测抢先泄露!推理强到离谱,智商被曝140超越人类天才
周五凌晨,GPT-5、GPT-5 Mini和GPT-5 Nano将推出,全网可通过API和ChatGPT访问。GPT-5基准测试结果疯传,实测表现出色。同时,OpenAI发布开放权重模型GPT-oss,登顶开源王座,外媒分析其豪赌开源原因。
EMNLP 2025 浙大&蚂蚁 | 提出动态压缩CoT推理新方法:LightThinker
随着AI发展,大语言模型处理复杂推理任务能力提升,但推理时产生大量中间步骤和文本,拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker,可动态压缩推理步骤,降低内存占用和计算成本。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技?— part1
本文是NCCL 2.27新特性系列首篇,介绍symmetric memory。它类似NVSHMEM,现仅支持单节点通信,未来将支持跨节点。其低延迟内核能提升小数据通信性能,还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来?
GitHub与Anthropic几乎同时调整AI写代码收费模式,GitHub Copilot按使用量计费,Claude Code限制Opus模型访问。AI公司此前靠低价扩张,如今成本压力大,将成本转嫁到用户,而很多token被浪费,AI使用成本可能超程序员。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现,其中包含量化Kernel。文章关注此Kernel,介绍在B200上实现高性能Memory Bound Kernel的优化技术,如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
内存价格暴涨,美光1秒净赚2.64万元
美国当地时间6月24日盘后,美光公布2026财年第三财季业绩,营收414.6亿美元,净利润282.4亿美元。受AI需求推动,毛利率达84.6%,各业务线收入暴增。美光还签署多项战略协议,预计内存供应紧张将持续到2027年后。