搜索：内存密集型内核

「内存密集型内核」共找到 303 篇相关文章

英伟达护城河被AI攻破，字节清华CUDA Agent，让人人能搓CUDA内核

近日，字节跳动Seed团队和清华AIR的CUDA Agent引发轰动。它能编写经优化的CUDA内核，性能超torch.compile等。研究发布CUDA - Agent - Ops - 6K数据集，介绍系统管线设计、训练流程，实验结果佳，但有未对比复杂编译器等局限。

开发者运行OpenClaw成本高，Sipeed推出超轻量开源项目PicoClaw。它内存占用小于10MB，成本只需10美元硬件，启动快、可移植，功能全，还介绍了入手方式和技术路线。

Google Research发布TurboQuant压缩算法，将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit，内存降6倍、速度快8倍且精度零损失，解决了传统算法的压缩开销问题。

WebAssembly 3.0 发布，有 64 位内存、垃圾回收等特性，但备受期待的组件模型未完成。虽未迎来‘Docker 时刻’，但服务器端生态有进展，不少平台已实现‘类组件’能力。

斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。

谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。

谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。

ZPressor能高效压缩3D高斯泼溅（3DGS）模型的多视图输入，解决其在处理密集视图时的性能瓶颈。它基于信息瓶颈原理，分三步压缩信息，降低内存占用和推理时间，提升3DGS在高视图输入下的性能。

Browser Use作者Gregor Zunic称上万行Agent代码是垃圾，提前开源驱动BU.app的Agent内核。其核心仅一个for循环，理念是价值在模型非代码，还介绍三大支柱，使用方便，项目大道至简。

Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。