内存密集型内核」共找到 303 篇相关文章

算法论文8

内存直降50%,token需求少56%!用视觉方式处理长文本

在NeurIPS 2025论文中,南京理工大学等校研究团队提出VIST框架,为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制,让模型具备选择性阅读能力,减少Token需求和内存使用。

新智元
开源动态8

字节清华智能体自动写CUDA内核,比torch.compile加速2.11倍

字节Seed与清华AIR团队开源CUDA Agent,在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统,训练数据经多阶段构建,分阶段训练,全面超越商业模型,还开源了训练数据集。

量子位
产品应用8

当黄仁勋将存储定义为「AI运行内存」,基础设施该如何实现物种进化?

AI算力需求使全球内存市场疯狂,黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案,战略转向数据智能,其方案可破传统存储架构三堵墙,还坚持中立,助力企业数据转化。

机器之心
算法论文8

让大模型合成检查器:UIUC团队挖出Linux内核90余个长期潜伏漏洞

伊利诺伊大学香槟分校张令明老师团队的论文提出KNighter,它让大模型生成静态分析检查器,在Linux内核挖出92个长期潜伏漏洞,将LLM归纳能力沉淀为规则,带来可落地等好处。

机器之心
推荐文章7

老年代的“滞留对象”:一次由提前晋升引发的线上内存告警排查

文章以线上环境内存告警排查为例,介绍过程和思路。发现老年代因大量不可达对象占用且未触发FullGC致告警,排查出对象提前晋升是主因,还给出调整参数、减少对象产生等解决办法。

阿里云开发者
开源动态8

24K+ star!AI 专用无头浏览器,快11倍、内存省9倍!

Lightpanda是专为AI代理、网页抓取和自动化测试而生的开源无头浏览器,用Zig语言重写核心引擎。官方称其速度比Chrome快11倍,内存占用仅为1/9,兼容主流自动化库,目前处于Beta阶段,已获24k+ Star。

开源先锋
开源动态8

英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍

英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。

新智元
新闻资讯7

美光三星海力士遭集体诉讼!郭明錤:27年都买不到便宜内存

17名美国消费者和小企业主起诉三星、SK海力士和美光,指控其合谋减产、抬高内存价格。二十年前它们就有类似前科。郭明錤预计‘内存荒’至少持续到2027年,这让诉讼意义复杂。

量子位
算法论文8

单卡即可微调大模型!内存占用仅1/8,性能依然拉满 | ICML 2025

基础大模型应用于下游任务时微调成本高,低秩适应(LoRA)方法虽降低成本,但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架,在25个多领域任务验证效果好,内存占用仅1/8。

量子位
新闻资讯8

Fable 5手搓首个CUDA「超级内核」!2.5小时狂飙18.7倍

在GPU算子基准测试KernelBench - Mega中,Fable 5全程纯手搓CUDA,速度狂飙18.7倍,把GPT - 5.5甩开4倍多。它写出史上首个‘超级内核’,2.5小时约55万token完成编写。Anthropic联创称这标志‘RSI循环’开启。

新智元