内存芯片」共找到 798 篇相关文章

算法论文8

跨层压缩隐藏状态同时加速TTFT和压缩KV cache!

论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。

机器之心
新闻资讯7

摩尔线程科创板IPO注册获批

10月30日,摩尔线程科创板IPO注册获证监会许可,是科创板‘1+6’改革后高效完成注册的硬科技企业。其从受理到过会仅88天,构建智算产品线,夸娥万卡智算方案优势明显。

芯师爷
新闻资讯8

OpenAI前VP联手DeepMind大神创业,目标打造AI科学家,a16z领投3亿美元

OpenAI前VP William Fedus和Google DeepMind大神Ekin Dogus Cubuk联手创立Periodic Labs,目标打造AI科学家。公司核心理念是AI科学家与自动化实验室结合,从物理科学起步,已获a16z领投3亿美元融资。

AI寒武纪
产品应用7

除了内卷和价格战,国产MCU还剩下什么?

国产MCU市场竞争激烈,中低端价格战严重,但仍有企业突围。本文介绍第七届“芯师爷 - 硬核芯年度评选活动”参评的MCU产品,如极海、芯驰等企业的芯片,各有特点与应用场景。

芯师爷
新闻资讯7

FlashAttention-4震撼来袭,原生支持Blackwell GPU,英伟达的护城河更深了?

在 Hot Chips 2025 上,TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4,其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%,还实现两项算法改进。该技术一直迭代升级,提升了注意力计算效率。

机器之心
开源动态8

SGLang 2025-8月性能优化技巧记录

本笔记记录2025年8月SGLang框架性能优化实践,涉及GPT - OSS、DeepSeek - V3等模型,采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术,在性能提升、减少延迟等方面效果显著。

GiantPandaLLM
推荐文章8

高性能计算群星闪耀时

文章介绍高性能计算(HPC)对大模型的重要性,回顾中国HPC发展历程,讲述清华高性能所郑纬民等学者贡献,还提及团队在大模型训练、推理、存储等方面成果,以及类脑计算等新探索。

AI科技评论
产品应用7

AI卷到物理世界,小米迎来自己的主场?

该文探讨小米在物理AI领域的发展。物理AI与生成式AI有别,更重感知与执行。小米有手机、汽车、家庭入口,补齐多样能力,成全球首个在「人车家全生态」落地物理AI的公司,优势显著。

机器之心
新闻资讯8

英伟达Vera Rubin首秀,DeepSeek V4 Pro 跑出30倍Agent吞吐

NVIDIA公布基于真实芯片的Vera Rubin性能测试结果,在针对Agent工作负载的测试中优势明显。SpaceXAI将部署其CPU,探索轨道计算。这显示未来AI竞争关键是支撑Agent的计算基础设施。

机器之心
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践

文章是对蚂蚁开源x SGLang Meetup分享的回放解读,聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案,分析在Blackwell上做GEMM + AllReduce融合算子的优势,介绍multimem指令等,还提及接入模型执行路径和性能结果。

GiantPandaLLM