「GPU显存」共找到 468 篇相关文章
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
百芯竞逐，芯片产业的“新战国时代”
ASIC发展超预期，成AI竞争胜负手。它适配大厂专属需求，成本与功耗低，出货量和市场规模将扩容。英伟达GPU虽难替代，但份额会被ASIC蚕食，谷歌TPU已撕开其垄断裂缝，大厂纷纷自研ASIC。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
SD又回来了！一秒出图，手机就能玩：SD3.5-Flash让专业AI绘画进入“闪电”时代
Stability AI联合萨里大学SketchX实验室推出SD3.5-Flash模型，能在普通电脑甚至手机上快速生成专业级高分辨率图片。它将推理步骤压缩、显存要求降低、出图时间大幅缩短，画质也没明显缩水，还在性能上反超SD3.5M。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
单机狂飙4万亿参数，国产AI「四大天王」首次合体！这台超节点鲨疯了
国产「四大开源天王」可在单机运行，背后是「元脑SD200」超节点。它有超大显存、高速互联域和超强算力，支持64路本土GPU且可商用。浪潮信息以开源为战略加速大模型商业化落地。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
禁令之下，黄仁勋再用“阉割芯片”抢夺中国市场
美国芯片出口管制冲击英伟达，其在中国市场损失大、份额降。黄仁勋计划7月推‘阉割芯片’B20、B40/B30抢市场。不同客户有选择倾向，同时国产GPU有机会也面临难题，企业还尝试海外训练模型。
突破Agent长程推理效率瓶颈！MIT&新加坡国立联合推出强化学习新训练方法
AI Agent处理复杂任务时显存、算力问题凸显，MIT和新加坡国立大学联合提出MEM1框架。它基于强化学习，让智能体学会管理记忆，实现近似常量级显存开销，在多方面表现超越大模型。
摩尔线程的野心，不藏了
上市15天后，摩尔线程在首届聚焦全功能GPU的开发者大会上，围绕MUSA推出诸多新品，包括新GPU架构、芯片、智算集群和硬件产品，还将开源核心组件，构建生态，其架构创新定义未来AI产业格局。