「GPU内存共享」共找到 714 篇相关文章
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
DeepSeek不惜代价保住它！V4关键特性被挖出来了
DeepSeek V4技术报告被深挖，为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐，是复杂上下文系统底座，但会牺牲GPU利用率等，换来训练等多阶段可复现和稳定度。
上海又要冲出一个百亿芯片IPO
近日，瀚博半导体与中信证券签署上市辅导协议，冲刺A股科创板。其由前AMD核心技术领袖钱军、张磊创立，选差异化技术路径，已历6轮融资。当前国产GPU IPO潮起，瀚博有望借此抢占市场。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
The Batch: 922 | 面向智能体的管理系统
OpenAI 发布 Frontier 平台，用于编排和管理企业级 AI 智能体团队。它支持智能体构建、信息共享等，Cisco 等已试点，未来将更广泛开放。与 Microsoft 的 Agent 365 有不同侧重，企业对智能体集中管理需求渐显。
阿里云容器服务覆盖AI全流程，团队透露：OpenAI训练GPT时就用了我们的开源能力
拿下中国AI云市场第一后，阿里云技术产品负责人开展AI Infra分享会。其全栈云计算搭好技术架子，10万GPU集群高效互联，容器服务贯穿AI全流程，还透露OpenAI训练GPT时用了其开源能力。
上市后的摩尔线程，重心从造芯变成建生态
上市刚满15天的摩尔线程在MDC 2025大会展示全栈技术成果，回应市场关注。其创始人强调生态是GPU行业核心，正构建MUSA生态体系，MUSA架构升级，还揭晓‘花港’架构及两款芯片技术路线。
1100多个模型殊途同归，指向一个「通用子空间」，柏拉图又赢一回？
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间，表明架构比数据影响大。此发现能解释诸多现象，还有多种应用可能，但也有局限性。
The Batch: 860 | 美国解除对华AI芯片禁令
美国政府允许英伟达和AMD向中国供应符合出口限制的GPU，如英伟达H20和AMD MI308。此前美国曾阻止出口，此次是在黄仁勋游说后改变决定，也因中国放宽稀土永磁体出口管制。
刚刚，H20重返中国！老黄亲自斡旋，还有特供版RTX PRO
英伟达官宣恢复向中国销售H20，并推出全新NVIDIA RTX PRO GPU。此前H20因贸易限制被禁售，此次解禁或是老黄来华大礼。不过H20已属‘上个时代产物’，且有新‘继任者’B30。