存储优化」共找到 1382 篇相关文章

开源动态7

英伟达Run:ai没做到的,被华为开源方案实现了

传统存储难满足AI需求,存储需向‘智能存储’演进。华为数据存储团队推出系列产品和开源工具链,其Flex:ai对标Run:ai,更开源底层,能解决行业算力痛点,已在医院场景落地。

InfoQ
新闻资讯7

刚刚,DeepSeek新模型MODEL1曝光,3处架构升级!

DeepSeek更新FlashMLA时曝光新模型MODEL1,从diff看它在MLA KV-Cache存储与访问方式上和V3/V3.2系列有3个本质差异,如物理排布更紧凑、引入‘extra’两段式cache、头维固定512×512。

PaperAgent
产品应用7

智算,云厂商的下一个战场

随着大模型技术走向产业,企业需算存网数一体的高性能智算底座。领先云厂商积极升级能力,如腾讯云推出“云智算”,在计算、存储等方面布局迭代,还在多领域与企业合作,推动智算发展。

InfoQ
产品应用7

LLM加速利器LMCache,极大降低GPU资源消耗

LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。

GitHubStore
产品应用8

千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战

多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。

InfoQ
推荐文章7

逆势降本:云上数据平台年复削减30%的治理实践

本文是朴朴科技对云上大数据平台成本治理的阶段性总结。其开展成本治理已三年,分“降本增效”三部曲:成本发现与分析、成本优化与控制、体系化治理构建,分享经验,助力同行开展相关工作。

InfoQ
开源动态7

如何重现 DeepSeek 推理性能突破

DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。

InfoQ
产品应用8

探索 GPU 加速向量检索:NVDIA Cagra 在微信大规模推荐系统中的应用实践

本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势,讲述线上化改造、架构演进、CPU/GPU 协同优化等,展示业务落地显著收益。

腾讯技术工程
新闻资讯7

产学研深度融合样本:高校教授携手昇腾,共筑AI算力生态基石|甲子光年

本文对话华南理工大学陆璐教授,他有丰富业界经验,回归学界后聚焦AI算力平台性能优化。其团队与昇腾合作解决性能挑战,成果用于开源与产品集成。陆璐还对算力生态未来给出战略与实操建议。

甲子光年
推荐文章8

Lilian Weng:Harness才是模型自我迭代的现实起点和关键,而不是直接重写权重

Thinking Machines Lab联合创始人Lilian Weng发文指出,实现AI递归式自我改进(RSI),设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径,也指出自我改进面临的瓶颈。

AI寒武纪