「算力优化」共找到 1981 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
比肩Claude Opus：阶跃星辰最强模型Step 3.5 Flash发布
阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。
假如有一万张卡，RL训练该怎么扩大规模？十万张呢？
本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。
AICon上海演讲精华回顾：《GMI Cloud 全球化高性能分布式推理服务构建实践》
AICon2025上海站，GMI Cloud资深架构师Frank Lee分享《GMI Cloud全球化高性能分布式推理服务构建实践》，介绍其推理平台，拆解扩缩容等能力，分享架构设计、部署及优化实践，揭秘推理提效关键路径。
让64张卡像一张卡！浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行
浪潮信息发布新一代AI超节点“元脑SD200”，可让64张卡像一张卡。它支持四大国产开源模型同时运行，实现算力聚合突破，通过软硬协同优化提升推理性能，采用开放架构推动“智能平权”。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
深度访谈：阿里云X平头哥，模型推理提升13倍背后的秘密
这篇深度访谈聚焦阿里云与平头哥，探讨模型推理提升13倍背后的秘密。随着AI焦点转向推理，行业面临算力、成本、监管等矛盾。嘉宾分析推理范式现状与变化，探讨推理加速技术及优化策略，还谈及瓶颈、未来发展及竞争方向。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
OpenClaw烧光全球Token？追觅芯际穿越甩出太空芯，200万卫星叫板马斯克
文章介绍了芯际穿越的业务进展。该品牌规划200万颗算力卫星组成太空算力中心，超越马斯克的SpaceX。其产品涵盖泛机器人、手机处理器、自动驾驶芯片等，踩中国家级复合主航道。
刚刚，马斯克官宣xAI解散，22万张GPU算力租给Anthropic
马斯克官宣 xAI 解散，将整合进 SpaceX 新子部门 SpaceXAI。同时，SpaceX 与 Anthropic 达成协议，超 22 万张英伟达 GPU 算力用于提升 Claude 代码生成，双方合作利好彼此。