开源动态7
Wafer:AMD跑GLM 5.2成本仅英伟达一半
量子位
AI 摘要
推理优化公司Wafer:用AMD芯片跑GLM 5.2,成本仅英伟达一半,单节点和单流吞吐可观。其通过量化、选引擎、解决技术问题实现。AMD软件生态在改善,但多节点场景英伟达仍占优。
阅读原文 · 量子位
AMD跑GLM 5.2,成本只要英伟达一半
推理优化公司Wafer公布数据,用AMD的MI355X芯片跑GLM 5.2,单节点吞吐达2626 tok/s,单流吞吐213 tok/s,成本不到英伟达B200的一半。该公司详述部署过程,还提及AMD软件生态的变化及英伟达面临的挑战。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
全球最大AI芯片Cerebras迎商业化考验
本文分析“全球最大AI芯片”厂商Cerebras的商业化现状,结合与OpenAI的合作动态、最新财报数据,拆解其晶圆级推理芯片的技术优势,同时点出其交付、现金流等核心考验,探讨推理芯片赛道的路线选择。
DeepTech深科技
新闻资讯8
传英伟达拟收购Reflection AI
本文是InfoQ编译的科技播客访谈,Reflection AI由前Google DeepMind Gemini团队成员创立,近期发布了5010亿参数的开放大模型Beam,主打编程、推理和智能体任务,发布一周后传出英伟达拟收购该公司的消息,访谈中分享了对开放模型诸多问题的观点。
InfoQ
新闻资讯9
黄仁勋:没有Windows就没有英伟达
本文整理了黄仁勋与纳德拉在微软英伟达联合活动的对话,回顾双方数十年合作历程,分享下一代AI PC、Agent安全、混合智能构想,发布RTX Spark新品,探讨Agent落地的权责问题。
AI科技大本营
新闻资讯9
谷歌TPU跑Kimi比英伟达GPU快57%
本文报道由vLLM原班人马创立的Inferact公司,联合谷歌优化后,16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%,相关代码已开源,详解了背后的技术优化思路。
量子位