国产GPU」共找到 782 篇相关文章

新闻资讯7

大型挂机现场:马斯克的55万英伟达GPU,利用率才11%

《The Information》报道,马斯克旗下xAI有55万英伟达GPU,利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题,xAI着手解决,设定50%利用率目标。

机器之心
开源动态8

最小模型仅 25MB,老设备无 GPU 也能流畅跑!

开源项目`KittenTTS`是文本转语音模型系列,核心特点是“小身材,大能量”。最小模型约1500万参数,体积25MB以内,无需GPU,靠CPU就能实现高质量语音合成,适合多种设备和场景。

开源先锋
开源动态7

GPU-MODE Leaderboards之vector_add histogram 以及一些有趣发现

文章介绍GPU-MODE Leaderboards中vector_add和histogram任务。分析vector_add实现、带宽利用率,rank1代码用cccl,带宽利用率超80%;histogram算子瓶颈在atomic冲突等,rank1也多用cccl,还给出rank2代码,最后提及任务中Hack行为及代码提交方式。

GiantPandaLLM
开源动态8

纯血国产!4B模型越级打怪,杀入万亿赛道

9月1日,Hugging Face上线星火X2.5-4B和1.7B开源端侧模型,在多指标测试中表现优异,实现“越级打怪”。该模型基于全国产算力平台训练,在断网笔记本上实测效果惊艳,使用了两项技术提升能力,适配性强。

新智元
7

英伟达GPU被曝严重漏洞,致模型准确率暴跌99.9%

英伟达GPU被白帽黑客发现严重漏洞,通过GPUHammer攻击可使大模型准确率从80%降至0.02%。此攻击属Rowhammer类,直接对显存“物理动手”。英伟达建议的防御措施会使模型性能下降。

量子位
新闻资讯7

全球AI算力大战变天!十万卡算力集群爆表,国产IB真香?

大模型竞赛进入万卡、十万卡时代,网络取代算力成新瓶颈。过去RoCE因成本优势受青睐,但集群规模扩大后运维复杂。IB架构以其稳定性迎来价值重估,国产IB方案突破或改变技术路线选择。

新智元
新闻资讯7

黄仁勋提前锁定20年OpenAI芯片收入!第一轮150万GPU卖2000亿美元

英伟达推出‘LPS’概念,联合投资机构出5000亿美元建数据中心,为客户担保。首个项目为在美为OpenAI建150万GPU数据中心,20年或带来巨额芯片收入。黄仁勋也对相关风险做了澄清。

量子位
产品应用8

牛芯国产先进工艺 DDR5/LPDDR5 IP双双突破6400Mbps

随着人工智能等领域发展,系统对数据吞吐能力需求攀升。牛芯半导体基于国产先进工艺研发DDR5/LPDDR5 IP,实现6400Mbps高性能验证,通过创新弥补工艺代差,打通国产链路,具成本和安全优势。

芯师爷
新闻资讯7

AI圈水太深:OpenAI保密、Meta作弊!国产MoE却异军突起

文章梳理大语言模型发展,从传统稠密架构到稀疏MoE架构,参数从百亿到万亿。介绍OpenAI、Meta等厂商模型,如GPT系列、Llama系列,还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻,国产MoE模型异军突起。

新智元
产品应用7

vLLM 技巧: 在几秒钟内无需重启释放90%的 GPU 显存

EmbeddedLLM介绍vLLM新功能“休眠模式”,可在不重启服务时几秒内释放约90% GPU显存,实现模型热插拔与高效轮转,还介绍使用方法、不同休眠级别,提醒生产环境要确保安全。

AI工程化