产品应用8
软件优化让PCIe显卡吞吐翻近7倍
量子位
AI 摘要
是石科技自研Meta-Infer推理引擎,通过内核补齐、通信重构等纯软件优化,无需修改模型结构,让PCIe显卡DeepSeek推理吞吐提近7倍,可适配国产GPU,缩小与高端显卡性能差距。
阅读原文 · 量子位
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍
当前大模型算力需求攀升,高端GPU供给紧成本高,大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎,通过纯软件优化挖掘硬件潜力,让DeepSeek推理吞吐提升近7倍,方法也适配国产GPU。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用6
天数智芯端侧设备实测超英伟达Thor
国产 GPU 厂商天数智芯展示端侧设备彤央 TY1200,标称算力 300 TOPS,可在本地完成机器人仿真训练全流程,实测大模型吞吐超越英伟达 Thor T5000。
机器之心
新闻资讯8
大模型后训练数据单条最高卖到1万元
大模型后训练推高专业数据身价,单条完整操作数据最高卖到1万元。随着阿里、腾讯与DeepSeek等大厂加码采买,成立不到一年的数据创业公司估值已冲上25亿美元。
硅星人Pro
开源动态7
DeepSeek开源Super-Agent原型
DeepSeek Harness开源原型系统,探索跨会话任务调度。在约300条消息的合成测试中,其任务完成p95时间为15.7分钟,比单会话方案的29.5分钟缩短近半。
AIGC开放社区
开源动态7
DeepSeek 开源 Super-agent 架构原型
DeepSeek 开源 Super-agent 架构原型,无需人工指令即可主动排查 Bug 并提交代码,多任务协作测试中 任务完成时间中位数为 12.4 分钟。
机器学习算法与自然语言处理