国产推理芯片」共找到 2867 篇相关文章

新闻资讯8

突发!OpenAI「掀桌」:自研推理芯片「墨西哥辣椒」跑赢英伟达

OpenAI公布自研推理芯片Jalapeño(墨西哥辣椒)测试结果,它专为大语言模型推理设计,能同时提升吞吐量和降低延迟,在多模型测试中超NVIDIA系统。该芯片与Cerebras合作,计划2026年底部署。

机器之心
推荐文章8

大模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
新闻资讯7

阿里云飞天企业版X平头哥“真武”芯片推理性能跃迁13倍,底层逻辑是什么?| Q推荐

过去几年,模型虽强但使用成本高,阻碍企业级AI深度应用。今年‘模型推理’成AI关键词,4月13日19:00,InfoQ联合阿里云邀专家围绕推理加速底层破局展开对话,探讨算力博弈、芯片性能跃迁等问题。

InfoQ
新闻资讯7

曦望,死磕AI推理成本|甲子光年

1月27日,国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制,设计系统级重构,单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划,目标是极致推理性价比。

甲子光年
新闻资讯7

AI PC进入爆发期,国产芯片能否在其中分得一杯羹?

AI从云端走向端侧,AI PC迎来爆发期。Arm虽有结构性优势,但在PC端进展慢。此芯科技推出此芯P1,联合多方打造开放平台,推动标准化和生态建设,产品也不限于AI PC,未来有望为国产芯片争得话语权。

芯师爷
新闻资讯7

国产GPU又杀出一匹黑马!成立不到一年,两款芯片量产落地

国产算力从‘技术可用’向‘场景好用’转型时,成立不到一年的芯桥半导体携Sinexus X200、S200系列国产高性能GPGPU产品杀入战场,构建全栈式解决方案,适配多行业场景。

量子位
新闻资讯8

不只是DeepSeek V4,还有个万亿级大模型,训推全程国产芯片

2026年4月24日,DeepSeek发布新一代模型DeepSeek - V4系列预览版并开源。同日,美团用全国产算力集群训练出万亿参数大模型LongCat - 2.0系列预览版,训推全流程摆脱英伟达,在国产算力支撑万亿级模型研发上取得突破。

机器之心
新闻资讯8

刚刚,AMD、OpenAI联合发布超强AI芯片推理提升35倍

今天凌晨,AMD举办2025全球AI发展大会,与OpenAI联合发布Instinct MI400、Instinct MI350系列超强AI芯片。MI350推理性能提升35倍,MI400内存配置大幅提升。AMD还开源ROCm7平台,7大AI平台与其合作。

AIGC开放社区
新闻资讯7

突发,美国EDA三巨头解禁!国产芯片设计迎喘息之机

美商务部取消向中国销售EDA产品申请许可证要求,西门子、新思、Cadence恢复对中国服务。此前美国限制致中国芯片设计产业受阻,虽此次放宽带来喘息,但国产EDA发展仍面临技术、资金等难题。

新智元
开源动态8

DeepSeek倒逼vLLM升级!芯片内卷、MoE横扫千模,vLLM核心维护者独家回应:如何凭PyTorch坐稳推理“铁王座”

本文介绍了vLLM的发展,自开源后成科技公司首选推理引擎。因DeepSeek发布,团队转向其模型特性优化;还参与各芯片支持工作。vLLM靠PyTorch支持多硬件,同时拓展到多模态推理,面临竞争仍保持优势。

InfoQ