「国产 GPU」共找到 784 篇相关文章
vLLM 技巧: 在几秒钟内无需重启释放90%的 GPU 显存
EmbeddedLLM介绍vLLM新功能“休眠模式”,可在不重启服务时几秒内释放约90% GPU显存,实现模型热插拔与高效轮转,还介绍使用方法、不同休眠级别,提醒生产环境要确保安全。
突发,美国EDA三巨头解禁!国产芯片设计迎喘息之机
美商务部取消向中国销售EDA产品申请许可证要求,西门子、新思、Cadence恢复对中国服务。此前美国限制致中国芯片设计产业受阻,虽此次放宽带来喘息,但国产EDA发展仍面临技术、资金等难题。
国产LLM又迎来一波开源潮:Qwen、华为盘古、腾讯混元、小米~
本周国产开源LLM集中爆发,Qwen、华为盘古、腾讯混元、小米等接连发布模型。如Qwen3 - 4B性能提升,Qwen - Image文生图能力强;华为开源盘古模型并宣布CANN开源;腾讯混元小尺寸模型特点多且已落地业务。
不拼GPU!中兴扔出AI超节点,把token价格打下来
在万亿级大模型时代,传统‘芯片堆砌’方式面临通信开销剧增等痛点。中兴通讯推出超节点技术,从系统级协同架构出发,通过六大维度创新,绕开单GPU芯片瓶颈,重构AI算力基础设施,推动行业向开放、融合发展。
CUDA内核之神、全球最强GPU程序员?OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物,OpenAI一位工程师因编写关键CUDA Kernel引发关注,网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN,加入OpenAI后开发块稀疏GPU内核并开源。
国产LLM大爆发的一周,Hugging Face热榜被承包了!
这一周国产开源LLM集中爆发,GLM - 4.5、Qwen3的5连发、Step3等接连发布。GLM - 4.5是新一代开源SOTA模型;Qwen3各版本在不同能力上提升显著;Step3是多模态推理模型;腾讯还发布了混元3D世界模型1.0。
半导体2025上半年观察日记:AI还在卷,国产替代继续加速
2025年上半年半导体圈热闹非凡,AI芯片仍是主角,存储市场回血,半导体设备投资增长,国产替代重点突破,欧美政府撒钱扶持产业,台积电稳坐代工王座,日厂崛起,中国市场积极发展,汽车芯片弱复苏,出口管制倒逼国产化。
AI PC进入爆发期,国产芯片能否在其中分得一杯羹?
AI从云端走向端侧,AI PC迎来爆发期。Arm虽有结构性优势,但在PC端进展慢。此芯科技推出此芯P1,联合多方打造开放平台,推动标准化和生态建设,产品也不限于AI PC,未来有望为国产芯片争得话语权。
国产 AI 昇腾推理不再高门槛?开源技术栈推理性能对比解析
文章聚焦昇腾 NPU 大模型推理,对比 MindIE 和 vLLM Ascend 推理性能。因 MindIE 使用门槛高,昇腾联合 vLLM 社区推出插件。实验用 GPUStack 平台,结果显示二者在不同场景各有优势,呼吁构建国产 AI 基础设施体系。
Meta「轻量级」KernelLLM颠覆GPU内核生成,8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM,能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3,多次生成得分更高,让内核开发更易上手。