推理芯片」共找到 2572 篇相关文章

新闻资讯7

一文读懂:国产AI芯片与英伟达的差距有多大?

文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距,指出国产芯片虽在部分场景缩小差距,但高端训练和生态成熟度仍落后3 - 5年,突围需多领域突破。

芯师爷
新闻资讯8

谷歌Ironwood架构TPU v7:用AI造AI,撼动英伟达芯片帝国

11月25日谷歌云发布第七代定制芯片Ironwood,由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准,挑战英伟达芯片地位,展现AI算力竞争新趋势。

AIGC开放社区
研究资讯7

AI生成苹果Metal内核,PyTorch推理速度提升87%

Gimlet Labs研究显示,AI能自动生成苹果芯片Metal内核,使PyTorch推理速度提升87%,在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高,不过研究对比方式遭质疑。

量子位
新闻资讯7

中国算力芯片的“新十年”

文章指出过去40年处理器芯片发展呈“否定之否定”,近年整机和平台厂商重归自研,异构计算成趋势。未来中国算力芯片突破口在指令系统结构统一,可把RISC - V作统一指令系统开发各类芯片

芯师爷
算法论文8

给大模型装上「思维分段引擎」:浙大InftyThink解锁无限深度推理

如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式,将传统推理拆成短片段并总结,突破推理长度限制,在多基座模型实验中表现优异。

量子位
新闻资讯8

OpenAI首款芯片问世:用AI设计,9个月流片

本周三,OpenAI 与博通合作推出首款芯片 Jalapeño,用于人工智能推理负载,由博通制造。它用 AI 设计,9 个月流片,性能未公布但早期测试显示每瓦性能优,目标 2026 年底前初步部署。

机器之心
新闻资讯7

AI芯片独角兽一年估值翻番!放话“三年超英伟达”,最新融资53亿超预期

AI芯片初创企业Groq获7.5亿美元融资,超6亿预期,现估值69亿美元,一年翻番。其由谷歌TPU原班人马组建,创始人称构建高速低成本AI推理基础设施,还放话三年超英伟达。

量子位
产品应用8

面壁MiniCPM4端侧模型发布:长文本推理 5 倍提速,0.5B 模型拿下新SOTA

2025智源大会,面壁发布MiniCPM4.0端侧模型,含8B稀疏闪电版与0.5B款。其采用InfLLM架构,实现长文本推理5倍提速、最高220倍加速,还在性能、部署等方面优化,适配多芯片与框架。

AI科技大本营
新闻资讯7

做路由器Wi-Fi芯片为什么那么难?

TP - Link芯片部门全员解散引发关注。做路由器Wi - Fi芯片技术难,要同时研发CPU主控和Wi - Fi芯片,且比端侧Wi - Fi芯片要求高。市场方面,不同地区市场各有挑战,创业需谨慎。

芯师爷
新闻资讯8

深度访谈:阿里云X平头哥,模型推理提升13倍背后的秘密

这篇深度访谈聚焦阿里云与平头哥,探讨模型推理提升13倍背后的秘密。随着AI焦点转向推理,行业面临算力、成本、监管等矛盾。嘉宾分析推理范式现状与变化,探讨推理加速技术及优化策略,还谈及瓶颈、未来发展及竞争方向。

InfoQ