「推理算力」共找到 2768 篇相关文章
算力基建金铲子:光模块如何驱动万亿级AI算力市场!
AI大模型训练让光模块成为决定AI集群性能的算力底座。2025年全球光模块市场规模预计达235.5亿美元,中国厂商主导全球市场。未来市场增长围绕1.6T商业化、CPO技术落地及车载通信等新场景展开。
中国算力方案:如何用有限资源做出无限可能?|甲子引力
2025年12月3日,「甲子光年」举办年终盛典,在算力产业专场,分析师王艺对话多位嘉宾,探讨中国算力方案。面对算力困境,嘉宾分享突破策略,还就关键瓶颈、技术路径等展开交流,认为具备场景洞察等优势才能持续突破。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。
妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」,将Llama - 1B前向传播融入单一GPU内核,H100上提速1.5倍,B200上每次推理仅0.00068秒,比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
测试时Scaling或是最大错觉,Google:R1/O1强推理另有原因
Google 112 页论文实证,OpenAI 的 o 系列等模型推理能力提升并非仅因计算时间延长,而是源于对复杂互动的隐式模拟。通过三重验证表明推理能力跃迁或因‘吵得更凶’,而非‘算得更久’。
无需多视角,单图重建可交互3D模型!南洋理工开源结构推理框架
南洋理工大学团队提出MonoArt,将单目可动物体重建建模为渐进式结构推理过程,通过四个关键模块逐步推理,无需外部先验,在PartNet - Mobility基准测试中表现领先,兼顾推理效率,还可用于下游任务。
三位哈佛辍学生,如何将专用芯片变成估值百亿美元的 AI 算力公司
文章聚焦 Etched 公司,分析推理成 AI 算力主战场背景,介绍三位哈佛辍学生创始人故事,阐述其从芯片到推理集群的产品打造,还提及团队、文化、资本情况,最后分析竞争格局与前景。
从打分器到思考者:RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架,将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制,经两阶段训练,在多基准测试中表现超大规模模型,验证了推理能力对奖励模型的重要性。
太空算力竞赛白热化:谷歌刚刚发布计划,中国太空计算卫星星座已在轨运行半年
当地球AI算力竞赛内卷,太空算力赛道开启。中国国星宇航“星算”计划首批卫星半年前已组网运行,规模和算力世界第一。谷歌等巨头也有布局,但谷歌计划2027年初才发原型卫星,中国企业已占先发优势。
浙大推出首个「多图应用题」基准GSM8K-V,全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V,将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面,经三阶段构建。实验显示,现有视觉语言模型在视觉推理上短板明显,为模型发展指明方向。