成本性能平衡」共找到 3301 篇相关文章

产品应用7

关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解

文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算,发现ncu对L20 GPU上特定指令用错误执行延迟算指标,导致异常,还给出GEMM Kernel性能分析建议。

GiantPandaLLM
新闻资讯7

Claude Opus 4.1火速发布!坐稳编程之王,官方:马上还有大更新

Claude Opus 4.1正式发布,编程性能超Claude Opus 4及竞品,拿下SOTA。在Agent任务和推理方面升级,定价不变。官方将在几周内大规模改进。Anthropic借客户背书,暗秀关系,文风受开发者喜爱。

量子位
产品应用8

嚯!国产视频模型的物理水准超神了 | 实测MiniMax海螺02

MiniMax上新视频生成模型Hailuo 02,解决了AI视频生成中体操难题。该模型原生支持1080p,能处理极端复杂物理场景,实测文生、图生视频能力出色,成本创新低,MiniMax本周还有多项技术布局。

量子位
开源动态8

0.5B以小搏大拿下端侧模型新SOTA:4090可跑,长文本处理5倍常规加速丨清华&面壁开源

清华大学和面壁智能团队开源MiniCPM 4,有8B、0.5B两种参数规模,以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新,性能领先,适用于综述生成、工具调用等场景。

量子位
开源动态7

Meta Shuffling的MoE Grouped GEMM kernel benchmark

作者拷贝fbgemm开源的moe grouped gemm kernel,修复小bug后与SGLang的Grouped GEMM Triton Kernel对比,结果显示fbgemm在MoE模型上性能提升显著,可应用到SGLang的ep - moe的grouped gemm kernel中。

GiantPandaLLM
开源动态8

SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案

文章介绍轻量级开源视觉 - 语言 - 动作 (VLA) 模型 SmolVLA,专为机器人领域设计,可在消费级硬件运行。它用公开数据集训练,架构经优化,还引入异步推理堆栈,性能超部分大模型,降低研究门槛。

Hugging Face
产品应用7

作业帮基础观测能力之一监控体系实践

本文介绍作业帮监控体系实践。其监控体系随云原生成长,支持全集群监控。构建时选 Prometheus 采集、VictoriaMetrics 存储,还从多维度采集指标,用自研代理降成本、治理指标,让系统更贴合研发。

InfoQ
产品应用8

Meta「轻量级」KernelLLM颠覆GPU内核生成,8B参数碾压GPT-4o

Meta推出基于Llama 3.1微调的8B参数KernelLLM,能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3,多次生成得分更高,让内核开发更易上手。

新智元
开源动态8

华为| 祭出FlashComm1,FlashComm2、FlashComm3,解决LLM推理通算瓶颈

在大模型推理面临通算难题背景下,华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信,提升推理性能;FlashComm 2重构计算流程,提升推理速度;FlashComm 3实现多流并行,激增模型吞吐。

AINLPer
新闻资讯7

估值1亿的"死了么"APP有多好抄?5分钟AI就能复刻,去年有人一下午做出原型

‘死了么’APP 爆火并更名 Demumu,虽开发成本低却估值达 1 亿。此前有数据分析师曾用 AI 5 分钟复刻其海外版。该 APP 由三名 95 后开发,现下载量猛增,还面临竞品挑战。

InfoQ