「性能 - 效率权衡」共找到 2920 篇相关文章
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
CJA | 北航罗明强教授团队：一种基于生成式人工智能的快速结构化飞行器概念设计方法
目前人工智能为飞机概念设计提供方案，但存在数据需求大等问题。北航罗明强教授团队提出基于LLMs的设计方案生成方法，开发原型系统，实验表明LLMS有相当设计能力，该方法可降成本、提效率。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
Claude Opus 4.1火速发布！坐稳编程之王，官方：马上还有大更新
Claude Opus 4.1正式发布，编程性能超Claude Opus 4及竞品，拿下SOTA。在Agent任务和推理方面升级，定价不变。官方将在几周内大规模改进。Anthropic借客户背书，暗秀关系，文风受开发者喜爱。
AI 编码让资深程序员“掉速”19%！OpenAI 前研究员实锤：别再交“AI 工具智商税”了，谷歌大佬力挺！
METR研究显示，AI编码工具让开发者效率降19%，与主观感受及专家预估相反。此结果引发热议，谷歌技术大佬支持，指出AI工具生成代码难达标准，未来或改进，目前更适合小规模项目。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
Meta Shuffling的MoE Grouped GEMM kernel benchmark
作者拷贝fbgemm开源的moe grouped gemm kernel，修复小bug后与SGLang的Grouped GEMM Triton Kernel对比，结果显示fbgemm在MoE模型上性能提升显著，可应用到SGLang的ep - moe的grouped gemm kernel中。
SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案
文章介绍轻量级开源视觉 - 语言 - 动作 (VLA) 模型 SmolVLA，专为机器人领域设计，可在消费级硬件运行。它用公开数据集训练，架构经优化，还引入异步推理堆栈，性能超部分大模型，降低研究门槛。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。