「硬件优化」共找到 1691 篇相关文章

开源动态8

黑森林FLUX.2 Klein开源,亚秒级高质量图像生成和编辑,普通电脑就能跑

黑森林实验室发布开源的FLUX.2 Klein模型家族,是紧凑架构,将高质量图像生成与编辑速度压缩至亚秒级,在消费级显卡实现旗舰性能。其统一架构打破生成与编辑壁垒,还与NVIDIA合作优化。

AIGC开放社区
开源动态7

DeepSeek R1/V3作者开源轻量级vLLM,1200行代码读懂大模型推理技术!

DeepSeek R1/V3作者俞星凯开源轻量级vLLM——Nano - vLLM。它有快速离线推理、代码可读、含优化套件等特性,还给出了RTX 4070等硬件和Qwen3 - 0.6B模型的基准测试配置。

PaperAgent
开源动态8

NeurIPS 25 | 中大&UC Merced等开源RAPID Hand,重新定义多指灵巧手数据采集

来自多机构研究者联合提出全新开源高自由度灵巧手平台 RAPID Hand。它能解决硬件瓶颈问题,实现稳定、高质量数据采集。其软硬协同优化,在操作表现与稳定性上优于现有方法,还具备低成本等优势。

机器之心
算法论文7

OpenAI久违发了篇「正经」论文:线性布局实现高效张量计算

OpenAI 近日发布研究论文,提出用于高效张量映射的统一代数框架 Linear Layouts,解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式,评估显示其优化版 Triton 性能有提升。

机器之心
算法论文8

142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要

文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。

GiantPandaLLM
产品应用8

LLM 技术在有道词典笔上的应用实践

本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战,如算力、功耗等。介绍有道词典笔等硬件及应用,对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。

InfoQ
产品应用8

PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍

当前大模型算力需求攀升,高端GPU供给紧成本高,大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎,通过纯软件优化挖掘硬件潜力,让DeepSeek推理吞吐提升近7倍,方法也适配国产GPU。

量子位
开源动态7

如何重现 DeepSeek 推理性能突破

DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。

InfoQ
产品应用7

当 Agent 走出 App:WorkBuddy 的朋友圈开始向外生长

9月2日深圳的WorkBuddy生态发布会,展示9款联名硬件,有30多个硬件品牌、30多个Buddy应用、100多个开放平台共创伙伴参与。WorkBuddy开放Agent能力,连接伙伴资源,解决数据和专业经验难题,开放硬件、应用与平台三层,但面临价值分配等问题。

InfoQ
产品应用8

探索 GPU 加速向量检索:NVDIA Cagra 在微信大规模推荐系统中的应用实践

本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势,讲述线上化改造、架构演进、CPU/GPU 协同优化等,展示业务落地显著收益。

腾讯技术工程