「高性能Kernel」共找到 3513 篇相关文章

推荐文章9

百度百舸演讲:用 Agent 优化 SGLang,从改Kernel修改到端到端验证

本文是百度百舸与SGLang联合Meetup的分享整理,讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化,覆盖多类模型场景,公布实测性能提升数据与百度百舸的通信优化效果。

GiantPandaLLM
产品应用8

传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!

大模型上线部署时推理成本高、算力投入大但效果不成正比,企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致,成本低,集成关键创新,还被集成到 AI 云原生推理套件 ServingKit 中。

机器之心
产品应用8

登顶TPC-C!数据库分布式扩展技术揭秘

阿里云PolarDB云原生数据库以超原记录2.5倍性能登顶TPC - C基准测试排行榜。本文揭秘PolarDB MySQL版多主集群(Limitless)架构与核心技术,还介绍高可用机制、性能测试结果,最后提及轻量版和列存索引应用。

阿里云开发者
新闻资讯7

AI 狂潮中,电子业破局:国产先进封装加速突围

AI应用渗透使算力需求结构重塑,传统芯片技术升级遇阻,先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新,分析其对算力需求的影响,指出高性能算力芯需求仍高,先进封装能释放芯片性能,国产有望突破。

芯师爷
算法论文7

1/3预算跑平 GPT-5?上海AI Lab「路由魔法」成本直降63%性能反涨 7%!

当前大模型需解决性能与效率平衡问题,GPT - 5用测试时路由技术初步平衡。Avengers - Pro测试时路由框架集成不同LLMs,通过嵌入、聚类、评分操作,调整权衡参数α,能依查询特征选模型,性能和效率优于单一模型。

CourseAI
推荐文章7

关于现代GPU体系结构内存一致性(Memory Consistency)模型的一些猜想(二)——同步性能

文章聚焦GPU应用层面,通过实验对比不同同步代码实现的性能。在H20 GPU上测试,发现scope越小同步性能越好,内存屏障开销随scope增大而增加,还介绍非PTX及官方推荐实现方式并给出性能对比。

GiantPandaLLM
产品应用7

OpenAI浏览器换壳杀回!高管改用ChatGPT上网,效率从未这么高

Atlas关停不到一个月换壳回归,核心高管Tibo称ChatGPT桌面版成主力浏览器,效率极高。这源于OpenAI把浏览能力融入ChatGPT。它不再执着造独立浏览器,而是围着Chrome,争用户数字身份。

新智元
开源动态7

如何重现 DeepSeek 推理性能突破

DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。

InfoQ
开源动态7

SGLang JIT Kernel 介绍

文章介绍SGLang JIT Kernel,此前开发CUDA Kernel流程繁琐、编译时间长,现基于TVM - FFI探索JIT开发加速迭代。文中梳理其机制、抽象及新增Kernel流程,还给出环境设置、目录结构等内容,并以实例说明开发过程。

GiantPandaLLM
推荐文章7

下一代数据中心和高性能计算OIO光互连技术方案!

文章深度解析OIO芯片级光互连技术、挑战与未来。传统电I/O技术有性能受限等问题,OIO能解决大容量芯片I/O扇出难题,是光电融合终极形态。它虽面临量产挑战,但前景好,全球产业力量已集结。

芯师爷