「高性能Kernel」共找到 3513 篇相关文章
百度百舸演讲:用 Agent 优化 SGLang,从改Kernel修改到端到端验证
本文是百度百舸与SGLang联合Meetup的分享整理,讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化,覆盖多类模型场景,公布实测性能提升数据与百度百舸的通信优化效果。
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
大模型上线部署时推理成本高、算力投入大但效果不成正比,企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致,成本低,集成关键创新,还被集成到 AI 云原生推理套件 ServingKit 中。
登顶TPC-C!数据库分布式扩展技术揭秘
阿里云PolarDB云原生数据库以超原记录2.5倍性能登顶TPC - C基准测试排行榜。本文揭秘PolarDB MySQL版多主集群(Limitless)架构与核心技术,还介绍高可用机制、性能测试结果,最后提及轻量版和列存索引应用。
AI 狂潮中,电子业破局:国产先进封装加速突围
AI应用渗透使算力需求结构重塑,传统芯片技术升级遇阻,先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新,分析其对算力需求的影响,指出高性能算力芯需求仍高,先进封装能释放芯片性能,国产有望突破。
1/3预算跑平 GPT-5?上海AI Lab「路由魔法」成本直降63%性能反涨 7%!
当前大模型需解决性能与效率平衡问题,GPT - 5用测试时路由技术初步平衡。Avengers - Pro测试时路由框架集成不同LLMs,通过嵌入、聚类、评分操作,调整权衡参数α,能依查询特征选模型,性能和效率优于单一模型。
关于现代GPU体系结构内存一致性(Memory Consistency)模型的一些猜想(二)——同步性能
文章聚焦GPU应用层面,通过实验对比不同同步代码实现的性能。在H20 GPU上测试,发现scope越小同步性能越好,内存屏障开销随scope增大而增加,还介绍非PTX及官方推荐实现方式并给出性能对比。
OpenAI浏览器换壳杀回!高管改用ChatGPT上网,效率从未这么高
Atlas关停不到一个月换壳回归,核心高管Tibo称ChatGPT桌面版成主力浏览器,效率极高。这源于OpenAI把浏览能力融入ChatGPT。它不再执着造独立浏览器,而是围着Chrome,争用户数字身份。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。
SGLang JIT Kernel 介绍
文章介绍SGLang JIT Kernel,此前开发CUDA Kernel流程繁琐、编译时间长,现基于TVM - FFI探索JIT开发加速迭代。文中梳理其机制、抽象及新增Kernel流程,还给出环境设置、目录结构等内容,并以实例说明开发过程。
下一代数据中心和高性能计算OIO光互连技术方案!
文章深度解析OIO芯片级光互连技术、挑战与未来。传统电I/O技术有性能受限等问题,OIO能解决大容量芯片I/O扇出难题,是光电融合终极形态。它虽面临量产挑战,但前景好,全球产业力量已集结。