深度主动优化」共找到 2037 篇相关文章

开源动态8

SGLang 优化Triton FusedMoE 的一个新技巧​

蚂蚁在SGLang中提交优化PR,针对Fused Triton MoE的Down Projection kernel加入TMA优化,在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著,还详细分析了优化背景、思路、实现细节及测试结果。

GiantPandaLLM
产品应用8

AI重塑搜索:夸克“深度搜索”如何定义下一代信息入口|甲子光年

大模型发展推动搜索产品革新,“搜索”变“深度搜索”。夸克升级AI超级框发布“深度搜索”,即将推出“深度搜索Pro”。其“深度搜索”情商高,“深度搜索Pro”免费、快速、专业,夸克正打造AI全能助手。

甲子光年
算法论文8

ICLR 2026!代码优化不再靠玄学:大模型真正学会“又快又准”,效率提升71.06%,加速比达6.08x

ICLR 2026顶会文章提出全新大模型代码优化方案,切入代码优化核心难题。该方案将代码优化率提至71.06%,加速比达6.08x,正确性提至74.54%,有很强工程可用性。

AINLPer
开源动态8

跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现

9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。

OpenMMLab
产品应用8

国内首个免费提供的深度研究,反而有市面上最好的体验

秘塔深度研究(https://metaso.cn/)上线,是首个将深度研究作免费基础功能的产品。它在算法、交互等多方面优化,降低成本、保障准确,还创新交互形式,搜索结果清晰有条理,体验佳。

歸藏的AI工具箱
算法论文7

震撼实锤!清华姚班校友揭「1.4×加速」陷阱:AI优化器为何名不符实?

为降低大模型预训练成本,近年新优化器频出,宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷,对比不同缩放范式加速差异,给出优化器设计见解,证实严格基准评测必要。

新智元
开源动态8

SGLang 2025-8月性能优化技巧记录

本笔记记录2025年8月SGLang框架性能优化实践,涉及GPT - OSS、DeepSeek - V3等模型,采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术,在性能提升、减少延迟等方面效果显著。

GiantPandaLLM
9

合理利用应用商店ASO优化工具,提升APP产品权重和转化率(工具篇)

应用商店优化(ASO)是提升App曝光和下载转化率的关键过程,涉及榜单排名、关键词搜索、转化率及其他展位优化。图标、截图、宣传文本、关键词设置等都是影响用户感知和下载决策的重要因素。

孔学长
产品应用7

关键技术详解|腾讯一念 LLM 分布式推理优化实践

InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等,还对比不同框架,指出优化方向,如先实现 PP,再推进 EP 与 PD 分离。

InfoQ
推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM