自定义内核」共找到 149 篇相关文章

推荐文章7

Mini-sglang-01:从Client到Scheduler的消息流转之旅

文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。

GiantPandaLLM
开源动态8

叶子豪、陈天奇等人开源项目FlashInfer入选,MLSys2025最佳论文奖公布

近日,MLSys 2025公布最佳论文奖,FlashInfer等入选。FlashInfer由多机构合作发起,是灵活的LLM推理内核库,优化内存访问、有可定制模板和调度机制,性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。

机器之心
算法论文8

王梦迪、丛乐团队Science Earth:当组织本身开始涌现,全球科学能力第一次在同一张网上互相发现

王梦迪、丛乐团队在arXiv发布预印本论文,推出面向AI原生科学发现的行星级操作系统Science Earth,它能连接全球科学能力。文中通过两个案例展示其作用,并介绍协调内核EACN,还公开了论文、代码与网络。

量子位
新闻资讯7

爆火的AI三宫格图片,比我们的生活更像电影。

最近三宫格AI图片爆火,起初是唯美电影感写真配文艺台词,后各地文旅、宠物赛道等画风渐趋抽象。其制作简单,用豆包的Seedream 4.0即可,文中还给出Prompt模板,该现象内核是将生活电影化。

数字生命卡兹克
算法论文7

SGLang Custom AllReduce v1 与 v2 实现原理详解

文章聚焦 SGLang 里两代自定义 all-reduce 实现(v1 和 v2),前者从 vLLM 移植,后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容,还对比了两代差异,并提及相关环境变量。

GiantPandaLLM
算法论文7

deepseek-V4算法工程技术深入浅出

文章围绕deepseek V4技术报告展开,指出当前大模型训练不充分,介绍了算法层面如混合注意力机制、模型结构优化、优化器等,工程层面如细粒度专家并行、算子内核开发等,以及后训练的范式转变和领域专家网络蒸馏等内容。

Agent的潜意识
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践

文章是对蚂蚁开源x SGLang Meetup分享的回放解读,聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案,分析在Blackwell上做GEMM + AllReduce融合算子的优势,介绍multimem指令等,还提及接入模型执行路径和性能结果。

GiantPandaLLM
开源动态7

n8n是开源工作流程自动化工具,提供直观界面创建自定义流程,支持超400应用集成。过去一年增长迅速,活跃用户超20万,ARR增长5倍,GitHub获77.5k star。介绍其创立背景、优势特点,用户评价褒贬不一,还提及与其他工具对比及“公平代码”理念。

冬梅
新闻资讯7

AI证伪百年数学猜想被打假!Lean证明惊现漏洞,哥大教授破防了

OpenAI新推理模型取得十项数学进展,如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望,因证明有AI味且难理解。此外,Lean证伪科拉兹猜想被指利用内核漏洞,专家提醒Lean验证有局限。

新智元
上一页15 / 15下一页