「MXFP8量化Kernel」共找到 239 篇相关文章
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程，包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构，分析数值敏感原因，展示各模型优化实践、无收益实验及验证流程。
微软开源AI量化投资神器，狂揽23.5K星标，一站式打造你的智能交易系统！
量化投资结合AI成金融新趋势，但构建完整量化流程难题多。微软开源的Qlib平台是领军者，基于Python覆盖全流程，支持30+模型，数据引擎快，功能亮点多，安装方式多样。
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
10w人看过的龙虾量化系统，评论区骂最多的问题，我花2天补上了。
上一篇龙虾量化系统文章获10w+，评论指出数据是短板。作者经研究找到QVeris，它是统一数据接口平台，使用简单。作者以金融领域为例介绍其用法，还测试其在其他领域的能力，认为它是AI时代的数据基础设施。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠，指出有足够计算资源时可重叠，通过调整`blocks_per_grid`值，观察到不同并行化程度。还提到隐式同步会影响重叠，可启用`per-thread` default Stream 禁用。
在 RDS PostgreSQL 中实现 RaBitQ 量化
本文介绍在阿里云 RDS PostgreSQL 上，pgvector 能力进一步增强，引入 RaBitQ 量化提升其在大规模向量场景下的表现。分析了 pgvector 面临的挑战，阐述 RaBitQ 原理、优势，给出性能测试结果及快速上手的 SQL 操作。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现，从Naive Softmax到Triton实现，分析访存量、row索引计算、num_stages作用等，还修复官方年久失修代码，性能测试带宽吞吐提升约4倍。
迈向可编程观测：在GPU Kernel中构建类eBPF风格的性能探针
文章从CUDA基础讲起，以矩阵乘法为例介绍性能调优，再到PTX汇编知识，最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进，提供新分析视角。
致敬Kimi K2：基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。