「fp8 quant kernel」共找到 85 篇相关文章
本地LLM万字救场指南来了！全网超全AI实测：4卡狂飙70B大模型
文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。
和一线研究员的闭门讨论：蒸馏变难后，下一步的重点是什么？
本文整理拾象邀请多家头部模型厂商一线AI研究员的线下闭门讨论，围绕大模型前沿方向分享业内共识与分歧，涵盖Computer Use、RSI、模型蒸馏、训练数据、数据生意等核心议题，干货密度高。
智能体框架的选择：一文读懂9个主流AI智能体框架
文章深入探索截至2025年11月的9个主流AI智能体框架，阐述成熟AI框架核心要素，分析各框架优劣势、适用场景，助读者选适合团队和业务的框架。
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context，它在CUDA 12.0+引入，能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例，不过测试性能未达预期，需关注后续发展。
致敬Kimi K2：基于slime的全流程INT4量化感知RL训练
受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。
实时交互式长视频生成
文章提出用于实时交互式长视频生成的帧级自回归框架 LongLive，解决了长视频生成在效率和质量方面的挑战，具备长视频生成、实时推理、高效微调等亮点，还给出安装、推理、训练等步骤。
传言：华为版 DeepSeek R2 本月发布
据 Huawei Central 报道，DeepSeek R2 可能本月 15 至 30 日发布，运行在华为 Ascend 910B 集群，硬件利用率 82%，算力 512 PetaFLOPS FP16，效率达 A100 的 91%，将与 ChatGPT 5 竞争，但消息未证实。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。