「MXFP8量化Kernel」共找到 246 篇相关文章
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
1.93bit版DeepSeek-R1编程超过Claude 4 Sonnet，不用GPU也能运行
1.93bit量化后的DeepSeek - R1（0528）编程能力超Claude 4 Sonnet，在aider榜单获60分。Unsloth工作室制作9个量化版本，小版本不用GPU也能跑。R1 - 0528在游戏评测中表现也佳。
解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。
从「知题」到「知人」：UserRL让智能体学会「以人为本」
大语言模型距成真正用户伙伴缺‘知人’能力。来自UIUC与Salesforce团队提出UserBench和UserRL方案。前者将‘用户特性’制度化，构建评测环境；后者搭建统一强化学习框架，探索奖励建模，二者让‘以用户为中心’落地。
Discrete Tokenization：多模态大模型的关键基石，首个系统化综述发布
近年来，人们关注将LLM能力扩展至非文本模态，Discrete Tokenization成关键方案。但现有研究缺系统总结，香港科技大学等团队发布首个相关系统化综述，梳理技术脉络、方法及挑战，给出未来研究方向。
和一线研究员的闭门讨论：蒸馏变难后，下一步的重点是什么？
本文整理拾象邀请多家头部模型厂商一线AI研究员的线下闭门讨论，围绕大模型前沿方向分享业内共识与分歧，涵盖Computer Use、RSI、模型蒸馏、训练数据、数据生意等核心议题，干货密度高。
智能体框架的选择：一文读懂9个主流AI智能体框架
文章深入探索截至2025年11月的9个主流AI智能体框架，阐述成熟AI框架核心要素，分析各框架优劣势、适用场景，助读者选适合团队和业务的框架。
arXiv开始拒收综述论文了？「论文DDoS」这事，这篇NeurIPS论文早有讨论
近日，arXiv宣布拒收未通过同行评审的综述和立场性文章，危机源于生成式AI与大模型。上海交大团队中稿NeurIPS的论文，精准预见此危机，提出“综述论文DDoS攻击”概念，还给出应对策略。
牛B， 我去，新手小白也能使用InfiniteTalk搭建属于自己的数字人啦 ，真的太简单啦！！！
文章聚焦InfiniteTalk，剖析数字人视频制作痛点，阐述其以“稀疏帧视频配音”破题，具备无限长度、全身与表情同步等优势，介绍核心功能、使用方法，对比同类项目，凸显其多方面优越性。