「GPU kernels」共找到 442 篇相关文章
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
摩尔线程的野心，不藏了
上市15天后，摩尔线程在首届聚焦全功能GPU的开发者大会上，围绕MUSA推出诸多新品，包括新GPU架构、芯片、智算集群和硬件产品，还将开源核心组件，构建生态，其架构创新定义未来AI产业格局。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
黄仁勋迟到了15分钟，然后甩出一个数字：1万亿美元。
GTC 2026上，黄仁勋获“Token之王”称号。他预计英伟达到2027年营收至少1万亿美元，还展示商业定价模型，推出Vera Rubin系统，整合Groq芯片，开源OpenClaw，预告Feynman架构，开发太空数据中心。
最新原生端到端OCR开源项目！
腾讯开源最新原生端到端OCR：HunyuanOCR，仅1B参数，OmniDocBench得分94.1超竞品，功能覆盖全场景。还介绍了DeepSeek - OCR的桌面客户端，支持拖拽识别、导出文件等。
极低成本，复现GPT-4o图像风格化一致性！NUS推出OmniConsistency
NUS ShowLab 推出 OmniConsistency，解决开源扩散模型在图像风格化一致性上与商业 API 的差距。它成本低，能在保持风格化效果时精准保留图像细节等，还解决了风格化与一致性的跷跷板问题，且兼容性强。
ICML 2025 | M+框架来了，增加LLM隐空间记忆，不再受上下文窗口限制
本文提出M+长期隐空间记忆扩展框架，在MemoryLLM之上，将8B级模型有效记忆跨度从不到20k提升到160k+，显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题，为下一代语言模型提供支撑。
GitHub热搜，腾讯黑科技炸场！PhotoMaker：10秒定制真人级头像，百万开发者已疯狂
PhotoMaker是腾讯ARC实验室联合南开大学发布的人像图像生成项目，荣膺CVPR 2024。它能秒级生成高质量人像，有高保真ID嵌入等机制，V2版升级显著，适用多场景，比同类项目优势明显。