「JIT Kernel」共找到 52 篇相关文章
何恺明团队重磅新作：去掉VAE，无需Tokenizer，纯Transformer预测数据比预测噪声更高效
麻省理工学院何恺明团队发布颠覆性研究，指出主流扩散生成模型未做好去噪工作，回归洁净数据预测才是高维像素生成正解。团队设计实验验证观点，提出极简架构JiT，展现优越性能与扩展能力。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
腾讯AI Lab开源可复现的深度研究智能体，最大限度降低外部依赖
腾讯AI Lab推出全开源智能体框架Cognitive Kernel - Pro，解决现有开源框架依赖付费工具问题。它有模块化架构等核心设计，创新训练方法，在多任务中表现出色，降低外部依赖，相关论文登HuggingFace热榜。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。
AI 写代码太快，人类测试跟不上了，Meta 用新方法把 bug 检出率提升 4 倍
Meta 用即时（JiT）测试方法提升软件质量，该方法在代码评审期间动态生成测试，在 AI 辅助开发环境中将缺陷检测能力提升约 4 倍，源于代理式工作流兴起及传统测试套件的局限。
开源模型首超Opus4.6！智谱GLM-5.1登场，14小时后CUDA专家被冲了
智谱开源模型GLM - 5.1带来重大突破，14小时完成CUDA Kernel优化，加速比大幅提升。它解锁与顶尖闭源模型Claude Opus 4.6全面对齐，在多测试中表现优异，展现长程任务能力，改写行业叙事逻辑。
Shopify分享了他们做Agent的万字踩坑经验
Shopify分享构建生产级AI助手Sidekick的万字经验。构建中遇工具拓展难题，用JIT指令解决；评估是大挑战，建立严谨体系，虽有提升但效果仍有波动，模型还会钻空子，最后强调单Agent系统也强大。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。