「推理性能优化」共找到 4171 篇相关文章
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
文章围绕 Kernel Design Agent(KDA) 的 B200 GPU Kernel 编程展开，介绍目标平台、架构参数，阐述独有特性与编程要点，给出关键性能准则调整方向，详述 16 条准则及特殊 Kernel 类型优化策略和编写前检查清单。
ZeroGPU Spaces 加速实践：PyTorch 提前编译全解析
本文聚焦 ZeroGPU Spaces 加速实践，介绍 PyTorch 提前编译。ZeroGPU 使在 Hugging Face Spaces 用 Nvidia H200 硬件更高效，但有局限。提前编译可优化模型，提升演示速度，还分享了接入方法、高级技巧及演示示例。
TileLang深入详解-第三章-Kernel，Buffer，并行控制和矢量化
文章详细介绍TileLang核心编程构造，包括Kernel函数、Buffer和并行控制等。阐述其计算定义、并行与循环控制方式，还提及性能优化的矢量化访存，给出代码示例，并分享源码里形状、并行域和线程的最佳实践。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
超棒Claude官方提示词：Anthropic发布Claude 4.x提示工程最佳实践
Anthropic发布Claude 4.x提示工程最佳实践，这些原则在顶尖大模型中一般通用。它强调精准指令驱动性能，构建记忆与状态管理机制，优化工具调用编排，激发高阶认知与专业输出，重塑代码美学与工程规范。
DeepSeek-R1-0528 打榜、20+案例全面实测，全球网友狂点赞：实力堪称R2！
DeepSeek 上新的 DeepSeek - R1 - 0528 让 AI 圈沸腾。它在 LiveCodeBench 榜单飙升至第 4 位，性能逼近 OpenAI 的 o3 高级版。全球网友实测后好评如潮，其在多方面能力出色，且完全开源，引发对 R2 的期待。
阿里、南开大学发布免训练，视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。
从分钟级等待到20倍超速：LightX2V重写AI视频生成速度上限
今年，开源项目LightX2V在ComfyUI社区走红，单月下载超170万次。它是面向低成本、强实时视频生成的推理技术栈，能在消费级显卡上高效生成视频，还支持多种模型和硬件，覆盖不同用户需求。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
AI修真的一年：学者们怎么看“真智能”？｜甲子光年
甲子光年在年终盛典对话三位学者，探讨AI“真假智能”。学者们提及强化学习、推理、多模态等技术突破，分析研究路径，还谈选择标准与未来期待，指出AI是工程实践命题，真与假关乎信念选择。