CUDA

CUDA C++ 系统教程

CUDA 不是一门完全独立的语言,而是 NVIDIA 提供的并行计算平台、编程模型、C++ 语言扩展、编译工具链与加速库生态。学习 CUDA 的真正目标不是记住几个 __global__ 关键字,而是建立一套可迁移的性能推理方法:

把问题分解为足够多的独立工作,让数据以合适的粒度驻留在合适的存储层,并用测量结果决定下一步优化。

本文档以 NVIDIA CUDA Programming Guide 与 CUDA C++ Best Practices Guide 为主线,按 CUDA Toolkit 13.4 文档体系整理。具体 API、硬件能力和工具界面会随版本变化,文中凡涉及容量、吞吐、指令支持的地方,都应再用本机查询或对应架构的 Tuning Guide 核对。

课程地图

阶段章节学完应能回答的问题
入门01 · 环境、工具链与第一个 Kernel.cu 如何变成能在不同 GPU 上运行的程序?
硬件02 · GPU 架构与 SIMTSM、warp、CUDA Core、Tensor Core 分别做什么?
模型03 · 线程层次与 Kernel 设计如何把一维、二维和不规则问题映射到 grid/block/thread?
数据04 · 内存层次与数据移动为什么合并访存、shared memory 和数据复用决定性能?
并发05 · 同步、原子、Stream 与 CUDA Graph可见性、顺序、同步范围和异步流水线如何组合?
算法06 · 并行算法模式Reduce、Scan、Histogram、Stencil 如何正确高效地实现?
计算07 · GEMM、Tensor Core 与 Attention分块、寄存器复用、Tensor Core 和 FlashAttention 有什么共同逻辑?
优化08 · 性能模型与优化方法如何用 Roofline、吞吐、occupancy 和 stall 原因定位瓶颈?
工具09 · 正确性、调试与性能分析如何证明结果正确,并用 Sanitizer/Nsight 找到真正的问题?
工程10 · 库、多 GPU、项目与进阶路线何时写 kernel,何时用库,怎样进入生产级 CUDA 工程?
语言11 · CUDA C++ 语言、类型与数值语义限定符、低精度、原子内存序与分离编译的真实语义是什么?
Python12 · CUDA Python 与跨语言互操作CuPy、Numba、cuda.core、DLPack 与 stream 如何安全组合?
新模型13 · CUDA Tile 编程模型Tile 与 SIMT 如何取舍,编译器怎样映射 TMA/Tensor Core?
内存14 · 统一内存、内存池与 VMM页面迁移、异步分配、稳定 VA、P2P/IPC 如何设计?
架构15 · Cluster、TMA 与高级 Kernel多 block 协作和异步数据流水线如何正确落地?
部署16 · Driver API、NVRTC 与部署兼容Context、JIT、fatbin、Driver/Toolkit 兼容如何管理?
生态17 · CUDA-X 库实战与选型CUB、cuBLASLt、cuFFT、cuSPARSE、NCCL 应如何集成?
实战18 · 综合用例、能力速查与术语表如何把图像、Monte Carlo、BFS 和 Attention 做成可交付项目?
系统19 · 系统集成、资源隔离与平台互操作MIG/MPS/Green Context、fabric 与图形互操作如何选型?

一张图建立全局心智模型

源码与任务
  CPU 串行/任务图
       │  nvcc + CUDA Runtime/Driver API
       ▼
Grid(一次 kernel launch)
  ├─ Block 0 ─┐
  ├─ Block 1  ├── 动态分派到多个 SM;block 间默认不能直接同步
  └─ Block n ─┘
       │
       ▼
SM(Streaming Multiprocessor)
  ├─ warp scheduler ── 每次调度一个就绪 warp
  ├─ CUDA Core / Tensor Core / Load-Store Unit / Special Function Unit
  ├─ 每线程寄存器
  └─ 每 block shared memory(现代架构上通常与 L1 共享片上资源)
       │
       ▼
L2 Cache ── Device Memory(GDDR/HBM)── PCIe/NVLink ── Host Memory/其他 GPU

对应的优化问题只有四类:

  1. 工作是否足够并行:grid 是否足以填满所有 SM,是否存在串行热点。
  2. 线程是否有效执行:warp 是否发散,是否被同步、依赖或长延迟阻塞。
  3. 数据是否高效移动:访存是否合并,是否重复从显存取数,是否可以重叠搬运与计算。
  4. 计算单元是否匹配任务:应使用标量 CUDA Core、Tensor Core、专用库还是更高层框架。

最短学习路径

路线 A:会写并能判断对错

  1. 完成向量加法,理解 index、边界检查和异步 launch。
  2. 写 CPU reference,使用容差比较,不用逐位相等比较浮点结果。
  3. 用 compute-sanitizer 跑 memcheck、racecheck、synccheck。
  4. 实现 block reduction,理解 __syncthreads() 的参与条件。

路线 B:会测量并能解释快慢

  1. 使用 CUDA Event 计时,预热并重复多次。
  2. 计算有效带宽与算术强度,先判断 memory-bound 还是 compute-bound。
  3. 用 Nsight Systems 看时间线,用 Nsight Compute 看单 kernel 指标。
  4. 对照 04、06、08 章依次消除未合并访问、重复搬运和低并行度。

路线 C:进入生产级算子

  1. 通过 11、12 章补齐 C++ 数值契约、Python 与跨语言 stream/生命周期边界。
  2. 通过 17 章掌握 cuBLAS/cuBLASLt、CUB/Thrust、cuFFT、cuSPARSE 等库的集成范式。
  3. 从 tiled GEMM 进入 Tile、Cluster、异步拷贝、TMA、Tensor Core 与 CUTLASS。
  4. 通过 14、16 章建立 memory pool/VMM、JIT、兼容性与部署能力。
  5. 以 18 章项目为模板,建立 correctness、benchmark、profile、回归阈值四件套。

路线 D:跟进现代架构能力

  1. 先完成 02、04、05 章,能解释 warp、存储层次和 happens-before。
  2. 学习 13 章 Tile,理解它与逐线程 SIMT 的抽象差异。
  3. 学习 15 章 Cluster、DSM、异步 barrier、TMA 与 dependent launch。
  4. 在目标 GPU 上查询能力并保留 fallback;不用商品名或经验代替 feature query。
  5. 用 Nsight Compute 验证生成指令和流水线,始终与成熟库基线比较。

与 CUDA 13.4 官方目录的覆盖关系

本教程按学习路径重新组织,而不是逐节翻译官方文档。下面的矩阵用于查漏:

官方 Programming Guide 部分本教程覆盖说明
Introduction / Programming Model / Platform01、02、03平台组成、编译执行模型、线程层次
Intro to CUDA C++01、03、11Kernel、语言限定符、模板、数值语义
Intro to CUDA Python12Python 生态、JIT、数组/stream 互操作
Writing SIMT Kernels02–07、11SIMT、内存、同步、算法、GEMM
Writing Tile Kernels13CUDA Tile C++/Python、tile 运算与迁移方法
Asynchronous Execution05、14、15Stream、event、Graph、allocator、设备内流水线
Unified and System Memory04、14UVA、managed/system memory、迁移与 advice
NVCC01、11、13、16架构目标、分离编译、Tile、fatbinary
Advanced CUDA APIs05、14、15、16扩展 launch、Graph、VMM、Driver/JIT
Advanced Kernel Programming02、03、04、15occupancy、cluster、DSM、TMA、barrier
Driver API14、16Context/module/launch、VMM、NVRTC/nvJitLink
Multiple GPUs10、14、17P2P、IPC/VMM、NCCL、NVSHMEM、拓扑
System Integration / Resource Isolation14、16、19Green Context、locality、EGM、fabric、graphics interop
Feature Survey05、13–19Graph、allocator、Tile、高级架构与能力 dispatch
Technical Appendices02、08、09、11、18Compute Capability、浮点、intrinsic、内存/执行模型

官方文档仍是行为定义与版本边界的最终依据。本教程负责建立心智模型、设计顺序和实验方法;遇到精确结构体字段、枚举、对齐要求与 capability 条件时,应沿每章末尾链接回查当前版本。

优化优先级

优先级先问什么常见动作
P0 正确性是否越界、竞态、漏同步、数值不稳定?reference、Sanitizer、误差模型
P1 算法是否做了不必要的工作或搬运?换算法、融合、批处理、调用成熟库
P2 数据移动全局内存访问是否合并并充分复用?布局、tiling、shared memory、向量化
P3 并行度是否有足够 block/warp 隐藏延迟?grid-stride loop、块大小、降低资源占用
P4 指令是否使用了适合的精度与硬件单元?intrinsics、Tensor Core、fast math(经验证)

不要把 occupancy 当作最终目标。它只是“同时驻留多少 warp”的资源指标;达到足以隐藏延迟的水平后,更高 occupancy 可能毫无收益,甚至会因减少每线程寄存器而变慢。

建议配套实验

实验变量必须记录
Vector Addblock size:64/128/256/512时间、有效带宽、错误数
Transposenaive / coalesced / padded shared吞吐、global load/store efficiency、bank conflict
Reductionatomic / shared tree / shuffle / CUB时间、原子次数、数值误差
GEMMnaive / tiled / cuBLASGFLOP/s、算术强度、相对库性能
Pipelinepageable / pinned / 1 stream / N streamsH2D、kernel、D2H 重叠情况
Graph普通重复 launch / graph replayCPU launch overhead、端到端延迟

每次实验都记录:GPU 型号、Compute Capability、驱动、Toolkit、编译参数、输入规模、数据类型、预热次数和统计方法。没有这些上下文,“快了 30%”没有可复现意义。

官方资料入口