CUDA
CUDA C++ 系统教程
CUDA 不是一门完全独立的语言,而是 NVIDIA 提供的并行计算平台、编程模型、C++ 语言扩展、编译工具链与加速库生态。学习 CUDA 的真正目标不是记住几个 __global__ 关键字,而是建立一套可迁移的性能推理方法:
把问题分解为足够多的独立工作,让数据以合适的粒度驻留在合适的存储层,并用测量结果决定下一步优化。
本文档以 NVIDIA CUDA Programming Guide 与 CUDA C++ Best Practices Guide 为主线,按 CUDA Toolkit 13.4 文档体系整理。具体 API、硬件能力和工具界面会随版本变化,文中凡涉及容量、吞吐、指令支持的地方,都应再用本机查询或对应架构的 Tuning Guide 核对。
课程地图
| 阶段 | 章节 | 学完应能回答的问题 |
|---|---|---|
| 入门 | 01 · 环境、工具链与第一个 Kernel | .cu 如何变成能在不同 GPU 上运行的程序? |
| 硬件 | 02 · GPU 架构与 SIMT | SM、warp、CUDA Core、Tensor Core 分别做什么? |
| 模型 | 03 · 线程层次与 Kernel 设计 | 如何把一维、二维和不规则问题映射到 grid/block/thread? |
| 数据 | 04 · 内存层次与数据移动 | 为什么合并访存、shared memory 和数据复用决定性能? |
| 并发 | 05 · 同步、原子、Stream 与 CUDA Graph | 可见性、顺序、同步范围和异步流水线如何组合? |
| 算法 | 06 · 并行算法模式 | Reduce、Scan、Histogram、Stencil 如何正确高效地实现? |
| 计算 | 07 · GEMM、Tensor Core 与 Attention | 分块、寄存器复用、Tensor Core 和 FlashAttention 有什么共同逻辑? |
| 优化 | 08 · 性能模型与优化方法 | 如何用 Roofline、吞吐、occupancy 和 stall 原因定位瓶颈? |
| 工具 | 09 · 正确性、调试与性能分析 | 如何证明结果正确,并用 Sanitizer/Nsight 找到真正的问题? |
| 工程 | 10 · 库、多 GPU、项目与进阶路线 | 何时写 kernel,何时用库,怎样进入生产级 CUDA 工程? |
| 语言 | 11 · CUDA C++ 语言、类型与数值语义 | 限定符、低精度、原子内存序与分离编译的真实语义是什么? |
| Python | 12 · CUDA Python 与跨语言互操作 | CuPy、Numba、cuda.core、DLPack 与 stream 如何安全组合? |
| 新模型 | 13 · CUDA Tile 编程模型 | Tile 与 SIMT 如何取舍,编译器怎样映射 TMA/Tensor Core? |
| 内存 | 14 · 统一内存、内存池与 VMM | 页面迁移、异步分配、稳定 VA、P2P/IPC 如何设计? |
| 架构 | 15 · Cluster、TMA 与高级 Kernel | 多 block 协作和异步数据流水线如何正确落地? |
| 部署 | 16 · Driver API、NVRTC 与部署兼容 | Context、JIT、fatbin、Driver/Toolkit 兼容如何管理? |
| 生态 | 17 · CUDA-X 库实战与选型 | CUB、cuBLASLt、cuFFT、cuSPARSE、NCCL 应如何集成? |
| 实战 | 18 · 综合用例、能力速查与术语表 | 如何把图像、Monte Carlo、BFS 和 Attention 做成可交付项目? |
| 系统 | 19 · 系统集成、资源隔离与平台互操作 | MIG/MPS/Green Context、fabric 与图形互操作如何选型? |
一张图建立全局心智模型
源码与任务
CPU 串行/任务图
│ nvcc + CUDA Runtime/Driver API
▼
Grid(一次 kernel launch)
├─ Block 0 ─┐
├─ Block 1 ├── 动态分派到多个 SM;block 间默认不能直接同步
└─ Block n ─┘
│
▼
SM(Streaming Multiprocessor)
├─ warp scheduler ── 每次调度一个就绪 warp
├─ CUDA Core / Tensor Core / Load-Store Unit / Special Function Unit
├─ 每线程寄存器
└─ 每 block shared memory(现代架构上通常与 L1 共享片上资源)
│
▼
L2 Cache ── Device Memory(GDDR/HBM)── PCIe/NVLink ── Host Memory/其他 GPU对应的优化问题只有四类:
- 工作是否足够并行:grid 是否足以填满所有 SM,是否存在串行热点。
- 线程是否有效执行:warp 是否发散,是否被同步、依赖或长延迟阻塞。
- 数据是否高效移动:访存是否合并,是否重复从显存取数,是否可以重叠搬运与计算。
- 计算单元是否匹配任务:应使用标量 CUDA Core、Tensor Core、专用库还是更高层框架。
最短学习路径
路线 A:会写并能判断对错
- 完成向量加法,理解 index、边界检查和异步 launch。
- 写 CPU reference,使用容差比较,不用逐位相等比较浮点结果。
- 用
compute-sanitizer跑memcheck、racecheck、synccheck。 - 实现 block reduction,理解
__syncthreads()的参与条件。
路线 B:会测量并能解释快慢
- 使用 CUDA Event 计时,预热并重复多次。
- 计算有效带宽与算术强度,先判断 memory-bound 还是 compute-bound。
- 用 Nsight Systems 看时间线,用 Nsight Compute 看单 kernel 指标。
- 对照 04、06、08 章依次消除未合并访问、重复搬运和低并行度。
路线 C:进入生产级算子
- 通过 11、12 章补齐 C++ 数值契约、Python 与跨语言 stream/生命周期边界。
- 通过 17 章掌握 cuBLAS/cuBLASLt、CUB/Thrust、cuFFT、cuSPARSE 等库的集成范式。
- 从 tiled GEMM 进入 Tile、Cluster、异步拷贝、TMA、Tensor Core 与 CUTLASS。
- 通过 14、16 章建立 memory pool/VMM、JIT、兼容性与部署能力。
- 以 18 章项目为模板,建立 correctness、benchmark、profile、回归阈值四件套。
路线 D:跟进现代架构能力
- 先完成 02、04、05 章,能解释 warp、存储层次和 happens-before。
- 学习 13 章 Tile,理解它与逐线程 SIMT 的抽象差异。
- 学习 15 章 Cluster、DSM、异步 barrier、TMA 与 dependent launch。
- 在目标 GPU 上查询能力并保留 fallback;不用商品名或经验代替 feature query。
- 用 Nsight Compute 验证生成指令和流水线,始终与成熟库基线比较。
与 CUDA 13.4 官方目录的覆盖关系
本教程按学习路径重新组织,而不是逐节翻译官方文档。下面的矩阵用于查漏:
| 官方 Programming Guide 部分 | 本教程覆盖 | 说明 |
|---|---|---|
| Introduction / Programming Model / Platform | 01、02、03 | 平台组成、编译执行模型、线程层次 |
| Intro to CUDA C++ | 01、03、11 | Kernel、语言限定符、模板、数值语义 |
| Intro to CUDA Python | 12 | Python 生态、JIT、数组/stream 互操作 |
| Writing SIMT Kernels | 02–07、11 | SIMT、内存、同步、算法、GEMM |
| Writing Tile Kernels | 13 | CUDA Tile C++/Python、tile 运算与迁移方法 |
| Asynchronous Execution | 05、14、15 | Stream、event、Graph、allocator、设备内流水线 |
| Unified and System Memory | 04、14 | UVA、managed/system memory、迁移与 advice |
| NVCC | 01、11、13、16 | 架构目标、分离编译、Tile、fatbinary |
| Advanced CUDA APIs | 05、14、15、16 | 扩展 launch、Graph、VMM、Driver/JIT |
| Advanced Kernel Programming | 02、03、04、15 | occupancy、cluster、DSM、TMA、barrier |
| Driver API | 14、16 | Context/module/launch、VMM、NVRTC/nvJitLink |
| Multiple GPUs | 10、14、17 | P2P、IPC/VMM、NCCL、NVSHMEM、拓扑 |
| System Integration / Resource Isolation | 14、16、19 | Green Context、locality、EGM、fabric、graphics interop |
| Feature Survey | 05、13–19 | Graph、allocator、Tile、高级架构与能力 dispatch |
| Technical Appendices | 02、08、09、11、18 | Compute Capability、浮点、intrinsic、内存/执行模型 |
官方文档仍是行为定义与版本边界的最终依据。本教程负责建立心智模型、设计顺序和实验方法;遇到精确结构体字段、枚举、对齐要求与 capability 条件时,应沿每章末尾链接回查当前版本。
优化优先级
| 优先级 | 先问什么 | 常见动作 |
|---|---|---|
| P0 正确性 | 是否越界、竞态、漏同步、数值不稳定? | reference、Sanitizer、误差模型 |
| P1 算法 | 是否做了不必要的工作或搬运? | 换算法、融合、批处理、调用成熟库 |
| P2 数据移动 | 全局内存访问是否合并并充分复用? | 布局、tiling、shared memory、向量化 |
| P3 并行度 | 是否有足够 block/warp 隐藏延迟? | grid-stride loop、块大小、降低资源占用 |
| P4 指令 | 是否使用了适合的精度与硬件单元? | intrinsics、Tensor Core、fast math(经验证) |
不要把 occupancy 当作最终目标。它只是“同时驻留多少 warp”的资源指标;达到足以隐藏延迟的水平后,更高 occupancy 可能毫无收益,甚至会因减少每线程寄存器而变慢。
建议配套实验
| 实验 | 变量 | 必须记录 |
|---|---|---|
| Vector Add | block size:64/128/256/512 | 时间、有效带宽、错误数 |
| Transpose | naive / coalesced / padded shared | 吞吐、global load/store efficiency、bank conflict |
| Reduction | atomic / shared tree / shuffle / CUB | 时间、原子次数、数值误差 |
| GEMM | naive / tiled / cuBLAS | GFLOP/s、算术强度、相对库性能 |
| Pipeline | pageable / pinned / 1 stream / N streams | H2D、kernel、D2H 重叠情况 |
| Graph | 普通重复 launch / graph replay | CPU launch overhead、端到端延迟 |
每次实验都记录:GPU 型号、Compute Capability、驱动、Toolkit、编译参数、输入规模、数据类型、预热次数和统计方法。没有这些上下文,“快了 30%”没有可复现意义。
官方资料入口
- CUDA Programming Guide:编程模型与完整特性定义。
- CUDA C++ Best Practices Guide:性能测量与优化原则。
- CUDA Runtime API:以
cuda*开头的宿主 API 语义。 - NVCC Compiler Driver:编译流程、架构目标与选项。
- Compute Sanitizer:越界、竞态、未初始化与同步检查。
- Nsight Systems 与 Nsight Compute:系统时间线和 kernel 级性能分析。
- CUDA Samples:NVIDIA 官方可运行示例。
- Hopper Tuning Guide 与 Blackwell Tuning Guide:架构专属能力和资源上限。
许可协议:CC BY
作者:Davids
本文链接:https://hustjjd.github.io/c1fb7d19.html
更新于:2026年10月11日