Cuda

20 篇

笔记列表 20

CUDA 02 · GPU 架构与 SIMT

CPU 与 GPU 的取舍 CPU 用大量晶体管优化少量线程的低延迟:复杂控制、乱序执行、大缓存、强分支预测。GPU 把更多面积交给吞吐:大量算术单元、宽内存系统和硬件线程调度,用许多并发 warp 隐藏单个操作的长延迟。 更适合 C…

CUDA 03 · 线程层次与 Kernel 设计

执行层次与索引 Grid(一维/二维/三维) └─ Block(一维/二维/三维) └─ Thread 一维全局索引:i = blockIdx.x * blockDim.x + th…

CUDA 04 · 内存层次与数据移动

性能首先是数据移动问题 GPU 的峰值算力增长通常快于片外内存带宽增长。许多 kernel 并非算不动,而是算术单元在等数据。优化的核心不是“shared memory 一定快”,而是: 减少需要跨越慢层级的数据量,让每次搬来的数据产生更…

CUDA 05 · 同步、原子、Stream 与 CUDA Graph

先把三个概念拆开 概念 回答的问题 典型机制 执行会合(barrier) 参与者是否都走到这里? __syncthreads()、group sync 内存顺序/可见性 A 的写入何时对 B 可观察? atomic mem…

CUDA 06 · 并行算法模式

从算法骨架开始,而不是从线程开始 大多数 GPU 算法可由少数模式组合: 模式 输入到输出 代表用例 Map 每个元素独立变换 激活函数、颜色变换、缩放 Reduce 多个元素合成一个/少量结果 sum/max/norm/…

CUDA 07 · GEMM、Tensor Core 与 Attention

为什么 GEMM 是 CUDA 的必修课 通用矩阵乘法: CM×N=AM×KBK×NC_{M\times N}=A_{M\times K}B_{K\times N} CM×N​=AM×K​BK×N​ 每个 CijC_{ij}Cij​ 是长度…

CUDA 08 · 性能模型与优化方法

优化是一个证据循环 NVIDIA Best Practices 用 APOD 概括过程:Assess、Parallelize、Optimize、Deploy。落实到 kernel: 建立正确性与基线 ↓ 找出端到端热点(Syst…

CUDA 09 · 正确性、调试与性能分析

正确性是性能工作的前置条件 GPU bug 往往带有异步、规模相关和非确定性:错误可能在下一个同步 API 才报告;竞态可能只在 release 优化或另一张卡上出现;浮点顺序变化可能被误判为 bug,也可能掩盖真正问题。 建议的证据层次:…

CUDA 10 · 库、多 GPU、项目与进阶路线

先用库,再决定是否写 Kernel 需求 ├─ 高层框架已有高质量算子? → 使用并 profile ├─ CUDA-X/CCCL/CUTLASS 已覆盖? → 使用库,配置 stream&#x…

CUDA 11 · CUDA C++语言、类型与数值语义

CUDA C++ 不是“C++ 加几个关键字” 一个 .cu 翻译单元同时面对 host 与 device 两套执行环境。它们可以共享模板和类型,但地址空间、可调用函数、异常机制、标准库实现和编译目标并不完全相同。 同一份 .cu ├─ h…

CUDA 12 · CUDA Python与跨语言互操作

“CUDA Python”是一套生态,不是单一语言 Python 用户通常处在四个层次之一: 业务表达 ├─ PyTorch / JAX / RAPIDS / CuPy:张量、数组、数据处理 ├─ cuBLAS…

CUDA 13 · CUDA Tile编程模型

为什么在 SIMT 之外还需要 Tile SIMT 让程序员明确安排 thread、warp、shared memory 和同步,控制力很强,但矩阵/张量 kernel 的实现容易绑死在某代硬件细节上。CUDA Tile 把 block 内…

CUDA 14 · 统一内存、内存池与 VMM

先分清“可访问”“驻留”和“同步” CUDA 内存问题常因把三个概念混在一起而出错: 可访问性:某个 processor/context 是否拥有读写该地址的权限; 驻留位置:对应物理页当前位于 GPU HBM、host DRAM 还是其…

CUDA 15 · Cluster、TMA 与高级 Kernel

高级能力的共同目标 现代 GPU 的难点不只是算得快,而是让数据搬运、同步和计算形成流水线。Thread Block Cluster、Distributed Shared Memory、异步 barrier、TMA、异步矩阵计算等能力,都是…

CUDA 16 · Driver API、NVRTC 与部署兼容

Runtime API 与 Driver API 大多数应用用 Runtime API 已能获得完整性能;Driver API 的价值是更显式地控制 context、module、JIT、VMM 和较新的高级特性。 维度 Runtim…

CUDA 17 · CUDA-X 库实战与选型

为什么“先调库”是性能工程原则 成熟 CUDA 库通常同时处理: 不同 GPU 架构与数据类型的 kernel dispatch; 小/中/大尺寸和特殊 shape; 对齐、尾块、数值稳定与特殊值; 多 stream、workspace、…

CUDA 18 · 综合用例、能力速查与术语表

从“会写 Kernel”到“能交付系统” 一个完整 CUDA 项目不是单个快 kernel,而是一条可证明的链: 需求与误差预算 ↓ CPU/高精度 reference + 数据集 ↓ 算法分解与数据布局 …

CUDA 19 · 系统集成、资源隔离与平台互操作

系统级 CUDA 在解决什么 当 GPU 被推理服务、图形渲染、通信库和批处理作业共同使用时,单 kernel 优化不再足够。需要回答:谁能使用哪些 SM/显存/队列,数据物理上靠近谁,跨 API 和跨节点如何交换资源,以及故障能否被隔离。…

CUDA 01 · 环境、工具链与第一个 Kernel

先分清四个版本 名称 作用 常用查询 NVIDIA Driver 操作系统驱动;决定可支持的 CUDA Driver API 上限 nvidia-smi CUDA Toolkit nvcc、头文件、Runtime、库、调试…

CUDA

CUDA C++ 系统教程 CUDA 不是一门完全独立的语言,而是 NVIDIA 提供的并行计算平台、编程模型、C++ 语言扩展、编译工具链与加速库生态。学习 CUDA 的真正目标不是记住几个 __global__ 关键字,而是建立一套可迁…