#Attention 1 篇

CUDA 07 · GEMM、Tensor Core 与 Attention

为什么 GEMM 是 CUDA 的必修课 通用矩阵乘法: CM×N=AM×KBK×NC_{M\times N}=A_{M\times K}B_{K\times N} CM×N​=AM×K​BK×N​ 每个 CijC_{ij}Cij​ 是长度…