Games101

GAMES101:现代计算机图形学入门(闫令琪)的笔记。

覆盖四大块:光栅化、几何、光线追踪、材质与外观。

一、变换(Transformation)

二维变换的矩阵形式

缩放: [s  0]     旋转: [cosθ -sinθ]     平移: [1 0 tx]
     [0  s]           [sinθ  cosθ]           [0 1 ty]

平移不能写成 2×2 矩阵(它不是线性变换),所以引入齐次坐标:

点:      (x, y, 1)      ← w = 1
向量:    (x, y, 0)      ← w = 0(向量不该被平移)

平移矩阵: [1 0 tx]
         [0 1 ty]
         [0 0 1 ]

齐次坐标的妙用:点和向量用第 3 个分量区分,平移对向量无效(因为乘以 0)。

点 + 向量 = 向量    (w: 1 + 0 = 1 ... 按定义)
点 - 点   = 向量
点 + 点   = 中点(w=2,除以 w 得到 (x1+x2)/2)

三维变换

绕轴旋转(右手系):
Rx = [1   0     0   ]
     [0  cosθ -sinθ]
     [0  sinθ  cosθ]

Ry = [ cosθ 0 sinθ]
     [ 0    1 0   ]
     [-sinθ 0 cosθ]

Rz = [cosθ -sinθ 0]
     [sinθ  cosθ 0]
     [0     0    1]

罗德里格斯旋转公式(绕任意轴n\mathbf{n} 旋转角度α\alpha):

R(n,α)=cos⁡α I+(1−cos⁡α) nnT+sin⁡α(0−nznynz0−nx−nynx0)\mathbf{R}(\mathbf{n}, \alpha) = \cos\alpha\,\mathbf{I} + (1-\cos\alpha)\,\mathbf{n}\mathbf{n}^T + \sin\alpha \begin{pmatrix} 0 & -n_z & n_y \\ n_z & 0 & -n_x \\ -n_y & n_x & 0 \end{pmatrix}

第三项那个反对称矩阵就是叉积矩阵N\mathbf{N}。

视图变换(View / Camera)

把相机移到原点、朝向−z-z、上方为+y+y:

Mview=R−1⋅T−1M_{view} = R^{-1} \cdot T^{-1}

构造:

  • g\mathbf{g}:注视方向(look-at)
  • t\mathbf{t}:上方向
  • e\mathbf{e}:位置

g^=normalize(gaze)t^=normalize(up)w^=−g^u^=t^×w^v^=w^×u^\begin{aligned} \hat{g} &= \text{normalize}(\text{gaze}) \\ \hat{t} &= \text{normalize}(\text{up}) \\ \hat{w} &= -\hat{g} \\ \hat{u} &= \hat{t} \times \hat{w} \\ \hat{v} &= \hat{w} \times \hat{u} \end{aligned}

投影变换

正交投影:平移到中心 + 缩放到[−1,1]3[-1,1]^3。

透视投影:分两步

  1. 挤压(frustum → cuboid):

Mpersp→ortho=(n0000n0000n+f−nf0010)M_{persp \to ortho} = \begin{pmatrix} n & 0 & 0 & 0 \\ 0 & n & 0 & 0 \\ 0 & 0 & n+f & -nf \\ 0 & 0 & 1 & 0 \end{pmatrix}

  1. 再做正交投影。

关键性质:近平面nn 上的点不变,远平面ff 上的点zz 不变。中间的点的zz 被"推向"远处——这就是近大远小的数学来源。

深度是非线性的:透视除法后zndcz_{ndc} 与1/z1/z 线性。这导致深度精度在远处极差(Z-fighting 的根源)。

二、光栅化(Rasterization)

视口变换

NDC[−1,1]2[-1,1]^2 → 屏幕[0,width]×[0,height][0, width] \times [0, height]:

Mviewport=(w/200w/20h/20h/200100001)M_{viewport} = \begin{pmatrix} w/2 & 0 & 0 & w/2 \\ 0 & h/2 & 0 & h/2 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}

三角形的采样

判断点是否在三角形内:三次叉积同号。

bool inside(Vec3 p, Vec3 a, Vec3 b, Vec3 c) {
    auto sign = [](Vec3 p, Vec3 a, Vec3 b) {
        return cross(b - a, p - a).z;
    };
    float d1 = sign(p, a, b), d2 = sign(p, b, c), d3 = sign(p, c, a);
    bool hasNeg = (d1 < 0) || (d2 < 0) || (d3 < 0);
    bool hasPos = (d1 > 0) || (d2 > 0) || (d3 > 0);
    return !(hasNeg && hasPos);       // 全同号(含 0 的情况按约定处理)
}

包围盒优化:只遍历三角形 AABB 内的像素。

重心坐标(Barycentric)

(α,β,γ),α+β+γ=1(\alpha, \beta, \gamma), \quad \alpha + \beta + \gamma = 1

用于插值:顶点属性(颜色、法线、UV、深度)按重心坐标插值到片元。

α=−(x−xB)(yC−yB)+(y−yB)(xC−xB)−(xA−xB)(yC−yB)+(yA−yB)(xC−xB)\alpha = \frac{-(x-x_B)(y_C-y_B) + (y-y_B)(x_C-x_B)}{-(x_A-x_B)(y_C-y_B) + (y_A-y_B)(x_C-x_B)}

注意:屏幕空间的重心坐标 ≠ 三维空间的重心坐标。做透视 correct 插值时需要除以ww 再修正(否则纹理会扭曲)。

透视正确插值

1w=α1wA+β1wB+γ1wC\frac{1}{w} = \alpha\frac{1}{w_A} + \beta\frac{1}{w_B} + \gamma\frac{1}{w_C}

Vcorrect=αVAwA+βVBwB+γVCwCα1wA+β1wB+γ1wCV_{correct} = \frac{\alpha \frac{V_A}{w_A} + \beta \frac{V_B}{w_B} + \gamma \frac{V_C}{w_C}}{\alpha \frac{1}{w_A} + \beta \frac{1}{w_B} + \gamma \frac{1}{w_C}}

不做这一步的表现:地板纹理会出现明显的扭曲(经典的 PS1 时代 warp 效果)。

深度缓冲(Z-Buffer)

初始化 depth[x][y] = +∞
for 每个三角形:
    for 三角形覆盖的每个像素 (x, y):
        if z < depth[x][y]:
            depth[x][y] = z
            framebuffer[x][y] = 颜色
  • 不可交换:绘制顺序影响结果(后来者可能被丢弃)
  • 但与顺序无关(结果是同一个)——因为比较的是深度
  • 复杂度O(n)O(n),不是O(nlog⁡n)O(n \log n) 的画家算法

Z-fighting:两个面深度太接近,浮点精度不够 → 闪烁。缓解:提高近平面距离、用更大的深度精度、logarithmic depth buffer。

抗锯齿(Antialiasing)

走样的本质:采样率低于信号频率。

MSAA(多重采样):

每个像素取 N 个子采样点
先判断每个子采样点被哪个三角形覆盖
着色只在"被覆盖"时算一次(不是每个子样本算一次)
最终颜色 = 覆盖的子样本数 / N

关键点:MSAA 解决的是几何边缘的走样,不是着色(shading)的走样。着色走样(如高频纹理)要靠纹理过滤(mipmap)。

其他方法见 实时抗锯齿与超采样。

三、着色(Shading)

Blinn-Phong 模型

L=La+Ld+LsL = L_a + L_d + L_s

环境光 La = ka * Ia                  (常数,近似间接光)
漫反射 Ld = kd * (I/r²) * max(0, n·l)
高光   Ls = ks * (I/r²) * max(0, n·h)^p
       h = normalize(l + v)          ← 半程向量

Blinn-Phong 用半程向量 h 而不是反射向量 R,因为h⋅n\mathbf{h} \cdot \mathbf{n} 比r⋅v\mathbf{r} \cdot \mathbf{v} 便宜(不用算反射)。指数pp 越大高光越锐利。

三种着色频率

计算位置效果
Flat每三角形面片感
Gouraud每顶点,插值高光会丢
Phong每片元(插值法线后归一化)最好

四、纹理映射

UV 坐标

每个顶点有(u,v)∈[0,1]2(u,v) \in [0,1]^2,三角形内部插值后查纹理。

纹理放大(Magnification)

纹理分辨率 < 屏幕分辨率 → 一个纹素覆盖多个像素 → 模糊/块状。

双线性插值:

// 取周围 4 个纹素,水平插两次,垂直插一次
float u0 = floor(u), v0 = floor(v);
float s = u - u0, t = v - v0;
Color c = lerp(lerp(tex(u0,v0), tex(u0+1,v0), s),
               lerp(tex(u0,v0+1), tex(u0+1,v0+1), s), t);

纹理缩小(Minification)

纹理分辨率 > 屏幕分辨率 → 一个像素覆盖多个纹素 → 严重走样(摩尔纹)。

Mipmap:

预生成 1/2, 1/4, 1/8... 分辨率的纹理金字塔
额外空间: 1/3
查询时选择"一个像素对应一个纹素"的层级

Level D = log2( 相邻像素 UV 距离的最大值 )

三线性插值:在两个 mipmap 层级之间再做一次插值,避免层级跳变。

各向异性过滤(Anisotropic):mipmap 假设像素在纹理空间是正方形,但实际斜视角下是长条形。各向异性过滤查询"拉长的"区域,解决斜向模糊。

纹理的其他用途

类型存什么
法线贴图逐像素法线(切线空间)→ 增加细节不增加三角形
凹凸贴图高度差(推导法线)
位移贴图真的移动顶点(需要细分)
环境贴图(Cube Map / 球面图)环境光照
AO 贴图预计算的遮蔽
光照贴图(Lightmap)预计算的静态光照

法线贴图 vs 位移贴图:法线贴图不改变轮廓(边缘看得出破绽),位移贴图会。

五、几何(Geometry)

隐式表示 vs 显式表示

隐式显式
形式f(x,y,z)=0f(x,y,z) = 0直接给出点/三角形
判断内外易(代入看符号)难
采样表面难易
例子球面方程、SDF、CSG、分形点云、多边形网格、细分曲面

曲线曲面

  • Bézier 曲线:控制点 + Bernstein 基函数,de Casteljau 算法求值
  • B 样条:局部性更好(移动一个控制点只影响局部)
  • NURBS:工业标准

Bézier 的问题:拼接时要手工保证C1C^1 连续(控制点共线且等距)。B 样条自动保证。

网格操作

操作目的
细分(Subdivision)增加面数,逼近光滑曲面(Loop / Catmull-Clark)
简化(Simplification)减少面数(边坍缩 + 二次误差度量 Quadric Error)
正则化(Regularization)让三角形更均匀

六、光线追踪(Ray Tracing)

Whitted-Style Ray Tracing

从相机发射 primary ray
与物体求交 → 从交点向光源发射 shadow ray(判断遮挡)
            反射方向递归发射 ray(镜面)
            折射方向递归发射 ray(透明)
累加所有贡献

递归深度有限(通常 3~5 次),所以只能处理镜面/玻璃的间接光,处理不了漫反射的间接光(color bleeding)。

光线与物体求交

光线:r(t)=o+td,t≥0\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}, \quad t \ge 0

与隐式表面:解f(o+td)=0f(\mathbf{o} + t\mathbf{d}) = 0。

与三角形:

1. 求光线与三角形所在平面的交点(用平面方程)
2. 判断交点是否在三角形内(重心坐标/Möller–Trumbore)

Möller–Trumbore:
  E1 = v1 - v0, E2 = v2 - v0
  P  = d × E2
  det = E1 · P
  if |det| < eps: 平行,无交点
  T  = o - v0
  u  = (T · P) / det        // 重心坐标
  Q  = T × E1
  v  = (d · Q) / det
  t  = (E2 · Q) / det
  命中 ⟺ u >= 0 && v >= 0 && u+v <= 1 && t > 0

加速结构

包围盒(AABB):

判断光线是否穿过 AABB:
  t_min = max over axes of min((min_i - o_i)/d_i, (max_i - o_i)/d_i)
  t_max = min over axes of max((min_i - o_i)/d_i, (max_i - o_i)/d_i)
  相交 ⟺ t_min <= t_max && t_max >= 0

注意: d_i == 0 时该项是 ±∞,用 IEEE 浮点能自然处理(但要小心 NaN)
结构特点
KD-Tree空间二分,轴对齐切分
BVH按物体分组(不是按空间),现代标准
均匀网格场景均匀时好

BVH 为什么赢:构建快、遍历友好、物体动态时可增量更新。

辐射度量学(Radiometry)

量符号定义单位
辐射能量QQ光子能量J
辐射通量Φ\Phi单位时间能量W(流明 lm)
辐照度 IrradianceEE单位面积接收的通量W/m²
辐射度 RadianceLL单位面积单位立体角的通量W/(m²·sr)
立体角ω\omega球面面积 /r2r^2sr

Radiance 是渲染的核心量:光线在传播中不变(真空中),所以追踪光线就是追踪 radiance。

Irradiance 衰减:点光源的辐照度按1/r21/r^2 衰减(球面面积4πr24\pi r^2)。

BRDF

fr(ωi→ωr)=dLr(ωr)dEi(ωi)f_r(\omega_i \to \omega_r) = \frac{dL_r(\omega_r)}{dE_i(\omega_i)}

性质:

  1. 非负
  2. 可逆性(Helmholtz reciprocity):fr(ωi→ωr)=fr(ωr→ωi)f_r(\omega_i \to \omega_r) = f_r(\omega_r \to \omega_i)
  3. 能量守恒:∫frcos⁡θidωi≤1\int f_r \cos\theta_i d\omega_i \le 1

路径追踪(Path Tracing)

解决 Whitted-style 处理不了漫反射间接光的问题。

随机选一个方向发射光线,递归直到打到光源或 Russian Roulette 终止
多次采样取平均(蒙特卡洛估计)

Lo(x,ωo)=∫Li(x,ωi)frcos⁡θi dωi≈1N∑k=1NLi(x,ωk)fr(x,ωk,ωo)cos⁡θkpdf(ωk)\begin{aligned} L_o(x, \omega_o) &= \int L_i(x, \omega_i) f_r \cos\theta_i \, d\omega_i \\ &\approx \frac{1}{N} \sum_{k=1}^{N} \frac{L_i(x, \omega_k) f_r(x, \omega_k, \omega_o) \cos\theta_k}{pdf(\omega_k)} \end{aligned}

直接采样光源(Next Event Estimation):把积分拆成"光源贡献 + 间接贡献",光源部分直接采样光源表面(大幅降低方差)。

Lo=∫光源⋯⏟直接采样光源,方差小+∫非光源⋯⏟间接,随机弹射L_o = \underbrace{\int_{\text{光源}} \cdots}_{\text{直接采样光源,方差小}} + \underbrace{\int_{\text{非光源}} \cdots}_{\text{间接,随机弹射}}

Russian Roulette:以概率pp 继续递归(返回值除以pp),否则终止。保证估计无偏且避免无限递归。

重要性采样:按 BRDF 或光源分布采样,让pdfpdf 和被积函数形状接近 → 方差小。

七、材质与外观

材质模型
漫反射Lambertian:fr=ρ/πf_r = \rho / \pi(ρ\rho 是 albedo)
镜面理想反射/折射(Fresnel + Snell)
光泽Microfacet(GGX、Beckmann)
透明BTDF + Fresnel
次表面BSSRDF(皮肤、玉、牛奶)
布料各向异性 BRDF
头发Marschner 模型(双高光)

Microfacet BRDF(现代 PBR 的基础):

fr=F⋅G⋅D4(n⋅i)(n⋅o)f_r = \frac{F \cdot G \cdot D}{4(\mathbf{n}\cdot\mathbf{i})(\mathbf{n}\cdot\mathbf{o})}

  • FF Fresnel:视角越掠射,反射越强
  • GG Geometry/Shadowing:微表面自遮挡
  • DD NDF:微表面法线分布(GGX 是现代标准)

Fresnel 效应:垂直看水面能看到底,掠射看全是反射。Schlick 近似:

F=F0+(1−F0)(1−cos⁡θ)5F = F_0 + (1 - F_0)(1 - \cos\theta)^5

课程的精华结论

  1. 渲染 = 求解渲染方程,实时和离线的差别只在"如何近似"
  2. 透视投影的 z 是非线性的——这是无数深度问题的根源
  3. mipmap 是空间换时间的经典案例(多 1/3 内存换无走样)
  4. BVH 按物体分而不是按空间分——更鲁棒
  5. Radiance 沿光线不变——这是能"追踪光线"的理论依据
  6. 路径追踪的方差靠"直接采样光源 + 重要性采样"降低,不是靠暴力增加样本

参考