实时全局光照

问题定义

全局光照(Global Illumination, GI) = 直接光照 + 间接光照。

一次弹射(一次反射后到眼睛)  →  直接光照(相对便宜)
多次弹射                      →  间接光照(昂贵)

间接光的困难在于它是递归的:要知道BB 点被照亮多少,得先知道CC 点被照亮多少……

实时 GI 的本质:在 16 ms 内,用某种方式"近似"出多次弹射的效果。

分类框架

按"信息存在哪里"分类,这是理解 GI 技术谱系最清晰的方式:

类别信息载体代表技术
屏幕空间当前帧的 G-bufferSSAO、SSDO、SSR
3D 空间(体素/探针)世界空间的体素网格或探针VXGI、LPV、DDGI、RTXGI
预计算离线烘焙的贴图/系数Lightmap、PRT
硬件光线追踪实时追踪RTGI、ReSTIR GI

屏幕空间

核心思想:只用当前帧屏幕上的信息(深度、法线、颜色),近似间接光。

优势:无需额外数据结构,便宜。 致命缺陷:屏幕上看不到的信息就不知道——这是所有屏幕空间技术的根本限制。

典型症状:
  - 屏幕边缘的 GI 缺失(物体移出屏幕,反射突然消失)
  - 反射的东西不在屏幕上 → 没有反射
  - 相机看不到但就在旁边的物体不产生 GI

ambient occlusion(环境光遮蔽)

观察:凹处(角落、皱褶)接收到的环境光更少 → 应该更暗。

A(p)=1π∫ΩV(p,ω) (n⋅ω) dωA(\mathbf{p}) = \frac{1}{\pi} \int_{\Omega} V(\mathbf{p}, \omega)\, (\mathbf{n}\cdot\omega)\, d\omega

VV 是可见性(1 = 没被挡,0 = 被挡)。

SSAO(Screen Space AO):

对屏幕上的每个像素 p:
  1. 由深度重建世界坐标和法线
  2. 在 p 周围的半球内随机采样若干点
  3. 把采样点投影回屏幕,比较深度
  4. 若采样点的深度比 depth buffer 里更靠前 → 被遮挡
  5. AO = 1 - (被遮挡的样本比例)
float ssao(vec2 uv) {
    vec3 p = reconstructPos(uv);
    vec3 n = reconstructNormal(uv);
    float occlusion = 0.0;
    for (int i = 0; i < SAMPLES; i++) {
        vec3 sp = p + tangentToWorld(hemisphereSample[i]) * radius;
        vec4 offset = projMatrix * vec4(sp, 1.0);
        vec2 suv = (offset.xy / offset.w) * 0.5 + 0.5;
        float sampleDepth = texture(depthTex, suv).r;
        float actualDepth = offset.z / offset.w;
        // 采样点在几何体"里面" → 被遮挡
        if (actualDepth > sampleDepth + bias) occlusion += 1.0;
    }
    return 1.0 - occlusion / SAMPLES;
}

变种:

方法改进
HBAO按"水平角"积分,物理更正确,质量更好
GTAO考虑多次弹射的近似(Ground Truth AO)
SSDO不只算遮挡,还用被遮挡方向的颜色作为间接光(比 AO 更进一步)

SSDO 的价值:AO 只能变暗(因为假设遮挡处是黑的),SSDO 用遮挡物的实际颜色照亮 → 有 color bleeding(红墙旁边的白墙会泛红),这才是真正的 GI。

screen space ray tracing / SSR(屏幕空间反射)

思路:从着色点沿反射方向,在屏幕空间的深度缓冲里做光线步进。

1. 起点: 着色点的世界坐标
2. 方向: reflect(-V, N)
3. 在屏幕空间步进:
   a. 沿方向前进一小步
   b. 投影到屏幕,查询深度
   c. 若"射线的深度 > 场景深度" → 命中
   d. 否则继续
4. 命中 → 取该屏幕像素的颜色作为反射

关键优化:

  • 线性步进 + 二分细化(先大步找到穿透区间,再二分精确命中)
  • Hi-Z(层次 Z 缓冲):用 mipmap 快速跳过空白区域
  • 按粗糙度抖动 + 时域累积(光泽反射需要多个方向)

SSR 的根本限制:

只能反射屏幕内可见的东西
  → 相机背后的物体不会出现在反射里
  → 屏幕边缘的反射会突然消失

缓解:

  • 屏幕外区域用环境贴图兜底(fallback to IBL)
  • 拉伸边缘(fade out)

RSM(Reflective Shadow Maps)

思路:shadow map 里存的不只是深度,还有直接光照的信息。

Pass 1: 从光源渲染,存:
   - 深度
   - 世界坐标
   - 法线
   - 该点接收到的直接光照通量 flux

Pass 2(间接光计算):

对每个着色点xx,把 RSM 里的每个像素当作一个虚拟点光源(VPL):

Lo(x)=∑p∈RSMΦp⋅fr(x,ωp,o)⋅max⁡(0,nx⋅ωp)⋅max⁡(0,np⋅(−ωp))∣x−p∣2L_o(x) = \sum_{p \in RSM} \frac{\Phi_p \cdot f_r(x, \omega_p, \mathbf{o}) \cdot \max(0, \mathbf{n}_x \cdot \omega_p) \cdot \max(0, \mathbf{n}_p \cdot (-\omega_p))}{|\mathbf{x} - \mathbf{p}|^2}

问题:RSM 有几十万个像素,全部累加太贵。

解法:重要性采样——只随机选几百个 RSM 像素作为 VPL,按距离加权。

优缺点:

优点缺点
直接复用 shadow map,实现简单只对"光源能看到的表面"有效(二次遮挡缺失)
有 color bleeding采样不足 → 噪声
适合单个主光源(如太阳)没有可见性检查 → 会漏光

RSM 是"从直接光照出发做一次间接"的最简单方案,在教学和快速原型里很常见(GAMES202 的重点之一)。

3D空间

把光照信息存在世界空间的数据结构(体素网格、探针)里,解决屏幕空间的"看不见就没"问题。

VPL(Virtual Point Lights)

思路:

1. 从光源发射光线,打到的点成为虚拟点光源(VPL)
2. 渲染时,每个着色点累加所有 VPL 的贡献

问题:NN 个 VPL ×MM 个着色点 =O(NM)O(NM),太贵。

优化:

方法复杂度思路
Light Cuts—把 VPL 聚成树,远处的用簇代表
Instant RadiosityO(NM)O(NM)直接累加(小规模可行)
VPL + shadow map—每个 VPL 一个小 shadow map(贵但正确)

局限:VPL 处理不了光泽材质(需要按方向细分),且间接光的可见性难处理。

LPV(Light Propagation Volumes)

思路:把空间切成 3D 网格,光照以"球谐系数"的形式在格子间传播。

1. 注入(Inject): 从 RSM 得到 VPL,注入到体素网格(存 SH 系数)
2. 传播(Propagate): 每个格子向 6 个邻居传播辐射度,迭代几次
3. 渲染(Render): 着色点查询所在格子的 SH,得到间接光

传播:每个面用 2 阶 SH(4 个系数)表示方向性辐射度,迭代kk 次相当于kk 次弹射。

优缺点:

优点缺点
快(全在 3D 纹理上操作,GPU 友好)漏光(体素分辨率有限,墙会漏)
支持动态场景只能表示低频(SH)→ 漫反射 GI 好,镜面差
多次弹射天然支持传播有扩散(光会"糊"开)

CryEngine 3 用过,是 2010 年前后的实时 GI 代表方案。

VXGI(Voxel Cone Tracing)

思路:把场景体素化成 3D 纹理(带 mipmap),用**锥形追踪(cone tracing)**查询间接光。

1. 体素化(Voxelization): 把场景光栅化到 3D 纹理,存 6 个方向的辐射度 + 不透明度
2. 生成 mipmap: 高层代表"更大范围的平均值"
3. 锥形追踪: 从着色点沿若干方向发射锥体
   - 锥体越走越宽 → 采样越高的 mip 层
   - 沿途累加权重和遮挡
4. 累加得到间接光
锥形追踪示意:
  p →  ●
      ╱ ╲        ← 锥体半径随距离增大
     ╱   ╲          采样 mip 层级也增大
    ╱     ╲

关键洞察:锥体的宽度增长 = mipmap 层级的增长,所以一次步进就能采样一大片区域 —— 这本质上是对"半球积分"的高效近似。

优点缺点
支持光泽反射(追踪方向可变)体素化开销大(动态场景每帧或定期重建)
有遮挡(锥体追踪会累计遮挡)体素分辨率有限 → 细节丢失、漏光
质量好内存占用大(3D 纹理)

NVIDIA 在 UE4 里演示过,是 VXGI 的代表实现。

RTXGI(NVIDIA)

思路:用硬件光线追踪 + **光照探针(probe)**的混合。

1. 场景中布置 3D 探针网格(irradiance probe grid)
2. 每个探针用硬件 RT 发射若干光线,计算 irradiance 和可见性
3. 着色点查询周围 8 个探针,三线性插值
4. 时域累积 + 空间滤波降噪

关键设计:

  • 探针是持久的,跨帧累积 → 1~2 spp/帧也能收敛
  • 可见性单独存储,避免漏光
  • 自动放置(按几何密度)

这是当前工业界实时 GI 的主流方案之一(UE5 的 Lumen 也用了类似的探针思想,加上 SDF 追踪)。

预计算

precomputed radiance transfer(PRT)

见实时环境光照章节。

核心:把光照和"传输函数"(遮挡 + BRDF + 互反射)分离,传输函数离线预计算成 SH 系数。

Lo=LT⋅TL_o = \mathbf{L}^T \cdot \mathbf{T}

运行时只需点积 → 极快,且光照可动态变化(日夜、天气)。

限制:场景几何必须静态。

light baking(光照烘焙)

思路:把光照结果离线算好,存进贴图。

离线(几小时):
  用路径追踪算每个表面点的光照(含多次弹射、软阴影、AO)
  存进 lightmap(一张覆盖所有静态几何的 2D 纹理,按 UV 展开)

运行时:
  直接采样 lightmap,O(1)
优点缺点
质量极高(离线可以追踪几万次弹射)场景必须静态
运行时几乎免费光照不能动态变化
软阴影、color bleeding 全都有需要 UV 展开(lightmap UV),有接缝问题
内存占用(大场景 lightmap 很大)

这是目前游戏里静态场景 GI 的标准方案(和实时 GI 混合使用)。

UE 的 Lightmass、Unity 的 Enlighten/Progressive Lightmapper 都是烘焙器。

现代混合方案

静态几何 + 静态光源  →  烘焙 lightmap(最好质量,零运行时成本)
动态物体             →  光照探针(SH 或 3D 纹理)插值
动态光源             →  实时 GI(SSGI / 探针 RT / Lumen)

UE5 Lumen 是个典型:

  • 近处:屏幕空间追踪 + SDF 追踪
  • 远处/兜底:辐照度缓存(irradiance cache,本质是自适应探针)
  • 硬件 RT 可选加速

各方案对比

方案动态质量成本漏光
SSAO/SSDO✓低(只有接触遮蔽)低—
SSR✓中(镜面反射好)低—
RSM/VPL✓中中有
LPV✓中低频低严重
VXGI✓中高高有
RTXGI/DDGI✓高中(需 RT)少
Lightmap✗最高运行时极低无
PRT部分中低无

常见坑

  • 屏幕空间技术的边缘缺失:必须做 fade out,否则会看到明显的"硬边"
  • 漏光(light leaking):体素/探针分辨率不足时,光会穿过薄墙。薄墙要特殊处理(加厚或标记)
  • 噪声:随机采样 + 样本不足 → 闪烁。必须配时域累积 + 降噪
  • 时域累积的鬼影(ghosting):相机/物体移动时历史失效。要用 motion vector + disocclusion 检测
  • lightmap 的 UV 接缝:相邻图块之间会有过滤缝隙,需要 padding / 特殊处理
  • 探针的放置:均匀网格浪费(空旷区域放很多探针),自适应放置更好但复杂
  • GI 的能量不守恒:多次弹射的近似常常导致整体偏亮或偏暗,需要手工调
  • 动态物体没有 GI:只有静态物体进 lightmap,动态物体要用探针(会有"光照不匹配"的问题)
  • 忘记间接光的可见性:RSM/VPL 不做可见性检查,会导致"墙后也被照亮"