实时全局光照
问题定义
全局光照(Global Illumination, GI) = 直接光照 + 间接光照。
一次弹射(一次反射后到眼睛) → 直接光照(相对便宜)
多次弹射 → 间接光照(昂贵)间接光的困难在于它是递归的:要知道 点被照亮多少,得先知道 点被照亮多少……
实时 GI 的本质:在 16 ms 内,用某种方式"近似"出多次弹射的效果。
分类框架
按"信息存在哪里"分类,这是理解 GI 技术谱系最清晰的方式:
| 类别 | 信息载体 | 代表技术 |
|---|---|---|
| 屏幕空间 | 当前帧的 G-buffer | SSAO、SSDO、SSR |
| 3D 空间(体素/探针) | 世界空间的体素网格或探针 | VXGI、LPV、DDGI、RTXGI |
| 预计算 | 离线烘焙的贴图/系数 | Lightmap、PRT |
| 硬件光线追踪 | 实时追踪 | RTGI、ReSTIR GI |
屏幕空间
核心思想:只用当前帧屏幕上的信息(深度、法线、颜色),近似间接光。
优势:无需额外数据结构,便宜。 致命缺陷:屏幕上看不到的信息就不知道——这是所有屏幕空间技术的根本限制。
典型症状:
- 屏幕边缘的 GI 缺失(物体移出屏幕,反射突然消失)
- 反射的东西不在屏幕上 → 没有反射
- 相机看不到但就在旁边的物体不产生 GIambient occlusion(环境光遮蔽)
观察:凹处(角落、皱褶)接收到的环境光更少 → 应该更暗。
是可见性(1 = 没被挡,0 = 被挡)。
SSAO(Screen Space AO):
对屏幕上的每个像素 p:
1. 由深度重建世界坐标和法线
2. 在 p 周围的半球内随机采样若干点
3. 把采样点投影回屏幕,比较深度
4. 若采样点的深度比 depth buffer 里更靠前 → 被遮挡
5. AO = 1 - (被遮挡的样本比例)float ssao(vec2 uv) {
vec3 p = reconstructPos(uv);
vec3 n = reconstructNormal(uv);
float occlusion = 0.0;
for (int i = 0; i < SAMPLES; i++) {
vec3 sp = p + tangentToWorld(hemisphereSample[i]) * radius;
vec4 offset = projMatrix * vec4(sp, 1.0);
vec2 suv = (offset.xy / offset.w) * 0.5 + 0.5;
float sampleDepth = texture(depthTex, suv).r;
float actualDepth = offset.z / offset.w;
// 采样点在几何体"里面" → 被遮挡
if (actualDepth > sampleDepth + bias) occlusion += 1.0;
}
return 1.0 - occlusion / SAMPLES;
}变种:
| 方法 | 改进 |
|---|---|
| HBAO | 按"水平角"积分,物理更正确,质量更好 |
| GTAO | 考虑多次弹射的近似(Ground Truth AO) |
| SSDO | 不只算遮挡,还用被遮挡方向的颜色作为间接光(比 AO 更进一步) |
SSDO 的价值:AO 只能变暗(因为假设遮挡处是黑的),SSDO 用遮挡物的实际颜色照亮 → 有 color bleeding(红墙旁边的白墙会泛红),这才是真正的 GI。
screen space ray tracing / SSR(屏幕空间反射)
思路:从着色点沿反射方向,在屏幕空间的深度缓冲里做光线步进。
1. 起点: 着色点的世界坐标
2. 方向: reflect(-V, N)
3. 在屏幕空间步进:
a. 沿方向前进一小步
b. 投影到屏幕,查询深度
c. 若"射线的深度 > 场景深度" → 命中
d. 否则继续
4. 命中 → 取该屏幕像素的颜色作为反射关键优化:
- 线性步进 + 二分细化(先大步找到穿透区间,再二分精确命中)
- Hi-Z(层次 Z 缓冲):用 mipmap 快速跳过空白区域
- 按粗糙度抖动 + 时域累积(光泽反射需要多个方向)
SSR 的根本限制:
只能反射屏幕内可见的东西
→ 相机背后的物体不会出现在反射里
→ 屏幕边缘的反射会突然消失缓解:
- 屏幕外区域用环境贴图兜底(fallback to IBL)
- 拉伸边缘(fade out)
RSM(Reflective Shadow Maps)
思路:shadow map 里存的不只是深度,还有直接光照的信息。
Pass 1: 从光源渲染,存:
- 深度
- 世界坐标
- 法线
- 该点接收到的直接光照通量 fluxPass 2(间接光计算):
对每个着色点,把 RSM 里的每个像素当作一个虚拟点光源(VPL):
问题:RSM 有几十万个像素,全部累加太贵。
解法:重要性采样——只随机选几百个 RSM 像素作为 VPL,按距离加权。
优缺点:
| 优点 | 缺点 |
|---|---|
| 直接复用 shadow map,实现简单 | 只对"光源能看到的表面"有效(二次遮挡缺失) |
| 有 color bleeding | 采样不足 → 噪声 |
| 适合单个主光源(如太阳) | 没有可见性检查 → 会漏光 |
RSM 是"从直接光照出发做一次间接"的最简单方案,在教学和快速原型里很常见(GAMES202 的重点之一)。
3D空间
把光照信息存在世界空间的数据结构(体素网格、探针)里,解决屏幕空间的"看不见就没"问题。
VPL(Virtual Point Lights)
思路:
1. 从光源发射光线,打到的点成为虚拟点光源(VPL)
2. 渲染时,每个着色点累加所有 VPL 的贡献问题: 个 VPL × 个着色点 =,太贵。
优化:
| 方法 | 复杂度 | 思路 |
|---|---|---|
| Light Cuts | — | 把 VPL 聚成树,远处的用簇代表 |
| Instant Radiosity | 直接累加(小规模可行) | |
| VPL + shadow map | — | 每个 VPL 一个小 shadow map(贵但正确) |
局限:VPL 处理不了光泽材质(需要按方向细分),且间接光的可见性难处理。
LPV(Light Propagation Volumes)
思路:把空间切成 3D 网格,光照以"球谐系数"的形式在格子间传播。
1. 注入(Inject): 从 RSM 得到 VPL,注入到体素网格(存 SH 系数)
2. 传播(Propagate): 每个格子向 6 个邻居传播辐射度,迭代几次
3. 渲染(Render): 着色点查询所在格子的 SH,得到间接光传播:每个面用 2 阶 SH(4 个系数)表示方向性辐射度,迭代 次相当于 次弹射。
优缺点:
| 优点 | 缺点 |
|---|---|
| 快(全在 3D 纹理上操作,GPU 友好) | 漏光(体素分辨率有限,墙会漏) |
| 支持动态场景 | 只能表示低频(SH)→ 漫反射 GI 好,镜面差 |
| 多次弹射天然支持 | 传播有扩散(光会"糊"开) |
CryEngine 3 用过,是 2010 年前后的实时 GI 代表方案。
VXGI(Voxel Cone Tracing)
思路:把场景体素化成 3D 纹理(带 mipmap),用**锥形追踪(cone tracing)**查询间接光。
1. 体素化(Voxelization): 把场景光栅化到 3D 纹理,存 6 个方向的辐射度 + 不透明度
2. 生成 mipmap: 高层代表"更大范围的平均值"
3. 锥形追踪: 从着色点沿若干方向发射锥体
- 锥体越走越宽 → 采样越高的 mip 层
- 沿途累加权重和遮挡
4. 累加得到间接光锥形追踪示意:
p → ●
╱ ╲ ← 锥体半径随距离增大
╱ ╲ 采样 mip 层级也增大
╱ ╲关键洞察:锥体的宽度增长 = mipmap 层级的增长,所以一次步进就能采样一大片区域 —— 这本质上是对"半球积分"的高效近似。
| 优点 | 缺点 |
|---|---|
| 支持光泽反射(追踪方向可变) | 体素化开销大(动态场景每帧或定期重建) |
| 有遮挡(锥体追踪会累计遮挡) | 体素分辨率有限 → 细节丢失、漏光 |
| 质量好 | 内存占用大(3D 纹理) |
NVIDIA 在 UE4 里演示过,是 VXGI 的代表实现。
RTXGI(NVIDIA)
思路:用硬件光线追踪 + **光照探针(probe)**的混合。
1. 场景中布置 3D 探针网格(irradiance probe grid)
2. 每个探针用硬件 RT 发射若干光线,计算 irradiance 和可见性
3. 着色点查询周围 8 个探针,三线性插值
4. 时域累积 + 空间滤波降噪关键设计:
- 探针是持久的,跨帧累积 → 1~2 spp/帧也能收敛
- 可见性单独存储,避免漏光
- 自动放置(按几何密度)
这是当前工业界实时 GI 的主流方案之一(UE5 的 Lumen 也用了类似的探针思想,加上 SDF 追踪)。
预计算
precomputed radiance transfer(PRT)
见实时环境光照章节。
核心:把光照和"传输函数"(遮挡 + BRDF + 互反射)分离,传输函数离线预计算成 SH 系数。
运行时只需点积 → 极快,且光照可动态变化(日夜、天气)。
限制:场景几何必须静态。
light baking(光照烘焙)
思路:把光照结果离线算好,存进贴图。
离线(几小时):
用路径追踪算每个表面点的光照(含多次弹射、软阴影、AO)
存进 lightmap(一张覆盖所有静态几何的 2D 纹理,按 UV 展开)
运行时:
直接采样 lightmap,O(1)| 优点 | 缺点 |
|---|---|
| 质量极高(离线可以追踪几万次弹射) | 场景必须静态 |
| 运行时几乎免费 | 光照不能动态变化 |
| 软阴影、color bleeding 全都有 | 需要 UV 展开(lightmap UV),有接缝问题 |
| 内存占用(大场景 lightmap 很大) |
这是目前游戏里静态场景 GI 的标准方案(和实时 GI 混合使用)。
UE 的 Lightmass、Unity 的 Enlighten/Progressive Lightmapper 都是烘焙器。
现代混合方案
静态几何 + 静态光源 → 烘焙 lightmap(最好质量,零运行时成本)
动态物体 → 光照探针(SH 或 3D 纹理)插值
动态光源 → 实时 GI(SSGI / 探针 RT / Lumen)UE5 Lumen 是个典型:
- 近处:屏幕空间追踪 + SDF 追踪
- 远处/兜底:辐照度缓存(irradiance cache,本质是自适应探针)
- 硬件 RT 可选加速
各方案对比
| 方案 | 动态 | 质量 | 成本 | 漏光 |
|---|---|---|---|---|
| SSAO/SSDO | ✓ | 低(只有接触遮蔽) | 低 | — |
| SSR | ✓ | 中(镜面反射好) | 低 | — |
| RSM/VPL | ✓ | 中 | 中 | 有 |
| LPV | ✓ | 中低频 | 低 | 严重 |
| VXGI | ✓ | 中高 | 高 | 有 |
| RTXGI/DDGI | ✓ | 高 | 中(需 RT) | 少 |
| Lightmap | ✗ | 最高 | 运行时极低 | 无 |
| PRT | 部分 | 中 | 低 | 无 |
常见坑
- 屏幕空间技术的边缘缺失:必须做 fade out,否则会看到明显的"硬边"
- 漏光(light leaking):体素/探针分辨率不足时,光会穿过薄墙。薄墙要特殊处理(加厚或标记)
- 噪声:随机采样 + 样本不足 → 闪烁。必须配时域累积 + 降噪
- 时域累积的鬼影(ghosting):相机/物体移动时历史失效。要用 motion vector + disocclusion 检测
- lightmap 的 UV 接缝:相邻图块之间会有过滤缝隙,需要 padding / 特殊处理
- 探针的放置:均匀网格浪费(空旷区域放很多探针),自适应放置更好但复杂
- GI 的能量不守恒:多次弹射的近似常常导致整体偏亮或偏暗,需要手工调
- 动态物体没有 GI:只有静态物体进 lightmap,动态物体要用探针(会有"光照不匹配"的问题)
- 忘记间接光的可见性:RSM/VPL 不做可见性检查,会导致"墙后也被照亮"