实时环境光照

要解决什么

环境光照(Environment Lighting / IBL, Image-Based Lighting):用一张环境贴图(cubemap / 全景图)表示"来自四面八方的光",代替若干离散光源。

渲染方程在这种情形变成:

Lo(o)=∫ΩLi(i) fr(i,o) (n⋅i) diL_o(\mathbf{o}) = \int_{\Omega} L_i(\mathbf{i})\, f_r(\mathbf{i}, \mathbf{o})\, (\mathbf{n}\cdot\mathbf{i})\, d\mathbf{i}

这个积分对每个像素、每个视角都要求一次半球积分——实时渲染完全负担不起。

所以 IBL 的全部技术,都是如何把这个积分拆开、预计算、降维。

prefiltering

核心观察

积分里有两项:环境的LiL_i 和材质的frf_r。

如果 BRDF 是漫反射(常数ρ/π\rho/\pi):

Lo=ρπ∫ΩLi(i) (n⋅i) di=ρπ⋅E(n)L_o = \frac{\rho}{\pi} \int_{\Omega} L_i(\mathbf{i})\,(\mathbf{n}\cdot\mathbf{i})\, d\mathbf{i} = \frac{\rho}{\pi} \cdot E(\mathbf{n})

积分只依赖法线n\mathbf{n} → 可以预计算成一个只依赖法线的函数。

E(n)=∫ΩLi(i) (n⋅i) di叫 Irradiance Environment MapE(\mathbf{n}) = \int_{\Omega} L_i(\mathbf{i})\,(\mathbf{n}\cdot\mathbf{i})\, d\mathbf{i} \quad \text{叫 Irradiance Environment Map}

预计算:对环境贴图按余弦核做卷积,得到一张辐照度图(很模糊,因为余弦核很宽)。

漫反射环境光查询:
  直接采样 irradiance map(按法线),O(1)

漫反射 IBL 的实现

// 预计算(离线或启动时):对 cubemap 每个方向做余弦卷积
vec3 irradiance = vec3(0.0);
for (/* 半球上采样 N 个方向 */) {
    vec3 dir = ...;
    irradiance += texture(envMap, dir).rgb * max(0.0, dot(n, dir));
}
irradiance /= N;

// 运行时
vec3 diffuse = albedo * texture(irradianceMap, N).rgb;

为什么这么模糊:余弦核cos⁡θ\cos\theta 在球面上很宽,卷积后高频全没了 → 辐照度图只需要很低的分辨率(32×32 就够)。这也是它便宜的原因。

光泽(Glossy)BRDF 怎么办

BRDF 不再是常数,积分依赖 视角 o 和 粗糙度,无法只按法线预计算。

关键技巧:Split Sum(分割和近似)。

split sum

推导

Lo(o)=∫Li(i)fr(i,o)cos⁡θi di≈(∫Li(i)frcos⁡θi di∫frcos⁡θi di)⏟① 预过滤的环境光×(∫fr(i,o)cos⁡θi di)⏟② BRDF 积分\begin{aligned} L_o(\mathbf{o}) &= \int L_i(\mathbf{i}) f_r(\mathbf{i}, \mathbf{o}) \cos\theta_i \, d\mathbf{i} \\ &\approx \underbrace{\left(\frac{\int L_i(\mathbf{i}) f_r \cos\theta_i \, d\mathbf{i}}{\int f_r \cos\theta_i \, d\mathbf{i}}\right)}_{\text{① 预过滤的环境光}} \times \underbrace{\left(\int f_r(\mathbf{i},\mathbf{o}) \cos\theta_i \, d\mathbf{i}\right)}_{\text{② BRDF 积分}} \end{aligned}

近似假设:LiL_i 在 BRDF 的波瓣(lobe)内变化不大,可以"提出来"。

这个近似在 BRDF 波瓣较窄(光滑表面)或环境光较均匀时非常准——正好覆盖实际需要的场景。

① 预过滤的环境光(Prefiltered Environment Map)

按不同粗糙度预生成一系列模糊的 cubemap:

roughness = 0.0  → 清晰(镜面)
roughness = 0.25 → 略模糊
roughness = 0.5  → 更模糊
roughness = 1.0  → 非常模糊(接近辐照度图)

存在 mipmap 链里,按 roughness 选择 mip 层级。

采样方向:镜面反射方向r=reflect(−v,n)\mathbf{r} = \text{reflect}(-\mathbf{v}, \mathbf{n})。

vec3 R = reflect(-V, N);
float mip = roughness * MAX_REFLECTION_LOD;
vec3 prefiltered = textureLod(prefilterMap, R, mip).rgb;

② BRDF 积分(BRDF LUT)

∫fr(i,o)cos⁡θi di\int f_r(\mathbf{i},\mathbf{o}) \cos\theta_i \, d\mathbf{i}

这个积分只依赖三个量:

  • cos⁡θv=n⋅v\cos\theta_v = \mathbf{n}\cdot\mathbf{v}(视角与法线夹角)
  • roughness
  • F0F_0(菲涅尔基础反射率)

再拆一次(把F0F_0 提出来,因为 Fresnel 近似为F0+(1−F0)(1−cos⁡θ)5F_0 + (1-F_0)(1-\cos\theta)^5):

∫frcos⁡ di≈F0⋅A+B\int f_r \cos \, d\mathbf{i} \approx F_0 \cdot A + B

其中A,BA, B 只依赖(cos⁡θv,roughness)(\cos\theta_v, \text{roughness}) → 可以预计算成一张 2D 查找表(LUT)。

// 预计算的 BRDF LUT:横轴 cos(theta_v),纵轴 roughness
vec2 AB = texture(brdfLUT, vec2(max(dot(N,V), 0.0), roughness)).rg;
vec3 specular = prefiltered * (F0 * AB.x + AB.y);

完整的 IBL 着色

vec3 IBL(vec3 N, vec3 V, vec3 albedo, float roughness, float metallic) {
    vec3 F0 = mix(vec3(0.04), albedo, metallic);
    vec3 R = reflect(-V, N);

    // 漫反射
    vec3 kD = (1.0 - F0) * (1.0 - metallic);
    vec3 irradiance = texture(irradianceMap, N).rgb;
    vec3 diffuse = kD * albedo * irradiance;

    // 镜面(Split Sum)
    float mip = roughness * MAX_LOD;
    vec3 prefiltered = textureLod(prefilterMap, R, mip).rgb;
    vec2 AB = texture(brdfLUT, vec2(max(dot(N,V), 0.0), roughness)).rg;
    vec3 F = F0 * AB.x + AB.y;
    vec3 specular = prefiltered * F;

    return diffuse + specular;
}

总代价:3 次纹理采样(辐照度图、预滤波图、BRDF LUT)。极便宜,这是 IBL 能成为 PBR 标准方案的原因。

球谐函数(SH, Spherical Harmonics)

另一种表示环境光的方式

把环境光(或辐照度)展开成球谐基函数的系数:

L(ω)≈∑l=0n∑m=−llclmYlm(ω)L(\omega) \approx \sum_{l=0}^{n} \sum_{m=-l}^{l} c_{lm} Y_{lm}(\omega)

阶数系数个数能表示的频率用途
2 阶4极低频辐照度(漫反射环境光)
3 阶9低频常用(每通道 9 个 float)
4 阶16——
6 阶36中频精细光照

关键结论:** irradiance(漫反射环境光)用 3 阶 SH(9 个系数)就能表示得极好**——因为余弦卷积把高频全滤掉了。

这是 Ramamoorthi & Hanrahan 2001 的经典结果。

SH 的优点

  • 卷积 = 系数乘法(球谐函数下卷积变成逐系数乘法)
  • 旋转不变:旋转场景只需变换系数,不用重算
  • 紧凑:9 个 float 表示一整个环境
  • 可插值:多个探针的 SH 系数可以线性混合

SH 的缺点

  • 高频丢失:镜面反射用 SH 不行(要 L2 以上才有细节,且会振铃)
  • 全局支撑:局部光源会产生全场的振铃(ringing)

应用:

  • 光照探针(Light Probe):场景中布若干探针,每个存 SH 系数,运行时插值
  • PRT(Precomputed Radiance Transfer)
  • GI 的低频部分

PRT(Precomputed Radiance Transfer)

处理"环境光 + 复杂遮挡(阴影/AO/互反射)"。

把渲染方程拆成三部分:

Lo=L(光照)⏟可变⊗T(传输)⏟预计算⋅V(可见性)⏟预计算L_o = \underbrace{L(\text{光照})}_{\text{可变}} \otimes \underbrace{T(\text{传输})}_{\text{预计算}} \cdot \underbrace{V(\text{可见性})}_{\text{预计算}}

核心思想:把"光照"和"场景的传输特性"分开。

  • 传输函数TT(含遮挡、BRDF、互反射)是场景固有的,可预计算
  • 光照LL 可以运行时变化

Lo(x)=∫L(ω) T(x,ω) dω≈LT⋅T(x)L_o(\mathbf{x}) = \int L(\omega) \, T(\mathbf{x}, \omega) \, d\omega \approx \mathbf{L}^T \cdot \mathbf{T}(\mathbf{x})

用 SH 展开后变成向量点积——极快。

优势:光照可以实时改变(换时间、换天气),而阴影/AO/互反射都是预计算好的。

代价:

  • 场景必须静态(几何不能变,否则传输函数要重算)
  • 预计算开销大

Diffuse PRT:用 SH,效果极好(漫反射本身就是低频)。 Glossy PRT:视角相关,传输函数是矩阵(不是向量),开销大。

环境光的遮挡问题

IBL 假设"半球上所有方向的光都能到达",但实际有遮挡 → 会显得"太亮、太平"。

解法:

方法思路
AO(Ambient Occlusion)预计算或屏幕空间估计遮蔽程度
环境光阴影用 SDF 或 shadow map 对几个方向做遮挡
预计算可见性PRT 的一部分
Bent Normal记录"平均未被遮挡的方向",用它采样环境贴图

Bent Normal 是个好技巧:不只记录遮蔽程度,还记录"光主要从哪来",用它代替法线采样 irradiance map,效果好很多。

实现清单

离线 / 启动时:
  1. 环境贴图(cubemap,HDR)
  2. 卷积生成 irradiance map(按余弦核,低分辨率)
  3. 按 roughness 生成 prefiltered map 的 mip 链
  4. 积分生成 BRDF LUT(2D,cos_theta_v × roughness)

运行时(每像素):
  - 采样 irradiance map(按 N)     → 漫反射
  - 采样 prefiltered map(按 R, roughness)
  - 采样 BRDF LUT(按 NdotV, roughness)
  - 组合

注意 HDR:环境贴图必须是 HDR(.hdr / .exr,float 或 RGBE 编码),因为太阳的亮度可能是天空的几千倍。用 LDR 会丢失所有高光细节。

常见坑

  • Split Sum 的假设失效:非常粗糙的表面 + 高频环境时,误差明显。UE4 会加一个额外的修正项
  • 忘了 HDR:LDR 环境贴图完全出不来效果
  • prefilter 的采样不足:高 roughness 时波瓣很宽,需要很多样本。工业界用重要性采样 + mipmap
  • BRDF LUT 的坐标:是(cos⁡θv,roughness)(\cos\theta_v, \text{roughness}),别搞反
  • 金属与非金属:金属没有漫反射(albedo 全部进 F0),kD = 1 - metallic 的处理要对
  • SH 的振铃:局部强光源用低阶 SH 会产生负值和振铃
  • PRT 的静态限制:动态物体无法用(传输函数会变)
  • 环境光不考虑自遮挡:结果太平,必须配合 AO
  • 多探针混合的漏光:探针插值时如果穿墙,会把室外的光漏进室内。需要可见性权重