实时环境光照
要解决什么
环境光照(Environment Lighting / IBL, Image-Based Lighting):用一张环境贴图(cubemap / 全景图)表示"来自四面八方的光",代替若干离散光源。
渲染方程在这种情形变成:
这个积分对每个像素、每个视角都要求一次半球积分——实时渲染完全负担不起。
所以 IBL 的全部技术,都是如何把这个积分拆开、预计算、降维。
prefiltering
核心观察
积分里有两项:环境的 和材质的。
如果 BRDF 是漫反射(常数):
积分只依赖法线 → 可以预计算成一个只依赖法线的函数。
预计算:对环境贴图按余弦核做卷积,得到一张辐照度图(很模糊,因为余弦核很宽)。
漫反射环境光查询:
直接采样 irradiance map(按法线),O(1)漫反射 IBL 的实现
// 预计算(离线或启动时):对 cubemap 每个方向做余弦卷积
vec3 irradiance = vec3(0.0);
for (/* 半球上采样 N 个方向 */) {
vec3 dir = ...;
irradiance += texture(envMap, dir).rgb * max(0.0, dot(n, dir));
}
irradiance /= N;
// 运行时
vec3 diffuse = albedo * texture(irradianceMap, N).rgb;为什么这么模糊:余弦核 在球面上很宽,卷积后高频全没了 → 辐照度图只需要很低的分辨率(32×32 就够)。这也是它便宜的原因。
光泽(Glossy)BRDF 怎么办
BRDF 不再是常数,积分依赖 视角 o 和 粗糙度,无法只按法线预计算。
关键技巧:Split Sum(分割和近似)。
split sum
推导
近似假设: 在 BRDF 的波瓣(lobe)内变化不大,可以"提出来"。
这个近似在 BRDF 波瓣较窄(光滑表面)或环境光较均匀时非常准——正好覆盖实际需要的场景。
① 预过滤的环境光(Prefiltered Environment Map)
按不同粗糙度预生成一系列模糊的 cubemap:
roughness = 0.0 → 清晰(镜面)
roughness = 0.25 → 略模糊
roughness = 0.5 → 更模糊
roughness = 1.0 → 非常模糊(接近辐照度图)存在 mipmap 链里,按 roughness 选择 mip 层级。
采样方向:镜面反射方向。
vec3 R = reflect(-V, N);
float mip = roughness * MAX_REFLECTION_LOD;
vec3 prefiltered = textureLod(prefilterMap, R, mip).rgb;② BRDF 积分(BRDF LUT)
这个积分只依赖三个量:
- (视角与法线夹角)
- roughness
- (菲涅尔基础反射率)
再拆一次(把 提出来,因为 Fresnel 近似为):
其中 只依赖 → 可以预计算成一张 2D 查找表(LUT)。
// 预计算的 BRDF LUT:横轴 cos(theta_v),纵轴 roughness
vec2 AB = texture(brdfLUT, vec2(max(dot(N,V), 0.0), roughness)).rg;
vec3 specular = prefiltered * (F0 * AB.x + AB.y);完整的 IBL 着色
vec3 IBL(vec3 N, vec3 V, vec3 albedo, float roughness, float metallic) {
vec3 F0 = mix(vec3(0.04), albedo, metallic);
vec3 R = reflect(-V, N);
// 漫反射
vec3 kD = (1.0 - F0) * (1.0 - metallic);
vec3 irradiance = texture(irradianceMap, N).rgb;
vec3 diffuse = kD * albedo * irradiance;
// 镜面(Split Sum)
float mip = roughness * MAX_LOD;
vec3 prefiltered = textureLod(prefilterMap, R, mip).rgb;
vec2 AB = texture(brdfLUT, vec2(max(dot(N,V), 0.0), roughness)).rg;
vec3 F = F0 * AB.x + AB.y;
vec3 specular = prefiltered * F;
return diffuse + specular;
}总代价:3 次纹理采样(辐照度图、预滤波图、BRDF LUT)。极便宜,这是 IBL 能成为 PBR 标准方案的原因。
球谐函数(SH, Spherical Harmonics)
另一种表示环境光的方式
把环境光(或辐照度)展开成球谐基函数的系数:
| 阶数 | 系数个数 | 能表示的频率 | 用途 |
|---|---|---|---|
| 2 阶 | 4 | 极低频 | 辐照度(漫反射环境光) |
| 3 阶 | 9 | 低频 | 常用(每通道 9 个 float) |
| 4 阶 | 16 | — | — |
| 6 阶 | 36 | 中频 | 精细光照 |
关键结论:** irradiance(漫反射环境光)用 3 阶 SH(9 个系数)就能表示得极好**——因为余弦卷积把高频全滤掉了。
这是 Ramamoorthi & Hanrahan 2001 的经典结果。
SH 的优点
- 卷积 = 系数乘法(球谐函数下卷积变成逐系数乘法)
- 旋转不变:旋转场景只需变换系数,不用重算
- 紧凑:9 个 float 表示一整个环境
- 可插值:多个探针的 SH 系数可以线性混合
SH 的缺点
- 高频丢失:镜面反射用 SH 不行(要 L2 以上才有细节,且会振铃)
- 全局支撑:局部光源会产生全场的振铃(ringing)
应用:
- 光照探针(Light Probe):场景中布若干探针,每个存 SH 系数,运行时插值
- PRT(Precomputed Radiance Transfer)
- GI 的低频部分
PRT(Precomputed Radiance Transfer)
处理"环境光 + 复杂遮挡(阴影/AO/互反射)"。
把渲染方程拆成三部分:
核心思想:把"光照"和"场景的传输特性"分开。
- 传输函数(含遮挡、BRDF、互反射)是场景固有的,可预计算
- 光照 可以运行时变化
用 SH 展开后变成向量点积——极快。
优势:光照可以实时改变(换时间、换天气),而阴影/AO/互反射都是预计算好的。
代价:
- 场景必须静态(几何不能变,否则传输函数要重算)
- 预计算开销大
Diffuse PRT:用 SH,效果极好(漫反射本身就是低频)。 Glossy PRT:视角相关,传输函数是矩阵(不是向量),开销大。
环境光的遮挡问题
IBL 假设"半球上所有方向的光都能到达",但实际有遮挡 → 会显得"太亮、太平"。
解法:
| 方法 | 思路 |
|---|---|
| AO(Ambient Occlusion) | 预计算或屏幕空间估计遮蔽程度 |
| 环境光阴影 | 用 SDF 或 shadow map 对几个方向做遮挡 |
| 预计算可见性 | PRT 的一部分 |
| Bent Normal | 记录"平均未被遮挡的方向",用它采样环境贴图 |
Bent Normal 是个好技巧:不只记录遮蔽程度,还记录"光主要从哪来",用它代替法线采样 irradiance map,效果好很多。
实现清单
离线 / 启动时:
1. 环境贴图(cubemap,HDR)
2. 卷积生成 irradiance map(按余弦核,低分辨率)
3. 按 roughness 生成 prefiltered map 的 mip 链
4. 积分生成 BRDF LUT(2D,cos_theta_v × roughness)
运行时(每像素):
- 采样 irradiance map(按 N) → 漫反射
- 采样 prefiltered map(按 R, roughness)
- 采样 BRDF LUT(按 NdotV, roughness)
- 组合注意 HDR:环境贴图必须是 HDR(.hdr / .exr,float 或 RGBE 编码),因为太阳的亮度可能是天空的几千倍。用 LDR 会丢失所有高光细节。
常见坑
- Split Sum 的假设失效:非常粗糙的表面 + 高频环境时,误差明显。UE4 会加一个额外的修正项
- 忘了 HDR:LDR 环境贴图完全出不来效果
- prefilter 的采样不足:高 roughness 时波瓣很宽,需要很多样本。工业界用重要性采样 + mipmap
- BRDF LUT 的坐标:是,别搞反
- 金属与非金属:金属没有漫反射(albedo 全部进 F0),
kD = 1 - metallic的处理要对 - SH 的振铃:局部强光源用低阶 SH 会产生负值和振铃
- PRT 的静态限制:动态物体无法用(传输函数会变)
- 环境光不考虑自遮挡:结果太平,必须配合 AO
- 多探针混合的漏光:探针插值时如果穿墙,会把室外的光漏进室内。需要可见性权重