实时光线追踪
核心矛盾
硬件光线追踪(RTX / DXR)能追踪光线,但一帧只能负担 1~2 spp(每像素 1~2 条光线)。
离线渲染: 几千 spp,无噪声
实时渲染: 1~2 spp,噪声极大(几乎不可用)所以实时光追的全部技术 = 如何用 1 spp 的采样得到干净的画面。
答案是:用时间和空间的复用换取采样数。
1 spp × 时间累积(几十帧) × 空间复用(邻域共享) ≈ 几十 spp 的效果backprojection(反投影)
问题:想把上一帧的信息复用到当前帧,需要知道"当前像素对应的表面点在上一帧的哪个像素"。
解法:反投影。
已知:
- 当前像素 (x, y)
- 当前帧的深度 → 重建世界坐标 P_world
- 上一帧的 view-projection 矩阵
- 该点的 motion vector
步骤:
1. 从深度缓冲重建 P_world
2. 应用 motion vector(如果该点是动态物体)
3. 用上一帧的 viewProj 投影 → 得到上一帧的屏幕坐标 (x', y')
4. 在 (x', y') 处采样上一帧的历史缓冲vec3 worldPos = reconstructWorldPos(uv, depth);
// 动态物体:加上运动偏移
vec4 prevClip = prevViewProj * vec4(worldPos, 1.0);
vec2 prevUV = (prevClip.xy / prevClip.w) * 0.5 + 0.5;关键:静态场景只需要相机的运动(用上一帧的 viewProj 即可);动态物体需要物体自身的运动(motion vector)。
motion vector
运动矢量记录"每个像素对应的表面点,从上一帧到当前帧在屏幕上移动了多少"。
mv = prevScreenPos - currentScreenPos来源:渲染时为每个物体输出:
// 顶点着色器输出
out.vClip = viewProj * worldPos;
out.vPrevClip = prevViewProj * prevWorldPos; // 上一帧的模型矩阵
// 片元中
vec2 curr = (vClip.xy / vClip.w) * 0.5 + 0.5;
vec2 prev = (vPrevClip.xy / vPrevClip.w) * 0.5 + 0.5;
motionVector = prev - curr;注意:需要保存上一帧的模型矩阵(skin/morph 动画还需要上一帧的顶点位置)。
应用:
- 时域抗锯齿(TAA)
- 时域累积降噪(本页的主题)
- 动态模糊
- 帧插值(DLSS 3 的帧生成)
坑:motion vector 本身是屏幕空间的,快速移动或旋转时会失效(物体"瞬移"),需要专门的鲁棒性处理。
temporal accumulation(时域累积)
核心:把多帧的采样混合起来。
其中 是混合率(通常 0.05~0.2)。
指数移动平均 → 等效样本数约为( 相当于约 10 spp)。
但这需要"历史是有效的":
| 情况 | 有效性 |
|---|---|
| 相机静止、场景静止 | ✓ 直接复用 |
| 相机移动、场景静止 | ✓ 反投影后复用 |
| 场景有动态物体 | ✓ 用 motion vector 反投影 |
| 新出现的区域(disocclusion) | ✗ 历史无效 |
| 光照突变 | ✗ 历史过期 |
disocclusion(去遮挡)
相机右移
t-1: [A][A][B][B] A 挡住 B
t: [A][A][A][B] A 移开,露出 B 的一部分
B 新露出的部分在上一帧被 A 挡住 → 没有有效的历史 → 会留下 A 的颜色(鬼影)检测与处理:
1. 比较深度:反投影后,上一帧那个像素对应的表面深度 vs 当前深度
差异太大 → 无效
2. 比较法线:法线差异太大 → 无效
3. 比较材质 ID:不同物体 → 无效
4. 无效时:
a. 降低历史权重(快速收敛,但有噪声)
b. 用更大的空间滤波(借用邻居)
c. 直接丢弃历史(噪声大)float depthSimilarity = exp(-abs(prevLinearDepth - currLinearDepth) * k);
float normalSimilarity = max(0.0, dot(prevNormal, currNormal));
float valid = depthSimilarity * normalSimilarity;
alpha = mix(1.0, baseAlpha, valid); // 相似度低 → alpha 大 → 更信任新样本鬼影(Ghosting)
时域累积最大的副作用:物体移动后,旧的影像"粘"在上面。
缓解:
- Disocclusion 检测(上)
- Neighborhood clamping:把历史颜色"夹"到当前帧邻域的颜色范围内(AABB 或方差裁剪)
- 动态物体单独处理(不累积或用更快的收敛)
joint bilateral filtering(联合双边滤波)
目标:用邻域像素的信息降噪,但不跨越不连续性(否则边缘会糊)。
双边滤波:不仅考虑空间距离,还考虑值的差异。
| 项 | 作用 |
|---|---|
| (空间核) | 距离越远权重越小 |
| (值域核) | 颜色/深度/法线差异越大权重越小 |
"联合"(Joint):引导信息来自另一个缓冲(G-buffer 的深度、法线、材质 ID),而不是被滤波的颜色本身。
为什么这很关键:被滤波的信号(1 spp 的光追结果)噪声极大,用它自己做引导会失效。而深度和法线是干净的(来自 G-buffer,无噪声)——用它们做引导,就能精确保持几何边缘。
引导缓冲(干净): 深度、法线、材质 ID、albedo
被滤波(有噪声): 光追的辐照度/阴影/反射实现:可分离的双边滤波(先水平后垂直)+ 下采样,能实时。
denoising(降噪)
现代实时光追降噪的完整流程:
1 spp 光追结果(噪声极大)
│
├─ 时域累积(反投影 + motion vector + disocclusion 检测)
│
├─ 空间滤波(联合双边 / à-trous wavelet)
│
├─ (可选)方差估计与自适应滤波半径
│
└─ 输出à-trous 小波滤波
SVGF 用的方法:可分离、多尺度的边缘保持滤波。
第 i 轮: 步长 = 2^i,用 5×5 的核但只取十字上的 5 个抽头
(因为步长是 2^i,虽然只有 5 个采样,覆盖范围却是指数增长的)优势: 轮就能覆盖很大的邻域,每轮只有 5 次采样。
边缘保持:每轮都做联合双边(用深度、法线、luminance 方差引导)。
方差估计
问题:噪声的水平在空间上不均匀(阴影边缘噪声大,平坦区域小)。
解法:
- 用时域估计每个像素的方差(累积历史的二阶矩)
- 方差大的地方 → 用更大的滤波半径
- 方差小的地方 → 少滤波(保留细节)
这是 SVGF 的核心贡献之一:自适应滤波。
svgf(Spatiotemporal Variance-Guided Filtering)
Schied et al. 2017,实时光追降噪的经典方案。
流程:
1. 时域累积(带 variance 累积)
- 反投影 + disocclusion 检测
- 同时累积一阶矩和二阶矩 → 得到方差
2. à-trous 小波空间滤波(多轮)
- 每轮用 5-tap 十字核,步长 2^i
- 联合双边引导:
* 深度差
* 法线差
* luminance 差(用累积的方差归一化)
- 方差越大 → 滤波权重越大
3. 输出关键设计:
| 设计 | 解决的问题 |
|---|---|
| 时域方差累积 | 知道每个像素有多噪 |
| à-trous 多尺度 | 大范围滤波但便宜 |
| 方差引导的滤波权重 | 噪声多的地方多滤,少的地方保细节 |
| luminance 引导 | 防止颜色边缘渗色 |
效果:1 spp 的 path tracing 降噪后接近几百 spp 的效果。
代价:约 3~5 ms(1080p),这在 16 ms 预算里是可接受的。
rae(ReSTIR 系列 / Reservoir-based)
注:ReSTIR(Reservoir-based Spatiotemporal Importance Resampling)是采样层面的复用,不是滤波。
核心思想
Reservoir Sampling(蓄水池采样):用固定内存从流式数据中等概率采样。
维护一个 reservoir: {样本 y, 权重 w, 已见样本数 M}
看到新样本 x_i,权重 w_i:
以概率 w_i / (w_sum + w_i) 替换当前样本
更新 w_sum += w_i, M += 1关键性质:无论处理多少样本,内存恒定,且最终样本服从按权重的重要性分布。
ReSTIR 的做法
目标:直接光照的采样。
1. Initial candidate sampling:
每个像素随机选 M 个光源候选,用 reservoir 选出最好的一个
2. Temporal reuse:
把自己的 reservoir 和"上一帧对应像素的 reservoir"合并
→ 有效候选数翻倍(不增加新的光线追踪!)
3. Spatial reuse:
和邻域若干像素的 reservoir 合并(用深度/法线做相似性检验)
→ 有效候选数再翻倍
4. Shading:
用最终 reservoir 里的样本做着色(需要重新评估可见性)惊人的效果:每个像素只追踪 1 条光线,但有效采样数可以达到几百(因为复用了时空邻居的候选)。
为什么这是突破:
传统: 1 spp = 1 个样本
ReSTIR: 1 spp + 时空复用 = 数百个有效样本关键难点:可见性重估。复用别人的样本时,那个样本对自己的像素可能不可见,需要重新追踪一条 shadow ray 验证(并用 MIS 修正权重)。
Bias 问题:空间复用会引入偏差(邻居的样本不是按本像素的分布采样的)。实践中偏差很小(通过 MIS 权重修正),但严格来说是有偏的。
ReSTIR GI(2021 扩展):把同样的思想用于间接光的路径采样。
ReSTIR PT(2022):用于完整路径追踪,效果更好但更复杂。
完整管线:一个实时光追 GI 系统
G-buffer pass: 深度、法线、材质 ID、motion vector
│
Direct RT pass: 1 spp 直接光照(ReSTIR 或直接采样)
│
Indirect RT pass: 1 spp 间接光照
│
Denoise pass:
- 时域累积(反投影 + disocclusion)
- SVGF / 联合双边滤波
│
Composite: 与光栅化的结果合成
│
TAA / Upscale各技术的定位
| 技术 | 解决的问题 | 层次 |
|---|---|---|
| Backprojection | 找到历史像素 | 基础设施 |
| Motion Vector | 处理动态物体 | 基础设施 |
| Temporal Accumulation | 跨帧增加样本 | 采样复用 |
| Joint Bilateral | 空间降噪保边 | 滤波 |
| SVGF | 完整的时空降噪 | 滤波 |
| ReSTIR | 时空复用采样(不是滤波) | 采样 |
| DLSS/FSR | 低分辨率渲染 + 超分 | 超采样 |
ReSTIR 和 SVGF 是互补的,不是替代关系:
- ReSTIR 在采样层面提高质量(减少噪声的产生)
- SVGF 在滤波层面去除残留噪声
现代引擎两者都用。
常见坑
- 鬼影:disocclusion 检测不彻底。深度阈值要按距离缩放(远处的深度差更大)
- motion vector 错误:忘记更新上一帧矩阵 → 整个时域累积失效,画面变糊
- 反投影的精度:低精度深度缓冲(16 bit)在远处反投影误差大,会导致鬼影
- 镜面反射的动态物体:反射里的东西 motion vector 很难算(要"反射空间的 motion"),通常只能接受一些鬼影
- 时域累积的收敛速度 vs 稳定性的权衡: 小 → 干净但拖影; 大 → 响应快但噪
- 空间滤波的过模糊:滤波半径太大会丢失细节(接触阴影、细小几何)
- 方差估计失效:场景突变时方差估计本身也过期 → 需要重置
- ReSTIR 的偏差:严格来说有偏,在极端情况下(强光源 + 快速移动)会出现闪烁或能量不守恒
- 1 spp 无法处理的情况:极小的光源(采样命中概率极低)会持续闪烁,需要特殊处理(光源的解析可见性、光源分层)
- 透明/半透明的时域:多层透明需要分别处理深度,单层 motion vector 不够