实时光线追踪

核心矛盾

硬件光线追踪(RTX / DXR)能追踪光线,但一帧只能负担 1~2 spp(每像素 1~2 条光线)。

离线渲染:  几千 spp,无噪声
实时渲染:  1~2 spp,噪声极大(几乎不可用)

所以实时光追的全部技术 = 如何用 1 spp 的采样得到干净的画面。

答案是:用时间和空间的复用换取采样数。

1 spp × 时间累积(几十帧) × 空间复用(邻域共享)  ≈  几十 spp 的效果

backprojection(反投影)

问题:想把上一帧的信息复用到当前帧,需要知道"当前像素对应的表面点在上一帧的哪个像素"。

解法:反投影。

已知:
  - 当前像素 (x, y)
  - 当前帧的深度 → 重建世界坐标 P_world
  - 上一帧的 view-projection 矩阵
  - 该点的 motion vector

步骤:
  1. 从深度缓冲重建 P_world
  2. 应用 motion vector(如果该点是动态物体)
  3. 用上一帧的 viewProj 投影 → 得到上一帧的屏幕坐标 (x', y')
  4. 在 (x', y') 处采样上一帧的历史缓冲
vec3 worldPos = reconstructWorldPos(uv, depth);
// 动态物体:加上运动偏移
vec4 prevClip = prevViewProj * vec4(worldPos, 1.0);
vec2 prevUV = (prevClip.xy / prevClip.w) * 0.5 + 0.5;

关键:静态场景只需要相机的运动(用上一帧的 viewProj 即可);动态物体需要物体自身的运动(motion vector)。

motion vector

运动矢量记录"每个像素对应的表面点,从上一帧到当前帧在屏幕上移动了多少"。

mv = prevScreenPos - currentScreenPos

来源:渲染时为每个物体输出:

// 顶点着色器输出
out.vClip    = viewProj * worldPos;
out.vPrevClip = prevViewProj * prevWorldPos;   // 上一帧的模型矩阵

// 片元中
vec2 curr = (vClip.xy / vClip.w) * 0.5 + 0.5;
vec2 prev = (vPrevClip.xy / vPrevClip.w) * 0.5 + 0.5;
motionVector = prev - curr;

注意:需要保存上一帧的模型矩阵(skin/morph 动画还需要上一帧的顶点位置)。

应用:

  • 时域抗锯齿(TAA)
  • 时域累积降噪(本页的主题)
  • 动态模糊
  • 帧插值(DLSS 3 的帧生成)

坑:motion vector 本身是屏幕空间的,快速移动或旋转时会失效(物体"瞬移"),需要专门的鲁棒性处理。

temporal accumulation(时域累积)

核心:把多帧的采样混合起来。

C(t)=α⋅Cnew(t)+(1−α)⋅Caccumulated(t−1)C^{(t)} = \alpha \cdot C^{(t)}_{\text{new}} + (1 - \alpha) \cdot C^{(t-1)}_{\text{accumulated}}

其中α\alpha 是混合率(通常 0.05~0.2)。

指数移动平均 → 等效样本数约为1/α1/\alpha(α=0.1\alpha=0.1 相当于约 10 spp)。

但这需要"历史是有效的":

情况有效性
相机静止、场景静止✓ 直接复用
相机移动、场景静止✓ 反投影后复用
场景有动态物体✓ 用 motion vector 反投影
新出现的区域(disocclusion)✗ 历史无效
光照突变✗ 历史过期

disocclusion(去遮挡)

        相机右移
t-1:  [A][A][B][B]     A 挡住 B
t:    [A][A][A][B]     A 移开,露出 B 的一部分

B 新露出的部分在上一帧被 A 挡住 → 没有有效的历史 → 会留下 A 的颜色(鬼影)

检测与处理:

1. 比较深度:反投影后,上一帧那个像素对应的表面深度 vs 当前深度
   差异太大 → 无效
2. 比较法线:法线差异太大 → 无效
3. 比较材质 ID:不同物体 → 无效
4. 无效时:
   a. 降低历史权重(快速收敛,但有噪声)
   b. 用更大的空间滤波(借用邻居)
   c. 直接丢弃历史(噪声大)
float depthSimilarity = exp(-abs(prevLinearDepth - currLinearDepth) * k);
float normalSimilarity = max(0.0, dot(prevNormal, currNormal));
float valid = depthSimilarity * normalSimilarity;
alpha = mix(1.0, baseAlpha, valid);      // 相似度低 → alpha 大 → 更信任新样本

鬼影(Ghosting)

时域累积最大的副作用:物体移动后,旧的影像"粘"在上面。

缓解:

  • Disocclusion 检测(上)
  • Neighborhood clamping:把历史颜色"夹"到当前帧邻域的颜色范围内(AABB 或方差裁剪)
  • 动态物体单独处理(不累积或用更快的收敛)

joint bilateral filtering(联合双边滤波)

目标:用邻域像素的信息降噪,但不跨越不连续性(否则边缘会糊)。

双边滤波:不仅考虑空间距离,还考虑值的差异。

J(p)=1W∑q∈Ωf(∣p−q∣)⋅g(∥I(p)−I(q)∥)⋅C(q)J(p) = \frac{1}{W} \sum_{q \in \Omega} f(|p - q|) \cdot g(\|I(p) - I(q)\|) \cdot C(q)

项作用
ff(空间核)距离越远权重越小
gg(值域核)颜色/深度/法线差异越大权重越小

"联合"(Joint):引导信息来自另一个缓冲(G-buffer 的深度、法线、材质 ID),而不是被滤波的颜色本身。

为什么这很关键:被滤波的信号(1 spp 的光追结果)噪声极大,用它自己做引导会失效。而深度和法线是干净的(来自 G-buffer,无噪声)——用它们做引导,就能精确保持几何边缘。

引导缓冲(干净):  深度、法线、材质 ID、albedo
被滤波(有噪声):  光追的辐照度/阴影/反射

实现:可分离的双边滤波(先水平后垂直)+ 下采样,能实时。

denoising(降噪)

现代实时光追降噪的完整流程:

1 spp 光追结果(噪声极大)
     │
     ├─ 时域累积(反投影 + motion vector + disocclusion 检测)
     │
     ├─ 空间滤波(联合双边 / à-trous wavelet)
     │
     ├─ (可选)方差估计与自适应滤波半径
     │
     └─ 输出

à-trous 小波滤波

SVGF 用的方法:可分离、多尺度的边缘保持滤波。

第 i 轮:  步长 = 2^i,用 5×5 的核但只取十字上的 5 个抽头
          (因为步长是 2^i,虽然只有 5 个采样,覆盖范围却是指数增长的)

优势:O(log⁡n)O(\log n) 轮就能覆盖很大的邻域,每轮只有 5 次采样。

边缘保持:每轮都做联合双边(用深度、法线、luminance 方差引导)。

方差估计

问题:噪声的水平在空间上不均匀(阴影边缘噪声大,平坦区域小)。

解法:

  • 用时域估计每个像素的方差(累积历史的二阶矩)
  • 方差大的地方 → 用更大的滤波半径
  • 方差小的地方 → 少滤波(保留细节)

μ1=αx+(1−α)μ1,μ2=αx2+(1−α)μ2\mu_1 = \alpha x + (1-\alpha)\mu_1, \quad \mu_2 = \alpha x^2 + (1-\alpha)\mu_2

Var=μ2−μ12\text{Var} = \mu_2 - \mu_1^2

这是 SVGF 的核心贡献之一:自适应滤波。

svgf(Spatiotemporal Variance-Guided Filtering)

Schied et al. 2017,实时光追降噪的经典方案。

流程:

1. 时域累积(带 variance 累积)
   - 反投影 + disocclusion 检测
   - 同时累积一阶矩和二阶矩 → 得到方差

2. à-trous 小波空间滤波(多轮)
   - 每轮用 5-tap 十字核,步长 2^i
   - 联合双边引导:
       * 深度差
       * 法线差
       * luminance 差(用累积的方差归一化)
   - 方差越大 → 滤波权重越大

3. 输出

关键设计:

设计解决的问题
时域方差累积知道每个像素有多噪
à-trous 多尺度大范围滤波但便宜
方差引导的滤波权重噪声多的地方多滤,少的地方保细节
luminance 引导防止颜色边缘渗色

效果:1 spp 的 path tracing 降噪后接近几百 spp 的效果。

代价:约 3~5 ms(1080p),这在 16 ms 预算里是可接受的。

rae(ReSTIR 系列 / Reservoir-based)

注:ReSTIR(Reservoir-based Spatiotemporal Importance Resampling)是采样层面的复用,不是滤波。

核心思想

Reservoir Sampling(蓄水池采样):用固定内存从流式数据中等概率采样。

维护一个 reservoir: {样本 y, 权重 w, 已见样本数 M}

看到新样本 x_i,权重 w_i:
  以概率 w_i / (w_sum + w_i) 替换当前样本
  更新 w_sum += w_i, M += 1

关键性质:无论处理多少样本,内存恒定,且最终样本服从按权重的重要性分布。

ReSTIR 的做法

目标:直接光照的采样。

1. Initial candidate sampling:
   每个像素随机选 M 个光源候选,用 reservoir 选出最好的一个

2. Temporal reuse:
   把自己的 reservoir 和"上一帧对应像素的 reservoir"合并
   → 有效候选数翻倍(不增加新的光线追踪!)

3. Spatial reuse:
   和邻域若干像素的 reservoir 合并(用深度/法线做相似性检验)
   → 有效候选数再翻倍

4. Shading:
   用最终 reservoir 里的样本做着色(需要重新评估可见性)

惊人的效果:每个像素只追踪 1 条光线,但有效采样数可以达到几百(因为复用了时空邻居的候选)。

为什么这是突破:

传统:  1 spp = 1 个样本
ReSTIR: 1 spp + 时空复用 = 数百个有效样本

关键难点:可见性重估。复用别人的样本时,那个样本对自己的像素可能不可见,需要重新追踪一条 shadow ray 验证(并用 MIS 修正权重)。

Bias 问题:空间复用会引入偏差(邻居的样本不是按本像素的分布采样的)。实践中偏差很小(通过 MIS 权重修正),但严格来说是有偏的。

ReSTIR GI(2021 扩展):把同样的思想用于间接光的路径采样。

ReSTIR PT(2022):用于完整路径追踪,效果更好但更复杂。

完整管线:一个实时光追 GI 系统

G-buffer pass:      深度、法线、材质 ID、motion vector
     │
Direct RT pass:     1 spp 直接光照(ReSTIR 或直接采样)
     │
Indirect RT pass:   1 spp 间接光照
     │
Denoise pass:       
  - 时域累积(反投影 + disocclusion)
  - SVGF / 联合双边滤波
     │
Composite:          与光栅化的结果合成
     │
TAA / Upscale

各技术的定位

技术解决的问题层次
Backprojection找到历史像素基础设施
Motion Vector处理动态物体基础设施
Temporal Accumulation跨帧增加样本采样复用
Joint Bilateral空间降噪保边滤波
SVGF完整的时空降噪滤波
ReSTIR时空复用采样(不是滤波)采样
DLSS/FSR低分辨率渲染 + 超分超采样

ReSTIR 和 SVGF 是互补的,不是替代关系:

  • ReSTIR 在采样层面提高质量(减少噪声的产生)
  • SVGF 在滤波层面去除残留噪声

现代引擎两者都用。

常见坑

  • 鬼影:disocclusion 检测不彻底。深度阈值要按距离缩放(远处的深度差更大)
  • motion vector 错误:忘记更新上一帧矩阵 → 整个时域累积失效,画面变糊
  • 反投影的精度:低精度深度缓冲(16 bit)在远处反投影误差大,会导致鬼影
  • 镜面反射的动态物体:反射里的东西 motion vector 很难算(要"反射空间的 motion"),通常只能接受一些鬼影
  • 时域累积的收敛速度 vs 稳定性的权衡:α\alpha 小 → 干净但拖影;α\alpha 大 → 响应快但噪
  • 空间滤波的过模糊:滤波半径太大会丢失细节(接触阴影、细小几何)
  • 方差估计失效:场景突变时方差估计本身也过期 → 需要重置
  • ReSTIR 的偏差:严格来说有偏,在极端情况下(强光源 + 快速移动)会出现闪烁或能量不守恒
  • 1 spp 无法处理的情况:极小的光源(采样命中概率极低)会持续闪烁,需要特殊处理(光源的解析可见性、光源分层)
  • 透明/半透明的时域:多层透明需要分别处理深度,单层 motion vector 不够