实时抗锯齿与超采样

TAA

问题的两类走样

抗锯齿(AA)解决的走样有两类,需要分清:

类型成因解法
几何走样三角形边缘被离散采样超采样(MSAA/SSAA)、后处理边缘检测
着色走样着色结果本身频率过高(高光、高频纹理、细几何)超采样、时域抖动、预过滤(mipmap)

关键认识:MSAA 只解决第一类;着色走样只能靠增加采样数或预过滤。这是"为什么开了 MSAA 高光还是闪"的原因。

方法谱系

SSAA (Super-Sample AA)     渲染 N 倍分辨率再下采样       最贵,质量最好
MSAA (Multi-Sample AA)     只在边缘处多样本,着色一次     便宜,只治几何
TAA  (Temporal AA)         跨帧抖动采样 + 累积           现代主流,治两者
FXAA (Fast Approximate)    后处理边缘模糊                最便宜,会糊
SMAA                       后处理 + 形态学边缘检测       质量/成本均衡
DLSS/FSR/XeSS              低分辨率渲染 + AI/算法超分     顺便抗锯齿

TAA(Temporal Anti-Aliasing)

核心思想:把采样分散到多个帧。

第 N 帧:   每个像素的采样点在子像素位置 jittern 处
第 N+1 帧: 换一个 jitter 位置
累积:      混合多帧 → 等效于在一个像素内采样了多个位置

Cˉ(t)=α⋅C(t)+(1−α)⋅Cˉ(t−1)\bar{C}^{(t)} = \alpha \cdot C^{(t)} + (1-\alpha) \cdot \bar{C}^{(t-1)}

关键组件

1. Sub-pixel Jitter(抖动)

用 Halton 序列(低差异序列)而不是随机数——分布更均匀,收敛更快。

// Halton(2, 3) 序列,周期 8 或 16
vec2 halton(int i) {
    return vec2(radicalInverseBase2(i), radicalInverseBase3(i));
}
// 应用到投影矩阵
projMatrix[2][0] += jitter.x * 2.0 / screenWidth;
projMatrix[2][1] += jitter.y * 2.0 / screenHeight;

注意:抖动要加在投影矩阵上(等价于移动采样点),而不是在片元着色里偏移。

2. 历史重投影(Reprojection)

见 实时光线追踪 的 backprojection 部分——TAA 用的是同一套机制。

3. Neighborhood Clamping(邻域裁剪)

问题:历史颜色可能和当前帧差异很大(鬼影)。

解法:把历史颜色裁剪到当前帧邻域颜色的范围内。

方法 A: AABB 裁剪
  取当前像素周围 3×3 的颜色,求 AABB(min/max)
  把历史颜色 clamp 到这个盒子里

方法 B: 方差裁剪(更好)
  计算邻域的均值 μ 和方差 σ
  把历史颜色 clamp 到 [μ - γσ, μ + γσ],γ ≈ 1~2
  在 YCoCg 颜色空间做(比 RGB 更符合感知)
// YCoCg 空间的方差裁剪
vec3 m1 = /* 邻域一阶矩 */, m2 = /* 邻域二阶矩 */;
vec3 sigma = sqrt(max(m2 - m1*m1, 0.0));
vec3 minC = m1 - gamma * sigma;
vec3 maxC = m1 + gamma * sigma;
history = clamp(history, minC, maxC);

为什么用 YCoCg:把亮度(Y)和色度分开,裁剪时不会导致偏色。

4. Disocclusion 处理

同光线追踪章节。TAA 里通常用深度 + 运动矢量检测,无效时增大α\alpha(更信任新样本)。

TAA 的优缺点

优点缺点
质量最好(等效多样本)拖影/鬼影(快速移动时)
便宜(每帧只有 1 spp)快速移动时细节模糊
顺便解决着色走样需要 motion vector
现代引擎标配相机快速转动时画面会"糊"一下

TAA 的模糊是它最大的争议:很多玩家不喜欢("TAA 让画面变糊")。解决方案通常加一个锐化(sharpening)后处理,或提供关闭选项。

SMAA(Subpixel Morphological Antialiasing)

思路:后处理,先检测边缘模式,再按模式混合。

1. 边缘检测(luma 边缘,带阈值)
2. 模式识别: 判断边缘是水平/垂直,以及跨越像素的形状
3. 权重计算: 查预计算的面积表,得到应该混合多少
4. 混合: 按权重混合相邻像素

"Morphological" 的含义:识别边缘的形态(是斜边、折角还是十字),针对性地处理。

三个阶段:

阶段作用
SMAA 1x基础形态学 AA
SMAA T2x+ 时域(2 帧,抖动)
SMAA S2x+ 空间(2 倍 MSAA)
SMAA 4x两者都加

对比:

FXAASMAATAA
质量一般(会糊)好(边缘干净)最好
成本极低低~中中
拖影无无有
处理着色走样✗✗✓

SMAA 的定位:不想用 TAA(怕糊)时的最佳选择。很多游戏的"高画质"选项就是 SMAA,而 TAA 用于"超高"。

DLSS(Deep Learning Super Sampling)

NVIDIA 的超分技术——低分辨率渲染,AI 上采样到高分辨率。

原理

1. 渲染 低分辨率(如 1080p → 渲染 720p)
2. 输入给神经网络:
   - 低分辨率的颜色
   - 深度
   - motion vector
   - 上一帧的高分辨率输出(时域反馈)
3. 网络输出高分辨率图像

关键:时域信息是 DLSS 质量的核心。网络能"记住"之前的帧,从而恢复细节。

演进

版本特点
DLSS 1每个游戏单独训练,泛化差
DLSS 2通用模型,用 motion vector + 时域反馈,质量飞跃
DLSS 3+ 帧生成(光流生成中间帧,插帧)
DLSS 4多帧生成 + 更强的 Transformer 模型

DLSS 2 为什么成功:

  • 通用模型(不用每游戏训练)
  • 时域反馈让它可以"记住"细节
  • 顺便解决了抗锯齿(因为它是超分,锯齿自然被平滑)

竞品

技术厂商硬件要求
DLSSNVIDIARTX(Tensor Core)
FSRAMD通用(开源算法)
XeSSIntelArc(也可通用模式)
TSREpic(UE5)通用

FSR 是纯算法(EASU 边缘自适应上采样 + RCAS 锐化),不需要 AI 硬件,所以通用性好,质量略逊于 DLSS。

超分 + 抗锯齿的关系

现代管线:
  渲染分辨率 < 显示分辨率  →  性能提升
  上采样                  →  天然平滑了锯齿
  + 时域稳定              →  质量可接受

所以"超分"和"抗锯齿"在现代引擎里是同一件事

对比与选择

场景推荐
追求最高质量,能接受轻微模糊TAA
不喜欢模糊,要锐利边缘SMAA
性能不足,有 RTX 卡DLSS Quality
性能不足,无特殊硬件FSR Quality
移动端 / 极低成本FXAA
离线渲染SSAA / 累积

常见坑

  • TAA 的 jitter 加错地方:要加在投影矩阵,不是片元着色器里偏移 UV
  • 忘记 motion vector:静态场景 TAA 可能还能工作(用相机矩阵反投影),但动态物体会严重拖影
  • Halton 序列周期太短:周期 8 在某些场景会有可见的模式,用 16 或更多
  • 邻域裁剪太激进:裁剪过头会导致 AA 失效(等于不累积)。γ\gamma 要调
  • 在 sRGB 空间做混合:应该在线性空间做时域累积,否则会有偏差
  • TAA 和 UI 混在一起:UI 不该被 TAA 影响(要分开渲染,UI 后合成)
  • 透明物体:motion vector 和深度都是单层的,透明物体 TAA 会出问题
  • DLSS 的输入分辨率:不是越低越好。Quality 模式(1.5x 缩放)质量好,Performance(2x)会有伪影
  • 超分 + 时域的抖动:如果 jitter 和超分没配合好,会出现莫尔纹
  • 关闭 TAA 后画面变"闪":说明有大量着色走样(高光/细几何),单纯 FXAA 解决不了,需要调材质或几何