Generative AI

自动关联目录:Generative AI

生成式 AI 的目标:建模数据的分布p(x)p(x),并从中采样出新的样本。

判别式模型学p(y∣x)p(y|x)(分类边界),生成式模型学p(x)p(x) 或p(x∣y)p(x|y)(数据本身怎么产生)。

生成模型的四大家族

家族原理代表特点
自回归(AR)分解p(x)=∏tp(xt∣x<t)p(x) = \prod_t p(x_t \mid x_{<t})GPT、PixelCNN逐 token 生成,慢但质量高
VAE变分推断,编码器+解码器VAE、VQ-VAE有显式潜变量,训练稳
GAN生成器 vs 判别器博弈StyleGAN生成快、质量高,但训练不稳
扩散(Diffusion)逐步加噪再学去噪DDPM、Stable Diffusion当前图像生成主流

自回归模型

p(x)=∏t=1Tp(xt∣x1,…,xt−1)p(\mathbf{x}) = \prod_{t=1}^{T} p(x_t \mid x_1, \dots, x_{t-1})

链式法则的精确分解——没有近似损失,这是它质量高的理论原因。

代价:生成是串行的(第tt 个 token 要等前面的),无法并行。

这就是 LLM 推理慢的根本原因——每个 token 都要一次完整的前向传播。

VAE

思路:假设数据由低维潜变量zz 生成。

p(x)=∫p(x∣z)p(z)dzp(x) = \int p(x|z)p(z)dz

后验p(z∣x)p(z|x) 难算 → 用变分推断,学一个近似qϕ(z∣x)q_\phi(z|x)。

目标函数(ELBO,证据下界):

L=Eq[log⁡p(x∣z)]⏟重建−DKL(q(z∣x)∥p(z))⏟正则\mathcal{L} = \underbrace{\mathbb{E}_{q}[\log p(x|z)]}_{\text{重建}} - \underbrace{D_{KL}(q(z|x) \| p(z))}_{\text{正则}}

第一项要求重建得好,第二项要求潜变量接近先验分布(通常是标准正态)。

重参数化技巧(让梯度能穿过采样):

z=μ+σ⊙ϵ,ϵ∼N(0,I)z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)

把随机性移到ϵ\epsilon(不依赖参数),这样zz 对μ,σ\mu,\sigma 可导。

VAE 的问题:生成的样本偏模糊(因为优化的是似然下界,倾向于"平均")。

GAN

博弈:

min⁡Gmax⁡DEx∼pdata[log⁡D(x)]+Ez∼pz[log⁡(1−D(G(z)))]\min_G \max_D \mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{z\sim p_z}[\log(1 - D(G(z)))]

  • 判别器DD:区分真假
  • 生成器GG:骗过判别器

理论最优:D∗=pdatapdata+pGD^* = \frac{p_{data}}{p_{data} + p_G},此时博弈等价于最小化pGp_G 与pdatap_{data} 的 Jensen-Shannon 散度。

优点:生成是一步前向(极快),质量高(StyleGAN 的人脸至今仍是顶级)。

缺点:

  • 训练不稳定(模式坍塌、梯度消失)
  • 无显式似然(难以评估)
  • 需要各种技巧(WGAN 的 Wasserstein 距离、谱归一化、TTUR…)

现实中:GAN 在图像领域被扩散模型取代,但它的思想(对抗训练)仍在用。

扩散模型(Diffusion)

前向过程(加噪)

q(xt∣xt−1)=N(xt;1−βt xt−1, βtI)q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\, x_{t-1},\ \beta_t I)

反复加噪,TT 步后xTx_T 接近纯高斯噪声。

重参数化后可以直接跳到任意步:

xt=αˉt x0+1−αˉt ϵ,ϵ∼N(0,I)x_t = \sqrt{\bar{\alpha}_t}\, x_0 + \sqrt{1-\bar{\alpha}_t}\, \epsilon, \quad \epsilon \sim \mathcal{N}(0,I)

其中αˉt=∏i=1t(1−βi)\bar{\alpha}_t = \prod_{i=1}^t (1-\beta_i)。这是训练高效的关键——不用真的逐步加噪。

反向过程(去噪)

学一个网络预测噪声:

L=Et,x0,ϵ[∥ϵ−ϵθ(xt,t)∥2]\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon} \left[\|\epsilon - \epsilon_\theta(x_t, t)\|^2\right]

训练目标极其简单:就是"预测加进去的噪声"。这是扩散模型能成功的工程原因。

采样

从xT∼N(0,I)x_T \sim \mathcal{N}(0,I) 开始,逐步去噪:

xt−1=1αt(xt−1−αt1−αˉtϵθ(xt,t))+σtzx_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon_\theta(x_t, t)\right) + \sigma_t z

代价:需要TT 步(通常 20~1000)。这是它比 GAN 慢的原因。

加速方法:

方法思路
DDIM非马尔可夫的采样,可跳步
一致性模型一步生成
蒸馏把多步蒸馏成少步
潜在扩散(LDM)在低维潜空间扩散(Stable Diffusion)

条件生成

CFG(Classifier-Free Guidance):

ϵ~=ϵθ(xt,∅)+w⋅(ϵθ(xt,c)−ϵθ(xt,∅))\tilde{\epsilon} = \epsilon_\theta(x_t, \emptyset) + w \cdot \big(\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset)\big)

用"有条件"和"无条件"预测的差来放大条件的影响。w>1w > 1 增强提示词遵循度(但太大会过饱和)。

这是 Stable Diffusion / DALL·E 能按提示词生成的关键。

大语言模型(LLM)

核心:Transformer + 自回归

预训练:  在互联网规模文本上做"预测下一个 token"
微调:    指令微调(Instruction Tuning)
对齐:    RLHF / DPO 让输出符合人类偏好

Scaling Law

模型性能与参数量NN、数据量DD、算力CC 呈幂律关系:

L∝N−α,L∝D−βL \propto N^{-\alpha}, \quad L \propto D^{-\beta}

实践意义:只要持续增加规模,性能就会可预测地提升。这就是为什么各家公司都在堆算力。

Chinchilla 修正(2022):之前的模型训练不足。最优的数据量应该是参数量的约 20 倍。这导致后来的模型(LLaMA)用更小的参数 + 更多数据。

涌现能力

模型规模超过某个阈值后突然出现的能力(少样本学习、链式推理、代码生成)。

争议:部分"涌现"可能是评估指标的假象(不连续的指标在小模型上看起来是 0)。但对实践者来说,效果确实存在。

推理

Prefill:  处理整个 prompt(可并行)
Decode:   逐 token 生成(串行,受内存带宽限制)

关键优化:

技术作用
KV Cache缓存注意力键值,避免重复计算
PagedAttention分页管理 KV cache(vLLM)
连续批处理动态组批,提高吞吐
量化INT8/INT4 减少显存和带宽
投机解码小模型草稿 + 大模型验证
FlashAttentionIO 感知的注意力实现

Decode 阶段是 memory-bound:每生成一个 token 要把整个模型权重读一遍。所以大模型推理的瓶颈是显存带宽,不是算力。

(详见 LLM/TiniestGPT 系列笔记)

多模态

方向做法
文生图扩散 + 文本编码器(CLIP)
图文理解视觉编码器 + LLM(LLaVA、GPT-4V)
文生视频时空扩散(Sora、可灵)
文生 3D分数蒸馏(DreamFusion)、3DGS

统一趋势:把所有模态都 token 化,用同一个 Transformer 处理。

评估的困难

生成模型的评估是出了名的难:

指标适用问题
FID / IS图像与人类感知相关性一般
Perplexity语言模型只衡量建模能力,不衡量有用性
BLEU / ROUGE翻译/摘要与人类评价相关性差
人工评测 / Arena通用贵,但最可靠
基准测试(MMLU 等)能力会被"刷榜"和污染

实践建议:对生成任务,看样例比看指标有用。

常见坑

  • 把困惑度当质量指标:困惑度低 ≠ 生成质量高
  • 扩散模型的步数:步数少了质量会下降,但代价是时间。要做质量/速度权衡
  • CFG 权重过大:图像会过饱和、失真
  • VAE 生成模糊:这是 ELBO 目标的固有倾向,不是 bug
  • GAN 的模式坍塌:生成器只产出少数几种样本
  • LLM 的幻觉:模型会自信地编造。需要 RAG 或工具调用缓解
  • KV Cache 的显存:长上下文时 KV cache 可能比模型本身还大
  • 分词(tokenization)的影响:很多"模型不会数数/不会反转字符串"的问题其实是分词导致的
  • 训练数据的污染:测试集出现在训练数据里 → 指标虚高