Generative AI
自动关联目录:Generative AI
生成式 AI 的目标:建模数据的分布,并从中采样出新的样本。
判别式模型学(分类边界),生成式模型学 或(数据本身怎么产生)。
生成模型的四大家族
| 家族 | 原理 | 代表 | 特点 |
|---|---|---|---|
| 自回归(AR) | 分解 | GPT、PixelCNN | 逐 token 生成,慢但质量高 |
| VAE | 变分推断,编码器+解码器 | VAE、VQ-VAE | 有显式潜变量,训练稳 |
| GAN | 生成器 vs 判别器博弈 | StyleGAN | 生成快、质量高,但训练不稳 |
| 扩散(Diffusion) | 逐步加噪再学去噪 | DDPM、Stable Diffusion | 当前图像生成主流 |
自回归模型
链式法则的精确分解——没有近似损失,这是它质量高的理论原因。
代价:生成是串行的(第 个 token 要等前面的),无法并行。
这就是 LLM 推理慢的根本原因——每个 token 都要一次完整的前向传播。
VAE
思路:假设数据由低维潜变量 生成。
后验 难算 → 用变分推断,学一个近似。
目标函数(ELBO,证据下界):
第一项要求重建得好,第二项要求潜变量接近先验分布(通常是标准正态)。
重参数化技巧(让梯度能穿过采样):
把随机性移到(不依赖参数),这样 对 可导。
VAE 的问题:生成的样本偏模糊(因为优化的是似然下界,倾向于"平均")。
GAN
博弈:
- 判别器:区分真假
- 生成器:骗过判别器
理论最优:,此时博弈等价于最小化 与 的 Jensen-Shannon 散度。
优点:生成是一步前向(极快),质量高(StyleGAN 的人脸至今仍是顶级)。
缺点:
- 训练不稳定(模式坍塌、梯度消失)
- 无显式似然(难以评估)
- 需要各种技巧(WGAN 的 Wasserstein 距离、谱归一化、TTUR…)
现实中:GAN 在图像领域被扩散模型取代,但它的思想(对抗训练)仍在用。
扩散模型(Diffusion)
前向过程(加噪)
反复加噪, 步后 接近纯高斯噪声。
重参数化后可以直接跳到任意步:
其中。这是训练高效的关键——不用真的逐步加噪。
反向过程(去噪)
学一个网络预测噪声:
训练目标极其简单:就是"预测加进去的噪声"。这是扩散模型能成功的工程原因。
采样
从 开始,逐步去噪:
代价:需要 步(通常 20~1000)。这是它比 GAN 慢的原因。
加速方法:
| 方法 | 思路 |
|---|---|
| DDIM | 非马尔可夫的采样,可跳步 |
| 一致性模型 | 一步生成 |
| 蒸馏 | 把多步蒸馏成少步 |
| 潜在扩散(LDM) | 在低维潜空间扩散(Stable Diffusion) |
条件生成
CFG(Classifier-Free Guidance):
用"有条件"和"无条件"预测的差来放大条件的影响。 增强提示词遵循度(但太大会过饱和)。
这是 Stable Diffusion / DALL·E 能按提示词生成的关键。
大语言模型(LLM)
核心:Transformer + 自回归
预训练: 在互联网规模文本上做"预测下一个 token"
微调: 指令微调(Instruction Tuning)
对齐: RLHF / DPO 让输出符合人类偏好Scaling Law
模型性能与参数量、数据量、算力 呈幂律关系:
实践意义:只要持续增加规模,性能就会可预测地提升。这就是为什么各家公司都在堆算力。
Chinchilla 修正(2022):之前的模型训练不足。最优的数据量应该是参数量的约 20 倍。这导致后来的模型(LLaMA)用更小的参数 + 更多数据。
涌现能力
模型规模超过某个阈值后突然出现的能力(少样本学习、链式推理、代码生成)。
争议:部分"涌现"可能是评估指标的假象(不连续的指标在小模型上看起来是 0)。但对实践者来说,效果确实存在。
推理
Prefill: 处理整个 prompt(可并行)
Decode: 逐 token 生成(串行,受内存带宽限制)关键优化:
| 技术 | 作用 |
|---|---|
| KV Cache | 缓存注意力键值,避免重复计算 |
| PagedAttention | 分页管理 KV cache(vLLM) |
| 连续批处理 | 动态组批,提高吞吐 |
| 量化 | INT8/INT4 减少显存和带宽 |
| 投机解码 | 小模型草稿 + 大模型验证 |
| FlashAttention | IO 感知的注意力实现 |
Decode 阶段是 memory-bound:每生成一个 token 要把整个模型权重读一遍。所以大模型推理的瓶颈是显存带宽,不是算力。
(详见 LLM/TiniestGPT 系列笔记)
多模态
| 方向 | 做法 |
|---|---|
| 文生图 | 扩散 + 文本编码器(CLIP) |
| 图文理解 | 视觉编码器 + LLM(LLaVA、GPT-4V) |
| 文生视频 | 时空扩散(Sora、可灵) |
| 文生 3D | 分数蒸馏(DreamFusion)、3DGS |
统一趋势:把所有模态都 token 化,用同一个 Transformer 处理。
评估的困难
生成模型的评估是出了名的难:
| 指标 | 适用 | 问题 |
|---|---|---|
| FID / IS | 图像 | 与人类感知相关性一般 |
| Perplexity | 语言模型 | 只衡量建模能力,不衡量有用性 |
| BLEU / ROUGE | 翻译/摘要 | 与人类评价相关性差 |
| 人工评测 / Arena | 通用 | 贵,但最可靠 |
| 基准测试(MMLU 等) | 能力 | 会被"刷榜"和污染 |
实践建议:对生成任务,看样例比看指标有用。
常见坑
- 把困惑度当质量指标:困惑度低 ≠ 生成质量高
- 扩散模型的步数:步数少了质量会下降,但代价是时间。要做质量/速度权衡
- CFG 权重过大:图像会过饱和、失真
- VAE 生成模糊:这是 ELBO 目标的固有倾向,不是 bug
- GAN 的模式坍塌:生成器只产出少数几种样本
- LLM 的幻觉:模型会自信地编造。需要 RAG 或工具调用缓解
- KV Cache 的显存:长上下文时 KV cache 可能比模型本身还大
- 分词(tokenization)的影响:很多"模型不会数数/不会反转字符串"的问题其实是分词导致的
- 训练数据的污染:测试集出现在训练数据里 → 指标虚高