本页只解决一个问题

熵项怎样换来快速矩阵缩放，又引入哪些偏差和稳定性问题？

本页是原长篇讲义的单概念版本。第一次阅读只追踪本页定义的对象；看见未掌握的前置符号时，先沿链接退回，不要跳过定义硬背结论。

开始前

• 模块前置入口：先修页面
• 本页所属模块：最优输运与几何深度学习
• 集中复习版：原长篇参考讲义

10. 熵正则与 Sinkhorn

对离散 OT 添加负熵正则：

$$\min_{P\ge0} \langle C,P\rangle +\varepsilon\sum_{ij}P_{ij}(\log P_{ij}-1)$$

满足相同边缘约束。最优解具有形式

$$P=\operatorname{diag}(u)K\operatorname{diag}(v), \qquad K_{ij}=e^{-C_{ij}/\varepsilon}.$$

边缘约束给出交替缩放：

$$u\leftarrow a/(Kv),$$

$$v\leftarrow b/(K^Tu).$$

这就是 Sinkhorn 迭代。

10.1 偏差与稳定性

• $\varepsilon$ 大：更平滑、更快，但偏离原 OT；
• $\varepsilon$ 小：更接近 OT，但$K$ 下溢且迭代困难；
• 实现应使用 log-domain stabilization；
• regularized OT 有熵偏差，比较分布时可用 Sinkhorn divergence 消除自相似偏差。

读完必须能回答

1. 不看公式，用自己的话回答开头的核心问题。
2. 指出本页最重要公式中每个符号的类型：标量、向量、矩阵、映射还是集合。
3. 找出定理成立所需的假设，并举一个删除某条假设后可能失败的例子。
4. 对最小例子手算一遍；若本页含代码，再比较手算与程序输出。

前后课程

上一课：半离散输运与 power diagram ｜ 下一课：曲面代价与共形坐标