深度学习伪似然、得分匹配与噪声对比估计 —— 绕开配分函数的巧妙方法（九十六）

1. 定位导航🎉绕开配分函数的三大巧妙方法。第 96 篇讲了 CD/PCD——用 MCMC 估计配分函数梯度。本篇讲完全绕开配分函数的方法：伪似然、得分匹配、NCE。它们各有巧思，且都连接到现代生成模型（尤其得分匹配 → 扩散模型）。1.1 共同出发点：比率消去 Z许多方法基于一个观察：无向概率模型中很容易计算概率的比率——因为配分函数同时出现在分子和分母中，互相抵消：p(x)p(y)=1Zp~(x)1Zp~(y)=p~(x)p~(y)\frac{p(\mathbf{x})}{p(\mathbf{y})} = \frac{\frac{1}{Z}\tilde{p}(\mathbf{x})}{\frac{1}{Z}\tilde{p}(\mathbf{y})} = \frac{\tilde{p}(\mathbf{x})}{\tilde{p}(\mathbf{y})}