18.5 去噪得分匹配
某些情况下,我们希望拟合以下分布来正则化得分匹配
而不是拟合真实分布pdata。分布q(x|y)是一个损坏过程,通常在形成x的过程中会向y中添加少量噪声。
去噪得分匹配非常有用,因为在实践中,通常我们不能获取真实的pdata,而只能得到其样本确定的经验分布。给定足够容量,任何一致估计都会使pmodel成为一组以训练点为中心的Dirac分布。考虑在第5.4.5节介绍的渐近一致性上的损失,通过q来平滑有助于缓解这个问题。Kingma and LeCun(2010b)介绍了平滑分布q为正态分布噪声的正则化得分匹配。
回顾第14.5.1节,有一些自编码器训练算法等价于得分匹配或去噪得分匹配。因此,这些自编码器训练算法也是解决配分函数问题的一种方式。