乐读窝

深度学习

乐读窝 > 文学理论 > 深度学习

18.5 去噪得分匹配

书籍名:《深度学习》    作者:伊恩.古德费洛



某些情况下,我们希望拟合以下分布来正则化得分匹配

而不是拟合真实分布pdata。分布q(x|y)是一个损坏过程,通常在形成x的过程中会向y中添加少量噪声。

去噪得分匹配非常有用,因为在实践中,通常我们不能获取真实的pdata,而只能得到其样本确定的经验分布。给定足够容量,任何一致估计都会使pmodel成为一组以训练点为中心的Dirac分布。考虑在第5.4.5节介绍的渐近一致性上的损失,通过q来平滑有助于缓解这个问题。Kingma  and  LeCun(2010b)介绍了平滑分布q为正态分布噪声的正则化得分匹配。

回顾第14.5.1节,有一些自编码器训练算法等价于得分匹配或去噪得分匹配。因此,这些自编码器训练算法也是解决配分函数问题的一种方式。