降噪自动编码器Denoising Autoencoder)

导语：在神经网络模型训练阶段开始前，通过Autoencoder对模型进行预训练可确定编码器W的初始参数值。然而，受模型复杂度、训练集数据量以及数据噪音等问题的影响，通过Autoencoder得到的初始模型往往存在过拟合的风险。关于Autoencoder的介绍请参考：自动编码器

1.DenoisingAutoencoder

在神经网络模型训练阶段开始前，通过Autoencoder对模型进行预训练可确定编码器W的初始参数值。然而，受模型复杂度、训练集数据量以及数据噪音等问题的影响，通过Autoencoder得到的初始模型往往存在过拟合的风险。关于Autoencoder的介绍请参考：自动编码器（Autoencoder）。

在介绍DenoisingAutoencoder（降噪自动编码器）之前，我们先来回顾一下机器学习中的过拟合的问题，如下图所示，其展示了训练数据量和噪音数量对模型过拟合问题的影响。图中红色区域表示模型过拟合，蓝色区域表示欠拟合，绿色区域是我们希望得到的模型。从图中可以看出，当训练数据越少，数据噪音越多时，模型越容易过拟合。

在模型的复杂度和数据量都已经确定的前提下，防止过拟合的一种办法是减少数据中的噪音数量，即对训练集数据做清洗操作。然而，如果我们无法检测并删除掉数据中的噪音。另一种防止过拟合的办法就是给数据中增加噪音，这看似与之前的结论矛盾，但却是增强模型鲁棒性的一种有效方式，我们以手写数字识别为例，Autoencoder所做的操作是首先对输入图片编码，经过隐含层后解码重构原始图片中的数字信息。假如现在我们输入的是一副含有一定噪音的图片，例如图片中有污点，图片中的数字倾斜等，并且我们仍然希望解码后的图片是一副干净正确的图片，这就需要编码器不仅有编码功能，还得有去噪音的作用，通过这种方式训练出的模型具有更强的鲁棒性。

DenoisingAutoencoder（降噪自动编码器）就是在Autoencoder的基础之上，为了防止过拟合问题而对输入的数据（网络的输入层）加入噪音，使学习得到的编码器W具有较强的鲁棒性，从而增强模型的泛化能力。DenoisingAutoencoder是Bengio在08年提出的，具体内容可参考其论文：

Extracting and composing robust features with denoising autoencoders.

论文中关于DenoisingAutoencoder的示意图如下，其中x是原始的输入数据，DenoisingAutoencoder以一定概率把输入层节点的值置为0，从而得到含有噪音的模型输入xˆ。这和dropout很类似，不同的是dropout是隐含层中的神经元置为0。