Page 139 - 《软件学报》2021年第12期

张健 等:基于实值 RBM 的深度生成网络研究 3803

probability to be mapped as Gaussian noises. The hidden units can be sampled as real-valued units from the parameterized Gaussian
distribution and Gaussian noises. In this study, the resulting RBM based model is called restricted Boltzmann machine with auxiliary units
(ARBM). Moreover, the effectiveness of the proposed model is analyzed theoretically. The effectiveness of the model in image
reconstruction task and image generation task is verified by experiments.
Key words: restricted Boltzmann machines; neural nets; probabilistic undirected graphs; deep learning

近年来,深度学习引起了广泛关注.基于概率图和神经网络的受限玻尔兹曼机(restricted Boltzmann
machine,简称 RBM)、变分自编码(variational autoencoder,简称 VAE)和生成对抗网络(generative adversarial
network,简称 GAN)被广泛应用于图像分类和图像生成任务中 [1,2] .与此同时,近年来对 RBM 的研究遇到了一些
困难 [3,4] ,其原因在于,其他方法、特别是 GAN 在实践中效果更好.事实上,RBM 及其衍生模型一般都有足够的特
征表达能力来学习复杂的数据分布,其应用和拓展上的困难往往出现在训练过程中,RBM 训练需要显式的激活
概率和梯度表达式.因此对于 RBM 而言,在保证显式梯度前提下构建有效的方法来学习数据分布是比较困难
的.为了建模实值数据,人们提出了多种实值 RBM 模型 [5−7] .但是 RBM 模型的特征表达问题和深度拓展问题一
直没有得到很好的解决.具体而言,RBM 最常用的训练算法是基于 Gibbs 采样的对比散度算法(contrastive
divergence,简称 CD)算法,而在 CD 算法中,可见层单元的状态 x 总是从条件概率 p(x|h)中采样得到,因此,一个充
分参数化且易学习的条件概率 p(x|h)对于建模数据分布而言是非常重要的.通常我们希望可见层单元的边缘概
率和条件概率具有足够的表达能力,从而最大程度地拟合数据分布.然而在大多数 RBM 中,隐藏层单元是二值
的,二值隐藏层单元限制了 RBM 对可见层单元条件概率的参数化能力,因为可见层单元的条件概率是由基于二
值隐藏层单元的高斯分布的组合确定的.
为了有效地参数化可见层单元的激活概率并建模数据中的流形结构,本文在可见层单元和隐藏层单元之
间增加二值的辅助单元从而实值化可见层单元和隐藏层单元,并在 RBM 的能量函数中引入了 Laplacian 正则化
项来构建特征化的隐藏层单元表达,由此提出了基于辅助单元的受限玻尔兹曼机(restricted Boltzmann machine
with auxiliary units,简称 ARBM).具体而言,假设 ARBM 中的可见层单元和隐藏层单元服从截断高斯分布,模型
参数化截断高斯分布中的期望和协方差.基于实值隐藏层单元,可见层单元的条件激活概率可以看作是无限数
量的截断高斯分布的加权和,从而能够拟合复杂的数据分布.在 ARBM 中,基于二值辅助单元和图正则化项,当
样本靠近数据流形时,它有更高的概率被映射为参数化的截断高斯分布;反之,远离流形的样本更可能被映射为
高斯噪声.辅助单元的另一个作用是缓解过拟合问题,过拟合在神经网络和 RBM 的训练中普遍存在,而 dropout
方法是缓解过拟合问题的常用方法.在基于 dropout 方法的 RBM 模型中,可见层和隐藏层中的部分单元被随机
屏蔽,这可能会影响 RBM 的特征提取能力和图像重构能力 [8−10] .而在 ARBM 中,辅助单元控制可见层单元和隐
藏层单元的激活概率,并在一定程度上保留了单元的随机性.当辅助单元被激活时,ARBM 的可见层单元和隐藏
层单元以参数化的条件概率形式被激活.当辅助单元灭活时,可见层单元和隐藏层单元的条件概率退化为高斯
噪声.此时类似于 dropout 方法,基于 ARBM 的神经网络的训练过程可以也看作是一个去噪过程.为了建立深度
生成模型并获得锐利的生成图像,本文基于 ARBM 提出了基于附加单元的实值深度置信网(real-valued deep
belief net with auxiliary units,简称 ADBN).本文首先验证了 ARBM 的性能优于常用的 RBM 模型,然后利用
ADBN 提取的深度特征作为条件,生成对抗网络(conditional generative adversarial net,简称 CGAN)的条件输入,
构建了一个深度生成神经网络.我们称该模型为基于辅助深度特征的条件生成对抗网络(conditional GAN with
auxiliary deep features,简称 ACGAN).本文的主要贡献可以概括如下:
(1) 在可见层和隐藏层之间引入二值附加单元,提出了 ARBM 模型.基于能量函数中的图正则化项和附加
单元,,靠近数据流形的样本有更高的概率被参数化为截断高斯分布的形式,远离流形的样本有更高的概率被映
射为高斯噪声,因此,ARBM 可以有效地学习数据中的流形结构,并将其表示为隐藏层的参数化特征;
(2) 为了构建有效的深度生成模型,本文将 ADBN 提取的深度特征用作 CGAN 的附加输入,提出了 ACGAN
模型.与传统的随机噪声相比,这些深度特征能为 GAN 提供更稳定有效的初始状态,从而生成高质量的图像、缓
解 GAN 模型训练不稳定的问题.