Page 145 - 《软件学报》2021年第12期
P. 145
张健 等:基于实值 RBM 的深度生成网络研究 3809
图 6 是 ACGAN 的模型结构图,模型的训练分为两部分:首先,根据输入图像训练一个 ADBN 模型,在训练好
的 ADBN 模型基础上,将输入图像传递给 ADBN 得到特征;该特征用作 CGAN 的附加输入 y 传递到 CGAN 的
生成器和判别器,同时,图像输入也用作 CGAN 判别器中的真实样本.模型的目标函数可以表示为
min max ( , )V D G = E xp [log ( |D x ADBN ( ))x + E z ~ z p [log(1 D− ( ( |G z ADBN ( ))))]]x (17)
G D ~ data
其中,x 来自于数据集.ADBN(x)是由 ADBN 得到的特征,该特征作为 CGAN 的附加输入.接下来,本文通过实验验
证 ARBM,ADBN 和 ACGAN 的有效性.
3 实验分析
在实验中,我们尝试验证基于 ARBM 的模型在图像生成和图像重构任务中的有效性.实验主要分为两部分:
一部分是图像重构,另一部分是图像生成.为了验证 ARBM 能够学习数据分布的流形结构,我们首先在 3 个人工
数据集上进行对比实验,其中使用的基于 RBM 的模型具有完全相同的网络结构.结果如图 7 所示.
Fig.7 Comparison of ARBM with other models on three artificial datasets
图 7 3 个人工数据集上 ARBM 与其他模型的比较
图 7 由 4 列样本组成,其中,
• 第 1 列样本是原始数据;
• 第 2 列样本是由 Gaussian-binary RBM 重构得到的,Gaussian-binary RBM 是一种可见层单元为实值、
隐藏层单元为二值的 RBM 模型;
• 第 3 列样本由受限截断高斯图模型(RTGMM)重构得到.RTGMM 是在 2017 年提出的一种无向概率图,
其可见层单元和隐藏层单元都是实值的.不同于 ARBM,RTGMM 由一个可见层和一个隐藏层组成,其
可见层单元和隐藏层单元是直接连接的;
• 最后一列样本由 ARBM 重构得到.
如图 7 所示,标准的 Gaussian-binary RBM 更倾向于把模型密度散布在其支撑数据集上.而不同于 Gaussian-
binary RBM,ARBM 能够学习这 3 个数据集的分布特征,并识别出数据分布上的流形结构.
接下来 ,本实验在真实数据集上测试 ARBM 和 ADBN 的图像重构能力 .数据集有 MNIST,small
