所有文章 > 正文

图表示学习Part 3:生成图模型-图生成的深度生成模型

作者: 徐家兴

时间: 2019-06-27 10:57

本系列介绍唐建教授在AAAI2019发表的教程图形表示学习。

该教程分为三个部分,第一、二部分已发布。

图表示学习Part1: Node Representation Learning
图表示学习Part2:图神经网络(GNN)-图结构数据的深度学习
本文介绍第三部分:生成图模型-图生成的深度生成模型(Deep Generative Models for Graph Generation)PPT获取
深度生成模型的应用十分广泛,比如图像生成、语音生成以及各种自然语言生成的方法,其目标可以归结为明确或隐含地为数据分布p(x)建模,其中x是高维随机变量。

而图生成的应用领域也有很多,比如社交网络、分子结构等方面。本部分主要介绍变分自动编码器VAEs、GANs和深度自回归模型三种图生成算法。
变分自动编码器(VariationalAutoEncoder,VAEs)是一种隐变量模型,在VAE中,encoder 的输出(2×m 个数)视作分别为 m 个高斯分布的均值和方差的对数,而输入decoder的z是根据均值和方差生成服从相应高斯分布的随机数的一个向量。对编码器添加约束,就是强迫它产生服从单位高斯分布的潜在变量。正是这种约束,把VAE和标准自编码器给区分开来了。我们计算解码器的loss时,我们就可以从标准差向量中采样,然后加到我们的均值向量上,就得到了解码所需要的隐变量。

生成对抗网络(GenerativeAdversarialNetworkGANs)可以看作一种双人对抗的游戏,由一个生成器G和一个判别器D组成,判别器的目标是区分真实数据和生成的数据,生成器的目标是骗过判别器。

深度自回归模型(DeepAuto-regressiveModels)与GAN的区别在于,GAN学习隐式的数据分布,深度自回归模型学习由模型结构规定的先验分布。自回归模型具有返回显式概率密度的优势,较GAN的训练更加稳定,且适用于离散和连续的数据,其典型方法有PixelRNN、PixelCNN、WaveNet等。

由以上这些方法可以看出,图生成存在着许多的挑战:图的结构和大小不同,节点之间没有顺序,节点之间是离散的。那么相应的,如何将这些方法应用于图生成呢?
GraphVAE是一种图生成的VAE框架,它将图作为输入,将图神经网络和gated pooling作为图表示,解码器输出预定义最大尺寸的概率全连通图,在这个过程中独立地对存在的节点、边和他们的属性进行建模。

但这种方法也存在着一些局限性,必须预先定义图的最大尺寸,必须使用图匹配来计算重建损失。
MolGAN是一种用于分子生成的隐式的、无似然的生成模型,它结合了强化学习来使得生成的分子具有应有的化学属性。生成器从先前的分布中生成分子,判别器分辨这个分子是真实的分子还是生成的分子。

需要注意的是,判别器的结构与奖励网络的结构相同,但不共享参数。这种算法的优点是不需要图匹配,但图/分子的大小必须要预先定义好。
GCPN(图卷积策略网络)将分子生成定义为序列标注任务,其本质也是使用强化学习来解决任务导向的图生成问题,同时使用策略梯度优化对抗性损失和特定于域的奖励。其目标是发现分子,优化所需的性能,同时纳入化学规则。

总的来说,这种方法可以直接优化特定应用的目标,同时确保生成的分子是真实的并满足化学规则。GCPN在与药物发现和材料科学相关的三个不同分子生成任务中进行了评估:分子属性优化,属性匹配和有约束的属性优化。使用ZINC数据集为GCPN提供示例分子,并训练策略网络以生成具有高属性评分的分子、具有预定范围的目标属性评分的分子或具有特定亚结构的分子,同时具有高性质得分。在所有任务中,GCPN都能实现最先进的结果。 GCPN产生的分子的性能分数比最佳基线方法高61%,并且在约束优化设置中的表现优于平均184%的基线模型。
本文介绍了GraphVAE、MolGAN、GCPN三种图生成模型,在将来,图生成将会应用于更多的领域,图神经网络+强化学习和关系神经网络也会是将来研究的热点。

Reference
[1] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.
[2] Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.
[3] Oord, Aaron van den, Nal Kalchbrenner, and Koray Kavukcuoglu. "Pixel recurrent neural networks." arXiv preprint arXiv:1601.06759(2016).
[4] Simonovsky, Martin, and Nikos Komodakis. "Graphvae: Towards generation of small graphs using variational autoencoders." International Conference on Artificial Neural Networks. Springer, Cham, 2018.
[5] De Cao, Nicola, and Thomas Kipf. "MolGAN: An implicit generative model for small molecular graphs." arXiv preprint arXiv:1805.11973(2018).
[6] You, Jiaxuan, et al. "Graphrnn: Generating realistic graphs with deep auto-regressive models." arXiv preprint arXiv:1802.08773(2018).
[7] You, Jiaxuan, et al. "Graph convolutional policy network for goal-directed molecular graph generation." Advances in Neural Information Processing Systems. 2018.
[8] Jin, Wengong, Regina Barzilay, and Tommi Jaakkola. "Junction tree variational autoencoder for molecular graph generation." arXiv preprint arXiv:1802.04364(2018).

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多