所有文章 > 正文

【ICML2019论文】自注意力机制的图池化(Self-Attention Graph Pooling)

作者: 李成江

时间: 2019-06-25 15:52

在图结构数据上定义卷积操作已被证实可以提高处理性能并因此得到广泛应用,然而将池化(Pooling)操作应用于图结构数据的方法仍然存在较大的改进空间。

本文作者提出一种新的基于自注意力机制的图池化方法SAGPool,方法充分考虑了节点的特征和图的拓扑结构。在图分类评测任务上SAGPool效果拔群。

Title: Self-Attention Graph Pooling

Authors:Junhyun Lee, Inyeop Lee, Jaewoo Kang

论文原文:https://arxiv.org/abs/1904.08082

代码地址:https://github.com/inyeoplee77/SAGPool

研究动机

图卷积神经网络已经在推荐系统等众多领域中表现出非凡性能,但相应的图池化操作研究相对较少。

早期的图池化方法仅考虑了图的拓扑结构。一些新的研究利用了节点的特征来获得子图的表示。DiffPool、gPool、Cangea et al.还能学习到图的层次表示。这些方法都允许图神经网络(GNN)在以端到端方式汇集后获得按比例缩小的图表示,但方法本身都存在一定缺陷。例如,DiffPool具有平方存储复杂性,其参数的数量取决于节点的数量。gPool和Cangea et al.解决了复杂性问题,但其方法均没有考虑图的拓扑结构。

因此本文作者提出一种新的基于自注意力机制的图池化方法SAGPool,此方法充分考虑了节点的特征和图的拓扑结构,还能以相对较少的参数,以端到端的方式学习图的层次表示。

提出方法

SAGPool的关键就是用一个GNN来计算自注意力得分(详见图一)。

图一 SAGPool 层示意图

SAGPool

模型结构

作者给出了两种添加池化操作的结构:全局池化结构SAGPoolg(the global pooling architecture)和层次池化结构SAGPoolh(the hierarchical pooling architecture),以获得不同的池化效果。结构如图二所示:

图二 全局池化结构(左边)和层次池化结构(右边)

这里作者引用Cangea et al.的读出层(Readout layer)作为模型特征聚合的处理:

其中

为特征拼接操作。

实验分析

作者在5个公开的图分类数据集上进行了评测。

对比的方法包括全局池化结构的模型:Set2Set, SortPool,和层次池化结构的模型:DiffPool, and gPool。

在评测的数据集上,SAGPool均取得了最好的图分类效果。

随着训练节点规模变大,SAGPool参数的变化程度也明显小于DiifPool。

作者还在D&D、PROTEINS数据集上对比了SAGPool与其变种的性能。可以看到结果间差异不是很大。

本文作者提出一种新的基于自注意力机制的图池化方法SAGPool,方法充分考虑了节点的特征和图的拓扑结构。能以相对较少的参数,以端到端的方式学习图的层次表示。作者也指出了当前方法的一个缺陷,就是无法通过参数化池化率来找寻到最优的池化率。


参考文献
图卷积神经网络谱方法:【1,2,3,4】
1. Bruna, Joan, et al. "Spectral networks and locally connected networks on graphs." arXiv preprint arXiv:1312.6203 (2013).
2. Henaff, Mikael, Joan Bruna, and Yann LeCun. "Deep convolutional networks on graph-structured data." arXiv preprint arXiv:1506.05163 (2015).
3. Defferrard, Michaël, Xavier Bresson, and Pierre Vandergheynst. "Convolutional neural networks on graphs with fast localized spectral filtering." Advances in neural information processing systems. 2016.
4. Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks." arXiv preprint arXiv:1609.02907 (2016).
图卷积神经网络非谱方法:【5,6,7,8,9】
5. Monti, Federico, et al. "Geometric deep learning on graphs and manifolds using mixture model cnns." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.
6. Hamilton, Will, Zhitao Ying, and Jure Leskovec. "Inductive representation learning on large graphs." Advances in Neural Information Processing Systems. 2017.
7. Xu, Keyulu, et al. "Representation learning on graphs with jumping knowledge networks." arXiv preprint arXiv:1806.03536 (2018).
8. Veličković, Petar, et al. "Graph attention networks." arXiv preprint arXiv:1710.10903 (2017).
9. Morris, Christopher, et al. "Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks." arXiv preprint arXiv:1810.02244 (2018).
10. Rhee, Sungmin, Seokjun Seo, and Sun Kim. "Hybrid approach of relation network and localized graph convolutional filtering for breast cancer subtype classification." arXiv preprint arXiv:1711.05859 (2017).
11. Dai, Hanjun, Bo Dai, and Le Song. "Discriminative embeddings of latent variable models for structured data." International conference on machine learning. 2016.
12. Duvenaud, David K., et al. "Convolutional networks on graphs for learning molecular fingerprints." Advances in neural information processing systems. 2015.
13. Gilmer, Justin, et al. "Neural message passing for quantum chemistry." Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017.
SortPool:14. Zhang, Muhan, et al. "An end-to-end deep learning architecture for graph classification." Thirty-Second AAAI Conference on Artificial Intelligence. 2018.
DiffPool:15. Ying, Zhitao, et al. "Hierarchical graph representation learning with differentiable pooling." Advances in Neural Information Processing Systems. 2018.
gPool:16. Gao, Hongyang, and Shuiwang Ji. "Graph U-Nets." arXiv preprint arXiv:1905.05178 (2019).
17. Cangea, Cătălina, et al. "Towards sparse hierarchical graph classifiers." arXiv preprint arXiv:1811.01287 (2018).
Set2Set:18. Vinyals, Oriol, Samy Bengio, and Manjunath Kudlur. "Order matters: Sequence to sequence for sets." arXiv preprint arXiv:1511.06391 (2015).

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多