近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构，由此一个新的研究热点——“图神经网络（Graph Neural Networks，GNN）”应运而生。图神经网络最主要是提供了图嵌入（Graph Embedding）这一可以用来进行图表征学习的技术，将传统的图分析引入，扩展了深度学习对于非欧几里得数据的处理能力，提供了对非规则数据提取特征的方法，它被广泛应用于社交网络，推荐系统，金融风控，物理系统，分子化学，生命科学，知识图谱，交通预测等领域。

1.论文名称：Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization

论文链接：https://www.aminer.cn/pub/5f5f378a91e0117a861e8942?conf=iclr2021

简介：图神经网络（GNN）在各种应用中均表现出优异的性能，但是训练专用的GNN对于大型图可能是昂贵的。最近的一些工作开始研究GNN的预训练。但是，它们都没有提供有关其框架设计的理论见解，也没有为GNN的可移植性提供明确的要求和保证。在这项工作中，我们为GNN的迁移学习建立了理论基础和实用的框架。首先，我们对基本图形信息提出了一种新颖的观点，并提倡将其捕获作为可转移GNN训练的目标，这激发了Ours的设计，这是一个基于自我图信息最大化的新颖GNN框架，可以通过分析实现这一目标。其次，我们将要求尊重结构的节点特征作为GNN输入，并根据源图和目标图的局部图拉普拉斯算子之间的差异得出严格的GNN可传递性边界。最后，我们进行受控的合成实验以直接证明我们的理论结论是正确的。在针对角色识别的现实世界网络上进行的大量实验表明，在严格分析的直接转移设置中，结果是一致的；而针对大规模关系预测的实验却在更通用，更细微的转移设置中，显示出了有希望的结果

2.论文名称：How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks

论文链接：https://www.aminer.cn/pub/5f6dc84991e01153370055fc?conf=iclr2021

简介：我们研究了通过梯度下降训练的神经网络如何外推，即它们在训练分布的支持范围之外学到了什么。以前的工作在用神经网络外推时报告了混合的经验结果：虽然多层感知器（MLP）在简单任务中无法很好地外推，但图神经网络（GNN）是带有MLP模块的结构化网络，在较复杂的任务中也有一定的成功。我们提供了理论上的解释，并确定了MLP和GNN良好推断的条件。我们首先显示受梯度下降训练的ReLU MLP沿原点的任何方向迅速收敛到线性函数，这表明ReLU MLP无法在大多数非线性任务中很好地推断。另一方面，当训练分布足够“多样化”时，ReLU MLP可以证明收敛到线性目标函数。这些观察结果得出一个假设：如果我们在体系结构和输入表示中编码适当的非线性，则GNN可以很好地推断出动态编程（DP）任务。我们为该假设提供理论和经验支持。我们的理论解释了先前的外推法成功并提出了其局限性：成功的外推法依赖于结合特定于任务的非线性，这通常需要领域知识或广泛的模型搜索。

3.论文名称：A Simple and General Graph Neural Network with Stochastic Message Passing

论文链接：https://www.aminer.cn/pub/5f5751dc91e011f4c3d5daa2?conf=iclr2021

简介：图神经网络（GNN）是新兴的图机器学习模型。现有GNN表现力背后的一项关键特性是，学习到的节点表示形式是等距排列的。置换等方差虽然对于某些任务来说是理想的属性，但它可以防止GNN感知邻近性，即保留节点对之间基于步行的邻近度，这是图形分析任务的另一个关键属性。另一方面，提出了GNN的某些变体以保留节点邻近度，但它们无法维持置换等方差。如何在保持排列等方差的同时使GNN具有感知距离的能力仍然是一个悬而未决的问题。在本文中，我们提出了随机消息传递（SMP），这是一种通用且简单的GNN，可同时保持邻近感知和置换等方差属性。具体来说，我们利用学习到的随机节点表示法来增强现有的GNN，以保留节点邻近度。尽管看似简单，但我们证明了这种机制可以使GNN在理论上保留节点邻近度，同时在某些参数化的情况下保持置换等方差。大量的实验结果证明了SMP对于包括节点分类和链接预测在内的任务的有效性和效率。

4.论文名称：Finding Patient Zero: Learning Contagion Source with Graph Neural Networks

论文链接：https://www.aminer.cn/pub/5ef3247a91e0110c353da718?conf=iclr2021

简介：找出流行病的来源或患者零（P0），可以提供对感染传播过程的关键见解，并可以进行有效的资源分配。现有方法使用图论中心性测度和昂贵的消息传递算法，需要了解基本动态及其参数。在本文中，我们使用图神经网络（GNN）重新学习该问题以学习P0。我们为一类流行病模型中的P0识别建立了理论极限。考虑到具有COVID-19病史和特征的疾病，我们在合成和真实世界的接触网络上针对不同的流行病模型评估了我们的方法。％我们观察到，GNN可以识别出接近于理论精度的P0，而无需明确输入动力学或其参数。此外，GNN的推理速度比经典方法快100倍以上。我们的理论界限还表明，这种流行病就像一个滴答滴答的钟声，强调了早期接触者追踪的重要性。我们发现最长时间之后，无论使用哪种算法，都无法精确恢复源。

5.论文名称：FLAG: Adversarial Data Augmentation for Graph Neural Networks

论文链接：https://www.aminer.cn/pub/5f8fffb591e01125c27ddec9?conf=iclr2021

简介：数据增强可以帮助神经网络更好地泛化，但是如何有效地增强图形数据以增强GNN（图形神经网络）的性能仍然是一个悬而未决的问题。尽管大多数现有的图正则化器专注于通过添加/删除边来增强图拓扑结构，但我们提供了一种新颖的方向来扩展输入节点特征空间以实现更好的性能。我们提出了一个简单但有效的解决方案，即FLAG（图形上的免费大规模对抗增强），该解决方案在训练过程中通过基于梯度的对抗扰动来迭代地增强节点特征，并在测试时提高性能。从经验上讲，FLAG可以轻松地用十几行代码实现，并且足够灵活，可以与任何GNN主干一起在各种大规模数据集上以及在转导和归纳设置下运行。在不修改模型的体系结构或训练设置的情况下，FLAG可以在节点和图分类任务之间实现一致且显着的性能提升。使用FLAG，我们在大型ogbg-molpcba，ogbg-ppa和ogbg代码数据集上达到了最先进的性能。