更多ICLR2020论文信息

图表示学习一直是机器学习中一个重要的问题。除却耳熟能详者有DeepWalk类者、GNNs类者、生成类如GraphGAN者等等，还有哪些模型是值得去探索的呢？下面的两篇文章分别在节点层面和图层面研究了相关的问题。

Inductive and Unsupervised Representation Learning on Graph Structured Objects

这篇文章中，作者提出了一种新的通用的思路，即SEED（Sampling，Encoding，and Embedding Distribution），在理论上分析了其和图同构的关系，实现了其中一个可能的版本，并从实验上证明了其之有效性。

这种模型架构基于两个同构的图之间的子图的分布也应该彼此较为相近的假设出发，使用两个图之间子图分布之间的距离来度量两个图之间的距离。具体地，这类模型可以概括为如下三个步骤：

（1）采样，从输入的图中采样得到很多个子图，并希望可以采集到的那些容易被编码和解码的子图；

（2）编码，作者尝试定义一个子图的好的表示应该是可以从这样的表示中很好地重构出原来子图的结构；

（3）获取子图表示分布，子图的表示向量被聚合到一个向量中作为整个图的表示向量，对于两个图而言，他们之间的距离可以被子图表示分布之间的距离度量。这样设计的目标是，希望可以寻找到一种聚合函数可以保持预先定义好的分布之间的距离。

文中对于以上三个步骤均有自己的一种实现，以采样的方式为例，作者提出一种WEAVE的方法，这种方法以随机游走的方式访问节点，但与普通的随机游走不同的时，这种方法保留一个节点最早访问的时间，这样可以获得采取普通的随机游走所难以捕捉到的结构信息，如下图中，WEAVE可以很好地捕捉到图中存在的环路。

同时作者也在理论上建立了WEAVES和图同构的关系。当然这个模型效果也很好。

StructPool: Structured Graph Pooling via Conditional Random Fields

这篇文章的任务是图层面的表征学习。作者从graph pooling的角度出发，指出现有的很多方法并没有显示的考虑图结构的信息，并将graph pooling的过程转化为节点分类，从而其目标变为学习一个cluster assignment matrix。对于一个节点的分类不仅与这个节点的特征有关，还与其他节点的分类有关，于是文章采用条件随机场的方法来建模这种关系，并结合图结构信息设计吉布斯能量方程。

而结果也证明了这种方法的有效性。

相关阅读：

ICLR 2020 | NLP预训练模型的全新范式：对比学习

ICLR 2020 | 互信息视角下的表征学习

ICLR 2020 | 反事实因果理论如何帮助深度学习？

ICLR 2020 | 浅谈GNN：能力与局限

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型：MGNMT

[关于转载]：本文为“AMiner”官网文章。转载本文请联系原作者获取授权，转载仅限全文转载并保留文章标题及内容，不得删改、添加内容绕开原创保护，且文章开头必须注明：转自“AMiner”官网。谢谢您的合作。