所有文章 > 正文

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

作者: THINK2TRY

时间: 2020-04-24 11:26

提高图嵌入的质量和效率是一直以来被关注的两个问题。一方面,图嵌入应该利用图的结构性特征以及节点的属性特征来提升嵌入的质量;另一方面,提高图嵌入方法的效率和可扩展性使其能够应用到超大规模的图上。这两个问题常常是正交的。因此,本文希望能够同时提升图嵌入的效率和质量。

阅读原文:GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding

Code

ICLR专题

图嵌入越来越多地被应用在非欧数据的表示学习上。图嵌入旨在将图中的节点映射到低位向量编码空间中并尽可能地保留节点的特征。

“如何同时有效地利用图的结构性和节点属性特征来提升表达力”以及“如何提高图嵌入的效率”一直是图嵌入关注的问题。

提高图嵌入的质量和效率常常是正交的两个问题,也是一直以来被关注的两个问题。一方面,图嵌入应该利用图的结构性特征以及节点的属性特征来提升嵌入的质量;另一方面,提高图嵌入方法的效率和可扩展性使其能够应用到超大规模的图上。因此,本文希望能够同时提升图嵌入的效率和质量。

文章提出了一个无监督的多级学习框架GraphZoom,能够在现有无监督图嵌入方法的基础上提高其质量和效率。GraphZoom包含以下四个过程:

graphzoom1.png

1) 图融合(Graph fusion)。利用节点属性相似度构建特征相似矩阵,与邻接矩阵结合的到包含结构特征和属性特征的混合邻接矩阵:

2) 谱粗化(Spectral coarsening)。利用“局部谱嵌入”高效地利用混合邻接矩阵进行图嵌入,即用高斯-赛德尔迭代法解k个线性方程组得到k维特征表示。然后对谱亲和性更高的节点进行局部聚类,得到节点数更少的图(邻接矩阵)。如此反复。

3) 利用现有图嵌入方法(DeepWalk, DGI等)对谱粗化后的图进行嵌入。

4) 嵌入细化(Embedding refinement)。利用拉普拉斯平滑将3)中得到的节点表示映射到原图的每一个节点上,得到原图节点的嵌入表示。

graphzoom2.png

GraphZoom在多个方法以及数据集上均实现了嵌入质量和效率的提升。谱粗化和嵌入细化两个过程一方面融合了结构和属性特征,另一方面以较低的代价将图的表示学习转化为更小规模图的嵌入,提升学习效率。GraphZoom在DeepWalk和Node2vec方法上实现了20×以上的效率提升,在DGI上实现了~10×的效率提升。

更多ICLR论文话题,可通过微信“Moonnn01”加入ICLR 2020 交流群讨论。

相关阅读:

ICLR2020 全析图来了!清华大学 AMiner 上线会议智图开放平台

ICLR 2020 全析解读:华人作者贡献60%,谷歌、卡内基梅隆和清华大学领跑前三

ICLR 2020 高引华人榜单发布

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

推荐阅读 更多