编辑 | 萝卜皮
组合优化问题在科学和工业中普遍存在。现代深度学习工具已准备好以前所未有的规模解决这些问题，但结合统计物理学见解的统一框架仍然很出色。这里，亚马逊量子解决方案实验室的研究人员，展示了如何使用图神经网络来解决组合优化问题。他们的方法广泛适用于以二次无约束二元优化问题形式出现的规范 NP 难问题，如最大割集、最小顶点覆盖、最大独立集，以及以多项式无约束二元优化问题形式出现的 Ising spin glasses 及其高阶推广。研究人员对问题哈密顿量应用松弛策略以生成可微损失函数，然后用它来训练图神经网络，并在无监督训练过程完成后对整数变量应用简单投影。他们展示了针对典型最大割和最大独立集问题的数值结果的方法。研究发现，图神经网络优化器的性能与现有的求解器相当或优于现有的求解器，能够扩展到超越现有技术水平以解决具有数百万个变量的问题。该研究以「Combinatorial optimization with physics-inspired graph neural networks」为题，于 2022 年 4 月 21 日发布在《Nature Machine Intelligence》。

优化在科学和工业中无处不在。具体而言，组合优化领域——在有限但往往很大的候选解集中搜索目标函数的最小值，是优化领域最重要的领域之一，在几乎所有行业（包括私营部门和公共部门）都有实用（但也有着臭名昭著的挑战性）的应用，以及运输和物流、电信和金融等领域。尽管针对特定用例存在有效的专用算法，但大多数优化问题仍然难以解决，尤其是在实际应用中，问题更加结构化，因此需要额外的步骤才能使其适应传统的优化技术。尽管算法和计算能力都取得了显着进步，但实质性但通用的改进仍然难以捉摸，这引起了对广泛适用且与传统运筹学工具截然不同的新优化方法的兴趣增加。在更广泛的物理学界，量子退火设备（如 D-Wave Systems Inc. 量子退火器）的出现重新激发了人们对开发用于解决离散优化问题的启发式方法的兴趣。一方面，量子科学和技术的最新进展激发了新经典算法的发展，有时被称为自然启发或物理启发算法，这提高了新兴量子退火硬件的标准。另一方面，在这些算法发展的同时，近年来在基于替代技术的可编程专用设备的开发方面取得了实质性进展，例如基于光学参量振荡器的相干 Ising 机、基于自组织逻辑门的数字 MemComputing 机，以及基于ASIC的富士通数字退火机（ASIC，专用集成电路）。其中一些方法面临严重的可扩展性限制。例如，在相干伊辛机中，需要在精度和变量数量之间进行权衡，而富士通数字退火器（烘焙到 ASIC 中）目前最多可以处理 8,192 个变量。因此，寻找新的替代方法来解决大规模组合优化问题具有极大的兴趣，这远远超出了目前量子和自然启发方法等可访问的方法。在深度学习社区中，图神经网络 (GNN) 在过去几年中大受欢迎。本质上，GNN 是专门为图结构数据设计的深度神经网络架构，能够学习节点、边甚至整个图的有效特征表示。GNN 应用的主要示例包括社交网络中的用户分类、推荐系统中未来交互的预测以及分子图的某些属性的预测。作为对各种现实世界复杂结构数据进行建模的便捷通用框架，GNN 已成功应用于广泛的问题，包括社交媒体和电子商务中的推荐系统、社交媒体中错误信息的检测以及 自然科学的各个领域，包括粒子物理学中的事件分类，仅举几例。尽管存在几种 GNN 的特定实现，但在其核心，GNN 通常通过聚合来自其邻居的信息来迭代更新图节点的特征，从而随着网络训练的进行迭代地对图结构进行局部更新。由于其可扩展性和固有的基于图的设计，GNN 提供了一个替代平台，可在该平台上构建大规模组合启发式。

图示：组合优化GNN方法示意图。（来源：论文）

在本研究中，研究人员提出了一个高度可扩展的基于 GNN 的求解器，以（大约）解决具有数百万个变量的组合优化问题。其工作原理如下：首先，研究人员确定了根据二元决策变量 xν ∈ {0, 1} 对优化问题进行编码的哈密顿量（成本函数）H，并且将此变量与无向图 G=(V,E) 的顶点 ν∈V 相关联 ) 顶点集 V={1,2,…,n} 和边集 E={(i,j):i,j∈V} 捕获决策变量之间的交互。然后，研究人员将松弛策略应用于问题哈密顿量以生成可微分损失函数，使用它对 GNN 的节点表示进行无监督训练。GNN 遵循标准递归邻域聚合方案，其中每个节点 ν = 1, 2, …, n 收集其邻居的信息（编码为特征向量），以计算其在层 k = 0, 1, … , K 的新特征向量 hkν。经过 k 次聚合迭代后，节点由其转换后的特征向量 hkν 表示，该向量捕获节点的 k 跳邻域内的结构信息。对于二元分类任务，通常使用卷积聚合步骤，然后应用非线性 softmax 激活函数将最终嵌入 hKν 缩小为一维软（概率）节点分配 pν=hKν∈[0,1]。最后，一旦无监督训练过程完成，研究人员应用投影启发式将这些软分配 pν 映射回整数变量 xν ∈ {0, 1}，例如使用 xν = int(pν)。

图示：受物理启发的 GNN 优化器的端到端工作流程。（来源：论文）

论文中，研究人员在数值上展示了他们的方法以及典型 NP-hard 优化问题的结果，例如最大割 (MaxCut) 和最大独立集 (MIS)，结果表明基于 GNN 的方法可以与现有完善的求解器相媲美甚至更好， 同时广泛适用于一大类优化问题。正如最近的研究所展示的那样，当在机器集群上以小批量方式利用分布式训练时，该方法的可扩展性还开辟了研究具有数亿个节点的前所未有的问题规模的可能性。

论文链接：https://www.aminer.cn/pub/60e3c80091e0114c7cb9e493