所有文章 > 正文

从“八卦”中获取灵感,研究人员发现了加快网络信息共享的高效算法

作者: Jansfer

时间: 2019-07-10 02:15

八卦是在大型网络中共享信息的一种有效方式,在解决其他数学和机器学习问题方面具有意想不到的应用。

图片来源:nestign / Alamy Stock Photo

KAUST(阿布扎比国王科技大学)教授Peter Richtarik从一个全新的角度研究了传统的八卦算法。他们发现了一种加快八卦信息共享的算法并发现了这种高效数学算法的新应用。

八卦涉及在网络中个体之间的共享信息,并且可以在人类社交网络和数据网络(如分布式传感器)中以数学方式应用。

“网络是节点的集合,每个节点通过链接连接到其他节点,”Richtarik解释说。例如,在社交网络中,每个人通过友谊链接与他人联系。在传感器网络中,如果传感器距离足够近,可以通过无线连接进行通信,那么它们就可以连接起来。”

在许多实际应用程序中,基于网络中所有节点存储的数据执行计算通常很有用,比如计算每个节点存储的私有数据的平均值,这称为平均共识问题。然而,由于通信仅限于节点之间的直接链接,因此在实践中,这非常具有挑战性。

“八卦算法是通过随机选择的朋友之间的成对通信来执行这种计算,并重复这个过程,直到所有人都知道结果,”Richtarik说。“这模仿了八卦在人类中的运作方式。令人惊讶的是,这种简单的沟通策略可以用数学方式展示这种全球性的网络问题。”

Richtarik与苏格兰爱丁堡大学的Nicolas Loizou合作,一直在研究随机八卦算法与其他数学和计算机科学分支的联系。

线性代数涉及求解具有许多未知数的许多方程的系统,他们的理论研究揭示了随机八卦算法与线性代数之间的深层联系。他们还与机器学习中最著名的算法之一——随机梯度下降法建立了直接的深层联系,该算法用于训练几乎所有工业应用中使用的深度学习模型。这些发现帮助研究人员开发出新的更快的八卦协议。

“我们能够开发一种新的加速八卦算法,这种算法可以通过更少的八卦轮来达到平均共识值,”Richtarik说。“我们的方法只需要经典八卦算法所需轮数的平方根,即100轮而不是10,000轮。我们在数学上证明了这一点,并在实践中观察到了这种加速度。”

参考: phys.org

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多