所有文章 > 正文

科学家通过最小化随机递归神经网络(rRNN)实现其预测性能的新突破

作者: Jansfer

时间: 2019-07-20 15:21

加拿大皇后大学的一个研究小组最近提出了一种缩小随机递归神经网络(rRNN)的新方法,相关论文已经发表在arXiv上。这种方法主要是通过最小化rRNN隐藏层中的神经元数量从而提高其性能预测。

图片来源:Marquez, Suarez-Vargas & Shastri.

进行这项研究的研究人员之一Bicky Marquez告诉TechXplore:“我们的实验室专注于为人工智能应用设计硬件。在这项研究中,我们一直在研究解神经网络工作原理,并且希望在不影响神经元在正常工作的前提下,试图减少我们想要构建的神经网络中的神经元数量。我们要解决的主要任务是预测,因为这一直是科学界和整个社会的关注的领域。”

开发能够从数据中预测未来模式的机器学习工具已经成为世界各地众多研究小组的重点。这一点也不令人惊讶,因为预测未来事件可能在许多领域具有重要的应用,例如预测天气、预测股票走势或绘制一些人类病理学的演化图。

Marquez及其同事进行的研究具有跨学科性质,因为它融合了与非线性动力系统、时间序列分析和机器学习相关的理论。研究人员的主要目标是对之前用于神经网络分析的工具包进行扩展,最小化隐藏的rRNN层中的神经元数量,并消除这些神经网络的部分属性。

为实现这一目标,研究人员们引入了一种新方法,将预测理论和机器学习融合到一个框架中。他们的技术可用于提取和使用rNN输入数据的相关特征,并指导其隐藏层的缩小过程,最终提高其预测性能。

研究人员利用他们研究中收集的数据开发了一种名为Takens灵感处理器的新型人工神经网络模型。该模型由真实和虚拟神经元组成,在诸如高质量、长期预测混沌信号等挑战性问题上达到了最优的性能。

Marquez解释说:“我们的模型的主要优势在于解决了构成典型人工神经网络的大量神经元所产生的问题。在考虑优化这些网络来解决任务时,这些模型中过多的神经元通常会转化为患病者看病贵的问题。在我们的设计中加入虚拟神经元的概念是可以减少物理神经元数量的一个非常方便的步骤。”

在他们的研究中,Marquez和她的同事也使用他们的混合处理器来稳定一个叫做Fitz-Hugh-Nagumo的神经兴奋性心律失常神经模型。他们的方法允许他们将稳定神经网络的大小与其他标准神经网络相比缩小15倍。

Marquez说:“我们的方法让我们发现了一些相关的特征,这些特征是在网络空间中产生的,也是成功预测的基本因素。如果我们能够识别并消除这些重要特征周围的无关信号,我们就可以利用它们来提高我们网络的性能。”

Marquez及其同事设计的方法是对之前可用于rRNN开发和分析工具的重要补充。将来,他们的方法可以为更有效的预测神经网络设计提供信息,减少其中包含的节点和连接数量。他们的技术还可以使rRNN更加透明,允许使用者了解神经网络是如何得出相应的关键结论的。

马尔克斯说:“我们专注于神经形态硬件。因此,我们的下一步工作将与这些随机循环网络的物理实现有关。我们的最终目标是设计能够非常有效地解决人工智能问题的超快速且低能耗的大脑启发式计算机。”

参考:techxplore.com/news/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多