所有文章 > 正文

研究人员开发了Learn to Grow框架改进了AI的“持续学习”能力,降低遗忘率

作者: Jansfer

时间: 2019-06-03 16:12

据ScienceDaily报道,研究人员已经为深度神经网络开发了一个新框架,该框架允许人工智能(AI)系统更好地学习新任务,同时更少地忘记关于旧任务的知识。研究人员还证明,使用该框架学习新任务还可以让AI更好地执行旧任务,这一现象被称为反向转移。

(图片来源:SilverBlu3)

“人类可以不断地学习;我们一直在学习新任务,而且我们不会忘记已经知道的任务。“北卡罗来纳州电气和计算机工程助理教授Tianfu Wu表示,“迄今为止,使用深度神经网络的AI系统在这方面还不是很擅长。”

该论文的首席作者、北卡罗来纳州立大学(NC State)博士生Xilai Li说:“深度神经网络AI系统是为学习窄任务而设计的,因此,AI在学习新任务时,可能会发生以下几种情况之一:系统学习新任务时会完全忘记旧任务,这被称为灾难性遗忘;系统可能会忘记部分旧任务,同时也不学习新任务;系统在学习添加新任务的同时修复了旧任务,这限制了AI系统的提升,并很快会导致AI系统太大而无法有效运行。持续学习,也被称为终生学习,正试图解决这个问题。”

该论文联合首席作者、Salesforce Research的科学家 Yingbo Zhou说:“我们提出了一个新的持续学习框架,它将网络结构学习和模型参数学习分离开来,我们称其为Learn to Grow 框架。在实验测试中,我们发现它的表现优于之前的持续学习方法。”

要理解Learn to Grow框架,可以将深度神经网络看作是一个充满多层的管道。原始数据从管道顶部进入,任务从底部输出。管道中的每一“层”都是一个操作数据的计算,以帮助网络完成其任务,例如识别数字图像中的对象。在管道中有多种安排层的方法,它们对应于网络的不同“体系结构”。

当深度神经网络学习一项新任务时,Learn to Grow框架首先通过搜索进行显式神经结构优化。这意味着当网络到达系统中的每一层时,它可以决定做以下四件事之一:跳过该层;以先前任务使用方式使用该层;在该层连接一个轻量适配器,使用该适配器对该层其进行轻微修改;或者创建新层。

这种体系结构优化有效安排了完成新任务所需的最佳拓扑层或一系列层。一旦层结构优化完成,网络就会使用新的拓扑来训练自己完成任务,就像任何其他深度学习AI系统一样。

Li博士说:“我们使用了几个数据集进行实验,发现新任务与以前的任务越相似,执行新任务的现有层重叠越多。更有趣的是,通过优化或“学习”拓扑结构,接受过执行新任务训练的网络几乎不会忘记执行旧任务所需的知识,即使新旧任务并不相似。”

研究人员还进行了实验,将 Learn to Grow框架学习新任务的能力与其他几种持续学习方法进行了比较,发现 Learn to Grow框架在完成新任务时准确性更高。

为了测试每个网络在学习新任务时忘记的内容多少,研究人员随后测试了每个系统执行旧任务的准确性—— Learn to Grow框架再次优于其他网络。

Salesforce Research的研究主管、该研究的合著者Caiming Xiong表示:“在某些情况下,Learn to Grow框架实际上在执行旧任务方面做得更好。这就是所谓的反向转移,当你发现学习一项新任务能让你更好地完成一项旧任务时,这种转移就会发生。我们一直在人类身上看到这一点;但AI不能。”

这篇题为“Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting”的论文将发表在第36届机器学习国际会议上,该会议将于6月9日至15日在加州长滩召开。该论文由北卡罗来纳大学博士生Xilai Li和Salesforce Research的Yingbo Zhou主要著作,由Salesforce Research的Richard Socher和Caiming Xiong合著。

这项工作受到美国陆军研究办公室W911NF1810295和W911NF1810209项目以及国家科学基金会1822477项目的支持。该论文的部分工作是在Xilai Li在Salesforce AI Research暑期实习时完成的。

原文链接:https://www.sciencedaily.com/releases/2019/05/190515115832.htm

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

推荐阅读 更多