所有文章 > 正文

ICLR 2020 | 神经网络架构搜索(NAS)论文推荐

作者: 牛土豆

时间: 2020-05-15 13:30

ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析,以及如何提高NAS方法的精度和效率等。值得一提的是,此届会议举办了ICLR历史上的第一个神经网络架构搜索(NAS)的Workshop(https://sites.google.com/view/nas2020/home),充分体现出NAS正成为越来越热门的神经网络研究方向。

此文列出以下十篇 ICLR 2020 上关于NAS的经典文章供大家学习参考!

1. NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search

作者:Xuanyi Dong, Yi Yang

本文是University of Technology Sydney和百度研究团队的合作研究成果。近年来伴随着NAS的大火,NAS的研究方法也层出不穷,但是对于各种方法的比较没有严格的基准。此篇文章致力于设立统一的基准(benchmark)用于不同NAS方法的比较。另外,虽然NAS可以自动搜索表现较好的模型,但是搜索的成本较高,尤其是是评估不同网络结构训练的成本。因此,此篇论文提供了15625个不同网络结构在三个数据集上的的训练的信息,有利于研究工作者避免繁琐重复的训练。

2. NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search 

作者:Arber Zela, Julien Siems, Frank Hutter

作者来自University of Freiburg和Bosch AI. 此篇论文与上篇论文在研究目的上具有较大的相似,上篇论文spotlight,这篇论文被选为poster. 因此在此对于这篇文章不做过多的总结。

3. NAS evaluation is frustratingly hard

作者:Antoine Yang, Pedro M. Esperança, Fabio M. Carlucci

后两位作者来自Huawei Noah’s Ark Lab该篇论文提供了8种NAS方法在5个数据集上的评估基准(benchmark),研究发现现有的NAS方法并没有比随机生成的网络结构具有显著的优势。

4. Understanding Architectures Learnt by Cell-based Neural Architecture Search

作者:Yao Shu, Wei Wang, Shaofeng Cai

作者来自新加坡国立大学。研究发现现有的一些流行的NAS方法的cell structure大多呈现如下结构:

1-.png

原因在于此种结构具有平稳的loss landscape以及快速的收敛性,如下图所示:

2-.png

5. Understanding and Robustifying Differentiable Architecture Search

作者:Arber Zela, Thomas Elsken, Tonmoy Saikia, Yassine Marrakchi, Thomas Brox, Frank Hutter

此篇论文认为DARTS可微网络结构搜索对于一些新的数据集没有表现出稳健的结果。原因在于DARTS对于valid dateset过度拟合。因此,研究提供了一些解决方案。

6. Evaluating the Search Phase of Neural Architecture Search

作者:Christian Sciuto, Kaicheng Yu, Martin Jaggi, Claudiu Musat, Mathieu Salzmann

研究发现流行的NAS方法比如DARTS, ENAS和随机的网络结构具有相似的performance。研究发现weight sharing是减弱这些流行方法的performance的一个原因。

7. PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search

作者:Yuhui Xu, Lingxi Xie, Xiaopeng Zhang, Xin Chen, Guo-Jun Qi, Qi Tian, Hongkai Xiong

作者来自上海交通大学和华为诺亚方舟实验室,同济大学和Futurewei Technologies。本篇论文为spotlight。研究目的在于提高DARTS的训练和内存的有效性(efficiency)。

8. AtomNAS: Fine-Grained End-to-End Neural Architecture Search

作者:Jieru Mei, Yingwei Li, Xiaochen Lian, Xiaojie Jin, Linjie Yang, Alan Yuille, Jianchao Yang

作者来自约翰霍普金斯大学和字节跳动公司。此项研究的贡献在于增大了NAS的搜索空间(search space),以取得更高的精度。不同于DARTS有搜索和评估两个阶段,这篇文章NAS方法只有end-to-end这一个阶段。

9. Once for All: Train One Network and Specialize it for Efficient Deployment

作者:Han Cai, Chuang Gan, Tianzhe Wang, Zhekai Zhang, Song Han

作者来自MIT韩松团队。这篇论文主要内容是通过训练和搜索一种once for all的超级网络,以支持不同的硬件平台设施。

(关于本篇论文更多的信息参见“MIT 韩松专访:Once for All 神经网络高效适配不同硬件平台

10. FasterSeg: Searching for Faster Real-time Semantic Segmentation

作者:Wuyang Chen, Xinyu Gong, Xianming Liu, Qian Zhang, Yuan Li, Zhangyang Wang

本篇论文将DARTS用于real-time的图像分割上。发现网络结构collapse的问题。解决方法为加入一些正则项(regularization term)。

相关阅读:

ICLR 2020 | 知识图谱推理框架:基于向量空间的推理和数值逻辑推理

ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs

ICLR 2020 | 预训练图神经网络模型

ICLR 2020 | 探索新的图表征学习思路

ICLR 2020 | NLP预训练模型的全新范式:对比学习

ICLR 2020 | 互信息视角下的表征学习

ICLR 2020 | 反事实因果理论如何帮助深度学习?

ICLR 2020 | 浅谈GNN:能力与局限

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型:MGNMT

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

推荐阅读 更多