所有文章 > 正文

ICLR2020放榜 687篇入选34篇得满分! 且看OpenReview数据图文详解

作者: 学术青

时间: 2019-12-23 10:55

近日ICLR 2020放榜,最终2594篇论文中共有687篇被接收,其中48篇orals,108篇spotlights,531篇poster。录取率为26.5%,相比去年的31.4%略有下降。

深度学习的顶级会议ICLR 2020将于明年4月26日于埃塞俄比亚首都亚的斯亚贝巴举行。

今日ICLR 2020放榜,最终2594篇论文中共有687篇被接收,其中48篇orals,108篇spotlights,531篇poster。录取率为26.5%,相比去年的31.4%略有下降。

1100.jpg

据统计,约有320篇被接收论文中有华人学者参与,占比47%。

ICLR 2020官方评审页面

从官方发布的博文可知,今年的审稿过程与去年基本保持不变,但进行了两项调整:大会组委会不允许在评审期间进行公开评论,以使作者和审稿人对讨论的要点有清晰的认知,并且留有一周进行替换和紧急评审。

此外,为了帮助审稿人做出更清晰的决策,今年的评分系统也做了简化,组委会取消了中性评分的选项:只保留“reject(拒绝)、weak reject(弱拒绝)、 weak accept(弱接受) 、accept(接受)”四个选项。

通过将评分分配给上述四项评分选项,以产生平均分数。由于各种原因,分数是不对称分布的,分别为1、3、6和8。对于接收的论文,组委会担心审稿人不愿意给出10分,实际对于作者来说可能希望论文被接收,但并不意味着它应该得到10分。此外,3分到6分之间的较大差距使得弱拒绝和弱接受之间得以有更大区分,以提供更多的建议从而避免“中立”。尽管这些做法有些不典型,但得出的平均值对于最终指导决策还是有意义的。

对于ICLR来说,随着每年提交论文数量的显著增长,导致建立具有丰富经验的大型审稿人库的任务日益艰巨。今年总共有119位AC和2200位审稿人参与了审稿工作,虽然审稿人数没有委员会最初预期的规模那么大,也使得评审人的负担超出了预期,但最终接收论文的质量都很高。

此外,ICLR2020也拒绝了少数论文(不到20篇),因为它们违反了“双重提交政策”。同时也撤回了大量论文,比如与其他会议截止日期临近和重叠,或与其他会议如ACL的“匿名政策”不相符的论文。

一、详解OpenReview数据

ICLR 2020论文入选结果公布后,来自南加利福尼亚大学计算机专业的博士生小哥哥Sun Shao-Hua对此次提交的论文数据进行了详细分析。此外,他也有一篇论文被接收为spotlight论文。

1101.png

该OpenReview数据上传页面

1.论文评分

从ICLR2020论文评分的直方图可见,审稿人的评分分布集中在4分左右(平均为4.1822分)。其中得4分的有367篇;得5分的有266篇;得8分的有34篇。

一篇评分为6-8-8的论文被拒了:《Ted: A Pretrained Unsupervised Summarization Model With Theme Modeling And Denoising》

而一篇评分为1-3-3的论文竟被接收:《Efficient Probabilistic Logic Reasoning with Graph Neural Networks》

③得分为3-6-8的论文中有62%被接收;

④得分为3-6-6篇论文中只有27.8%被接收。

1102.png

审稿人评分的累积总和见下图:

1103.png

2.ICLR 2020关键字

下图是由投稿关键词生成的词云图,突出了深度学习、强化学习、表示学习、生成模型、图形神经网络等热点话题。

1104.jpg

TOP50关键字词其频率见下图:

1105.jpg

根据审稿人的平均评分和关键词的频率表明,如果想要增加你得高分的几率可以多使用关键字,比如深入学习或梯度下降等。

1106.jpg

3.审稿长度

ICLR 2020平均评审长度为407.91字。直方图如下:

1107.png

1108.jpg

4.反驳期间审稿人评分发生了变化

所有人的评分变化见下图:

1109.png

每篇论文的平均评分变化见下图:

1110.jpg

5.满分论文

在ICLR2020上出现了34篇满分论文,其中有不少来自清华、上海交大、哈工大、西安电子科大等国内高校以及华为、字节跳动等国内企业的论文作者。

平均得分为8分的论文

1111.jpg

1112.jpg

二、审稿引争议

ICLR,全称为International Conference on Learning Representations(国际学习表征会议),2013年由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun牵头创办。众所周知,Yoshua Bengio主管着蒙特利尔大学人工智能实验室,也就是 MILA,它是世界上最大的人工智能研究中心之一。Yann LeCun是 Facebook 人工智能研究院的院长,被称为卷积神经网络之父。

虽然ICLR成立仅六年,但它已被学术研究者们广泛认可,被认为是“深度学习的顶级会议”。ICLR 采用Open Review 评审制度。根据规定,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。

ICLR 2020的审稿早前受到了诸多吐槽与争议。比如,南大周志华教授曝出:ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文;再比如,一篇ICLR 2020的论文在拿到完美的满分评价后,其他的两位审稿人又连续给了2个1分评价,还有的论文三位审稿人均给出了6-6-6的高分,但AC却做出了不适用自己论文的评语,这些都引发了激烈的讨论。

放榜之后总是有人欢喜有人忧。总之,恭喜入选的同学!你的论文有入选吗?

作者| 学术君

排版| 学术青

校对| 小满 子璇

责编| 学术青 优学术

往期回顾:

THE、QS等四大世界大学排名对比 计算机专业究竟哪家强?

图灵奖得主Geoffrey Hinton最新研究NASA:一种更好地学习三维模型动作的方法

【NeurIPS100】谷歌、Facebook、斯坦福等十篇机器学习最新论文解读

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多