所有文章 > 正文

智库 | ICML会议专家库2019最佳论文提名

作者: 学术小白

时间: 2019-06-26 18:07

统计结果显示, ICML 2019 接收论文最多的机构前三甲分别为谷歌( 80 多篇)、麻省理工学院(40 多篇)以及加利福尼亚伯克利大学(40 多篇)。

全球华人专家库收录ICML会议投稿学者信息,接下来简单介绍ICML。ICML是International Conference on Machine Learning的缩写,即国际机器学习大会。ICML如今已发展为由国际机器学习学会(IMLS)主办的年度机器学习国际顶级会议。

6月12日,ICML 2019于美国长滩市公布了本届大会最佳论文结果。谷歌大脑、MaxPlanck和苏黎世联邦理工学院合作的《挑战无监督分离式表征的常见假设》,以及剑桥大学的一篇《稀疏变分高斯过程回归的收敛速率》作为最佳论文摘得桂冠。另外,还有七篇论文获得提名奖。

(图片来源:Twitter 网友)

论文录取结果地址:https://icml.cc/Conferences/2019/AcceptedPapersInitialfbclid=IwAR0zqRJfPz2UP7dCbZ8Jcy7MrsedhasX13ueqkKl934EsksuSj3J2QrrRAQ


最佳论文一:谷歌几乎全面否定了现有的同行成果

​论文标题:Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations(挑战无监督学习解耦表示中的常见假设)

团队:来自苏黎世联邦理工学院(ETH Zurich)、MaxPlanck 智能系统研究所及谷歌大脑;

作者:Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem

论文地址:http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf

深度学习的一个重要挑战是用无监督学习的方式理解现有数据。目前主要提出的方法是一个利用分离式表征 (disentangled representation) 的模型,它可以捕捉到各种相互独立的特征,如果其中一个特征改变了,其他特征不会受到影响。

而该团队测试了12,000个模型之后,对现有无监督分离式表征学习研究发出了严重的质疑。

首先,并没有发现任何经验证据,显示无监督方法可以学到可靠的分离式表征,因为随机种子和超参数似乎比模型的选择更重要。也就是说,就算训练了大量的模型,一部分可以得出分离式表征,也很难在不看标签的情况下就把这些表征找出来。

其次,在参加评估的模型和数据集上,分离式表征并不一定对后续任务有帮助,结果表明用了分离式表征也不等于说AI就可以用更少的标注来学习。

最后,论文给研究者提出建议,因为根据检测结果,不带归纳偏置 (Inductive Biases) 的无监督学习的分离式表征是不可能实现的,未来的研究应该清楚地描述出归纳偏置,以及隐式和显式的监督方式。


最佳论文二:Rates of Convergence for Sparse Variational Gaussian Process Regression(稀疏高斯过程回归变分的收敛速度)

​团队:英国剑桥大学、机器学习平台 Prowler.io

作者:David R. Burt,Carl E. Rasmussen,Mark van der Wilk

​论文地址:https://arxiv.org/pdf/1903.03571.pdf

这篇论文的第一作者是来自剑桥大学信息工程系的博士研究生David Burt,其主要研究领域是贝叶斯非参数和近似推理。另一位作者是Mark van der Wilk,剑桥大学机器学习专业的在读博士研究生,主要的研究领域是贝叶斯推理、强化学习、高斯过程模型等。

此论文的工作证明了稀疏GP回归变分近似到后验变分近似的KL发散的界限,该界限仅依赖于先验核的协方差算子的特征值的衰减。

7篇论文获得最佳论文提名

​(图片来源:Twitter 网友)

同期,ICML 2019也公布了7篇摘得提名奖(Honorable Mentions)的论文,分别如下:

《类比可解释性:趋向理解词嵌入》

Analogies Explained: Towards Understanding Word Embeddings

作者:Carl Allen,Timothy Hospedales

论文下载地址:https://arxiv.org/pdf/1901.09813.pdf


《SATNet:使用差分可满足性求解器来桥接深度学习和逻辑推理》

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者:Po-WeiWang,Priya L. Donti,Bryan Wilder,Zico Kolter

论文下载地址:https://arxiv.org/pdf/1905.12149.pdf


《深度神经网络中随机梯度噪声的尾指数分析》

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者:Umut Şimşekli,L, event Sagun, Mert Gürbüzbalaban

论文下载地址:https://arxiv.org/pdf/1901.06053.pdf


《趋向随机傅里叶特征的统一分析》

Towards A Unified Analysis of Random Fourier Features

作者:Zhu Li,Jean-François Ton,Dino Oglic,Dino Sejdinovic

论文下载地址:https://arxiv.org/pdf/1806.09178.pdf


《分期偿还的蒙特卡罗积分》

Amortized Monte Carlo Integration

作者:Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth

论文下载地址:http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf


《多智能体深度强化学习的内在动机的社会影响》

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者:Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas

论文下载地址:https://arxiv.org/pdf/1810.08647.pdf


《随机波束以及找到它们的地方:取样序列无需更换的 Gumbel-Top-k 方法》

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者:Wouter Kool, Herke van Hoof, Max Welling

论文下载地址:https://arxiv.org/pdf/1903.06059.pdf


ICML 2019:谷歌成最大赢家,清北皆有上榜

早在一个月前,Reddit上便有网友根据 ICML 2019大会官网公布的接收论文情况进行统计( https://icml.cc/Conferences/2019/Schedule?type=Poster),总结了这次大会接收论文最多的机构、贡献最多的作者等。

贡献最多的机构:谷歌、麻省理工、加州大学伯克利分校。

统计结果显示, ICML 2019接收论文最多的机构前三甲分别为谷歌( 80多篇)、麻省理工学院(40多篇)以及加利福尼亚伯克利大学(40多篇)。

​此外,国内的清华、北大也榜上有名,分别位列18和34名,腾讯位列42名,而阿里巴巴在Top100更靠后一点。

按照学术和工业划分,接收论文数量最多的机构分别为:

学术:麻省理工大学、伯克利大学、斯坦福大学。

工业:谷歌、谷歌大脑、微软。

学术和工业论文的统计情况:

452 篇论文(58.4%)纯属学术研究;

60 篇论文(7.8%)纯粹来自工业研究机构;

262 篇论文(33.9%)与作者隶属于学术界和工业界。

据了解,近年来 ICML 的投稿数量持续暴涨。ICML 2017有1676 篇投稿,接受了434篇接受论文,2018年则是2473/ 621,投稿数增加了45%,ICML 2019共提交了3424篇论文,其中录取774篇,论文录取率为22.6%。录取率较去年ICML 2018的25%有所降低。

事实上,这与其他顶级会议的论文录取情况十分相似,比如计算机视觉领域顶会 CVPR 2019 的录取率接近 25.2%,比去年的 29% 相比也有所下降。可以看出,近年来人工智能顶级会议的热度虽不减,但录取困难程度在不断提升。

对ICML 2019相关的情况就介绍到这里,更多信息欢迎访问全球华人专家库

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多