所有文章 > 正文

NeurIPS 2020 | 近期必读对比学习精选论文

作者: AMiner科技

时间: 2020-12-21 14:26

更多NeurIPS2020论文,尽在AMiner平台。

AMiner平台(https://www.aminer.cn)由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线,吸引了全球220个国家/地区1000多万独立IP访问,数据下载量230万次,年度访问量超过1100万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。


对比学习(Contrastive Learning)是一种为深度学习模型描述相似和不同事物的任务的方法。利用这种方法,可以训练机器学习模型来区分相似和不同的图像。对比学习通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同。
根据AMiner-NeurIPS 2020词云图和论文可以看出,与Contrastive Learning是在本次会议中的热点,下面我们一起看看Contrastive Learning主题的相关论文。


1.论文名称:Supervised Contrastive Learning
论文链接:https://www.aminer.cn/pub/5ea2b8c391e01167f5a89e2d?conf=neurips2020
简介:交叉熵是在图像分类模型的有监督训练中使用最广泛的损失函数。在本文中,我们提出了一种新颖的训练方法,该方法在不同体系结构和数据扩充的监督学习任务中始终优于交叉熵。我们修改了批处理的对比损失,最近已证明在自我监督的环境中,这种对比损失对于学习强大的表示非常有效。因此,我们能够比交叉熵更有效地利用标签信息。属于同一类别的点的群集在嵌入空间中合并在一起,同时将不同类别的样本群集推开。除此之外,我们还利用了关键因素,例如大批处理量和标准化嵌入,这些都已证明对自我监督学习有利。在ResNet-50和ResNet-200上,我们的交叉熵性能均超过1%,在使用AutoAugment数据增强的方法中,新的技术水平达到了78.8%。损失还显示出明显的好处,即可以在标准基准和准确性方面提高对标准基准的自然破坏的鲁棒性。与交叉熵相比,我们监督的对比损失对于诸如优化程序或数据增强之类的超参数设置更为稳定。


2.论文名称:Space-Time Correspondence as a Contrastive Random Walk
论文链接:https://www.aminer.cn/pub/5ef5c78e91e011b29a6985c5?conf=neurips2020
简介:本文提出了一种简单的自我监督方法,用于从原始视频中学习视觉对应的表示形式。我们将对应关系作为链接预测投射到由视频构成的时空图中。在此图中,节点是从每个帧中采样的补丁,并且时间上相邻的节点可以共享有向边。我们学习了一个节点嵌入,其中成对相似性定义了随机游走的转移概率。沿着该图可以有效地计算出远程对应关系的预测值。嵌入学习通过沿对应路径放置高概率来引导步行。目标是通过循环一致性在无人监督的情况下形成的:我们训练嵌入过程,以便在沿着由“回文帧”构造的图上行走时最大化返回初始节点的可能性。我们证明了该方法可以从未标记的大型视频中学习表示形式。尽管它很简单,但在涉及对象,语义部分和姿势的各种标签传播任务上,该方法仍优于自我监督的最新技术。此外,我们证明了在测试时的自我监督适应和边缘丢失可以改善对象级对应的传递。


3.论文名称:Adversarial Self-Supervised Contrastive Learning
论文链接:https://www.aminer.cn/pub/5ee8986891e011e66831c326?conf=neurips2020
简介:现有的对抗学习方法大多使用类标签来生成导致错误预测的对抗样本,然后将其用于增强模型的训练以提高鲁棒性。尽管最近的一些工作提出了利用未标记数据的半监督对抗学习方法,但它们仍然需要分类标记。但是,对于对抗性强的深度神经网络训练,我们真的真的需要类标签吗?在本文中,我们提出了一种针对未标记数据的新型对抗攻击,这使得该模型混淆了被干扰数据样本的实例级身份。此外,我们提出了一种自我监督的对比学习框架,以对抗性地训练没有标记数据的鲁棒神经网络,其目的是最大化数据样本的随机扩充与其实例对抗性扰动之间的相似性。我们在多个基准数据集上验证了我们的方法“健壮的对比学习(RoCL)”,该方法在最先进的监督对抗学习方法上具有相当的鲁棒准确性,并且显着提高了针对黑匣子和看不见的攻击类型的鲁棒性。而且,通过进一步的联合微调和有监督的对抗性损失,与单独使用自我监督学习相比,RoCL可以获得更高的鲁棒性。值得注意的是,RoCL在强大的迁移学习中也展示了令人印象深刻的结果


4.论文名称:Debiased Contrastive Learning
论文链接:https://www.aminer.cn/pub/5efdaf7b91e01191d3d28242?conf=neurips2020
简介:自我监督表示学习的一项杰出技术是对比语义相似和不相似的样本对。 如果无法访问标签,通常会将不同的(负)点视为随机采样的数据点,隐式地接受这些点实际上可能具有相同的标签。 也许不足为奇的是,我们观察到,在可以使用标签的综合环境中,从真正不同的标签中抽取负面样本可以提高性能。 受此观察结果的启发,我们开发了一种无偏的对比物镜,即使不知道真实的标签,也可以校正相同标签的数据点的采样。 从经验上讲,拟议的目标在视觉,语言和强化学习基准方面始终优于最新的代表性学习。 从理论上讲,我们为下游分类任务建立概括边界


5.论文名称:Rel3D: A Minimally Contrastive Benchmark for Grounding Spatial Relations in 3D
论文链接:https://www.aminer.cn/pub/5f7fdd328de39f08283979b1?conf=neurips2020
简介:理解视觉输入中的空间关系(例如“桌上的笔记本电脑”)对于人类和机器人都非常重要。 现有数据集不足,因为它们缺乏大规模,高质量的3D地面真相信息,这对于学习空间关系至关重要。 在本文中,我们通过构建Rel3D来填补这一空白:Rel3D:第一个大规模的,带有人类注释的数据集,用于将3D空间关系作为基础。 Rel3D能够量化3D信息在预测大规模人类数据上的空间关系时的有效性。 此外,我们提出了最低限度的对比数据收集-一种减少数据集偏差的新颖众包方法。 数据集中的3D场景成对形成最小的对:成对的两个场景几乎相同,但一个空间关系成立,而另一个则失败。 我们凭经验验证最小限度的对比示例可以诊断当前关系检测模型中的问题,并可以提高样本效率。


根据主题分类查看更多论文,扫码进入NeurIPS2020会议专题,最前沿的研究方向和最全面的论文数据等你来~扫码了解更多NeurIPS2020会议信息


添加“小脉”微信,留言“NeurIPS”,即可加入【NeurIPS会议交流群】,与更多论文作者学习交流!


二维码 扫码微信阅读
推荐阅读 更多