少样本学习（Few-shot Learning）是Meta Learning在监督学习领域的应用。形式化来说，few-shot的训练集中包含了很多的类别，每个类别中有多个样本。在训练阶段，会在训练集中随机抽取C个类别，每个类别K个样本（总共CK个数据），构建一个meta-task，作为模型的支撑集（support set）输入；再从这C个类中剩余的数据中抽取一批（batch）样本作为模型的预测对象（batch set）。即要求模型从C*K个数据中学会如何区分这C个类别，这样的任务被称为C-way K-shot问题。训练过程中，每次训练（episode）都会采样得到不同meta-task。所以总体来看，训练包含了不同的类别组合，这种机制使得模型学会不同meta-task中的共性部分，比如如何提取重要特征及比较样本相似等，忘掉meta-task中task相关部分。通过这种学习机制学到的模型，在面对新的未见过的meta-task时，也能较好地进行分类。

1.论文名称：Wandering Within a World: Online Contextualized Few-Shot Learning
论文链接：https://www.aminer.cn/pub/5f08369091e01137f8667633?conf=iclr2021

简介：我们旨在通过将一次性学习的标准框架扩展到在线连续环境中，来弥合典型的人机学习环境与机器学习环境之间的鸿沟。在这种情况下，剧集没有单独的训练和测试阶段，而是在学习新颖的课程时在线评估模型。与在现实世界中一样，时空上下文的存在可以帮助我们检索过去的技能，我们的在线几次学习设置也具有随时间变化的潜在上下文。对象类在上下文中相关，并且推断正确的上下文可以导致更好的性能。在此设置的基础上，我们提出了一个基于大规模室内图像的新的少量学习数据集，该数据集模仿了在世界范围内徘徊的特工的视觉体验。此外，我们将流行的一次性学习方法转换为在线版本，并且我们还提出了一种新的名为上下文原型记忆的模型，该模型可以利用最近的时空上下文信息

2.论文名称：Free Lunch for Few-shot Learning: Distribution Calibration

论文链接：https://www.aminer.cn/pub/6006a6f091e0111a1b6a21ad?conf=iclr2021

简介：从有限数量的样本中学习具有挑战性，因为基于仅几个训练示例形成的偏差分布，学习的模型很容易变得过拟合。在本文中，我们通过传递带有足够示例的统计信息来校准这些样本数量较少的类别的分布，然后可以从校准后的分布中抽取足够数量的样本以扩展输入到分类器的数量。我们假设特征表示中的每个维都遵循高斯分布，因此分布的均值和方差可以借鉴相似类的统计量，并且可以使用足够数量的样本更好地估计其统计量。我们的方法可以基于现成的预训练特征提取器和分类模型而无需附加参数。我们表明，使用从我们的经校准分布中采样的特征训练的简单逻辑回归分类器，可以在两个数据集上表现出最高的准确性（与次佳的miniImageNet相比，改善了5％）。这些生成特征的可视化表明，我们的校准分布是准确的估计。

3.论文名称：MELR: Meta-Learning via Modeling Episode-Level Relationships for Few-Shot Learning
论文链接：https://www.aminer.cn/pub/600832109e795ed227f530e0?conf=iclr2021
简介：最新的“少样本学习”（FSL）方法是基于情景训练的，其中每个情节每个班级都采样少量训练实例（镜头）以模仿测试条件。但是，严格遵守测试条件会产生负面影响，也就是说，训练后的模型容易受到少量镜头的不良采样的影响。在这项工作中，这是第一次通过利用情节间关系解决此问题。具体而言，提出了一种新颖的通过建模情节级别关系（MELR）框架进行元学习。通过对包含相同类集的两个情节进行抽样以进行元训练，MELR的设计可确保元学习模型对于元测试阶段中不良采样镜头的存在具有鲁棒性。这是通过两个关键组件来实现的：（1）跨情事注意模块（CEAM），用于提高减轻不良采样镜头效果的能力，以及（2）跨情事一致性正则化（CECR）来执行该任务。从两个情节中学到的两个分类器即使在没有代表性的情况下也是一致的。在两个基准上进行的非传导性标准FSL的广泛实验表明，我们的MELR比我们模型中用于FSL的基准（即ProtoNet）提高了1.0％-5.0％，并且在相同设置下的表现优于最新竞争对手

4.论文名称：BOIL: Towards Representation Change for Few-shot Learning

论文链接：https://www.aminer.cn/pub/600834a19e795ed227f53236?conf=iclr2021

简介：模型不可知元学习（MAML）是最有代表性的基于梯度的元学习算法之一。MAML使用来自元初始化点的内部更新来学习带有一些数据样本的新任务，并使用外部更新来学习元初始化参数。最近有一个假设，即表示重用（它对有效表示几乎没有改变）是通过MAML进行元初始化模型性能的主要因素，这与表示改变相反，后者导致表示的重大改变。在这项研究中，我们调查了代表更改对于少数学习的最终目标（解决领域不可知的任务）的必要性。为此，我们提出了一种新颖的元学习算法，称为BOIL（内循环中的仅主体更新），该算法仅更新模型的主体（提取器），并在内循环更新期间冻结头（分类器）。BOIL利用表示更改而不是表示重用。在新任务的初始点，冻结的头甚至无法获得比随机猜测分类器更好的结果，并且特征向量（表示）必须快速移至其相应的冻结的头向量。我们使用余弦相似度，CKA和无头的经验结果来可视化此属性。尽管内部循环的更新纯粹取决于表示形式的更改，但是BOIL从经验上显示出与MAML相比的显着性能改进，尤其是在跨域任务上。结果表明，基于梯度的元学习方法中的表示形式变化是关键组成部分

5.论文名称：Constellation Nets for Few-Shot Learning

论文链接：https://www.aminer.cn/pub/6008320d9e795ed227f530df?conf=iclr2021

简介：深度卷积神经网络的成功建立在有效卷积运算的学习之上，它通过过滤，激活和合并来捕获结构化特征的层次结构。但是，显式的结构化功能，例如对象部分，在现有的CNN框架中无法表达。在本文中，我们解决了几次学习问题，并通过使用星座模型扩展CNN来增强结构化功能，该模型执行具有密集部分表示的小区特征聚类和编码；单元格特征之间的关系通过注意力机制进一步建模。借助额外的星座分支来提高对对象零件的了解，我们的方法能够获得CNN的优势，同时在几次学习设置中使整体内部表示更加鲁棒。在CIFAR-FS，FC100和mini-ImageNet基准测试中，我们的方法在短时间学习中比现有方法有了重大改进。