结合注意力混合裁剪的细粒度分类网络

细粒度图像识别旨在区分同属某一大类下更为精细的子类,具有类间差距小和类内差距大的特点.同时细粒度数据集往往种类多,而数据量较少,容易产生训练时的过拟合.针对上述问题,文中提出了一种结合注意力混合裁剪的细粒度分类网络,利用注意力机制指导改进的混合裁剪数据增强.首先使用ResNet50作为基础网络提取图像特征,之后利用1*1卷积获取注意力图,再通过双线性注意力池化操作将特征图与注意力融合拼接成特征矩阵,最后利用注意力图进行改进的混合裁剪数据增强.其中改进的混合裁剪数据增强是交换两张图片的注意力高峰区域,同时交换两张图片的标注信息,之后再将两张图片重新送入网络再次进行学习,以达到强化局部特征学习和丰富训练集背景的效果.实验在4个通用细粒度数据集上与弱监督数据增强网络(WS-DAN)和目前主流先进方法进行了比较,取得了具有竞争力的效果,相比WS-DAN分别提升了0.5％(鸟类)、0.4％(车型)、0.6％(狗类)、0.4％(飞机),验证了方法的有效性.