面向传统服饰的细粒度跨模态检索算法

目的 由于跨模态数据集有限和模态异构表征问题,利用跨模态检索算法解决实际应用问题一直是当前多模态研究中的一大研究方向.方法 提出了一种面向传统服饰的细粒度跨模态检索算法,解决传统服饰跨模态检索的单模态表征和跨模态表征一致的问题.在单模态特征表征方面,沿用DCMH使用深度学习的方法对初始数据进行特征提取;在跨模态表征一致方面,新增自监督语义网络,以自监督的方式对应标签信息提取细粒度信息,并将其用于图文哈希学习的监督,从而得到更好的图文哈希表征.通过在传统服饰数据集上与其他方法进行对比实验,验证算法的有效性.结论 有关此方面的应用探索,有利于解决互联网时代中国传统服饰文本、图像处理等的保护性难题,为未来纹样检索中的工作做铺垫,实现中国传统服饰的创新性传承和发展.