所有文章 > 正文

Set and Rebase: Determining the Semantic Graph Connectivity for Unsupervised Cross-Modal Hashing

作者: 仙人掌

时间: 2021-07-22 17:10

image-fAkaHVcwXX.png

无监督的跨模态哈希的无标签性质阻碍了模型利用精确的语义数据相似性。现有研究通常在原始特征空间中通过启发式几何先验来模拟语义。但是,由于原始特征不能完全代表底层的多视图数据关系,因此这会给模型带来严重偏差。


为了解决上述问题,作者提出了一种新的无监督哈希方法,称为基于语义的跨模态哈希(SRCH)。定义了一种新颖的“设置-重构”过程,以初始化和更新训练数据的跨模态相似度图。特别是,作者根据模态内特征的几何基础设置图,然后根据哈希结果交替对其进行基础调整,以更新图中的边缘。

image-9lf2bTfvVX.png


作者开发了一个交替优化的例程来对图进行重基,并以闭式解来训练哈希自动编码器,从而有效地训练整个框架。在基准数据集上的实验结果证明了该模型相对于最新算法的优越性。

大数据时代,跨模态哈希因其低计算复杂度和大规模多媒体检索的存储需求而受到持续的研究关注。

为了解决上述问题,我们提出了一种新的无监督方法,称为基于语义的跨模态哈希(SRCH)

image-k2HTHH5jvd.png

1)作者提出了一种“Set-and-Rebase”机制来学习训练集上的稀疏图结构,包括几何和语义图,以保留二进制代码学习的相似性信息

2)与现有的无监督跨模态哈希方法不同,该方法侧重于相似性保持和量化以获得满意的检索性能

本文提出了一种新的无监督交叉模态哈希方法,它利用稀疏图结构利用相似性信息来解决无监督算法中的退化问题。

image-853p0ikRLl.png

作者在重构的同时充分利用了相似性保留和量化策略,该方法可以获得比其他无监督哈希算法更令人满意的性能。这种优势可以在上面四个流行的跨模态检索数据集的平均精度值、P-R 曲线和定性检索结果方面找到。

该方法适用于多模态数据集,为简便起见,在两个模态数据集上进行了实验。

image-VryO7QaunH.png

作者的任务是将这些图像特征和文本向量映射为l位二进制哈希码BV或BT,其中Bg {+ 1,1}l n, g {V, T}

由于在训练过程中,作者希望将图像特征和相应的文本向量映射到同一个汉明空间中,为了简便起见,作者在训练集中设置了BV = BT = B

作者的模型遵循自动编码模式,其中图像和文本示例提供给它们自己的投影仪。即根据原始特征空间的几何先验对跨模态语义图进行初始化。

image-slDRnh9usF.png

在重构的同时充分利用了相似性保持和量化策略,与其他无监督哈希算法相比,该方法获得了更令人满意的性能。

这一优势可以从MAP值、P-R曲线和定性检索结果上看到。作者的消融研究和超参数分析证明了该模型在许多方面的有效性

推荐阅读 更多