一种基于多模态主题模型的图像自动标注方法

大部分传统的图像自动标注方法需要训练数据中具有精准的标注词，然而这样的数据通常是需要人工标注的，因此获取成本较高，且存在一定的主观性。该文提出一种全新的图像自动标注方法，通过结合自然语言理解领域实体识别的技术，充分利用图像周边自带环绕文本，将图像视觉特征、环绕文本以及实体抽取所得到的能够描述图像中显著特征的词在概率主题模型中进行联合建模，学习到多种数据模态之间的关联关系，从而实现图像的自动标注。在UIUC Pascal Sentence数据集上的实验证明该方法比传统方法具有更好的图像标注预测以及检索性能。