版本失配和数据泄露对基于缺陷报告的缺陷定位模型的影响

为了降低缺陷定位过程中的人力成本,?研究者们在缺陷报告的基础上提出了许多基于信息检索的缺陷定位模型,?包括使用传统特征和使用深度学习特征进行建模的定位模型.?在评价不同缺陷定位模型时设计的实验中,现有研究大多忽视了缺陷报告所属的版本与目标源代码的版本之间存在的"版本失配"问题或/和在训练和测试模型时缺陷报告的时间顺序所引发的"数据泄露"问题.?致力于报告现有模型在更加真实的应用场景下的性能表现,并分析版本失配和数据泄露问题对评估各模型真实性能产生的影响.?选取6个使用传统特征的定位模型(BugLocator、BRTracer、BLUiR、AmaLgam、BLIA、Locus)和1个使用深度学习特征的定位模型(CodeBERT)作为研究对象.?在5个不同实验设置下基于8个开源项目进行系统性的实证分析.?首先,?CodeBERT模型直接应用于缺陷定位效果并不理想,?其定位的准确率依赖于目标项目的版本数目和源代码规模.?其次,?版本匹配设置下使用传统特征的定位模型在平均准确率均值(MAP)、平均序位倒数均值(MRR)两个指标上比版本失配实验设置下最高可以提高47.2％和46.0％,?CodeBERT模型的效果也受到数据泄露和版本匹配的双重影响.?使用传统特征的缺陷定位模型的性能被低估,?而使用深度学习特征的CodeBERT模型在应用于缺陷定位任务时还需要更多的探索和验证.