面向GUI测试的可触控控件检测方法

为了解决基于深度学习的 GUI元素识别方法表现不佳以及无法判断是否可触控的问题,提高GUI测试的效率与覆盖率,提出有效的面向 GUI测试的可触控控件训练与检测方法.首先定义可触控控件的检测类别,用于直接检测具备可触发属性的控件;考虑到 UI 页面存在堆叠元素,对数据集中不可见的控件进行过滤,并剔除视图层次结构与屏幕截图不同步的数据;通过分析安卓机制将 UI页面中可触控控件进行了标记.最后基于 YOLO v5 s训练获得一个轻量级训练模型.结果表明,提出的训练及检测方法优于现有深度学习方法和经典方法,其 F1 达到了 82%,在 GUI测试中具有良好的使用价值.