支持全整数推断的神经网络递增定点量化算法研究

为了解决量化模型不支持全整数推断及共享指数受奇异值影响等问题,本文提出一种支持全整数推断的神经网络递增定点量化算法(integer-only incremental quantization,IOIQ).通过将神经网络权重和特征从浮点数据转换为带有整数共享指数(integer-shared exponent,INT-SE)的数据,实现浮点模型的有效压缩.在伪量化训练中,IOIQ算法采用递增量化策略,对浮点数据进行逐步量化和迭代更新,弥补了一次性量化精度损失较大的不足.为解决推理时数据溢出问题,通过分别统计神经网络模型每层量化数据共享指数的差异,确定各层输出特征的最佳截位点,并给出了量化模型在推理侧的硬件实现方案,而经IOIQ算法量化的神经网络模型,在推断过程中不含任何浮点数据,全部为整数运算,易于边缘侧部署.实验结果表明,在8 bit位精度下,经IOIQ算法量化后的ResNet50,在CIFAR数据集上,top-1准确率下降0.2％,在ImageNet数据集上,top-1准确率下降0.58％,性能优于高效纯整数推理和递增网络等量化方法.该研究具有重要的实际应用价值.