智能物联网终端自适应模型量化方法

随着深度学习与万物互联的快速发展,将深度学习与移动终端设备结合已经成为了一大研究热点.深度学习给终端设备带来性能提升的同时,将模型部署在资源受限的终端设备时也面临诸多挑战,如终端设备计算和存储资源受限,深度学习模型难以适应不断变化的设备状态等.基于此,研究了资源自适应的深度学习模型自适应量化问题.提出资源自适应混合精度模型量化方法,利用门控网络和骨干网络进行模型构建,以层为粒度寻找模型最佳量化策略,结合边端设备降低模型资源消耗.为了寻找最优模型量化策略,采取基于FPGA的深度学习模型部署.需要将模型部署在资源受限的边端设备上时,根据资源约束进行自适应训练,采取量化感知方法降低模型量化带来的精度损失.实验结果表明,该方法能够在保留78％的准确率的同时,降低50％的存储空间;同时,在FPGA设备上模型精度下降不超过2％,而能源消耗降低60％.