深度学习加速器在不同剪枝策略下的运行优化

卷积神经网络在图像分析领域已经取得了巨大的成功.随着深度学习的发展,深度学习模型越来越复杂,深度学习的计算量迅速增加.稀疏化算法能在不降低准确率的前提下有效地减少深度学习的计算量.在ResNet18模型和GoogleNet模型下使用3种不同的剪枝策略减少深度学习模型的计算量.研究表明,在不减少准确率的前提下,全局非结构化剪枝策略使得ResNet18和GoogleNet模型稀疏度分别达到了94%和90%;在基本不减少准确率的情况下,层级非结构化剪枝策略使得 ResNet18和GoogleNet模型稀疏度分别达到了83%和56%;在轻微降低准确率的情况下,层级结构化剪枝策略使得ResNet18和GoogleNet模型稀疏度分别达到了34%和22%.3种剪枝策略下,在Eyeriss深度学习加速器结构中运行深度学习剪枝模型.研究结果表明,相较于未剪枝策略,在ResNet模型下,使用全局非结构化剪枝策略的延迟降低了66.0%,功耗降低了60.7%;使用层级非结构化剪枝策略的延迟降低了88.1%,功耗降低了80.6%;使用层级结构化剪枝策略的延迟降低了65.6%,功耗降低了33.5%.相较于未剪枝策略,在GoogleNet模型下,使用全局非结构化剪枝策略的延迟降低了74.5%,功耗降低了63.2%;使用层级非结构化剪枝策略的延迟降低了73.6%,功耗降低了55.0%;使用层级结构化剪枝策略的延迟降低了26.8%,功耗降低了5.8%.因此,可以得出:在不降低准确率的前提下,使用全局非结构化剪枝策略能大幅度地减少模型运算的延迟和能耗;在轻微降低准确率的前提下,使用层次非结构化剪枝策略能大幅度地降低模型运算的延迟和能耗.