基于AVX指令集的Sketch算法优化研究

网络流量检测是网络测量中最基础也是最重要的一环.基于Sketch的侦测方法可对网络数据流进行计数,此计数在网络流量的异常检测中具有区分大象流,并对异常流量进行检测和定位的作用.Sketch的实现过程中因用到多个哈希函数而对内存资源的要求较高,针对Sketch的实现中应用多个哈希函数的性能瓶颈问题,提出了一种基于效率高、成熟度高的AVX指令集来提高Sketch性能的方法,研究了对CPU指令的消耗和算法计算效率的影响.首先,将数据流的元素用向量的形式来描述和存储,运用AVX指令实现向量的构造和运算.其次,将多次哈希运算简化成一次向量运行,降低Sketch对CPU计算资源的消耗,提升了多次哈希函数的综合性能,使得提升Sketch优化性能成为可能.最后,运用AVX指令集对Count-Min Sketch算法程序中的关键函数进行优化,并对优化后的代码进行测试分析.实验结果表明:在哈希函数的运算方面,AVX优化版本消耗的时间为原始版本的25％;当数据长度较短时,多个哈希函数消耗的指令在整个Sketch中占比较少,AVX优化版本消耗的时间约为原始版本的70％;随着数据长度逐渐增大,多个哈希函数消耗的指令在整个Sketch中占比也逐渐增大,AVX优化版本消耗的时间降为原始版本的40％.实验的仿真结果验证了该算法在提高网络数据流测量效率方面的有效性.