双学习率自适应的Q路由算法

随着网络不断演进,网络流量呈爆炸式增长,路由方法成为了网络流量控制中的关键难题.这是因为传统的路由策略不具备学习能力,不能从过去的转发经验中学习到拥塞、链路中断等网络异常,也就不能根据网络状态调整路由策略.本文提出了一种双学习率自适应的Q路由算法DALRQ-routing.在轮询阶段,DALRQ-routing根据网络延迟调整echo学习率,减少轮询操作造成的延迟抖动.在转发阶段,算法根据TD-error调整transfer学习率,提高算法收敛速度.通过这种双学习率自适应的机制来降低延迟抖动,加速算法收敛.本文将提出的算法与Full Echo Q-routing和AQFE算法进行了比较.实验结果表明,在动态变化的网络负载下,本文所提出的算法在保持高收敛速度和低初始化峰值延迟的基础上明显减少了延迟抖动,提高了网络的稳定性.