全部产品服务
  • 网站建设◆平台开发
    网站定制
    网站建设方案
    网站建设收费明细
    模仿建站
    模板建站
    多合一建站
  • 网络推广
    SEO优化推广
    万词霸屏推广
    百度竞价推广
    爱采购CPC推广
    四大搜竞价推广
  • 商城开发
    分销商城
    小程序商城
    入驻联营商城
    B2B订货商城
    商城开发
    订货宝
  • 应用市场
    销售系统
    智能名片
    企业名录系统
    crm系统
    微信公众号助手
    400号码
    企业邮箱
    教育系统
    门店会员系统
    互动游戏系统
    微信传单
    云设计系统
    进销存
182-690-14756
立足南宁.服务全国

基于SDN网络的优化技术和QoS研究剖析

 二维码 84
发表时间:2021-01-20 09:26作者:订货来源:订货系统网址:http://www.juekeyingxiao.com

1、基于SDN 和机器学习的路由优化

1.1 SDN路由机制

传统的路由技术可看作是一种P2P构架,通过构建一张路由表,在路由器与路由器之间运行路由协议,相互交换路由信息因而达到路由共享。而在SDN中,只须要在控制器与交换机之间直接运行南向合同,由控制器统一估算转发规则再下发给交换机。下发有主动和被动2种模式,主动模式是指数据包抵达交换机之前就进行流表设置,而被动模式指当新流抵达时,发现没有与之匹配的流表项,便将其送至控制器处理,可看作是一种C∕S模式。根据是否是多路径路由将SDN路由机制分为2类:

(1)最短路径路由

目前主流的SDN控制器如POX,Ryu等皆提供了完整的数据转发模块,采用的基本都是最短路径Dijkstra算法。Dijkstra算法每次就会找出一条源到目的节点的最短路径,然而所有数据包的转发若果只依赖于最短路径,虽然方式简单,但是数据流很容易由于具有相同目的地址而选择同一转发路径,这将会增加链路利用率,容易引起网路串扰,且不能挺好地满足带宽,时延,抖动和可靠性等方面的要求。

(2)多路径路由

多路径路由是依照网路流量分布和业务流量需求,选择满足约束条件的多条候选路径,并在这种路径中均衡通讯流量,从而提升网路的可靠性和吞吐量,降低网路串扰,减少传输串扰。QoS技术的出现致力解决网络拥塞问题,保证网路可以依据业务的不同需求合理地分配和调度资源,为不同的数据流提供不同的服务质量。文献[21]提出了一种基于SDN的多路径路由系统HiQoS。通过更改Dijkstra算法,控制器估算出满足QoS约束的多条路径,并使用Hash表来保存,然后定时更新那些路径的链路状态。当须要为业务流选择路径时,控制器按照带宽使用情况和队列状态等为其选择一条最优路径。孔祥彬等人[22]提出一种基于Dijkstra算法的QoS路由算法,为业务流选择满足带宽约束的路由。这些研究大多是基于Dijkstr算法或对其进行改进,目的是估算出从源节点到目的节点的最短路径,计算效率低,不适宜小型网路环境。

文献[23]提出了一种基于SDN负载均衡的多路径路由算法。控制器搜集每一条链路的流量负载信息,当新流抵达时,控制器估算所有可以转发该流的路径,通过比较路径的链路负载选出一条最小负载的路径。该算法须要考虑该流的所有转发路径,在拓扑复杂的网路中,计算量过分庞大。

如果将SDN路由视为一项决策任务,那么在网路中找到最理想的控制策略是最关键的问题。今天大多数采用白盒方式来解决这个问题。随着网路规模的扩大和网路应用数目的快速下降,当前的网路早已显得高度动态,复杂,分散和多样化。在应用这种传统的白盒算法时,也面临着一些挑战。具体来说,白盒方式一般须要对底层网路进行假定和简化,然而,这种理想化的模型在处理真实复杂的网路环境时常常会碰到困难。此外,白盒方式在不同的场景和应用程序下具有较差的可伸缩性。

Mestres等人[24]提出了一种基于机器学习的网路控制方式网络优化,这种新的范式被称为知识定义网路(KDN)。该范式将SDN,网络剖析和人工智能结合上去,促进了人工智能在计算机网路中的操作和管理。其框架如图3所示,知识平面通过控制和管理平面搜集丰富的网路视图,然后借助机器学习将其转化成知识,并按照这种知识进行自动化决策。在路由优化决策中,我们的目标是借助这种知识赋于每位节点感知,询问,学习,推理和反馈等认知行为,使她们可以实时,在线地作出自适应路由决策,以达到最优网路性能。

图3 知识定义网路KDN框架

1.2基于监督学习的SDN路由优化

监督学习通过学习解决各类网路应用问题,如资源分配,Web服务,路由选择等。Valadarsky等人[25]提出了借助监督学习模型预测未来的流量需求,然后为该需求估算最佳路由策略。此外,也有借助监督学习模型直接学习路径的研究。在文献[26]中,作者提出了一种采用GPU驱动的软件定义路由器(SDRs)来执行深度学习技术,通过使用监督的深度信念构架(DBA),以边缘路由器的流量模式作为输入,网络中的每位节点就会针对其发送流量的每位可能目的地训练不同的模型,以此来恐怕下一跳。研究表明:该构架在网络吞吐量和平均串扰方面都优于传统的开放式最短路径优先(OSPF)。

启发式算法,包括蚁群优化算法,模拟退火算法,遗传算法等可以有效管理流量,是解决动态路由优化问题的常用技巧。这些算法可以有效降低端对端信噪比,减轻网路负载以及避免数据的遗失,但这是

要构建在牺牲带宽为前提下且估算复杂度较高,计算时间开支大,导致其不能实时估算出最优路径。目前好多研究将监督学习算法和启发式算法相结合,以网路状态,流量矩阵作为输入,通过启发式算法估算出的相应路由策略作为输出进行训练神经网路,得到一个训练模型。当新流抵达时,通过训练模型输出合适的路由路径。

文献[27]将启发式算法融入到监督学习中,提出了一种基于监督学习的动态路由框架,目的是获取满足QoS要求的最优路径。该框架如图4主要包含启发式算法层和机器学习层,将启发式算法层的输入(全局网路状态)和输出(最优路径)作为机器学习的数据集,然后在动态路由过程中,机器学习模型可以依据输入的网路状态快速估算出最优路径。实验表明:该方式估算效率高,且具有更好的网路性能。

图4 基于机器学习的动态路由框架

Azzouni等人[28]提出基于深度神经网络的软件定义网络的NeuRoute动态路由框架同样也运用了启发式算法。该框架主要由流量矩阵恐怕器(TME),流量矩阵预测(TMP),流量路由单元(TRU)组成。

首先TME通过OpenMeasure框架使用连续的在线学习技术自适应推理和检测流量矩阵,然后TMP使用长短期记忆递归神经网络(LSTM-RNN)对TME形成的流量矩阵进行训练来预测未来网路流量矩阵,最后TRU将预测的流量矩阵和当前的网路状态作为输入,通过启发式估算下来的相应路径作为输出,训练前馈神经网络模型。在新流抵达前,该训练模型估算出最优路由路径,然后TRU将选择的路径发送给控制器,控制器安装流表项。当新流抵达时,转发规则已安装,交换机直接转发数据包,大大降低了网路串扰。

研究表明:将启发式算法和监督学习算法结合对SDN路由优化具有一定优势,其运行时间远大于启发式算法,而网路信噪比,抖动等性能与借助启发式路由的结果相像。可见,利用监督学习进行路由优化是一种有效的方案。但是启发式算法被定义为NP问题,在借助启发式算法获取标签的过程具有较高的复杂度,且在网路管理过程中不能灵活地调整运维策略。文献[29]提出了一种基于监督学习的路由框架,该框架准许使用深度学习模型替换启发式方法,将流特点和当前的网路状态作为深度神经网络的输入,为每条链路输出一个值,最后再将其转换成路径。实验证明该方式实现了最大链路利用率。

网络优化_xp服务优化 网络_网络计划的优化原理

在SDN中,控制器对交换机进行集中控制并下发决策。通常来说,SDN也象传统网路一样为一对源到目标节点分配路径。但若果使网路具有应用感知和多路径分组转发,那么这2个特点可用于对不同输入应用程序进行分类并依据其类别分配不同的路径,这将降低用户的体验质量(quality of experience,QoE)。文献[30]提出了一种融合机器学习和软件定义网络的基于应用辨识和路径状态感知的多路径包转发机制,该机制首先借助SVM算法对控制器捕获的流特点进行优先级界定,不同应用流具有不同的优先级;同时借助YKSP算法[31]找到源到目的地的k条路径;最后控制器通过可用带宽和延后等参数评估每位可能的路径特点,并按照它们所属类的优先级为流分配路径。这个方式为具有QoS需求的数据中心网路,电信数据网,校园网等大规模网路环境带来了一定益处。

监督学习作为一种标签学习技术,特别是神经网路,在SDN路由优化方面发挥着巨大的作用。但它的缺点也是不容忽略的。无论是使用启发式算法的输入输出作为训练集还是对流量进行提早的感知预测分类,在训练过程中都须要获取大量的标签数据进行训练,这将造成一个很高的估算复杂度。所以,我们的研究重心应当是使流量具有自我感知特点,尽量不使用标签,让网路通过对历史数据的自主学习实现智能路由。

1.3基于强化学习的SDN路由优化

强化学习在一定环境状态下,通过代理与环境的交互,采取行动来获得最大的累积奖励,从而不断加强自己的决策能力。图5展示了常见的加强学习机制首先环境给代理一个观测值及状态state,代理接收到状态后作出一个动作action网站建设,环境接收到动作后给与代理一定奖励并给出一个新的状态。其目的是从自己的经验中学习以让自己的奖励最大化。典型的加强学习算法有Q-Learning,它是通过对Q值的学习来更新储存状态,动作,奖励的表。

图5 强化学习机制

将SDN路由优化看成一个决策问题,运用强化学习方式进行路由优化。网络即为学习环境,将网路拓扑,流量矩阵等视为状态,改变链路权重视为动作,运维策略如QoS服务质量等作为奖励,不断训

练,得到一个模型。当新流抵达时,可以快速估算出合适的路由路径,使网路性能最优。

Lin等人[32]在Kandoo和Xbar构架基础上,提出了一种符合OpenFlow合同的多层分布式控制构架。如图5所示,该构架主要由超控制器,主控制器,从控制器和OpenFlow交换机4个部份组成。交换机负责数据的搜集和转发,从控制器将交换机搜集的网路状态发送给主控制器,主控制器负责对每位传入的流进行路径估算,唯一的超控制器控制全局网路状态。在此构架基础上提出了基于强化学习的 QoS动态路由算法(QoS aware adaptive routing,QAR),该算法将softmax作为动作选择策略,状态-行动-回馈-状态-行动(SARSA)作为Q值更新函数。

根据采取行动的成本,传输信噪比,排队信噪比和可用带宽估算出一种实时的自适应QoS路由决策,实现了控制负载的共享,减少了鉴权信噪比。实验表明QAR相比于Q-Learning方式,性能更优且具有较快的收敛性。

xp服务优化 网络_网络优化_网络计划的优化原理

图6 分布式层次结构

因为SDN网络是一个复杂的连续时间系统,对数据流的细粒度进行管控,所以维护网路状态网络优化,动作,奖励信息的Q表会占用大量的储存空间,并随着Q表的不断减小,查表问题将是一个不容忽略的问题。为了解决这个问题,Sendra等人[33]提出了以神经网路替代Q表的学习过程,采用深度Q网路(deepQnetwork,DQN)的方式来进行智能路由,根据最佳网路状态和运维管理策略选择最佳数据传输路径。该方式增加了损失率和串扰,提供了一个更好的QoS。然而DQN不能实时收敛,因为对SDN网路的操控是一个连续控制的问题,而DQN只适用于低维离散空间的控制和优化[34]。

传统的加强学习基于表的方式记录状态,动作的奖励,对最优行为策略的收敛率低,且不能解决高维状态和动作空间的问题。而深度加强学习将深度神经网络和加强学习结合,利用深度神经网络逼近值函数,使用强化学习的方式进行更新,自动从高维数据中提取低维特点,有效地压缩网路状态空间,从而让强化学习才能解决原先在处理高维度状态和运动空间时无法解决的大规模网路决策问题。

文献[35]首次提出了用自动化DRL代理提供路由配置。该研究可以自适应网路流量状况,通过DRL代理在单个步骤中提出最优的路由决策,实现了对网路的实时控制,克服了优化和启发过程中迭代步骤的冗长。其中DRL代理是一种确定性策略梯度算法,通过状态,动作和奖励的更新与环境进行交互,状态即为流量矩阵,动作为改变链路权重,奖励为网路信噪比,其目的就是通过状态S到动作A的映射得到最优行为策略,从而最大化奖励,即最小化信噪比。

Yu等人[36]提出了一种基于机器学习的SDN网路框架,该框架主要用一种深度加强学习算法——深度确定性策略梯度(deep deterministic policy gradient,DDPG)[37]来优化SDN网路路由,在此基础上提出了一种路由优化机制DROM,其构架如图6所示。DROM通过SDN控制器对网路进行剖析和检测来获取全局网路状态,并确定一个最优行为,即一组链路权重,通过最大化奖励,不断更新链路权重集,SDN控制器也不断生成新的规则来构建新的路径。以此类推,不断迭代优化,直到获得最优解。实验表明:DROM实现了在连续时间内对网路进行全局,实时,自定义的智能控制和管理,具有良好的收敛性和有效性。由于流量具有周期性和相关性等特点,文献[38]提出将循环神经网路RNN作为输入神经网路,将之前所学状态描述联系上去一起学习,以得到一种更准确的推论。在RNN的基础上,结合DDPG,自动生成用于流量工程的策略。与最短路径相比,减少了网路的平均传输信噪比,但加强学习代理难以达到稳定,会引起流量的晃动,且不能迅速收敛。此外,当前的研究大多使用模拟仿真的方式来评估网路性能,并未布署到实际的SDN网络中,未涉及如主机,交换机流表,SDN控制器等特定元素。

近期,Witanto等研究者[39]从SDN本身的系统构架及流处理过程出发,提出了借助DDPG实现流量监控和路由的SDN应用方案。该方案主要由流量监控和路由2个模块构成,流量监控模块定期监控流量,统计并保存每位端口接收和发送的字节信息,用于训练神经网路生成流表项;路由模块通过深度加强学习代理按照交换机的端口利用率,生成图的边缘区残差,最大化奖励以让丢包率达到最小。然后控制器通过估算交换机之间最短路径,生成流表项发送给相关交换机,更新流表项。该研究只提供了一个思路,目的是实现一个管理系统,既可以测量设备之间的联接遗失情况,又可以路由网路流量让数据包丢包数最少。将深度学习和加强学习结合来解决SDN路由问题,是目前一种比较普遍的方法,具有3方面优势:

(1)DRL算法是一种黑盒方式。在设计动作空间和奖励时,DRL代理只须要设置不同的网路决策任务和优化目标,无需精确可解的物理模型。而传统的白盒方式要求对基础网路进行假定和简化来构建问题的物理模型并针对优化问题进行求解。

(2)DRL可以处理复杂的状态空间,与传统的加强学习相比具有一定优势。

(3)DRL可以实时处理高度动态的时变环境。当网路状态修改时,DRL代理不需要再度收敛。训练好DRL代理后,通过矩阵加法一步就可以估算出近似最优解;相反,启发式算法须要采取许多步骤就能

收敛得到新结果,这将造成较高的估算时间成本。

强化学习作为一门自学习技术,特别是深度加强学习,在SDN路由决策方面发挥着巨大的作用。但在加强学习智能体训练收敛之前,训练开支较大。随着网路规模的减小,网络中的服务和应用将显得越来越多,每当出现新的服务时,需要重新训练收敛,这将限制了智能体优化路由的灵活性和可扩展性。

Cloudboxer专业软件开发商,官方网址:,联系我们:

文章分类: 网络采集
分享到:
在线客服
 
 
 
 
 工作时间
周一至周五 :8:30-17:30
周六至周日 :9:00-17:00
 联系方式
郑工:182-6901-4756