廣域網(wǎng)流量調(diào)度方案發(fā)展與應用

標簽：H3C  流量調(diào)度

隨著企業(yè)信息業(yè)務的不斷豐富，數(shù)據(jù)大集中已經(jīng)成為IT建設(shè)的趨勢，在廣域網(wǎng)帶寬緊張、成本昂貴的情況下，解決帶寬與業(yè)務之間的矛盾，構(gòu)建快速、穩(wěn)定、高質(zhì)量的廣域網(wǎng)絡，保障關(guān)鍵業(yè)務傳輸質(zhì)量，實現(xiàn)鏈路資源的充分利用，成為廣域網(wǎng)解決方案的重要組成部分。

廣域網(wǎng)流量調(diào)度方案發(fā)展與應用

一、 從流量控制到流量調(diào)度

1、廣域網(wǎng)流量與帶寬的矛盾

廣域網(wǎng)覆蓋范圍廣、接入用戶多、承載業(yè)務復雜。隨著政府、企業(yè)等信息化的不斷發(fā)展，尤其是近年來數(shù)據(jù)大集中帶來的業(yè)務整合，高清視頻、IP語音、公共資源平臺等應用上線，推動廣域網(wǎng)數(shù)據(jù)類型、數(shù)據(jù)流量、網(wǎng)絡規(guī)模的快速增加。

相對于園區(qū)網(wǎng)、城域網(wǎng)和數(shù)據(jù)中心，廣域網(wǎng)跨越距離遠，線路資源有限，高速帶寬費用昂貴?？焖僭黾拥臉I(yè)務流量與有限的帶寬資源之間的矛盾，使得廣域網(wǎng)上的流量很容易產(chǎn)生擁塞，導致業(yè)務延時增加、流量抖動，甚至丟包。如圖1所示。

廣域網(wǎng)的上述矛盾決定了廣域網(wǎng)業(yè)務質(zhì)量的“不可靠”性，也使得流量控制始終是廣域網(wǎng)方案設(shè)計的核心內(nèi)容。

2、流量控制方案

隨著線路類型以及網(wǎng)絡產(chǎn)品和技術(shù)的發(fā)展，在廣域網(wǎng)上進行流量控制的技術(shù)主要分為三種。

l InterServ方式

集中服務方式，主要應用于早期的廣域網(wǎng)專線，如ATM、FR，通過將線路劃成多個PVC**(Permanent Virtual Circuit，永久虛電路，例如ATM線路的VPI/VCI、FR線路的DLCI等)，每個PVC分配所需的保證帶寬(CBR)，將線路的實際帶寬在PVC上進行分配。通過將不同類型的業(yè)務映射到對應的PVC上，使用PVC的分配帶寬，實現(xiàn)不同類型業(yè)務的傳輸帶寬和時延質(zhì)量保證。

該種方式要求網(wǎng)絡中的所有節(jié)點(包括核心節(jié)點)都記錄并保留每個類型業(yè)務流的資源預留狀態(tài)，同時為每個類型的業(yè)務流設(shè)置單獨的內(nèi)部虛電路資源，以保證業(yè)務流的帶寬。因而該方式對于可劃分PVC的ATM、FR等線路比較容易實現(xiàn)。

然而現(xiàn)在廣域線路以POS、E1、以太網(wǎng)為主，采用共享帶寬方式，在線路上已經(jīng)不能進行虛擬電路劃分。另外，在大型網(wǎng)絡中，業(yè)務流數(shù)量非常龐大，對網(wǎng)絡節(jié)點設(shè)備的處理能力有著非常高的要求。同時，由于必須在所有節(jié)點上都保留每個類型業(yè)務流的資源狀態(tài)，整體網(wǎng)絡設(shè)計和部署的可擴展性也較低。

因此，IntServ方式主要在早期的廣域網(wǎng)線路中應用，而不再適應當前以IP為主的廣域網(wǎng)線路，以及日益增多的應用業(yè)務，它逐漸被DiffServ方式所替代。

l DiffServ方式

區(qū)分服務方式，是IETF工作組為了克服InterServ的可擴展性差而提出的服務模型，目的是制定一個可擴展性相對較強的方法來保證IP的服務質(zhì)量。在DiffServ模型中，業(yè)務流被劃分成不同的區(qū)分服務類。一個業(yè)務流的區(qū)分服務類由其IP包頭中的區(qū)分服務標記字段(Different Service Code Point，簡稱DSCP)來表示。在實施DiffServ的網(wǎng)絡中，每一個節(jié)點路由器都會根據(jù)數(shù)據(jù)包的DSCP字段執(zhí)行相應的PHB(Per Hop Behavior)行為，主要包括EF、AF、BE三類：

1. Expedited Forwarding (EF)：主要用于低延遲、抖動和丟包率的業(yè)務，這類業(yè)務一般運行一個相對穩(wěn)定的速率，需要在路由器中進行快速轉(zhuǎn)發(fā)。

2. Assured Forwarding (AF)：這類業(yè)務在沒有超過最大允許帶寬時能夠確保轉(zhuǎn)發(fā)，一旦超出最大允許帶寬，則允許根據(jù)不同的丟棄級別丟棄報文。

3. Best Effort (BE)：盡力轉(zhuǎn)發(fā)，主要用于對時延、抖動和丟包不敏感的業(yè)務。

區(qū)分服務只包含有限數(shù)量的業(yè)務級別，狀態(tài)信息的數(shù)量少，因此擴展性較好。目前，區(qū)分服務是業(yè)界認同的IP骨干網(wǎng)的QoS解決方案。盡管IETF為每個標準的PHB都定義了推薦的DSCP值，但是設(shè)備廠家可以重新定義DSCP與PHB之間的映射關(guān)系，用戶可根據(jù)網(wǎng)絡實際需要進行靈活定義。

l MPLS TE方式：

Diffserv是基于流分類的逐跳行為，但是不能選擇路徑。MPLS TE流量工程是將InterServ方式應用到IP網(wǎng)絡中，進行資源預留和流量分擔，從而提高線路帶寬利用率，對網(wǎng)絡資源的使用進行優(yōu)化。但是TE的實現(xiàn)機制比較復雜，對設(shè)備的功能和性能要求很高;同時TE主要應用于運營商骨干網(wǎng)絡，適合于網(wǎng)狀或者半網(wǎng)狀網(wǎng)絡結(jié)構(gòu)，對于企業(yè)級的星形、層次化網(wǎng)絡結(jié)構(gòu)并不適合。因此MPLS TE在企業(yè)級廣域網(wǎng)中應用比較少見。

在以上三種方式中，目前較為常用的是DiffServ方式，采用流量分類、流量監(jiān)管(限速)、擁塞管理(優(yōu)先級隊列)等QoS技術(shù)，對不同類型流量執(zhí)行不同的流量控制策略，保證高優(yōu)先級關(guān)鍵業(yè)務的傳輸質(zhì)量。

3、流量調(diào)度需求

流量控制方案雖然能夠保證關(guān)鍵業(yè)務的傳輸質(zhì)量，但隨著廣域網(wǎng)上業(yè)務類型的增加，面臨多樣化的業(yè)務流量控制需求，逐漸顯現(xiàn)一些不足，主要體現(xiàn)在以下幾點。

l 不能全局協(xié)調(diào)

DiffServ方式的出發(fā)點就是通過PHB的方式，每個節(jié)點獨立執(zhí)行流量控制策略。目前廣域網(wǎng)的雙節(jié)點、雙鏈路組網(wǎng)方式已經(jīng)成為主流，這種基于單節(jié)點、單鏈路的PHB控制策略，無法充分利用主、備鏈路帶寬。例如，當主鏈路業(yè)務流量突發(fā)超過主鏈路帶寬時，根據(jù)主鏈路節(jié)點設(shè)備的流量控制策略，即使備鏈路有空閑帶寬，仍然會對主鏈路上過載流量進行丟棄，導致同一網(wǎng)絡節(jié)點上的鏈路資源沒有得到充分利用。備鏈路很可能仍有一定的空閑。根據(jù)主鏈路節(jié)點的流量控制策略，主鏈路上必然產(chǎn)生流量丟包，備鏈路上的空閑資源沒有得到有效利用。

圖2 雙鏈路流量控制

如圖2所示，主、備鏈路帶寬均為10M，主鏈路流量突發(fā)(達到12M)，而備鏈路流量正常(6M)。由于R1、R2的流量控制策略是獨立部署和執(zhí)行的，根據(jù)路由器R1的流量控制策略，會有2M流量被丟棄，而R2所在鏈路還空余4M的鏈路帶寬，主、備鏈路壓力和利用率不均衡。

l 不能動態(tài)調(diào)整

流量控制是基于業(yè)務流特征執(zhí)行策略，一般很少考慮對終端用戶進行控制。事實上，業(yè)務類型和終端用戶的增加，使得業(yè)務流突發(fā)存在很大的不確定性。例如在線辦公系統(tǒng)(Notes、Email等)，通過流量控制保證2M帶寬，則10人使用時，每人平均100K的流量，50人使用時，每人平均只有40K。如果一些用戶收發(fā)大郵件、占用大量帶寬，將會導致其他人員只能使用遠小于平均值的帶寬，業(yè)務訪問速度降低，甚至會影響正常辦公。

若對每個用戶的訪問速度進行限制(例如每人最大50K)，又會抑制整體訪問速度，當并發(fā)訪問人員較少時，雖然帶寬有富余，訪問速度也不能增加。因此，由于缺乏動態(tài)調(diào)整機制，很難對每個用戶的使用帶寬進行有效限制和保證，以提高效率、兼顧公平性。

l 不能精細化控制

通過路由器、交換機等網(wǎng)絡設(shè)備執(zhí)行流量控制策略，必須明確配置每種業(yè)務的特征(IP地址、端口號、協(xié)議類型、優(yōu)先級等)，對于無法通過上述特征識別的業(yè)務(如FTP、基于HTTP、P2P等的應用)，基于流量控制方案不能進行有效的控制。而隨著B/S架構(gòu)、服務器虛擬化的廣泛應用，傳統(tǒng)的業(yè)務流特征已經(jīng)不再包含單一應用，必須有對應的深入識別和控制手段，進行精細化流量控制。

l 整體部署策略復雜

DiffServ方式流量控制雖然可以結(jié)合MPLS TE、分層QoS技術(shù)，實現(xiàn)更加強大的流量控制功能(例如對關(guān)鍵業(yè)務進行帶寬預留，對不同部門的不同業(yè)務進行分級帶寬保證)，但MPLS TE和分層QoS技術(shù)實現(xiàn)和配置比較復雜，除了運營商骨干網(wǎng)，企業(yè)級網(wǎng)絡中應用較少。事實上，基于企業(yè)級網(wǎng)絡的組網(wǎng)結(jié)構(gòu)和運維管理水平，它需要簡單、直觀、可擴展、適應性強的技術(shù)和策略。

為了改進傳統(tǒng)流量控制方案中的不足，滿足多樣化的業(yè)務流量控制需求，企業(yè)廣域網(wǎng)需要一種動態(tài)、智能、簡單的機制實現(xiàn)流量控制，這就是流量調(diào)度。

二、 流量調(diào)度方案的主要構(gòu)成

廣域網(wǎng)流量調(diào)度方案，主要包括業(yè)務分流、擁塞避免、流量路由、精細化流量控制等幾個部分。

1、業(yè)務分流

業(yè)務分流是進行流量調(diào)度方案設(shè)計的前提。通過路由協(xié)議(Cost、路由優(yōu)先級等路由策略調(diào)整)、策略路由、VRRP/VRRPE等，將流量在鏈路上進行策略性的分擔。例如將辦公、生產(chǎn)等業(yè)務在主鏈路上承載，將視頻會議業(yè)務在備鏈路上承載。

2、擁塞避免

傳統(tǒng)的流量控制是“后覺”行為，主要部署在網(wǎng)絡設(shè)備出接口，當需要轉(zhuǎn)發(fā)的流量超過出接口帶寬時，執(zhí)行擁塞管理策略，通過優(yōu)先級隊列轉(zhuǎn)發(fā)高優(yōu)先級流量、丟棄低優(yōu)先級流量。QoS技術(shù)中雖然有WRED擁塞避免技術(shù)，但其主要原理是通過提前丟包降低業(yè)務流速率，從而減輕出接口擁塞程度，但并不能完全避免擁塞。

圖3 擁塞管理時延測試

以某測試為例，出接口為10M以太網(wǎng)鏈路，配置CBQ優(yōu)先級隊列，優(yōu)先保證UDP報文流量。通過流量測試儀生成混合報文，UDP包(模擬視頻流)占1/4，IP包(64字節(jié))占1/4，IP包(1024字節(jié))占1/2，依次測試流量為1.2M、2.4M、3.6M、…、10.8M、12M等幾種情況，記錄每個報文的平均時延、丟包率。

測試結(jié)果如圖3所示，流量未超過鏈路帶寬時，所有報文都能夠正常轉(zhuǎn)發(fā)，平均時延在1ms以下。當流量超過鏈路帶寬，發(fā)生擁塞時，通過CBQ擁塞管理策略，UDP包仍然能夠完全轉(zhuǎn)發(fā)，丟包率為0;而IP包的丟包率隨著流量增加而增大。同時，無論是UDP包還是IP包，平均時延都大幅增加，達到15ms以上，IP包甚至達到30ms以上。

可見，雖然擁塞管理可以保證高優(yōu)先級流量的傳輸帶寬與正常轉(zhuǎn)發(fā)，但會導致較大的時延，對高清視頻等敏感業(yè)務造成一定的影響。

通過擁塞避免，則可以有效的解決上述問題。擁塞避免的主要思路是“先覺”，采用簡單、高效的令牌桶技術(shù)，對路由器進入的流量進行評估和著色，對鏈路帶寬內(nèi)的流量標記綠色，超過鏈路帶寬的流量標記紅色，只允許綠色的流量進入到出接口，使得出接口的流量不會超過鏈路帶寬，不產(chǎn)生擁塞。

相對于復雜的CBQ隊列調(diào)度機制，擁塞避免采用了簡單、高效的令牌桶流量評估和轉(zhuǎn)發(fā)機制，有效降低了流量的時延。如圖4所示，通過擁塞避免，路由器總體流量達到出接口鏈路帶寬的120%～160%時，將時延控制在5ms左右，大大低于擁塞管理的時延。

圖4 擁塞避免與擁塞管理時延對比

3、流量路由

傳統(tǒng)的流量控制，每個網(wǎng)絡節(jié)點都基于出接口鏈路帶寬獨立執(zhí)行策略，無法實現(xiàn)主、備鏈路帶寬資源的充分利用。通過流量路由技術(shù)，可以實現(xiàn)對多個端口或鏈路進行流量全局調(diào)度，動態(tài)監(jiān)測整個節(jié)點鏈路的帶寬利用率;在業(yè)務突發(fā)時，將較低優(yōu)先級的流量報文重路由到空閑的備鏈路上轉(zhuǎn)發(fā)，避免主鏈路上的流量擁塞，從而盡量避免報文丟棄，提高系統(tǒng)鏈路帶寬的利用率。由于業(yè)務突發(fā)時不發(fā)生丟包，因此能夠維持應用層會話不中斷，提高整體應用系統(tǒng)的可靠性。

流量路由實現(xiàn)流程主要包括以下三部分，如圖5所示：

流量監(jiān)測：對進入路由器的所有流量進行統(tǒng)計，獲取優(yōu)先級、流量大小特征。圖5中，主鏈路帶寬為10M，流量1、2、3、4的保證帶寬分別為2M、2M、4M、2M，實際帶寬分標為2M、2M、3M、5M，其中流量4有突發(fā)，實際帶寬大于保證帶寬，流量3的實際帶寬小于保證帶寬。

流量著色：根據(jù)流量監(jiān)測的結(jié)果，以及設(shè)定的擁塞避免策略，為各類業(yè)務流標記顏色，以執(zhí)行對應的轉(zhuǎn)發(fā)策略。具體原則為：

(1)根據(jù)每個業(yè)務的保證帶寬、實際流量，對流量報文著色。

當業(yè)務流量低于保證帶寬時，標記為綠色;當業(yè)務流量高于保證帶寬時，表示有突發(fā)，將超過保證帶寬的突發(fā)流量標記為紅色。圖5中，流量1、2、3的業(yè)務流量標記為綠色，流量4有2M流量標記為綠色，3M流量標記為紅色;

(2)進行多級調(diào)度，為業(yè)務流量重分配帶寬，從而達到帶寬均衡。

經(jīng)過步驟(1)后，業(yè)務流量包括綠色的正常流量，以及紅色的突發(fā)流量。如果某個業(yè)務流量小于保證帶寬，則綠色的流量速率小于出接口帶寬，此時可以通過多個業(yè)務帶寬重分配，將富余的帶寬分配給一部分紅色的突發(fā)流量，使之變?yōu)榫G色。反之，如果綠色流量的速率大于出接口帶寬，此時可以通過多個業(yè)務帶寬重分配，將一部分優(yōu)先級較低的流量變?yōu)榧t色。圖5中，流量3的實際流量比保證帶寬小1M，流量1、2、3的綠色流量帶寬為9M，富余的1M將分配給流量4，則流量4有3M流量標記為綠色，2M流量標記為紅色;

(3)可以將紅色的流量進行優(yōu)先級重標記，打上特定的DSCP優(yōu)先級，用于執(zhí)行流量轉(zhuǎn)發(fā)策略。例如，將著色為紅色的流量，標記特殊優(yōu)先級DSCP11。

流量轉(zhuǎn)發(fā)：根據(jù)流量著色結(jié)果執(zhí)行轉(zhuǎn)發(fā)策略。對綠色的流量正常轉(zhuǎn)發(fā)，通過出接口A沿主鏈路轉(zhuǎn)發(fā);對紅色的流量，按照設(shè)定的流量策略，將報文丟棄，或者重路由到出接口B，轉(zhuǎn)發(fā)給相鄰路由器，沿備鏈路轉(zhuǎn)發(fā)。

在實際應用中，為了防止重路由后的流量再重新返回(例如冗余廣域鏈路故障)，還需要在主路由器上配置策略，禁止由B接口送出的重路由流量再由接口B返回路由器。

4、精細化流量控制

由于傳統(tǒng)的流量控制只能根據(jù)L2～L4報文進行處理，因此需要依靠DPI(深入報文檢測)、ACG(應用流量控制)等技術(shù)和設(shè)備進行精細化流量識別和控制，并且能夠基于用戶執(zhí)行靈活控制策略。

DPI：路由器設(shè)備的L4～L7層報文特征識別功能，通過CPU實現(xiàn)。優(yōu)點是路由器軟件集成，不增加額外成本;缺點是識別功能較弱，性能不高。適用于帶寬不高、流量較少的小型網(wǎng)絡。

ACG：采用專用的硬件設(shè)備，通過特征庫實現(xiàn)L4～L7層報文特征識別功能，既可以是獨立的硬件設(shè)備，也可以是路由器的業(yè)務模塊。優(yōu)點是功能強大，除了報文特征識別外，還可以基于流特征(如持續(xù)時間、速率波動、流量統(tǒng)計特征)識別報文特征難以界定或經(jīng)常變化的應用流量(如P2P流量，經(jīng)常更改端口號、協(xié)議字段);缺點是需要增加額外投資。適用于帶寬較高、流量比較復雜的中大型網(wǎng)絡。

通過ACG專用設(shè)備，還可以使用直觀、易于管理的配置界面，實現(xiàn)復雜的流量控制和調(diào)度策略。例如，對廣域網(wǎng)30個分支機構(gòu)、每個機構(gòu)5種業(yè)務設(shè)定帶寬分配和優(yōu)先級轉(zhuǎn)發(fā)策略。如果通過路由器的分層QoS技術(shù)實現(xiàn)，涉及150種QoS策略，配置和實現(xiàn)非常復雜;而通過ACG設(shè)備實現(xiàn)，可以通過圖形化界面進行統(tǒng)一配置，部署簡單、直觀。

三、 流量調(diào)度方案的主要應用場景

采用流量調(diào)度方案，可以滿足不同網(wǎng)絡環(huán)境的多樣化流量控制需求。

1、帶寬預留與共享

SDH和IP技術(shù)在帶寬分配方面，前者通過時隙劃分帶寬，適合對不同部門和業(yè)務分配絕對帶寬，但各部門和業(yè)務之間無法做到帶寬共享;后者通過包交換共享帶寬，可以充分利用設(shè)備和鏈路資源，但如果需要實現(xiàn)帶寬預留，必須通過復雜的MPLS TE技術(shù)，實施難度很大。

對于政府、企業(yè)的某些廣域網(wǎng)建設(shè)，多個部門、業(yè)務共享物理網(wǎng)絡平臺，為了兼顧業(yè)務傳輸質(zhì)量和帶寬均衡，有時需要為關(guān)鍵部門和業(yè)務分配一定的預留帶寬，保證該業(yè)務持續(xù)、正常運行，防止帶寬被其他業(yè)務占用;同時，也需要各部門和業(yè)務能夠共享剩余帶寬，當業(yè)務突發(fā)時，保證總體帶寬的利用效率。

通過流量調(diào)度方案可以很好的實現(xiàn)上述需求，如圖6所示：

在地區(qū)A、B的匯聚路由器上，流量調(diào)度方案設(shè)計如下：

l 地區(qū)A、B之間廣域網(wǎng)鏈路帶寬155M;

l 為部門1、部門2各預留40M帶寬，剩余75M作為共享帶寬;

l 為保證視頻質(zhì)量的穩(wěn)定，各部門視頻流(10M)只能占用部門預留帶寬，而不能走共享帶寬;

l 在部門預留帶寬內(nèi)，數(shù)據(jù)流量可以自動根據(jù)視頻流量大小調(diào)整帶寬分配，當沒有視頻流量時，數(shù)據(jù)流量可以占用全部40M預留帶寬，超過40M的流量占用共享帶寬;有視頻流量(2～10M)時，數(shù)據(jù)流量只占用剩余的預留帶寬。

2、雙鏈路流量調(diào)度

為保證高可靠，廣域網(wǎng)普遍采用主、備冗余鏈路。隨著業(yè)務類型和流量的增加，備鏈路已不再只是作為備份，而是與主鏈路進行分擔，共同承載業(yè)務流量，實現(xiàn)對廣域網(wǎng)鏈路資源的充分利用。

傳統(tǒng)流量控制設(shè)計，都是基于單接口或鏈路的，當該接口或鏈路業(yè)務流量超出帶寬后，就會產(chǎn)生丟包。采用流量調(diào)度方案，可以針對雙鏈路組網(wǎng)結(jié)構(gòu)，進行跨設(shè)備跨鏈路的統(tǒng)一流量調(diào)度，從而避免一條鏈路可能嚴重擁塞，而另外一條鏈路卻空閑的情況，最大化利用鏈路帶寬資源。

圖7 雙鏈路流量調(diào)度

如圖7所示，實現(xiàn)方案設(shè)計如下：

l 業(yè)務分流：規(guī)劃路由、策略路由，生產(chǎn)等重要業(yè)務走主鏈路，辦公和視頻業(yè)務走備用鏈路;

l 過載流量調(diào)度：主鏈路帶寬被占滿，超過的流量轉(zhuǎn)發(fā)到備鏈路;

l 帶寬保證：根據(jù)業(yè)務優(yōu)先級進行帶寬保證，鏈路故障、流量超載時，優(yōu)先保證關(guān)鍵業(yè)務傳輸。

3、帶寬公平調(diào)配

對于出口帶寬較小，而人數(shù)較多的分支機構(gòu)，經(jīng)常會出現(xiàn)由于某個人收發(fā)大郵件等，占用大量的帶寬，導致其他人上網(wǎng)速度明顯變慢，甚至可能影響到其他的重要業(yè)務，比如視頻會議。而大郵件收發(fā)屬于正常辦公業(yè)務，傳統(tǒng)的流量控制只能控制所有用戶的辦公業(yè)務流量，而不能限制某個用戶的流量。

通過基于在線IP的動態(tài)流量調(diào)度技術(shù)，則可以實現(xiàn)基于終端IP的帶寬公平分配和共享，同時對重要業(yè)務進行帶寬保證和優(yōu)先轉(zhuǎn)發(fā)。