浙江電信的5GC組網(wǎng)部署和實(shí)踐探討

5G核心網(wǎng)（以下簡(jiǎn)稱5GC）是5G能否成功部署和順利發(fā)展的關(guān)鍵，在整個(gè)中國(guó)電信CTNet2025網(wǎng)絡(luò)重構(gòu)工作當(dāng)中，5GC的云化部署是一項(xiàng)重點(diǎn)工作。在堅(jiān)持5GC控制面云化三層解耦的目標(biāo)架構(gòu)基礎(chǔ)上，承載5GC的CT云資源池建設(shè)，除了要滿足NFV網(wǎng)元的可靠承載及轉(zhuǎn)發(fā)性能需求外，為應(yīng)對(duì)5G面對(duì)不確定的業(yè)務(wù)、提供確定服務(wù)的挑戰(zhàn)，5GC應(yīng)以模塊化、軟件化、服務(wù)化的方式構(gòu)建網(wǎng)絡(luò)，應(yīng)面向MEC提供靈活的適配能力，支持多DC架構(gòu)，實(shí)現(xiàn)云邊協(xié)同。

因此，中國(guó)電信股份有限公司浙江分公司（以下簡(jiǎn)稱“浙江電信”）在建設(shè)5GC云化部署的CT云工作實(shí)踐中，以5G業(yè)務(wù)特點(diǎn)為出發(fā)點(diǎn)，充分考慮了NFV云化部署后，5GC VNF為實(shí)現(xiàn)業(yè)務(wù)特性對(duì)DC網(wǎng)絡(luò)基礎(chǔ)架構(gòu)高可用性、穩(wěn)定性、安全性的特定需求，探討了在統(tǒng)一云基礎(chǔ)設(shè)施架構(gòu)中，實(shí)現(xiàn)多業(yè)務(wù)承載的組網(wǎng)方案。

CT云主要用于承載NFV虛擬化的CT類網(wǎng)元（VNF），比如城域網(wǎng)的vBRAS、vCPE，4G的vEPC、vIMS，5G的AMF、SMF、UPF等。當(dāng)前，DC云資源池內(nèi)的Spine-Leaf組網(wǎng)是普遍方案，但與承載IT類業(yè)務(wù)的云資源池不同，CT云因其上CT類NFV網(wǎng)元的業(yè)務(wù)特性，功能上需要有一組Border-Leaf設(shè)備作為DC與WAN側(cè)的邊界，起到業(yè)務(wù)連接、路由收斂的作用。顯然，CT云對(duì)這組網(wǎng)絡(luò)設(shè)備的路由性能、收斂時(shí)間等有更高的要求。

一是大規(guī)模路由需求。Border-Leaf要處理所有南北向流量路由，要具備大規(guī)格FIB V4/V6路由能力，CT云的路由來(lái)源包括移動(dòng)用戶的動(dòng)態(tài)/靜態(tài)路由、企業(yè)VPN客戶路由、家寬用戶路由、WAN側(cè)路由、基站側(cè)路由，考慮到未來(lái)業(yè)務(wù)發(fā)展，路由需求通常在200K以上，而普通的交換機(jī)的路由規(guī)格僅為120K（V6）/256K（V4）左右，路由器的路由規(guī)格通常超過(guò)4M。

二是大規(guī)格BGP會(huì)話數(shù)與VRF數(shù)量。Border-Leaf需要分別建立與PE/VNF的BGP peer關(guān)系，交換WAN與DC間的路由，配置復(fù)雜的路由策略，要求很強(qiáng)的BGP會(huì)話能力。

Border-Leaf集中處理所有DC中Leaf下掛的業(yè)務(wù)VPN，而Leaf只需要處理本地下掛VNF的VPN。比如VNF業(yè)務(wù)VPN、企業(yè)移動(dòng)VPN、傳統(tǒng)網(wǎng)絡(luò)VPN對(duì)接，因此Border-Leaf 對(duì)VRF、BD、BDIF的能力要求更高。

三是快速BFD收斂。Border-Leaf匯聚大量用戶路由，要具備快速收斂能力，包括毫秒級(jí)BFD，設(shè)備發(fā)生故障時(shí)，通過(guò)BFD快速感知故障，加快收斂速度；路由快速收斂，設(shè)備發(fā)生故障時(shí)，要求快速刷新路由表。

四是豐富路由特性。Border-Leaf作為DC和WAN的網(wǎng)絡(luò)邊界，要適配各種復(fù)雜的WAN組網(wǎng)要求（DC多出口、路由策略控制、安全策略、QOS映射策略）。未來(lái)DC網(wǎng)絡(luò)的演進(jìn)，AI，SRv6等特性會(huì)走進(jìn)CT云，需要Border-Leaf具備面向未來(lái)演進(jìn)的能力。

對(duì)于5GC場(chǎng)景，Border-Leaf所承擔(dān)的南北向連接需求主要有兩個(gè)方面：北向連接，分別與ChinaNet、CN2 PE、IP RAN ER等進(jìn)行對(duì)接，做綜合接入與匯聚；南向連接，作為DC內(nèi)5GC VNF的L3-GW，主要承擔(dān)VNF南北流量轉(zhuǎn)發(fā)，部分東西跨VPC的流量轉(zhuǎn)發(fā)。

通過(guò)以上分析可以看出，CT云中的Border-Leaf從功能上，是一個(gè)服務(wù)于CT業(yè)務(wù)的跨專業(yè)連接設(shè)備，在設(shè)備形態(tài)上，推薦選用高性能路由器。但因其邊界設(shè)備的特殊位置，必定會(huì)產(chǎn)生多專業(yè)交叉維護(hù)問(wèn)題。如以上提到的北向連接與南向連接，從運(yùn)營(yíng)商傳統(tǒng)維護(hù)界面的專業(yè)劃分，就分別屬于承載網(wǎng)專業(yè)與5G核心網(wǎng)專業(yè)的維護(hù)范疇，再向南端延伸至DC內(nèi)，DC內(nèi)的Spine-Leaf交換網(wǎng)絡(luò)包括服務(wù)器、存儲(chǔ)、NFVI、VIM等云基礎(chǔ)設(shè)施，又屬于云資源池專業(yè)維護(hù)的范疇。因此，為了使用及維護(hù)界面的清晰，以南北向連接的能力為維度，將Border-Leaf進(jìn)行能力分解，從物理設(shè)備形態(tài)上分為5GC-CE（承擔(dān)北向連接）和DC-GW（承擔(dān)南向連接）兩組設(shè)備，以路由器為設(shè)備選型建議，分析其分設(shè)的合理性見表，兩種組網(wǎng)架構(gòu)如圖1、圖2所示。

圖1? 5GC-CE&DC-GW 分設(shè)組網(wǎng)架構(gòu)

圖2 ?5GC-CE&DC-GW合設(shè)組網(wǎng)架構(gòu)

5GC-CE&DC-GW分設(shè)組網(wǎng)：5GC-CE和DC-GW分設(shè)在兩組不同路由器上，DC-GW和5GC-CE部署eBGP OptionA方式對(duì)接，見表。

5GC-CE&DC-GW合設(shè)組網(wǎng)：5GC-CE和DC-GW部署在同一組路由器上，DC-GW&5GC-CE通過(guò)VxLAN和SR/MPLS拼接或路由重發(fā)布。

表 5GC-CE&DC-GW合設(shè) vs 分設(shè)組網(wǎng)對(duì)比分析

綜上多維度分析，5GC業(yè)務(wù)覆蓋面廣，業(yè)務(wù)影響大，5GC-CE、DC-GW合設(shè)系統(tǒng)復(fù)雜度高、角色交織、故障耦合、操作難度大、風(fēng)險(xiǎn)高。因此，5GC-CE、DC-GW分設(shè)更為合理。

浙江電信5GC組網(wǎng)實(shí)踐

在浙江電信5GC組網(wǎng)實(shí)踐中，5GC-CE、DC-GW分設(shè)，中心云DC業(yè)務(wù)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)三網(wǎng)獨(dú)立部署，通過(guò)云管平臺(tái)和DC SDN控制器實(shí)現(xiàn)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的自動(dòng)化協(xié)同發(fā)放，如圖3所示。

圖3? 浙江電信5GC組網(wǎng)實(shí)踐

在業(yè)務(wù)網(wǎng)絡(luò)層面，業(yè)務(wù)TOR成對(duì)堆疊；信令網(wǎng)絡(luò)采用硬件分布式SDN方案，在業(yè)務(wù)TOR、DC-GW之間部署B(yǎng)GP-EVPN，業(yè)務(wù)TOR做VNF的三層網(wǎng)關(guān)，與VNF的接口地址部署靜態(tài)路由+BFD打通業(yè)務(wù)地址（Loopback地址），DC-GW與VNF的業(yè)務(wù)地址之間運(yùn)行EBGP+BFD發(fā)布業(yè)務(wù)路由；DC-GW與5GC CE采取OpTIon A EBGP對(duì)接；服務(wù)器使用10GE/25GE接入業(yè)務(wù)TOR，業(yè)務(wù)TOR與業(yè)務(wù)EOR之間使用40GE連接；業(yè)務(wù)EOR向上都采用100GE連接。

在管理網(wǎng)絡(luò)層面，管理TOR、管理EOR分別成對(duì)堆疊，管理EOR作為管理區(qū)的三層網(wǎng)關(guān)，管理EOR與IP RAN網(wǎng)絡(luò)B設(shè)備使用靜態(tài)路由發(fā)布管理區(qū)路由；管理TOR與管理EOR之間使用10GE連接。

在存儲(chǔ)網(wǎng)絡(luò)層面，存儲(chǔ)TOR、存儲(chǔ)EOR分別成對(duì)堆疊；存儲(chǔ)TOR與存儲(chǔ)EOR之間使用40GE連接。

對(duì)于CT云內(nèi)承載的不同專業(yè)CT業(yè)務(wù)系統(tǒng)，Border-Leaf作為邊界，其與內(nèi)外部網(wǎng)絡(luò)設(shè)備的連接方式及部署要求也不盡相同，對(duì)于不同專業(yè)，在統(tǒng)一DC云基礎(chǔ)設(shè)施承載的基礎(chǔ)上，這組設(shè)備可能需要按專業(yè)獨(dú)立分設(shè)。其Border-Leaf設(shè)備就是一組獨(dú)立的Pool-GW，DC內(nèi)其他網(wǎng)絡(luò)和IT設(shè)備原則上可與5GC共用，界面上唯一的不同為：其中vBRAS網(wǎng)元與Pool-GW為數(shù)據(jù)接入網(wǎng)專業(yè)維護(hù)，相應(yīng)MANO中的管理維護(hù)界面也做對(duì)應(yīng)區(qū)分。

隨著eMBB、e2X、MEC等5G典型業(yè)務(wù)逐步商用，特別是MEC的部署驅(qū)動(dòng)核心網(wǎng)將逐步從集中式向分布式云化架構(gòu)演進(jìn)，以滿足不同的業(yè)務(wù)體驗(yàn)需求。5G CT云建設(shè)是一個(gè)長(zhǎng)期過(guò)程，需由中心云向邊緣云逐步推進(jìn)，根據(jù)業(yè)務(wù)需求分階段建設(shè)。

當(dāng)前浙江電信5GC CT云建設(shè)項(xiàng)目，以NFVO/VIM云平臺(tái)結(jié)合SDN控制器，聚焦DC內(nèi)核心網(wǎng)云化、網(wǎng)絡(luò)自動(dòng)化部署。

在業(yè)務(wù)上線時(shí)，根據(jù)用戶在云平臺(tái)上的邏輯組網(wǎng)設(shè)計(jì)，由SDN控制器自動(dòng)打通端到端網(wǎng)絡(luò)的各個(gè)環(huán)節(jié)并完成所需下發(fā)的配置；為CT云業(yè)務(wù)提供彈性計(jì)算、彈性網(wǎng)絡(luò)、彈性負(fù)載均衡、彈性安全等業(yè)務(wù)服務(wù)能力；完成并增強(qiáng)各資源池的云服務(wù)能力，能夠快速對(duì)所屬資源及能力進(jìn)行自動(dòng)化發(fā)放。

部署在數(shù)據(jù)中心的SDN網(wǎng)絡(luò)，為NFVI提供網(wǎng)絡(luò)服務(wù)，即向各種類型的VNF網(wǎng)元提供相應(yīng)的網(wǎng)絡(luò)接入、路由、VAS等服務(wù)，使VNF能靈活按需與各類外部網(wǎng)絡(luò)互聯(lián)。

根據(jù)云核心網(wǎng)網(wǎng)元的特征，CT云網(wǎng)絡(luò)分為虛擬化層網(wǎng)絡(luò)（負(fù)責(zé)VM基礎(chǔ)連通性，轉(zhuǎn)發(fā)網(wǎng)元內(nèi)東西向流量及網(wǎng)元業(yè)務(wù)管理流量）和業(yè)務(wù)層網(wǎng)絡(luò)（VNF間通信網(wǎng)絡(luò)以及VNF與外部網(wǎng)絡(luò)的連通性），SDN控制器需要支持虛擬化層網(wǎng)絡(luò)和業(yè)務(wù)層網(wǎng)絡(luò)的自動(dòng)化發(fā)放。

隨著5G業(yè)務(wù)開展，低時(shí)延業(yè)務(wù)如CloudVR、MEC等應(yīng)用推進(jìn)，U面將逐步下沉，靠近用戶側(cè)。CT云架構(gòu)將呈現(xiàn)多級(jí)分布式架構(gòu)，邊緣云快速處理用戶請(qǐng)求，減小時(shí)延；中心云集中部署管理面和控制面，集中管控。此時(shí)，邊緣云和中心云、中心云和中心云之間將產(chǎn)生互訪流量，需要考慮如何快速建立DC間連接。

邊緣DC UPF/CDN/MEC等轉(zhuǎn)發(fā)節(jié)點(diǎn)，可以考慮引入邊緣網(wǎng)關(guān)作為邊緣云接入設(shè)備，該邊緣網(wǎng)關(guān)可以和IP RAN融合，和IP RAN網(wǎng)絡(luò)使能E2E SRv6，實(shí)現(xiàn)5G基站快速接入，快速開通。

邊緣網(wǎng)關(guān)被IP RAN的WAN控制器納管，將邊緣網(wǎng)關(guān)和IP RAN網(wǎng)絡(luò)統(tǒng)一管理，并和VIM對(duì)接，實(shí)現(xiàn)WAN和DC統(tǒng)一管控。

中心云采用VxLAN轉(zhuǎn)發(fā)技術(shù)，沿用第一期方案，由DC內(nèi)SDN控制器管控，實(shí)現(xiàn)DC內(nèi)云網(wǎng)自動(dòng)化部署。

WAN控制器和DCN控制器統(tǒng)一DCI接口，并和業(yè)務(wù)協(xié)同層對(duì)接，由協(xié)同層編排DCI互聯(lián)需求，實(shí)現(xiàn)DCI連接按需打通。

邊緣DC流量采用SRv6技術(shù)承載，SRv6協(xié)議在中心云DC-GW之前的PE節(jié)點(diǎn)終結(jié)，PE和DC-GW采用VLAN/IP對(duì)接，通過(guò)協(xié)同層實(shí)現(xiàn)PE和DC-GW的自動(dòng)化對(duì)接，實(shí)現(xiàn)邊緣云和中心云的自動(dòng)化打通。

浙江電信5GC云化部署的組網(wǎng)實(shí)踐，為面向CTNet2025目標(biāo)架構(gòu)的云基礎(chǔ)設(shè)施組網(wǎng)提供了有力的技術(shù)經(jīng)驗(yàn)支撐。