京東云與AI獨(dú)創(chuàng)分布式網(wǎng)絡(luò)負(fù)載均衡是如何做到的

為了緩解鐵路運(yùn)輸壓力，確保旅客平安暢通出行，每年春運(yùn)時(shí)節(jié)，全國(guó)各地的鐵道部門(mén)都會(huì)依據(jù)客流情況，在原有的列車(chē)基礎(chǔ)上安排新增臨時(shí)列車(chē)，與此同時(shí)，火車(chē)站的售票窗口也相繼增加，以應(yīng)對(duì)客流高峰。

其實(shí)，這就是日常生活中所體現(xiàn)的“負(fù)載均衡”原理，根據(jù)客流的變化情況，動(dòng)態(tài)調(diào)整列車(chē)數(shù)量和窗口功能，合理均衡客流，優(yōu)化出行流程。在軟件系統(tǒng)中也是一樣的道理，為了避免流量分?jǐn)偛痪斐删植抗?jié)點(diǎn)負(fù)載過(guò)大（如CPU吃緊等），所以需要一個(gè)總?cè)肟趤?lái)承擔(dān)類(lèi)似鐵道部門(mén)的“調(diào)度”角色。

負(fù)載均衡就是一個(gè)統(tǒng)一網(wǎng)絡(luò)入口的組件，它接收所有網(wǎng)絡(luò)請(qǐng)求，然后根據(jù)預(yù)設(shè)的規(guī)則，把請(qǐng)求轉(zhuǎn)達(dá)給某一臺(tái)單獨(dú)服務(wù)器去處理，并且能實(shí)現(xiàn)微服務(wù)的水平拓展，處理能力和參與服務(wù)的實(shí)例數(shù)目都能動(dòng)態(tài)變化，可以保障處理速度。當(dāng)某個(gè)實(shí)例發(fā)生故障時(shí)會(huì)被自動(dòng)摘除，對(duì)訪(fǎng)問(wèn)者不會(huì)產(chǎn)生影響，從而實(shí)現(xiàn)高可用性。

不同的負(fù)載均衡技術(shù)有不同的實(shí)現(xiàn)方式及優(yōu)勢(shì)。比如，京東云與AI自主研發(fā)的分布式網(wǎng)絡(luò)負(fù)載均衡（簡(jiǎn)稱(chēng)“DNLB”），通過(guò)將用戶(hù)的無(wú)狀態(tài)業(yè)務(wù)請(qǐng)求按照一定策略自主分發(fā)給多臺(tái)后端服務(wù)器，從而調(diào)整資源利用情況，消除由于單臺(tái)后端服務(wù)器故障對(duì)系統(tǒng)的影響，解決大并發(fā)流量壓力，來(lái)提高用戶(hù)服務(wù)系統(tǒng)可用性、擴(kuò)展系統(tǒng)服務(wù)能力。

正如京東云與AI產(chǎn)品研發(fā)部產(chǎn)品總監(jiān)劉俊輝所言：“DNLB是一款基于京東云SDN技術(shù)的無(wú)狀態(tài)四層負(fù)載均衡，提供軟件定義的全可用區(qū)分布式負(fù)載均衡服務(wù)。相比于主要面向7層應(yīng)用的ALB和具會(huì)話(huà)保持功能的NLB，DNLB不單獨(dú)占用計(jì)算資源，天然具有轉(zhuǎn)發(fā)性能無(wú)瓶頸、全可用區(qū)高可用、低時(shí)延、自動(dòng)彈縮和長(zhǎng)期免費(fèi)的優(yōu)點(diǎn)，滿(mǎn)足客戶(hù)三高一低（高性能、高可用、高彈性和低時(shí)延）服務(wù)場(chǎng)景需求?！?/p>

SDN浸入式架構(gòu)，實(shí)現(xiàn)網(wǎng)絡(luò)智能化管理

相比于其他負(fù)載均衡產(chǎn)品，京東云與AI的DNLB無(wú)負(fù)載均衡實(shí)體存在，不單獨(dú)占用計(jì)算資源，它的轉(zhuǎn)發(fā)性能完全依賴(lài)于京東云SDN架構(gòu)，這就意味著它的轉(zhuǎn)發(fā)性能無(wú)瓶頸，能實(shí)現(xiàn)對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的智能化管理，充分利用網(wǎng)絡(luò)寬帶資源。

無(wú)專(zhuān)用節(jié)點(diǎn)，零成本運(yùn)營(yíng)

傳統(tǒng)的負(fù)載均衡為分擔(dān)用戶(hù)訪(fǎng)問(wèn)的壓力，會(huì)將網(wǎng)站壓力分配給每一個(gè)節(jié)點(diǎn)，從而實(shí)現(xiàn)集群的橫向擴(kuò)展。但當(dāng)遇到擴(kuò)容時(shí)，就需要不斷加入新的節(jié)點(diǎn)，從而造成用量隨著負(fù)載線(xiàn)性增加的局面，對(duì)于有狀態(tài)的服務(wù)來(lái)說(shuō)，還需要啟用會(huì)話(huà)保持來(lái)保證把流量分發(fā)到固定的節(jié)點(diǎn)上去。京東云與AI 的DNLB是建立在SDN浸入式架構(gòu)之中，不存在專(zhuān)用節(jié)點(diǎn) ，系統(tǒng)吞吐量可以達(dá)到最大，性能也更高，對(duì)用戶(hù)來(lái)說(shuō)也沒(méi)有任何成本投入。

全可用區(qū)高可用，保證用戶(hù)業(yè)務(wù)連續(xù)性

除了無(wú)瓶頸的高轉(zhuǎn)發(fā)性能，DNLB還具備全可用區(qū)高可用的優(yōu)勢(shì)，由于DNLB實(shí)例采用的是全可用區(qū)分布式部署架構(gòu)，系統(tǒng)中每個(gè)可用區(qū)都能處理一部分的負(fù)載，如果某個(gè)可用區(qū)發(fā)生故障，那么其它的可用區(qū)可以迅速接替它來(lái)運(yùn)行，對(duì)用戶(hù)不會(huì)產(chǎn)生任何影響。

保留源IP地址，客戶(hù)端操作簡(jiǎn)便

同時(shí)，在DNLB中用戶(hù)源IP地址可直接透?jìng)鞯胶蠖朔?wù)器，也就是說(shuō)后端服務(wù)器上看到的網(wǎng)絡(luò)包的源地址就是用戶(hù)的真實(shí)訪(fǎng)問(wèn)地址，用戶(hù)不需要做其它任何操作，就可以直接獲取源端真實(shí)的IP信息。

解耦負(fù)載均衡與會(huì)話(huà)保持功能，幫助用戶(hù)實(shí)現(xiàn)靈活部署

DNLB將負(fù)載均衡功能與會(huì)話(huà)保持功能解耦，使每個(gè)模塊之間的關(guān)聯(lián)減少，保持獨(dú)立性，即便一個(gè)地方出錯(cuò)，也不會(huì)影響全部，從而實(shí)現(xiàn)更高性能、更靈活的部署。

后端服務(wù)豐富，為用戶(hù)提供更多選擇

由于DNLB沿襲的是ALB的虛擬服務(wù)器組設(shè)計(jì)，所以后端服務(wù)可根據(jù)流量負(fù)載情況自動(dòng)調(diào)整服務(wù)器個(gè)數(shù)，以實(shí)現(xiàn)合理利用資源，并支持云主機(jī)和容器作為后端服務(wù)實(shí)例，為用戶(hù)業(yè)務(wù)部署提供更多選擇。

成熟的應(yīng)用實(shí)踐，為用戶(hù)提供高性能服務(wù)

拋開(kāi)功能層面來(lái)講，DNLB還是一個(gè)在應(yīng)用實(shí)踐上的“老司機(jī)”，已在京東云與AI內(nèi)部多個(gè)產(chǎn)品（例如：RDS、MongoDB、Redis、ES等）的高可用架構(gòu)中集成，其技術(shù)的成熟度可以確保用戶(hù)享受到最高性能的服務(wù)，是對(duì)性能、時(shí)延和業(yè)務(wù)橫向擴(kuò)展有高要求，在四層負(fù)載均衡上的極佳選擇。

從當(dāng)前的網(wǎng)絡(luò)應(yīng)用上來(lái)看，專(zhuān)業(yè)的負(fù)載均衡技術(shù)，能給用戶(hù)帶來(lái)更大的價(jià)值和更高的效率，尤其是對(duì)于那些部署了微服務(wù)架構(gòu)、數(shù)據(jù)中心容器的企業(yè)來(lái)說(shuō)，使用DNLB能很好滿(mǎn)足無(wú)狀態(tài)業(yè)務(wù)的大并發(fā)流量和高可用性的分發(fā)需求。

比如說(shuō)，像6.18、11.11這類(lèi)電商大促活動(dòng)時(shí)，Web 訪(fǎng)問(wèn)量在短暫的數(shù)小時(shí)內(nèi)可能比平常瞬間增加 10 倍以上，啟用DNLB對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行流量分發(fā)，隨著應(yīng)用的彈性擴(kuò)展，DNLB的轉(zhuǎn)發(fā)能力同步擴(kuò)展，保障系統(tǒng)對(duì)外的服務(wù)能力，可以滿(mǎn)足業(yè)務(wù)波峰時(shí)資源調(diào)控的需求。

而如果這時(shí)選用的是傳統(tǒng)的硬件設(shè)備搭建集群，就會(huì)遇到硬件成本高昂，運(yùn)維繁瑣等問(wèn)題。對(duì)于業(yè)務(wù)流量峰值高，需構(gòu)建低成本架構(gòu)的場(chǎng)景而言，DNLB可以有效應(yīng)對(duì)峰值流量，降低部署成本，使其擺脫硬件設(shè)備的運(yùn)維工作，專(zhuān)注于產(chǎn)品功能的開(kāi)發(fā)。

現(xiàn)如今，人工智能和實(shí)體經(jīng)濟(jì)的深度融合，正在推動(dòng)一個(gè)新的經(jīng)濟(jì)時(shí)代的到來(lái)。京東云與AI的DNLB基于現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)，面向高性能、大并發(fā)、低延時(shí)、無(wú)狀態(tài)的業(yè)務(wù)分發(fā)場(chǎng)景，提供了軟件定義的全可用區(qū)分布式負(fù)載均衡服務(wù)，加強(qiáng)了網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高了網(wǎng)絡(luò)的靈活性和可用性。尤其像銀行、電商、醫(yī)療、交通、互聯(lián)網(wǎng)這些數(shù)據(jù)量大、計(jì)算量大、通信量大的企業(yè)，都成為分布式負(fù)載均衡發(fā)揮自身優(yōu)勢(shì)最主要的平臺(tái)。

京東云與AI作為京東集團(tuán)強(qiáng)大商業(yè)能力的技術(shù)賦能出口，在商用以來(lái)3年多的時(shí)間里，推出及更新多達(dá)300+款產(chǎn)品與服務(wù)，實(shí)現(xiàn)100%云上訂單，呈飛躍式發(fā)展。在2019年，獲得公有云和私有云雙一級(jí)資質(zhì)。在2019年6.18和11.11期間，實(shí)現(xiàn)了從容面對(duì)數(shù)百億訪(fǎng)問(wèn)流量、每秒數(shù)百萬(wàn)次的高并發(fā)請(qǐng)求，完全能夠勝任在高負(fù)載、高并發(fā)、高挑戰(zhàn)的網(wǎng)絡(luò)壓力下，保證業(yè)務(wù)系統(tǒng)平穩(wěn)運(yùn)行，保證全天核心服務(wù)不降級(jí)、零重大事故。2019年IDC報(bào)告顯示，京東云中國(guó)公有云IaaS市場(chǎng)排名第九， YtY（同比）增速高達(dá)557%，行業(yè)最高，遠(yuǎn)超74%的平均水平。

“我們堅(jiān)持實(shí)場(chǎng)景驅(qū)動(dòng)，堅(jiān)持以客戶(hù)為中心，我們也正在從產(chǎn)品端出發(fā)，把人工智能、大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)融合在一起，為產(chǎn)業(yè)融合、科技創(chuàng)新，提供最堅(jiān)實(shí)、最前沿、最可信賴(lài)的計(jì)算基礎(chǔ)設(shè)施和服務(wù)?！眲⒖≥x說(shuō)。