如何構(gòu)建和擴展一個4路脊柱網(wǎng)絡(luò)

網(wǎng)格結(jié)構(gòu)化的布線模塊可以讓數(shù)據(jù)中心管理員最大限度地利用網(wǎng)絡(luò)投資。

在過去十年中，隨著網(wǎng)絡(luò)規(guī)模的增長，我們可以看到網(wǎng)絡(luò)從傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)向更平坦、更寬的脊葉架構(gòu)的轉(zhuǎn)變。憑借其完全網(wǎng)狀的連接方式，脊葉架構(gòu)為我們提供了我們所渴望的可預(yù)測的高速網(wǎng)絡(luò)性能，以及網(wǎng)絡(luò)交換結(jié)構(gòu)中的可靠性。

但是在有諸多優(yōu)點的同時，脊葉結(jié)構(gòu)在結(jié)構(gòu)化布線方面也提出了挑戰(zhàn)。在本文中，我們將研究如何構(gòu)建和擴展一個4路脊柱，并逐步發(fā)展到更多的脊柱網(wǎng)絡(luò)(如16路脊柱)，并在網(wǎng)絡(luò)發(fā)展過程中保持線速度切換能力和冗余。我們也將在結(jié)構(gòu)化布線的主要區(qū)域內(nèi)，探討兩種方法的優(yōu)點和缺點：一種方法使用傳統(tǒng)的光纖跳線，另一種使用光學(xué)網(wǎng)格模塊。

發(fā)展簡史

自20世紀(jì)80年代作為局域網(wǎng)(LAN)協(xié)議問世以來，以太網(wǎng)以其簡單的算法和低廉的制造成本，一直是數(shù)據(jù)中心和互聯(lián)網(wǎng)發(fā)展的推動力。以太網(wǎng)交換機在切換之前會查看它接收到的每一個包。它只打開外層信封來讀取第2層的地址，而不用讀取IP地址。這允許以太網(wǎng)交換機非?？焖俚匾苿訑?shù)據(jù)包。

盡管以太網(wǎng)效率很高，但隨著網(wǎng)絡(luò)規(guī)模的增大，它也存在一些缺點。在一個由多個以太網(wǎng)交換機組成的網(wǎng)絡(luò)中，為了阻止地址解析協(xié)議(ARP)請求等廣播包在網(wǎng)絡(luò)中泛濫和循環(huán)，使用了一種稱為生成樹協(xié)議(STP)的技術(shù)。STP阻塞冗余鏈接以防止網(wǎng)絡(luò)中發(fā)生循環(huán)。在STP技術(shù)上運行的網(wǎng)絡(luò)在主鏈路失敗時使用冗余鏈路作為故障轉(zhuǎn)移。這為基礎(chǔ)結(jié)構(gòu)提供了彈性，代價是可用帶寬的利用率僅為一半。

過去很長的一段時間，我們都在使用生成樹的邏輯來構(gòu)建網(wǎng)絡(luò)，直到我們遇到了一系列新的問題。第一個問題是我們的雙核網(wǎng)絡(luò)有限，沒有增長空間(為了服務(wù)越來越多的客戶，我們的網(wǎng)絡(luò)需要相應(yīng)地增長)。第二個問題是延遲。如果我們有一個大的網(wǎng)絡(luò)，我們通常把它們分成更小的網(wǎng)絡(luò)，我們稱之為虛擬局域網(wǎng)(VLAN)。這將導(dǎo)致不同類型的數(shù)據(jù)流量具有不同的延遲。與通過第3層核心的不同VLAN之間的流量相比，在單個VLAN中通過第2層網(wǎng)絡(luò)的流量具有不同的延遲。

支持生成樹協(xié)議的典型三層網(wǎng)絡(luò)。冗余鏈接被阻止，以防止網(wǎng)絡(luò)循環(huán)。

脊葉架構(gòu)簡介

現(xiàn)代電子商務(wù)、社交媒體和云應(yīng)用程序大多使用分布式計算為客戶服務(wù)。分布式計算是指服務(wù)器與服務(wù)器進(jìn)行對話并并行工作，以創(chuàng)建動態(tài)web頁面并回答客戶問題;它需要相同的延遲。等待結(jié)果會讓客戶不滿意。我們需要一個網(wǎng)絡(luò)架構(gòu)，它可以均勻地增長，并為現(xiàn)代應(yīng)用程序提供統(tǒng)一的延遲。

這些問題的解決方案來自于一種網(wǎng)絡(luò)架構(gòu)，即今天所說的“脊葉架構(gòu)”。自1952年Charles Clos首次引入多級電路交換網(wǎng)絡(luò)(也稱為Clos網(wǎng)絡(luò))以來，這個想法就一直存在。這種網(wǎng)絡(luò)架構(gòu)的主干稱為脊（Spin），每個葉（Leaf） 都通過脊連接到進(jìn)一步擴展的網(wǎng)絡(luò)資源。只需添加更多的脊或葉交換機，網(wǎng)絡(luò)就可以均勻地增長，而不會改變網(wǎng)絡(luò)性能。

與傳統(tǒng)的3層架構(gòu)相比，網(wǎng)絡(luò)的脊部分水平增長，約束了網(wǎng)絡(luò)的層數(shù)。例如，通過雙向脊網(wǎng)絡(luò)，我們可以建立網(wǎng)絡(luò)，支持多達(dá)6000臺主機，通過4路脊網(wǎng)絡(luò)，我們可以建立網(wǎng)絡(luò)多達(dá)12000臺主機，通過16路脊網(wǎng)絡(luò)，我們可以超過100,000臺10-GbE主機。

其次，所有的葉交換機都連接到架構(gòu)中每個可用的脊交換機。這種完全網(wǎng)格化的架構(gòu)允許任何連接到葉的主機只使用兩個躍點連接其他主機，即交換機到交換機連接。例如，從葉交換機1到脊交換機1，然后從脊交換機1到葉交換機10。因為整個脊層是用冗余方式構(gòu)建的(在脊或葉交換機宕機的情況下)，所以可以自動使用替代路徑和資源。

建立脊葉結(jié)構(gòu)網(wǎng)絡(luò)的基本規(guī)則如下：

主要構(gòu)建模塊是網(wǎng)絡(luò)葉交換機和網(wǎng)絡(luò)脊交換機。

所有主機只能連接到葉交換機。

葉交換機控制服務(wù)器之間的流量。

脊交換機在第2層或第3層的葉子交換機之間沿著最佳路徑向前切換流量。

葉交換機上的上行端口數(shù)量決定了脊交換機的最大數(shù)量。

脊交換機端口數(shù)量決定葉交換機的最大數(shù)量

這些原則影響交換機制造商設(shè)計其設(shè)備的方式。

仔細(xì)觀察一下脊交換機。如果我們觀察一個典型的脊交換機，第一眼我們注意到多個擴展槽，例如4或8個來接受不同的線卡，用于連接葉交換機上行鏈路。

在一個脊葉網(wǎng)絡(luò)結(jié)構(gòu)中，葉交換機控制服務(wù)器之間的流量，而脊交換機沿著葉交換機之間的最佳路徑轉(zhuǎn)發(fā)流量。一個被稱為16路脊的架構(gòu)可以擴展到支持超過100,000個10千兆位以太網(wǎng)主機。

板卡可以有不同的類型，例如36x40G QSFP(用于40-Gig)端口或32x100G QSFP28(用于100-Gig)端口。QSFP (Quad small form pluggable)和QSFP28端口是空的，因此必須分別購買單?；蚨嗄Ｊ瞻l(fā)機或有源光纜(AOC)，或雙絞電纜。一般規(guī)則是，脊交換機上可用端口的數(shù)量決定可以連接到脊的葉交換機的數(shù)量，從而決定可以連接到網(wǎng)絡(luò)的最大服務(wù)器數(shù)量。

接下來，我們將看到監(jiān)控模塊監(jiān)控和管理整個交換機的操作。電源支持層提供充裕的電力，在脊交換機的背面，我們通常有網(wǎng)絡(luò)模塊，來協(xié)調(diào)不同線卡之間的流量。在脊交換機的板卡上，均勻分布葉交換機的上行鏈路連接，減少了通過結(jié)構(gòu)模塊的數(shù)據(jù)量，從而顯著提高交換機性能。

這增加了端到端包裹交付時間，也就意味著延遲，并需要采購額外的交叉板卡，而這意味著額外的成本。在接下來的章節(jié)中，我們將討論如何使用布線解決這些問題。

仔細(xì)觀察葉交換機。當(dāng)討論葉交換機時，主要考慮的是上行端口的數(shù)量，它決定了可以連接到多少個脊交換機，以及下行端口的數(shù)量，它決定了可以連接到葉交換機的主機數(shù)量。上行鏈路端口可以支持40/100G速度，下行鏈路端口可以根據(jù)您計劃使用的模塊在10G/25G/40G/50G之間進(jìn)行選擇。

擴展具有冗余和線速交換的脊葉網(wǎng)絡(luò)。讓我們考慮一下這種情況。我們有兩個脊交換機，每個脊交換機上有四張板卡，但是每個葉交換機上只有四個上行端口。是否可以將這4個上行鏈路分布在8個板卡中，以保持冗余和線速交換?

如果我們使用40G SR4收發(fā)器，我們知道它們實際上是由4 x10G?SR收發(fā)機組成的，一個40G- SR4端口可以被視為四個獨立的10G端口。這稱為端口分開應(yīng)用（port break-out application）。端口分開允許我們擴展和冗余，因為我們擴展網(wǎng)絡(luò)的方式，傳統(tǒng)技術(shù)上做不到。例如，可以將2x40G SR4收發(fā)器拆分為8 x10G端口，并輕松地將它們分布在8個板卡上。

使用傳統(tǒng)端口分開的方法進(jìn)行交叉連接--為了表示這一點，讓我們使用康寧EDGE? 解決方案端口分開模塊創(chuàng)建一個10G的交叉連接。我們可以使用EDGE解決方案端口分開模塊在脊層端接所有40G QSFP端口。我們可以對葉交換機做同樣的處理。現(xiàn)在，我們可以簡單地在各自的葉交換機和脊交換機之間做一個LC 跳線連接。通過這樣做，我們可以分開所有40G端口，并將它們分布在4個不同的板卡上。

冗余得到保持，這意味著如果你丟失了一個板卡，你只損失了25%的帶寬。我們通過確保所有的板卡上都連接了所有的葉交換機來維護(hù)線速交換，因此不需要通過垂直架構(gòu)模塊進(jìn)行通信。每個黃色突出顯示的端口代表一個40G QSFP端口。

這是最優(yōu)的做事方式嗎? 不。這被稱為使用舊工具構(gòu)建新網(wǎng)絡(luò)。

用網(wǎng)格模塊交叉連接--有更好的方法嗎?

讓我們考慮一下網(wǎng)格模塊。這個網(wǎng)格模塊連接到一側(cè)的脊交換機和另一側(cè)的葉交換機。脊交換機側(cè)端口連接到脊交換機上的單板卡。每次我們在葉交換機側(cè)連接一個葉交換機，它就會自動斷開那個端口并將它們在網(wǎng)格模塊上的脊交換機端口上重新連接，這些端口已經(jīng)連接到單獨的板卡上了。

我們不需要做任何LC跳線的修補。我們?nèi)匀粚崿F(xiàn)了我們在上一個場景中嘗試的重新連接，我們有完全的冗余，我們可以從交換機獲得完全的性能。

在這個設(shè)置中，一個網(wǎng)格模塊連接到一側(cè)的脊交換機和另一側(cè)的葉交換機。脊交換機側(cè)端口連接到脊交換機上的單板卡。每當(dāng)用戶連接葉交換機一側(cè)的葉端子交換機時，該端口就會自動斷開，并在網(wǎng)格模塊上的脊交換機端口之間來回移動--這些端口已經(jīng)連接到單獨的板卡上。不需要LC-LC跳線修補。

通過網(wǎng)格模塊擴展網(wǎng)絡(luò)--從雙路脊交換機到4路脊交換機是容易的。我們只需要在每個脊交換機上使用一個網(wǎng)絡(luò)模塊，并將每個從葉交換機而來的40G上行鏈路分配到每個脊交換機的4個板卡上。

使用網(wǎng)格模塊，擴展4路脊交換機是很容易的。我們將網(wǎng)格模塊的脊交換機，連接到其他脊交換機。我們正在失去板卡級的冗余和交換效率，但我們通過將風(fēng)險分布在16路脊交換機上而獲得了更多的冗余。因此，我們還應(yīng)該投資矩陣模塊，因為在同一個機箱中，不同的板卡上有不同的葉交換機。通過此項最后的擴展，我們可以得到一個比4路脊交換機大四倍的網(wǎng)絡(luò)。

使用網(wǎng)格模塊有幾個優(yōu)點。我們可以降低45%的連接成本。通過用MTP接線代替LC接線，我們可以減少75%的擁塞。因為我們不需要配線架來進(jìn)行LC斷接和跳接，我們可以在設(shè)備主分布區(qū) (MDA) 實現(xiàn)75%的空間節(jié)省。

歷史告訴我們，隨著每一個新的技術(shù)發(fā)展，我們必須發(fā)明新的做事方法。今天，這個行業(yè)正在向脊葉結(jié)構(gòu)轉(zhuǎn)變，交換機制造商已經(jīng)為新一代的數(shù)據(jù)中心交換機架構(gòu)設(shè)計了先進(jìn)的交換機系統(tǒng)。這種架構(gòu)的基本要求是構(gòu)建網(wǎng)格結(jié)構(gòu)的布線模型，使您能夠從矩陣架構(gòu)投資中獲得最大的收益。

使用網(wǎng)格模塊場景，我們可以超越雙路脊柱，甚至超越4路脊柱，達(dá)到如圖所示的16路脊柱。實現(xiàn)這種方法后，用戶確實會丟失板卡級冗余和交換效率; 然而，通過將風(fēng)險分散到16路脊柱，用戶也獲得了更多的冗余。對于這種類型的網(wǎng)絡(luò)部署，值得在矩陣模塊上進(jìn)行投資，因為在這種情況下，同一機箱的不同板卡上連接著不同的葉交換機。

脊葉結(jié)構(gòu)的網(wǎng)格連接可以使用標(biāo)準(zhǔn)MDA風(fēng)格的結(jié)構(gòu)化布線系統(tǒng)實現(xiàn)，我們可以將其與”使用舊工具構(gòu)建新事物“的方法進(jìn)行比較。使用網(wǎng)格模塊作為構(gòu)建下一代網(wǎng)絡(luò)的新工具可以顯著降低數(shù)據(jù)中心結(jié)構(gòu)的復(fù)雜性和連接成本。