交換機(jī)InfiniBand技術(shù)的特征及應(yīng)用研究發(fā)現(xiàn)

隨著數(shù)據(jù)中心的不斷深入與高需求，人們對(duì)于此領(lǐng)域的拓展研究也在不斷更迭最新技術(shù)與開(kāi)發(fā)最優(yōu)性能產(chǎn)品及解決方案。

前段時(shí)間易飛揚(yáng)(Gigalight)發(fā)布了200G QSFP DD PSM8光模塊，標(biāo)志著基于NRZ調(diào)制的200G低成本數(shù)據(jù)中心內(nèi)部平行光互連方案基本完成，也象征著公司在200G解決方案上的領(lǐng)先地位。不同于業(yè)界主張的400G方案，易飛揚(yáng)(Gigalight)堅(jiān)持200G的數(shù)據(jù)中心解決方案，可為客戶(hù)提供一站式的服務(wù)和解答。

本文主要根據(jù)現(xiàn)階段超算中心的發(fā)展進(jìn)程，來(lái)分析當(dāng)前交換機(jī)之間InfiniBand技術(shù)的特征以及應(yīng)用領(lǐng)域，其中以200G QSFP DD AOC為例，說(shuō)明了超算中心互連技術(shù)的端口封裝形式朝著更高工作帶寬發(fā)展的現(xiàn)狀。

超算系統(tǒng)里的InfiniBand技術(shù)

根據(jù)2017年全球超級(jí)計(jì)算機(jī)500強(qiáng)榜單公布情況，我國(guó)無(wú)錫“神威--太湖之光”超級(jí)計(jì)算機(jī)以每秒125,435.9TFlop/s的峰值計(jì)算能力再次蟬聯(lián)世界第一名，廣州“天河二號(hào)”超算系統(tǒng)以每秒54,902.4TFlop/s的峰值計(jì)算能力位居世界第二名。

值得注意的是這些超算中心的交換互連技術(shù)均采用來(lái)自以色列InfiniBand的交換機(jī)和網(wǎng)絡(luò)適配卡。當(dāng)前在超算中心互連技術(shù)陣營(yíng)中有以色列的InfiniBand, 高性能Ethernet, IBM的BlueGene, Cray和后起之秀Intel的OmniPath, 這五大技術(shù)占據(jù)市場(chǎng)的重要份額，其中InfiniBand和高性能Ethernet占絕對(duì)領(lǐng)導(dǎo)地位。

超算中心的互連技術(shù)朝著更高帶寬、更低延遲、更低功耗和更密的互聯(lián)端口在發(fā)展，而InfiniBand互連技術(shù)在當(dāng)前成為高性能存儲(chǔ)互連方案的首選，正是因?yàn)槠錆M(mǎn)足了大帶寬和低時(shí)延的需求。

InfiniBand是一個(gè)統(tǒng)一的互連結(jié)構(gòu)，既可以處理存儲(chǔ)I/O、網(wǎng)絡(luò)I/O，也能夠處理進(jìn)程間通信。它可以將磁盤(pán)陣列、SANs、LANs、服務(wù)器和集群服務(wù)器進(jìn)行互聯(lián)，在相對(duì)短的距離內(nèi)提供高帶寬、低延遲的傳輸，而且在單個(gè)或多個(gè)互聯(lián)網(wǎng)絡(luò)中支持冗余的I/O通道，讓數(shù)據(jù)中心在局部故障時(shí)仍能運(yùn)轉(zhuǎn)。

尤其是在未來(lái)HPC數(shù)據(jù)中心內(nèi)部流量大幅增長(zhǎng)的情況下，作為應(yīng)用于服務(wù)器之間的網(wǎng)絡(luò)連接技術(shù)，InfiniBand將擁有更廣闊的發(fā)展空間。

?圖為InfiniBand的產(chǎn)品路標(biāo)

InfiniBand網(wǎng)絡(luò)技術(shù)趨勢(shì)

InfiniBand的互連接口從過(guò)去的銅纜互連逐漸過(guò)渡到以VCSEL激光器為主的并行光互連技術(shù)，相比之下，光互連技術(shù)有著更多的優(yōu)勢(shì)：

相比銅纜，光纖衰減低傳輸距離更遠(yuǎn)，可達(dá)100米。

抗干擾性強(qiáng)、零丟包率，無(wú)論在光纖周?chē)P(pán)繞著多么復(fù)雜的強(qiáng)電，傳輸速度始終保持一致。

使用壽命很長(zhǎng)、兼容性很高，市場(chǎng)上一般的光纖可以用到10年甚至更久，這一點(diǎn)銅纜網(wǎng)線(xiàn)是無(wú)法相比的。

超算中心的互連技術(shù)的端口封裝形式朝著更高工作帶寬在發(fā)展，上圖是InfiniBand互連端口封裝形式和工作速率的表格對(duì)比，供大家參考。

InfiniBand系統(tǒng)光模塊封裝演進(jìn)

QSFP+

QSFP+封裝解決方案專(zhuān)為高密度的互連端口而設(shè)計(jì)，其系統(tǒng)組件包括電磁干擾(EMI)屏蔽罩，光纜、光學(xué)引擎，連接器和疊式籠子等零件。

QSFP+封裝形式滿(mǎn)足了高密度的端口需求，它集成了4路發(fā)射和4路接收通道。QSFP+收發(fā)器可以取代4個(gè)標(biāo)準(zhǔn)SFP+收發(fā)器，更大的端口密度和整個(gè)系統(tǒng)的成本節(jié)約超過(guò)傳統(tǒng)SFP+產(chǎn)品。

QSFP28

更高速率的QSFP28(25G四通道小型可插拔)封裝和QSFP+封裝機(jī)械結(jié)構(gòu)保持一只大小，QSFP28是為新一代光通信、數(shù)據(jù)中心和超算網(wǎng)絡(luò)市場(chǎng)應(yīng)用而設(shè)計(jì)的高密度、高速率的產(chǎn)品解決方案。

該封裝提供4路高速率信號(hào)通道，每路傳輸速率可從14Gbps發(fā)展至25(28)Gbps, 并將滿(mǎn)足100Gbps以太網(wǎng)(4x25Gbps)和100Gbps的4X InfiniBand數(shù)據(jù)速率(EDR)的需求。

QSFP DD

繼40G QSFP+和100G QSFP28封裝大規(guī)模部署和應(yīng)用之后, QSFP DD被認(rèn)為是在下一代的200G/400G網(wǎng)絡(luò)部署中最有優(yōu)勢(shì)的一種封裝形式。

QSFP DD封裝與QSFP28封裝大小基本一致，只是其長(zhǎng)度稍長(zhǎng)(雙排金手指連接器)，電接口支持8x25Gbps NRZ(200G)和8x28GBd PAM4(400G), 因此在同等密度的空間接口上，是原來(lái)100G QSFP28光模塊工作帶寬的2到4倍。同時(shí)QSFP DD也具備向下兼容QSFP28接口的設(shè)備，起到保護(hù)投資的作用。

200G QSFP DD AOC在InfiniBand中的應(yīng)用

不同于應(yīng)用于高層網(wǎng)絡(luò)通信的以太網(wǎng), InfiniBand主要用于低層的服務(wù)器端輸入/輸出性能的使命，設(shè)備之間一般使用有源光纜AOC進(jìn)行連接。

另外考慮到信號(hào)在超高速光纖傳輸中易失真的問(wèn)題, InfiniBand在光纖中采用差分的方式發(fā)送數(shù)據(jù)信號(hào)，并且在信號(hào)接收端添加濾波器過(guò)濾掉信號(hào)噪聲，充分保證了連接網(wǎng)絡(luò)的信號(hào)完整性。

易飛揚(yáng)200G QSFP DD多模光模塊和200G QSFP-DD 100m AOC產(chǎn)品，該產(chǎn)品采用自主研發(fā)和封裝的COB(Chip on Board)技術(shù)，可為下一代超算(數(shù)據(jù)中心)提供更低成本、低功耗、高密度、高速率的新一代光互連解決方案。

?200G QSFP-DD AOC

該產(chǎn)品在有限緊湊的空間內(nèi)集成了兩個(gè)光引擎，共提供8路25G高速數(shù)據(jù)通道，優(yōu)秀的散熱設(shè)計(jì)解決溫度積累問(wèn)題，全溫0~70攝氏度總功耗小于3.5W, 光接口采用MPO24接口(16根光纖), 在多模OM4光纖可保證100米的工作距離。

小結(jié)

著名InfiniBand網(wǎng)絡(luò)解決方案公司Mellanox市場(chǎng)部副總裁Gilad Shainer先生表示：“在機(jī)器學(xué)習(xí)、HPC云日益發(fā)展的今天，客戶(hù)們對(duì)于網(wǎng)絡(luò)性能的要求到達(dá)了極致，InfiniBand HDR 200Gb/s互連方案的高性能、網(wǎng)絡(luò)計(jì)算能力和網(wǎng)絡(luò)自修復(fù)能力，是未來(lái)智能云計(jì)算中心的關(guān)鍵技術(shù)?！币罪w揚(yáng)(Gigalight)的200G QSFP DD AOC正是為未來(lái)云網(wǎng)絡(luò)、高性能計(jì)算數(shù)據(jù)中心量身制定的互連方案。