基于IBA的SRP Target的研究與實(shí)現(xiàn)

引言
    InfiniBand是一種新的互連技術(shù)，它將I／O系統(tǒng)與CPU／Mem分開?？朔水?dāng)前I／O結(jié)構(gòu)的種種弊端，提供了高帶寬、低延遲、可擴(kuò)展的I／0互連。SRP協(xié)議是Infini-Band中的一種通信協(xié)議，在InfiniBand中將SCSI命令進(jìn)行打包，允許SCSI命令通過RDMA(遠(yuǎn)程直接內(nèi)存訪問)在不同的系統(tǒng)之間進(jìn)行通信．實(shí)現(xiàn)存儲(chǔ)設(shè)備共享和RDMA通信服務(wù)。

1 SRP Target簡(jiǎn)介
    SRP Target將系統(tǒng)中的存儲(chǔ)設(shè)備信息映射到IB網(wǎng)絡(luò)上．讓SRP Initiator端的服務(wù)器能夠在IB網(wǎng)絡(luò)上獲取到這些SCSI存儲(chǔ)設(shè)備的信息，并可通過與SRP Target對(duì)存儲(chǔ)設(shè)備的進(jìn)行訪問。

    圖1為SRP Target的協(xié)議棧結(jié)構(gòu)，如圖所示，與IB鏈路直接連接的是InfiniBand HCA，它與SRP Initiator端的HCA建立了RDMA通道，負(fù)責(zé)提供RDMA通信服務(wù)。SRP Target區(qū)域包括了SCSI Target、SRP Target Drive和InfiniBand Driver三個(gè)部分。

2 SRP Target的實(shí)現(xiàn)
2．1 初始化SRP Target模塊
    SCSI Target的初始化是指獲取系統(tǒng)中的SCSI存儲(chǔ)設(shè)備信息并注冊(cè)，以使模塊具有處理SCSI命令的功能。SRPTarget的初始化關(guān)鍵是使SRP Target與SCSI Target建立聯(lián)系，使其具有處理SRP信息、進(jìn)行SCSI命令的轉(zhuǎn)換、進(jìn)行m管理以及提供RDMA通道服務(wù)等功能。初始化完成之后，SRP Initiator便可以獲取IB網(wǎng)絡(luò)上的SCSI存儲(chǔ)設(shè)備信息。
2．2 讀操作的實(shí)現(xiàn)
    讀操作是指SRP Initiator服務(wù)器從SRP Target服務(wù)器讀取信息的過程。讀操作包括了SRP Initiator從SRP Target服務(wù)器獲取SCSI存儲(chǔ)設(shè)備信息、查看存儲(chǔ)設(shè)備容量大小，讀取存儲(chǔ)設(shè)備文件信息等操作。實(shí)現(xiàn)具體過程如圖2所示。

    當(dāng)完成數(shù)據(jù)傳輸以后。SRP Target就要對(duì)執(zhí)行過程中所占有的資源進(jìn)行釋放，為下一個(gè)任務(wù)騰出資源，SRP Tar一get就處于等待接收下一個(gè)任務(wù)的狀態(tài)中。
2．3 寫操作實(shí)現(xiàn)過程
    寫操作是指SRP Initiator服務(wù)器從SRP Target服務(wù)器寫信息的過程。寫操作包括了SRP Initiator服務(wù)器向SRPTarget服務(wù)器上的存儲(chǔ)設(shè)備寫入數(shù)據(jù)，對(duì)存儲(chǔ)設(shè)備進(jìn)行格式化等操作。

    釋放SCSI命令占有資源的操作過程與前述處理讀命令的過程是一致的。
2．4 處理異常中斷
    當(dāng)SRP Initiator通過RDMA通道向SRP Target發(fā)送SRP請(qǐng)求信息．要求RDMA通道對(duì)應(yīng)的SRP Target端口接收SRP請(qǐng)求信息。端口執(zhí)行接收操作，但是出現(xiàn)異常中斷，接收SRP請(qǐng)求信息失敗，就要進(jìn)行相應(yīng)的處理措施．具體步驟如下：
    (1)SRP Target的端口檢測(cè)RDMA通道中有SRP請(qǐng)求信息，確認(rèn)為接收完成操作失敗，未接收到SRP請(qǐng)求信息，立即進(jìn)行操作失敗下的處理方式。
    (2)釋放RDMA緩沖區(qū)相關(guān)資源，重新初始化相關(guān)屬性信息。
2．5 卸載SRPTarget
    當(dāng)進(jìn)行卸載SRP Target時(shí)，主要進(jìn)行釋放SRP Target模塊和SCSI模塊所占有資源。具體的步驟如下：
    (1)注銷SCSI Target模塊中的I／O控制器，清除該控制器的設(shè)備ID號(hào)，將該控制器從全局上下文中移除。
    (2)清I／O控制器所控制的SCSI命令，釋放SCSI命令所占有的內(nèi)存緩沖區(qū)等資源。釋放所占有的內(nèi)存緩沖區(qū)。
    (3)釋放SRP Target模塊中I／O控制器所占有的資源，停止對(duì)IB端口服務(wù)人口的監(jiān)聽操作，釋放服務(wù)入口所占有的內(nèi)存空間資源，并對(duì)IB端口進(jìn)行更新操作，恢復(fù)端口的初始設(shè)置。
    (4)對(duì)所有RDMA通道進(jìn)行斷開操作．釋放RDMA通道所占有的資源。
    (5)釋放IB I／O控制器所占有的空間。

3 實(shí)驗(yàn)結(jié)果與分析
3．1 實(shí)驗(yàn)環(huán)境
    (1)硬件配置：
    神威SWIBS24型IBA交換機(jī)。
    IBM System x3650服務(wù)器3臺(tái)(Initiator01，Initiator02，Initiator03)各配有一塊HCA卡，作為SRP Initiator。存儲(chǔ)服務(wù)器一臺(tái)配置一塊HCA卡。作為SRP Target。
    (2)軟件配置：
    四臺(tái)linux AS4 Updata4服務(wù)器．內(nèi)核版本為2．6．9-42。Initiator01、Initiator02、Initiator03安裝IBA驅(qū)動(dòng)程序IBGD(InfiniBand Gold Distribution)的sRP Initiator，作為Initiator服務(wù)器；Target安裝IBA驅(qū)動(dòng)程序OFED(OpenFabrics En-terprise Distribution)的SRP Target，作為Target服務(wù)器。本課題依據(jù)GPFS支持的直接連接、網(wǎng)絡(luò)連接兩個(gè)模式，分別對(duì)讀寫性能進(jìn)行比較。
    直接連接：使用SRP協(xié)議．只要求在Initiator01、02、03服務(wù)器上安裝GPFS，Target上不安裝GPFS，Initiator服務(wù)器由1B網(wǎng)絡(luò)通過SRP Target獲得RAID存儲(chǔ)設(shè)備信息，即可對(duì)其進(jìn)行直接掛載、讀寫操作。
    網(wǎng)絡(luò)連接：不使用SRP協(xié)議．使用IPoIB協(xié)議。要求在每個(gè)服務(wù)器上都安裝GPFS，Initiator服務(wù)器不能通過SRP協(xié)議獲取Target服務(wù)器上RAID存儲(chǔ)設(shè)備的信，g。Initiator只能通過IPoIB與Target聯(lián)系，通過Target服務(wù)器上的GPFS文件系統(tǒng)對(duì)存儲(chǔ)設(shè)備進(jìn)行共享訪問。
3．2 實(shí)驗(yàn)結(jié)果
    下表為實(shí)驗(yàn)結(jié)果，IPoIB為GPFS的網(wǎng)絡(luò)連接模式，IB-SRP為GPFS的直接連接模式：
    (1)Initiator01、02、03同時(shí)對(duì)Target的RAID設(shè)備進(jìn)行讀寫操作(如表1)。設(shè)置測(cè)試的空間大小為10 G，一次讀寫操作的塊大小分別為64 k，128 k，256 k，速度以K／s為單位。

    (2)Initiator01對(duì)Target的RAID設(shè)備單獨(dú)進(jìn)行讀寫測(cè)試(如表2)。

3．3 結(jié)果分析
    實(shí)驗(yàn)結(jié)果表明，在IBA網(wǎng)絡(luò)中使用SRP協(xié)議的Initiator和Target模塊進(jìn)行數(shù)據(jù)傳輸?shù)乃俣缺葐渭兪褂肐BA網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸?shù)乃俣雀叱龊芏唷?br />    使用SRP協(xié)議進(jìn)行數(shù)據(jù)傳輸時(shí)，Initiator服務(wù)器向Tar—get服務(wù)器的RAID設(shè)備傳輸數(shù)據(jù)，是直接與Target內(nèi)存進(jìn)行數(shù)據(jù)傳輸，然后由Target的內(nèi)存將數(shù)據(jù)傳遞給RAID設(shè)備。在此時(shí)，Target系統(tǒng)并不執(zhí)行數(shù)據(jù)的拷貝動(dòng)作，不經(jīng)過內(nèi)核的調(diào)用，減少了處理網(wǎng)絡(luò)通信時(shí)在內(nèi)核空間和用戶空間上下文切換的次數(shù)，消除了在應(yīng)用內(nèi)存與內(nèi)核內(nèi)存之間復(fù)制數(shù)據(jù)的需要，減少了CPU的負(fù)載。繞過內(nèi)核可使應(yīng)用程序不必執(zhí)行內(nèi)核調(diào)用就可以直接發(fā)出命令。減少了延遲時(shí)間，能騰出總線空間和CPU周期用于改進(jìn)應(yīng)用系統(tǒng)性能。然而只利用IBA網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸時(shí)。Target系統(tǒng)要進(jìn)行數(shù)據(jù)的拷貝．內(nèi)核的調(diào)用，增大了CPU的負(fù)載．性能相對(duì)下降。所以基于SRP的讀寫速度性能會(huì)更高。

4 結(jié)束語(yǔ)
    本文介紹了實(shí)現(xiàn)SRP Target的過程．對(duì)各個(gè)獨(dú)立功能部分的工作原理、工作機(jī)制以及工作流程進(jìn)行了分析。并給出了IBA存儲(chǔ)網(wǎng)絡(luò)分別使用IPOIB協(xié)議和SRP協(xié)議讀寫性能的測(cè)試結(jié)果，對(duì)于設(shè)計(jì)實(shí)現(xiàn)基于IBA的存儲(chǔ)網(wǎng)絡(luò)有著重要的參考價(jià)值。