基于RocketIO接口的高速互連應(yīng)用研究與實現(xiàn)

摘要：在此立足于嵌入式應(yīng)用的背景，在理解RapidIO協(xié)議和Fibre Channel協(xié)議的基礎(chǔ)上，通過對嵌入在FPGA內(nèi)的RocketIO高速串行收發(fā)器工作原理的研究，結(jié)合某信號處理接口模塊的實際應(yīng)用，在系統(tǒng)內(nèi)實現(xiàn)RapidIO接口功能，在系統(tǒng)間實現(xiàn)Fibre Channle接口功能，總結(jié)出基于RocketIO接口的高速信號完整性設(shè)計的應(yīng)用特點，并進(jìn)行簡單的鏈路傳輸特性的測試，為高速互連系統(tǒng)的設(shè)計與研究提供了可靠的技術(shù)支撐。
關(guān)鍵詞：RocketIO；RapidI()；Fibre Channel；嵌入式應(yīng)用

0 引言
    近年來，多種新興的高性能互連技術(shù)相繼出現(xiàn)，如RapidIO，PCI Express，F(xiàn)ibre Channel和InfiniBand等，它們大都采用基于報文交換的點到點互連結(jié)構(gòu)替代傳統(tǒng)并行總線結(jié)構(gòu)，提供了高帶寬、低延遲、可擴(kuò)展的I／O互連，很大程度上克服了傳統(tǒng)并行總線結(jié)構(gòu)的種種弊端。其中RapidIO屬于系統(tǒng)內(nèi)部互連技術(shù)，主要針對高性能嵌入式系統(tǒng)內(nèi)部互連，它可以作為處理器總線、本地I／O總線，還可以跨越背板連接處理器、存儲器和外部設(shè)備。RapidIO技術(shù)被定義為一種高性能，低引腳數(shù)，基于報文交換的互連體系結(jié)構(gòu)，能廣泛滿足嵌入式系統(tǒng)應(yīng)用的需求，支持芯片到芯片和板到板之間的互連技術(shù)。光纖通道(Fiber Channel，F(xiàn)C)是一種高速串行傳輸協(xié)議，具有高帶寬、高實時性、高可靠性、擴(kuò)展性好、傳輸速率高、抗干擾性強(qiáng)、拓?fù)浣Y(jié)構(gòu)和服務(wù)類型靈活、支持多種上層協(xié)議和底層傳輸介質(zhì)等特性，且可以在一路傳輸線上實現(xiàn)高達(dá)2．5 Gb／s的速率，具有相對于萬兆以太網(wǎng)，PCIe更高的傳輸速率。
    在嵌入式應(yīng)用方面，主流的FPGA中都已對差分信號提供了硬件支持，并且在片上集成了固化的Rocket IO模塊，以提供高超高速的串行通信支持。RocketIO位于數(shù)據(jù)傳輸協(xié)議的物理層，用以實現(xiàn)最基本的數(shù)據(jù)通信環(huán)境。
    本文從Xilinx的Virtex5系列FPGA的RocketIO高速串行收發(fā)器的工作原理入手，分別闡述了在一片F(xiàn)PGA上利用RapidIO協(xié)議和Fibre Chan nle協(xié)議實現(xiàn)高速信號傳輸?shù)姆椒?，并分析了RocketIO接口在硬件設(shè)計上需要注意的問題。

1 RocketIO介紹
    RocketIO為FPGA中內(nèi)嵌的硬核資源，是一種高速串行收發(fā)器，采用兩對差分線來進(jìn)行數(shù)據(jù)的發(fā)送和接收，可以實現(xiàn)兩個單工或一對全雙工的數(shù)據(jù)傳輸，通信碼率可以達(dá)到600 Mb／s～3．125 Gb／s。RocketIO收發(fā)器發(fā)送和接收串行差分信號，工作于2．5 V的直流電壓下，采用CML(Current Mode Logic)模式，內(nèi)部帶有50 Ω或75 Ω的匹配電阻，采用串行數(shù)據(jù)收發(fā)，可以在高頻條件下很好地避免數(shù)據(jù)間的串?dāng)_。

    RocketIO收發(fā)器結(jié)構(gòu)如圖1所示，主要包括PMA和PCS兩個子層，PMA子層中集成了SERDES，發(fā)送和接收緩沖，時鐘發(fā)生器及時鐘恢復(fù)電路。SERDES是一個串并轉(zhuǎn)換器，負(fù)責(zé)FPGA中本地的32位并行數(shù)據(jù)(也可以是16位或8位)與Rocket IO接口的串行數(shù)據(jù)之間的轉(zhuǎn)換。時鐘發(fā)生器及時鐘恢復(fù)電路用于將時鐘與數(shù)據(jù)綁定發(fā)送及將時鐘從接收到的數(shù)據(jù)流中恢復(fù)出來，從而避免了在高速傳輸條件下時鐘與數(shù)據(jù)分開傳輸所帶來的時鐘抖動等問題。PCS子層負(fù)責(zé)8 b／10 b編碼解碼和CRC校驗，并集成了負(fù)責(zé)通道綁定和時鐘修正的彈性緩沖。8 b／10 b編碼可以避免數(shù)據(jù)流中出現(xiàn)連0連1的情況，便于時鐘的恢復(fù)。通道綁定通過在發(fā)送數(shù)據(jù)流中加入字符來將幾個RocketIO通道綁定成一個一致的并行通道，從而來提高數(shù)據(jù)的吞吐率。彈性緩沖可以解決恢復(fù)的時鐘與本地時鐘不一致的問題，并進(jìn)行數(shù)據(jù)率的匹配，從而使得通道綁定成為可能。

2 RocketIO在高速信號互連中的應(yīng)用
    以某信號處理模塊FC接口板卡為例，該模塊是一種高性能、具有高速串行接口、采用統(tǒng)一互連網(wǎng)絡(luò)的通用信號處理接口模塊，信號傳輸速率達(dá)到幾千兆位每秒，這時就需要具有足夠高傳輸速率的信號傳輸機(jī)制對信號進(jìn)行轉(zhuǎn)發(fā)。實現(xiàn)與主機(jī)板卡通信時，采用RapidIO傳輸協(xié)議；實現(xiàn)系統(tǒng)網(wǎng)絡(luò)間通信時，則可使用FibreChannle光纖通信協(xié)議。而RocketIO對多種高速傳輸協(xié)議的支持，可以使得RapidIO協(xié)議、Fibre Chan nle協(xié)議在同一片F(xiàn)PGA內(nèi)實現(xiàn)，提高了系統(tǒng)的集成度，并使得信號的處理機(jī)制更加靈活。在本文的設(shè)計中，以Xilinx的Virtex5系列FPGA為平臺，采用了RapidIO傳輸協(xié)議來實現(xiàn)與主機(jī)板卡的通信，采用Fibre channle協(xié)議來實現(xiàn)系統(tǒng)網(wǎng)絡(luò)間通信。本文涉及的接口模塊架構(gòu)如圖2所示。

[!--empirenews.page--]
2．1 應(yīng)用RapidIO協(xié)議買現(xiàn)板間互連
    RapidIO是一種基于高性能包交換的開放式互連技術(shù)，主要功能是完成系統(tǒng)內(nèi)部芯片到芯片和板到板之間的高速傳輸數(shù)據(jù)，能夠提供高帶寬、低時延、軟件獨立和高容錯性的數(shù)據(jù)傳輸解決方案。同時支持點對點或點對多點的通信、DMA操作、消息傳遞模式交換數(shù)據(jù)以及多種拓?fù)浣Y(jié)構(gòu)等功能。
    RapidIO采用3層分級體系結(jié)構(gòu)，分別為物理層、傳輸層、邏輯層。物理層規(guī)范在整個分級結(jié)構(gòu)的底部，包括器件級接口的細(xì)節(jié)，如包傳輸機(jī)制、流量控制、電氣特性和低級錯誤管理。傳輸層規(guī)范在中間層，定義RapidIO地址空間和在端點器件間傳輸包所需的路由信息。邏輯層規(guī)范定義全部協(xié)議和包的格式，它們?yōu)槎它c器件發(fā)起和完成事物提供必要的信息。
    RapidIO串行物理層，通常稱為串行RapidIO，是針對板上或通過背板的器件間的電氣連接。串行物理層定義器件間的全雙工串行鏈路，在每個方向上使用單向差分信號。RapidIO串行物理層實現(xiàn)鏈路訓(xùn)練、鏈路初始化，支持RapidIO器件間的包傳送，包括包和控制符號的傳送、流量控制、錯誤管理和其他器件到器件的功能。RapidIO物理層核與RocketIO收發(fā)器連接邏輯結(jié)構(gòu)框圖如圖3所示。

    由于RapidIO邏輯層包被定義為一連串的比特，并且與物理層實現(xiàn)無關(guān)，所以RapidIO協(xié)議在串行與并行接口，銅線與光纖介質(zhì)下都能正確工作。
    其RapidIO串行物理層有如下特征：
    (1)采用8 b／10 b編碼方案將發(fā)送時鐘嵌入到數(shù)據(jù)中。
    (2)在每個方向上支持一個串行差分對或支持4個并列的串行差分對。
    (3)使用專用的8 b／10 b碼(稱為K碼)來管理鏈路，管理流量控制、包定界和錯誤報告。
    (4)支持每通道1．25 Gb／s，2．5 Gb／s和3．125 Gb／s波特率(數(shù)據(jù)速率分別為1．0 Gb／s，2．0 Gb／s和2．5 Gb／s)的傳送速率。
2．2 應(yīng)用Fibre Channel協(xié)議實現(xiàn)系統(tǒng)間互連
    光纖通道技術(shù)是綜合計算機(jī)通道和數(shù)據(jù)網(wǎng)絡(luò)概念提出的一個不同于傳統(tǒng)的通道和網(wǎng)絡(luò)結(jié)構(gòu)的互連方案，采用通道技術(shù)控制信號傳輸，使用仲裁或交換方式處理共享沖突，并采用了基于信用的流量控制策略。
    Fibre Channel模型分為5層，分別為：FC-0，F(xiàn)C-1，F(xiàn)C-2，F(xiàn)C-3和FC-4。FC-0層定義了連接的物理端口特性，包括介質(zhì)和連接器、驅(qū)動器、接收機(jī)、發(fā)射機(jī)等的物理特性、電器特性和光特性、傳輸速率以及其他的一些連接端口特性。在本設(shè)計中，F(xiàn)C-0層處理由光電收發(fā)器實現(xiàn)光信號與電信號轉(zhuǎn)換；FC-1層是信號編碼和解碼層，F(xiàn)C-1層處理由FPGA的RocketIO完成串并／并串轉(zhuǎn)換、8 b／10 b編解碼、有序集及位同步等；FC-1層使用8 b／10 b編碼方式，這意味著每傳輸10 b數(shù)據(jù)，實際得到8 b的有效數(shù)據(jù)，其他兩位是冗余位。信號可以被編碼成2種字符集：K字符集(特殊的控制信號和命令)和D字符集(普通數(shù)據(jù))。FC-2層是幀協(xié)議層，是FC用來識別、解釋和處理FC網(wǎng)絡(luò)信息流的核心層。FC-2層規(guī)定信息單元的組成格式、原語序列協(xié)議、端口類型、服務(wù)類型、數(shù)據(jù)的分段與重組、流量控制、差錯恢復(fù)策略、節(jié)點初始化、節(jié)點的注冊和節(jié)點的注銷等功能。FC-0，F(xiàn)C-1和FC-2層這3層共同組成了FC物理層。FC-3層是FC的公共服務(wù)層，定義了如帶寬頻率分片、搜索組和多播等通用服務(wù)。FC-4：該層是FC協(xié)議模型的最高層，在本系統(tǒng)的設(shè)計中，使用了匿名簽署消息傳輸協(xié)議(FC-AE-ASM)來滿足系統(tǒng)中數(shù)據(jù)的傳輸需要。
    在FC核的嵌入式應(yīng)用中。使用一個或2個RocketIO收發(fā)器來提供1 Gb／s，2 Gb／s或4 Gb／s的接口速率，利用FPGA中的8 b／10 b編解碼器、CRC產(chǎn)生和校驗單元以及接收彈性緩沖進(jìn)行設(shè)計。FC核內(nèi)部提供了32 b寬的Client接口，F(xiàn)C幀數(shù)據(jù)采用32 b／s訪問。FC核的時鐘在配置時已固定，分別可采用53．125 MHz和106．25 MHz。

    FC核與RocketIO收發(fā)器連接邏輯結(jié)構(gòu)框圖如圖4所示。[!--empirenews.page--]

3 RocketIO接口的信號完整性設(shè)計
    在實際應(yīng)用中，參考時鐘、電源供電以及高速傳輸線路的設(shè)計與布局是影響數(shù)據(jù)傳輸效果的最重要因素。為了保證Rocket IO能可靠工作，在RocketIO接口設(shè)計過程中需要注意以下的問題：
    (1)電源供電。該系列FPGA器件中每個RocketIO高速串行收發(fā)器包括5類電源引腳，分別為MGTAVCCPLL，MGTAVCC，MGTAVTTRX，MGTAVTT TX，MGTAVTTRXC，這些引腳對噪聲的影響都非常敏感，為了保證高速電路能夠可靠工作，RocketIO需要和周圍的噪聲源進(jìn)行隔離。因此需要對RocketIO收發(fā)器進(jìn)行專門的供電，且每個供電引腳必須有獨立的LC濾波網(wǎng)絡(luò)，其連接關(guān)系如圖5所示。

    (2)高速信號。RocketIO高速串行收發(fā)器采用高速差分信號線，由于所傳輸?shù)牟罘中盘栴l率很高，高速差分對走線應(yīng)當(dāng)有最高的優(yōu)先級，兩根差分信號線必須在長度上盡量匹配，長度失配會產(chǎn)生共模噪聲和輻射，嚴(yán)重的失配會產(chǎn)生時鐘抖動和不可預(yù)知的時序問題，差分線必須盡量匹配，端接電阻50 Ω和75 Ω可選，50 Ω用于芯片和芯片之間互連，75 Ω用于芯片和電纜之間互連；高速差分線不要打孔，要布在電路板中同一層。
    (3)參考時鐘。RocketIO不能使用經(jīng)過數(shù)字時鐘管理模塊(DCM)倍頻的參考時鐘，因為DCM倍頻會引入過大的時鐘抖動，在RocketIO的高速數(shù)據(jù)傳輸條件下會引起不必要的錯誤。RocketIO的時鐘由差分時鐘輸入后，只經(jīng)過一級BUFG，將時鐘引入FPGA的全局時鐘樹，然后直接連入到RocketIO的參考時鐘引腳上。

4 測試驗證
    在完成硬件設(shè)計后，可利用ChipScope Proh分析工具測試RocketIO的工作性能，通過內(nèi)置在收發(fā)器內(nèi)的誤碼率測試器，設(shè)置RocketIO為串行閉環(huán)方式，并運(yùn)行軟件進(jìn)行測試即可得到實時的數(shù)據(jù)傳輸狀態(tài)。如圖6所示可觀察到鏈路上的傳輸特性，并可得誤碼率可達(dá)到10-12，符合設(shè)計指標(biāo)要求。

5 結(jié)語
    本文從Virtex5系列FPGA的RocketIO高速串行收發(fā)器入手，根據(jù)接口設(shè)計需要闡述了應(yīng)用RapidIO協(xié)議和FC協(xié)議實現(xiàn)高速傳輸?shù)脑O(shè)計思想及工作原理。并分析了高速傳輸在硬件設(shè)計過程需要注意的一些問題，為高速接口設(shè)計的研究奠定了基礎(chǔ)，具有一定的科研價值和實踐意義。