基于PCIE總線的多DSP系統(tǒng)接口設(shè)計(jì)和驅(qū)動(dòng)開(kāi)發(fā)

摘要：開(kāi)發(fā)了多DSP雷達(dá)信號(hào)處理板卡。對(duì)DSP互連、DSP與FPGA通信以及基于Xilinx FPGA的PCIE總線進(jìn)行設(shè)計(jì)。系統(tǒng)可擴(kuò)展性好、效率高。用DriverStudio開(kāi)發(fā)了WDM總線驅(qū)動(dòng)程序，具有很好的通用性和可移植性。
關(guān)鍵詞：PCIE；WDM；驅(qū)動(dòng)；DSP

    雷達(dá)成像信號(hào)處理的特點(diǎn)是運(yùn)算復(fù)雜。數(shù)據(jù)量大，要求系統(tǒng)在進(jìn)行快速運(yùn)算的同時(shí)能進(jìn)行大數(shù)據(jù)量的快速傳輸和存儲(chǔ)。I／O技術(shù)在高性能計(jì)算的發(fā)展過(guò)程中始終是一個(gè)十分關(guān)鍵的技術(shù)。
    PCI Express總線基于串行總線高速互連，比普通并行I／O技術(shù)有著更為領(lǐng)先的帶寬優(yōu)勢(shì)，被廣泛地認(rèn)為是一項(xiàng)革命性的總線技術(shù)，其重要性可以滿(mǎn)足不同使用者的需求。本文將詳細(xì)討論基于PCIE總線的信號(hào)處理板卡的數(shù)據(jù)傳輸設(shè)計(jì)，主要包括DSP互連，DSP與FPGA通信，PCIE接口設(shè)計(jì)以及總線驅(qū)動(dòng)程序的開(kāi)發(fā)。

1 基于PCIE總線的數(shù)字信號(hào)處理機(jī)介紹
    本系統(tǒng)是一個(gè)通用的基于PCIE總線的雷達(dá)成像數(shù)字處理機(jī)，板卡功能框圖如圖1所示。4片DSP之間通過(guò)高速鏈路口實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)互連，實(shí)現(xiàn)1GB／s的全雙工帶寬。同時(shí)每個(gè)DSP又分別通過(guò)鏈路口與FPGA互連，構(gòu)成一個(gè)分布式系統(tǒng)。系統(tǒng)采用4片ADI公司生產(chǎn)的TS201芯片進(jìn)行主要的數(shù)據(jù)處理工作，配以高性能的Xilinx Virtex-5芯片(XC5VLX110T)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的高速預(yù)處理。每片DSP配備容量為256MB的SDRAM。系統(tǒng)通過(guò)FPGA芯片內(nèi)嵌的PCIEIP core實(shí)現(xiàn)與主機(jī)的通信。

[!--empirenews.page--]

2 DSP與FPGA互連接口設(shè)計(jì)
2．1 互連及數(shù)據(jù)通信方法
    首先，采用DSP高速鏈路口實(shí)現(xiàn)DSP點(diǎn)對(duì)點(diǎn)連接，TS201芯片采用全雙工模式，當(dāng)處理器內(nèi)核工作在500 MHz時(shí)，鏈路口最高也可工作在500 MHz，每個(gè)鏈路口的雙向吞吐率可以達(dá)到1 GB／s，實(shí)現(xiàn)了點(diǎn)對(duì)點(diǎn)的高速傳輸。任意兩片DSP之間都通過(guò)鏈路口連接，使得DSP之間傳遞數(shù)據(jù)變得靈活，使程序設(shè)計(jì)變得簡(jiǎn)單。另外，每塊DSP通過(guò)一個(gè)鏈路口與FPGA互連，在數(shù)據(jù)傳輸不沖突的情況下，F(xiàn)PGA可以同時(shí)與多片DSP通信，實(shí)現(xiàn)FPGA和DSP的高速數(shù)據(jù)交換。
2．2 接口設(shè)計(jì)原理與實(shí)現(xiàn)
    由于系統(tǒng)中DSP之間實(shí)現(xiàn)了點(diǎn)對(duì)點(diǎn)互連，接口的設(shè)計(jì)主要涉及到DSP和FPGA之間的時(shí)序電路開(kāi)發(fā)。TS201有4個(gè)鏈路口，鏈路口采用全雙工模式，每個(gè)鏈路口有兩個(gè)獨(dú)立的DMA通道可以同時(shí)進(jìn)行通信。每個(gè)通道用LxCLKOUTP／N，LxACKI，LxCLKINP／N和LxACKO控制數(shù)據(jù)傳輸，LxBCM PI和LxBCMP用于指示現(xiàn)行緩沖器發(fā)送是否完成。利用鏈路口傳輸數(shù)據(jù)時(shí)，數(shù)據(jù)幀的開(kāi)始是由時(shí)鐘的上升沿來(lái)指示的，在時(shí)鐘上升沿和下降沿分別傳送數(shù)據(jù)。由于鏈路口具有收發(fā)兩個(gè)模塊，所以FPGA需要在內(nèi)部實(shí)現(xiàn)收發(fā)兩個(gè)模塊來(lái)與DSP的兩個(gè)模塊相對(duì)應(yīng)。
    依照鏈路口通信協(xié)議，F(xiàn)PGA向DSP發(fā)送數(shù)據(jù)時(shí)的鏈路口發(fā)送時(shí)鐘是由內(nèi)部鎖相環(huán)產(chǎn)生的，接收DSP傳送的數(shù)據(jù)時(shí)的接收時(shí)鐘由DSP的隨路時(shí)鐘提供。鏈路口時(shí)鐘、數(shù)據(jù)信號(hào)線均使用LVDS電平標(biāo)準(zhǔn)進(jìn)行連接，ACK和BCMP信號(hào)則采用單端的方式連接至FPGA。
    FPGA內(nèi)部邏輯主要包括接收／發(fā)送模塊和接收／發(fā)送緩沖。接收模塊與DSP的鏈路口發(fā)送端連接，發(fā)送模塊與DSP的接收端連接，在FPGA和DSP通信時(shí)這兩個(gè)模塊可以對(duì)數(shù)據(jù)分別進(jìn)行打包和拆包處理。接收／發(fā)送緩沖則用來(lái)配合接收／發(fā)送模塊，在傳輸數(shù)據(jù)時(shí)用來(lái)緩沖數(shù)據(jù)。

    FPGA與DSP之間傳輸數(shù)據(jù)時(shí)發(fā)送方先要將數(shù)據(jù)傳送給鏈路口發(fā)送模塊緩沖(一個(gè)異步FIFO)，接收方控制模塊檢測(cè)到LxACKI為高并且FIFO內(nèi)至少有一個(gè)4字?jǐn)?shù)據(jù)塊的數(shù)據(jù)時(shí)，雙方握手完成，啟動(dòng)數(shù)據(jù)傳輸，否則繼續(xù)等待。一個(gè)數(shù)據(jù)移位控制模塊使數(shù)據(jù)按照鏈路口通信協(xié)議的標(biāo)準(zhǔn)進(jìn)行排列后傳送給DDIO模塊產(chǎn)生DDR數(shù)據(jù)，另一個(gè)DDIO宏單元?jiǎng)t是用來(lái)產(chǎn)生同步的時(shí)鐘。發(fā)送模塊的仿真波形如圖2所示。

3 PCIE驅(qū)動(dòng)程序開(kāi)發(fā)
3．1 WDM驅(qū)動(dòng)程序的開(kāi)發(fā)介紹
    WDM是微軟全力推出的一種設(shè)備驅(qū)動(dòng)程序模型，相對(duì)于KDM(Kernel Driver Model)，WDM增加了對(duì)即插即用(pnp)、電源管理等新的硬件標(biāo)準(zhǔn)的支持。
    WDM的分層結(jié)構(gòu)有利于系統(tǒng)的設(shè)計(jì)、擴(kuò)展和驅(qū)動(dòng)程序的開(kāi)發(fā)。采用DriverStudio來(lái)開(kāi)發(fā)運(yùn)行在Windows XP下的WDM模式PCIE設(shè)備驅(qū)動(dòng)程序(用DriverWorks編寫(xiě)代碼，用DriverMonitor和SoftlCE調(diào)試驅(qū)動(dòng)。Drive／Works對(duì)WindowsDDK的類(lèi)進(jìn)行了很好的封裝，因此在開(kāi)發(fā)WDM驅(qū)動(dòng)程序時(shí)，DriverWorks向?qū)Мa(chǎn)生驅(qū)動(dòng)框架，開(kāi)發(fā)人員只需選擇合適的例程即可，因此可以在較短的時(shí)間內(nèi)開(kāi)發(fā)出效率較高的驅(qū)動(dòng)程序。
    一個(gè)WDM驅(qū)動(dòng)程序的功能模塊一般由初始化、創(chuàng)建和刪除設(shè)備、即插即用處理、訪問(wèn)硬件、處理Win32 I／O及控制請(qǐng)求、調(diào)用其他驅(qū)動(dòng)程序等組成。[!--empirenews.page--]
3．2 應(yīng)用程序和驅(qū)動(dòng)程序的通信方法
    應(yīng)用程序可以用標(biāo)準(zhǔn)的Win32API函數(shù)與驅(qū)動(dòng)程序建立通信。在應(yīng)用程序中首先用設(shè)備GUID接口或符號(hào)鏈接名打開(kāi)設(shè)備，實(shí)際上應(yīng)用程序調(diào)用了Win32API函數(shù)CreateFile。若成功打開(kāi)將返回設(shè)備的有效句柄，應(yīng)用程序獲得有效句柄后就可以和驅(qū)動(dòng)程序交換數(shù)據(jù)。打開(kāi)設(shè)備后應(yīng)用程序可以用函數(shù)DevieeloControl與驅(qū)動(dòng)程序通信，這個(gè)函數(shù)包括從驅(qū)動(dòng)程序讀數(shù)據(jù)和寫(xiě)數(shù)據(jù)。完成硬件操作后用CloseHandle函數(shù)關(guān)閉該設(shè)備。
3．3 PCI Express總線介紹
    PCIE總線是Intel公司提出的第3代I／O總線。PCIE總線采用雙工串行傳輸模式，速度快，低功耗，擴(kuò)展靈活，軟件層與PCI兼容，具有數(shù)據(jù)包和層協(xié)議架構(gòu)。

    PCI Express協(xié)議定義了4層結(jié)構(gòu)：物理層，數(shù)據(jù)鏈路層和事務(wù)處理層，軟件層。PCI Express系統(tǒng)體系結(jié)構(gòu)如圖3所示。每個(gè)層次按照協(xié)議中規(guī)定的內(nèi)容，完成相應(yīng)的數(shù)據(jù)處理功能。PCIE軟件層保持與PCI總線兼容，軟件兼容包括器件的初始化、自動(dòng)配置和器件的運(yùn)行。事務(wù)處理層接收來(lái)自軟件層或應(yīng)用層的讀寫(xiě)請(qǐng)求，并構(gòu)造響應(yīng)數(shù)據(jù)包并傳給數(shù)據(jù)鏈路層。數(shù)據(jù)鏈路層的主要作用是確保數(shù)據(jù)鏈路包在數(shù)據(jù)鏈路層上的可靠傳送。物理層負(fù)責(zé)接口和設(shè)備間的連接，它在兩個(gè)PCI Express模塊之間的鏈路層間傳輸數(shù)據(jù)包。
3．4 驅(qū)動(dòng)開(kāi)發(fā)實(shí)例
3．4．1 PCIE接口模塊
    PCI Express接口模塊通過(guò)調(diào)用IP核技術(shù)實(shí)現(xiàn)，它接口模塊的結(jié)構(gòu)如圖4所示。PCI Express通信協(xié)議以及DMA的實(shí)現(xiàn)等是在FPGA內(nèi)實(shí)現(xiàn)的，整個(gè)模塊用到了Hard IP核和DMA IP核。

    Hard IP核用來(lái)處理PCI Express協(xié)議相關(guān)的事務(wù)；DMAIP核用作DMA控制器；DMA控制器通過(guò)控制與DMA相關(guān)的寄存器，設(shè)定讀寫(xiě)操作的地址范圍和大小，來(lái)完成DMA數(shù)據(jù)讀寫(xiě)操作。DMA管理模塊控制兩個(gè)獨(dú)立的DMA通道，分別用來(lái)從主機(jī)內(nèi)存讀取數(shù)據(jù)和將數(shù)據(jù)寫(xiě)入主機(jī)內(nèi)存。[!--empirenews.page--]
3．4．2 DMA模式讀寫(xiě)過(guò)程
    為提高主機(jī)和板卡之間的數(shù)據(jù)傳輸速率，并保證數(shù)據(jù)的不丟失，采用DMA傳輸?shù)姆绞?。DMA方式的工作原理圖5所示。

    板卡的FPGA芯片中有DMA控制器。它提供了2個(gè)獨(dú)立的DMA通道用于從主機(jī)到設(shè)備和從設(shè)備到主機(jī)的數(shù)據(jù)傳輸。
    DMA寫(xiě)操作，即設(shè)備將數(shù)據(jù)向上傳輸?shù)街鳈C(jī)中，當(dāng)數(shù)據(jù)到來(lái)的時(shí)候，它將FIFO中的數(shù)據(jù)直接寫(xiě)到服務(wù)器的內(nèi)存空間，并產(chǎn)生一個(gè)DMA中斷通知驅(qū)動(dòng)程序，驅(qū)動(dòng)程序收到中斷后調(diào)用中斷響應(yīng)函數(shù)來(lái)處理內(nèi)存空間的數(shù)據(jù)。
    DMA讀操作，即主機(jī)將數(shù)據(jù)向下傳輸?shù)皆O(shè)備中，傳輸卡直接從服務(wù)器的內(nèi)存空間將數(shù)據(jù)讀取到FIFO中。服務(wù)器中用于DMA讀寫(xiě)的內(nèi)存空間由驅(qū)動(dòng)程序初始化DMA操作時(shí)分配，PCI Express驅(qū)動(dòng)程序利用這段內(nèi)存空間直接與傳輸卡進(jìn)行DMA通信。

4 結(jié)束語(yǔ)
    開(kāi)發(fā)的多DSP雷達(dá)信號(hào)處理板卡傳輸效率高、擴(kuò)展靈活。用DriverStudio所開(kāi)發(fā)的DMA模式PCIE驅(qū)動(dòng)程序通用性好，并且驅(qū)動(dòng)運(yùn)行穩(wěn)定，保證了主機(jī)應(yīng)用程序與硬件板卡上各DSP數(shù)據(jù)的快速存取。