前  言
本文主要介紹i.MX 8M Mini基于FlexSPI、PCIe與FPGA的高速通信案例。

本文檔適用開發(fā)環(huán)境：

Windows開發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機(jī)：VMware15.1.0

Linux開發(fā)環(huán)境：Ubuntu18.04.4 64bit

U-Boot：U-Boot-2020.04

Kernel：Linux-5.4.70

Linux SDK：5.4.70_2.3.0

*測(cè)試硬件平臺(tái)：TLIMX8－EVM評(píng)估板（NXP i.MX 8M Mini）

點(diǎn)擊圖片/圖注即可查看產(chǎn)品詳細(xì)介紹↓↓↓

圖 1 TLIMX8-EVM評(píng)估板

案例一：主要演示ARM Cortex-A53通過(guò)FlexSPI接口讀取FPGA（Spartan-6采集卡TL-HSAD-LX）發(fā)送的模擬數(shù)據(jù)，并進(jìn)行校驗(yàn)，通過(guò)串口打印相關(guān)信息。實(shí)測(cè)速率為114.89MB/s。

案例二：主要演示ARM Cortex-A53通過(guò)PCIe接口與FPGA進(jìn)行通信，實(shí)現(xiàn)對(duì)CameraLink相機(jī)圖像的采集、編碼和顯示。實(shí)測(cè)傳輸幀率為60fps。

案例詳細(xì)說(shuō)明、源碼請(qǐng)掃描下方二維碼或點(diǎn)擊下載鏈接：

http://site.tronlong.com/pfdownload

1 flexspi_read案例

1.1 案例說(shuō)明

本案例主要演示ARM Cortex-A53通過(guò)FlexSPI接口讀取FPGA（Spartan-6采集卡TL-HSAD-LX）發(fā)送的模擬數(shù)據(jù)，并進(jìn)行校驗(yàn)，通過(guò)串口打印相關(guān)信息。

(1) 驅(qū)動(dòng)默認(rèn)配置FlexSPI為DDR模式（雙邊沿），配置FlexSPI的時(shí)鐘源為400MHz，分頻系數(shù)pre_divider和post_divider分別為2和5，此時(shí)FlexSPI的ROOT CLK時(shí)鐘為400MHz/2/5 = 40MHz，DDR模式的傳輸時(shí)鐘SCLK= ROOT SCLK/2 = 20MHz，數(shù)據(jù)位寬為8bit，即理論傳輸速率為40MB/s，實(shí)測(cè)速率為37.56MB/s。

(2) 驅(qū)動(dòng)如配置FlexSPI為DDR模式（雙邊沿），配置FlexSPI的時(shí)鐘源為400MHz，分頻系數(shù)pre_divider和post_divider分別為1和3，此時(shí)FlexSPI的ROOT SCLK時(shí)鐘為400MHz/1/3 = 133MHz，DDR模式的傳輸時(shí)鐘SCLK = ROOT SCLK/2 = 66.5MHz，數(shù)據(jù)位寬為8bit，即理論傳輸速率為133MB/s，實(shí)測(cè)速率為114.89MB/s。

FPGA端：發(fā)送從0x00遞增至0xFF的數(shù)據(jù)。

ARM端：讀取數(shù)據(jù)并進(jìn)行校驗(yàn)，打印誤碼率、讀取速率和讀取到的數(shù)據(jù)。

程序流程圖如下：

圖 2

1.2 案例測(cè)試

圖 3

請(qǐng)按照上圖進(jìn)行硬件連接，并將案例bin目錄下的可執(zhí)行文件flexspi_read、“driver\bin\”目錄下驅(qū)動(dòng)文件flexspi_imx8.ko、“dts\image\”目錄下的設(shè)備樹文件tlimx8-evm-flexspi.dtb拷貝至評(píng)估板文件系統(tǒng)。采集卡TL-HSAD-LX加載或固化“data_to_flexspi\bin\”目錄下的.bit或.mcs文件。在評(píng)估板文件系統(tǒng)flexspi_read文件所在路徑下，執(zhí)行如下命令查詢程序參數(shù)說(shuō)明。

Target# ls

Target# ./flexspi_read -h

圖 4

執(zhí)行如下命令將默認(rèn)使用的設(shè)備樹tlimx8-evm.dtb進(jìn)行備份，然后把tlimx8-evm-flexspi.dtb拷貝至“/run/media/mmcblk1p1/”目錄并重命名為tlimx8-evm.dtb。

Target# cp /run/media/mmcblk1p1/tlimx8-evm.dtb linux-tlimx8-evm.dtb//備份默認(rèn)的tlimx8-evm.dtb，新文件名為linux-tlimx8-evm.dtb

Target# cp tlimx8-evm-flexspi.dtb /run/media/mmcblk1p1/tlimx8-evm.dtb

備注：更換設(shè)備樹后，需重啟評(píng)估板方可使設(shè)備樹生效。

圖 5

1.2.1 功能測(cè)試

執(zhí)行如下命令加載FlexSPI驅(qū)動(dòng)。

Target# insmod flexspi_imx8.ko

圖 6

執(zhí)行如下命令進(jìn)行測(cè)試。

Target# ./flexspi_read -a 0x08000000 -s 4096

圖 7

本次測(cè)試速率為37.56MB/s，誤碼率為0，與理論速率40MB/s接近。

備注：受限于測(cè)試板卡的硬件連接形式的影響，37.56MB/s是零誤碼率時(shí)的最高實(shí)測(cè)速率。

若讀取小于或等于2048Byte的數(shù)據(jù)時(shí)，每次讀完需清空FlexSPI的RX Buffer，否則下次讀取的數(shù)據(jù)是緩存在Buffer中的舊數(shù)據(jù)。

Target# devmem2 0x30bb0000 w 0xFFFF7031

圖 8

1.2.2 性能測(cè)試

執(zhí)行如下命令卸載flexspi驅(qū)動(dòng)，并重新加載驅(qū)動(dòng)。同時(shí)采集卡TL-HSAD-LX重新加載或固化FPGA程序。

Target# rmmod flexspi_imx8

Target# insmod flexspi_imx8.ko pre_divider=1 post_divider=3

備注：pre_divider和post_divider為分頻系數(shù)，詳細(xì)說(shuō)明請(qǐng)查閱驅(qū)動(dòng)說(shuō)明章節(jié)。

圖 9

執(zhí)行如下命令進(jìn)行測(cè)試。

Target# ./flexspi_read -a 0x08000000 -s 4096

圖 10

可以看到本次測(cè)試速率為114.89MB/s，與理論速率133MB/s接近。

備注：受限于測(cè)試板卡的硬件連接形式的影響，此速率下的誤碼率為99.8%。

1.3 案例關(guān)鍵代碼

（1） main函數(shù)

圖 11

（2） 地址映射。

圖 12

（3） 讀取數(shù)據(jù)。

圖 13

（4） 校驗(yàn)數(shù)據(jù)。

圖 14

（5） 打印數(shù)據(jù)。

圖 15

1.4 FPGA工程關(guān)鍵代碼

（1） 端口IO定義

flexspi_sclk和flexspi_ss0_n為輸入信號(hào)，flexspi_data和flexspi_data為輸出信號(hào)。

圖 16

（2） 時(shí)鐘輸入信號(hào)flexspi_sclk設(shè)置為2倍頻

圖 17

（3） 數(shù)據(jù)發(fā)送

圖 18

圖 19

2 gst_pcie_enc案例

2.1 案例說(shuō)明

本案例主要演示ARM Cortex-A53通過(guò)PCIe接口與FPGA進(jìn)行通信，實(shí)現(xiàn)對(duì)CameraLink相機(jī)圖像的采集、編碼和顯示。其中ARM端獲取到的原始圖像通過(guò)dma-buf機(jī)制，在采集、硬件編碼和顯示輸出等功能中進(jìn)行共享，可實(shí)現(xiàn)高效的圖像數(shù)據(jù)“零拷貝”的錄播方案。

FPGA端：

（1） 采集CameraLink相機(jī)圖像；

（2） 通過(guò)XDMA IP實(shí)現(xiàn)為PCIe EP設(shè)備，RC端可通過(guò)PCIe接口訪問(wèn)FPGA端DDR以及對(duì)VDMA IP的寄存器進(jìn)行配置。

ARM端：

（1） 作為PCIe RC設(shè)備，配置VDMA IP將圖像存儲(chǔ)到FPGA DDR指定位置、將圖像從FPGA DDR通過(guò)XDMA搬運(yùn)到ARM端DDR；

（2） 調(diào)用協(xié)處理器VPU進(jìn)行H264硬件編碼，并將編碼后的數(shù)據(jù)存儲(chǔ)到文件；

（3） 編碼的同時(shí)，通過(guò)HDMI顯示實(shí)時(shí)圖像。

程序工作流程框圖如下所示：

圖 20

2.2 案例測(cè)試

請(qǐng)參考下圖，將創(chuàng)龍科技的TLCamerLinkF模塊連接至TLK7-EVM評(píng)估板的FMC2接口，TLK7-EVM評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口。再將TLK7-EVM評(píng)估板的PCIe插到TLIMX8-EVM評(píng)估板的PCIe插槽上，使用HDMI線纜連接TLIMX8-EVM評(píng)估板的HDMI OUT接口至HDMI顯示屏。

圖 21

將該案例bin目錄下的驅(qū)動(dòng)文件xdma-video.ko拷貝至TLIMX8-EVM評(píng)估板文件系統(tǒng)中，并將案例bin目錄下的.bit或.bin文件加載或固化到TLK7-EVM評(píng)估板。

評(píng)估板上電，可執(zhí)行l(wèi)spci命令檢查PCIe連接是否正常。如不能獲取到如下信息，請(qǐng)檢查硬件連接和FPGA端是否正常運(yùn)行。

Target# lspci

圖 22

Target# insmod xdma-video.ko debug=1

備注：“debug=1”表示打印幀率信息，可根據(jù)實(shí)際需求選擇是否配置。若需修改分辨率和幀率，可執(zhí)行命令“insmod xdma-video.ko width=1280 height=1024 fps=60”，具體的分辨率和幀率大小，請(qǐng)以相機(jī)實(shí)際可支持范圍為準(zhǔn)，分辨率參數(shù)需和相機(jī)分辨率參數(shù)匹配，幀率參數(shù)僅作用于軟件上相機(jī)參數(shù)，不影響實(shí)際的相機(jī)幀率。

圖 23

執(zhí)行如下命令進(jìn)行圖像的采集、編碼和顯示，編碼后的test.264文件將保存在當(dāng)前目錄下。

Target# gst-launch-1.0 -v -e v4l2src device=/dev/video1 ! "video/x-raw, format=(string)NV12, width=(int)1280, height=(int)1024" ! tee name=t ! queue ! vpuenc_h264 ! h264parse ! filesink location=test.264 t. ! queue ! waylandsink

其中"/dev/video1"為設(shè)備節(jié)點(diǎn)，請(qǐng)以實(shí)際節(jié)點(diǎn)為準(zhǔn)，1280和1024為圖像的寬和高。

圖 24

執(zhí)行成功后可觀察到如下輸出，串口不停打印幀率，并在HDMI顯示器上觀看到實(shí)時(shí)圖像。

備注：幀率顯示為61fps，是由于CameraLink相機(jī)輸出的并不是標(biāo)準(zhǔn)的60fps圖像。

圖 25

圖 26

按下“Ctrl C”停止錄制后，將在當(dāng)前目錄生成test.264文件，并可觀察到實(shí)際幀率為59.954fps。

圖 27

執(zhí)行如下命令播放編碼后的視頻，HDMI顯示器顯示對(duì)應(yīng)圖像。

Target# gst-play-1.0 test.264

圖 28

圖 29

播放結(jié)束后，將打印視頻時(shí)長(zhǎng)、幀率信息。

圖 30

備注：由于碼流文件中不包含播放幀率信息，因此在執(zhí)行“gst-play-1.0 test.264”時(shí)未能按60fps進(jìn)行播放。從串口打印信息可知，實(shí)際是以30fps進(jìn)行播放，并且播放時(shí)長(zhǎng)為錄制時(shí)長(zhǎng)的兩倍。在錄制時(shí)，將H264碼流封裝成MP4格式可解決此問(wèn)題，因?yàn)榉庋b成MP4格式時(shí)，播放幀率信息將被記錄在MP4文件中。

執(zhí)行如下命令，可將H264碼流保存成MP4文件。

Target# gst-launch-1.0 -v -e v4l2src device=/dev/video1 ! "video/x-raw, format=(string)NV12, width=(int)1280, height=(int)1024" !  tee name=t ! queue ! vpuenc_h264 ! h264parse ! qtmux ! filesink location=test.mp4 t. ! queue ! waylandsink

圖 31

圖 32

注意：H264碼流保存成MP4文件，程序可正常工作，錄制的視頻文件播放幀率正常，但系統(tǒng)會(huì)出現(xiàn)概率性的丟幀。為了避免這種情況，在實(shí)際的應(yīng)用編程中，建議將MP4的保存功能另外建立一個(gè)pipeline進(jìn)行，或改用其它開源MP4庫(kù)進(jìn)行開發(fā)。