當(dāng)前位置:首頁 > 嵌入式 > 嵌入式硬件

摘 要: 設(shè)計(jì)了基于DSP和FPGA的全景圖像處理方案,F(xiàn)PGA完成圖像采集,DSP完成圖像的各種處理算法。利用FPGA設(shè)計(jì)了基于乒乓緩存機(jī)制的SDRAM控制器;采用EDMA方式,完成了DSP與FPGA的數(shù)據(jù)交換。測試結(jié)果表明,DSP+FPGA折反射全景圖像處理系統(tǒng)完成了對分辨率為2 048×2 048、每秒15幀的Camera Link接口的全景圖像的實(shí)時(shí)采集及緩存解算,并以1 024×768的分辨率進(jìn)行實(shí)時(shí)顯示。
關(guān)鍵詞: DSP;FPGA;SDRAM控制器;乒乓緩存

全景圖像實(shí)時(shí)處理系統(tǒng)可以獲取周圍方向上的場景圖像,可廣泛應(yīng)用于軍事偵察、視頻監(jiān)控、機(jī)器人視覺等領(lǐng)域[1]。
對于高分辨率折反射全景圖像處理系統(tǒng),如果按照分辨率為2 048×2 048、幀率為15 f/s、每個(gè)像素為8 bit的灰度來計(jì)算,相機(jī)的數(shù)據(jù)吞吐量為480 Mb/s。在圖像采集、緩存、解算以及顯示輸出過程中,需要選擇合適的算法進(jìn)行大量的計(jì)算,一般單獨(dú)的處理器組成的嵌入式系統(tǒng)很難完成高分辨、實(shí)時(shí)性的圖像快速采集[2],因此需采取多個(gè)并行嵌入式處理器結(jié)構(gòu)完成折反射全景成像處理[3-4]。
本文利用并行嵌入式處理結(jié)構(gòu),設(shè)計(jì)了基于FPGA和DSP的雙核全景圖像處理系統(tǒng)。主要包括基于FPGA的SDRAM控制器設(shè)計(jì)以及采用雙SDRAM在乒乓模式下輪流存儲采集圖像的策略,實(shí)現(xiàn)了高速全景圖像的存儲。在FPGA與DSP之間建立合理的握手機(jī)制,避免在同一時(shí)刻對同一個(gè)SDRAM進(jìn)行讀和寫;設(shè)計(jì)了DSP與FPGA通信接口,實(shí)現(xiàn)了二者之間的高速數(shù)據(jù)通信。本系統(tǒng)為后續(xù)算法處理提供了更加充足的時(shí)間裕度,為高速實(shí)時(shí)圖像處理提供了堅(jiān)實(shí)的基礎(chǔ)。
1 全景圖像處理系統(tǒng)結(jié)構(gòu)
DSP+FPGA構(gòu)成的高分辨率折反射全景圖像處理系統(tǒng)的結(jié)構(gòu)如圖1所示。由Camera Link 接口的CCD相機(jī)采集的灰度圖像數(shù)據(jù)經(jīng)過LVDS串并轉(zhuǎn)換芯片轉(zhuǎn)換,在FPGA的控制下,完成圖像的采集,通過FPGA進(jìn)行乒乓緩存操作,64 bit SDRAM控制器完成對緩存器的突發(fā)式讀寫控制,為整個(gè)系統(tǒng)提供高速緩存器;FPGA利用DSP的EMIF接口將已經(jīng)存儲的圖像數(shù)據(jù)以DMA方式傳送給DSP,DSP接收數(shù)據(jù)后完成全景圖像柱面展開、分割識別等算法;DSP再通過EMIF接口把數(shù)據(jù)以DMA方式傳送回FPGA;利用FPGA把數(shù)據(jù)寫入到緩存器中,最后發(fā)送到顯示器進(jìn)行顯示。

2 乒乓緩存模式下SDRAM控制器的設(shè)計(jì)及實(shí)現(xiàn)
2.1 SDRAM控制器的結(jié)構(gòu)設(shè)計(jì)
SDRAM控制器的結(jié)構(gòu)組成包括:系統(tǒng)控制接口模塊、命令接口與解析模塊、刷新模塊、操作信號生成模塊、數(shù)據(jù)通路模塊。其中,系統(tǒng)控制接口模塊用以接收系統(tǒng)的控制信號從而產(chǎn)生相應(yīng)的CMD命令組合;命令接口與解析模塊用以接收CMD命令解碼并生成相應(yīng)操作指令;操作信號生成模塊用以接收操作指令,并根據(jù)相關(guān)時(shí)序生成對SDRAM的操作信號;數(shù)據(jù)通路模塊用以控制數(shù)據(jù)流的方向以及產(chǎn)生有效的數(shù)據(jù)輸入輸出;刷新模塊包含在命令接口與解析模塊中用以產(chǎn)生刷新以及自動刷新邏輯。
2.1.1 系統(tǒng)控制接口模塊
該模塊包含初始化進(jìn)程以及系統(tǒng)指令分析機(jī)制。初始化進(jìn)程要完成對SDRAM器件和SDRAM控制器的初始化,以保持SDRAM控制器與外部SDRAM器件的工作模式匹配[5]。初始化完成后,系統(tǒng)的指令分析機(jī)制就可以接收并且分析外部數(shù)據(jù)、地址、控制信號以及從命令接口與解析模塊返回的命令響應(yīng)信號(CMDACK),從而以此產(chǎn)生對應(yīng)的CMD命令和SADDR地址信息給命令接口與解析模塊。此外,SADDR是分時(shí)復(fù)用的,在初始化階段SADDR用來傳輸用戶設(shè)定的工作模式控制字,而正常讀寫操作中,SADDR又可作為分時(shí)復(fù)用的地址線傳輸SDRAM所需要的row、column以及Bank地址。
2.1.2 命令接口與解析模塊
此模塊對由系統(tǒng)控制接口模塊接收到的CMD命令進(jìn)行判斷并解碼,其輸出就是發(fā)送給下一級即操作信號生成模塊的操作指令。同一時(shí)刻只允許輸出一個(gè)有效操作指令。該模塊中含有模式寄存器用來預(yù)設(shè)控制器的模式參數(shù),為控制提供具體的依據(jù)。
2.1.3 操作信號生成模塊
此模塊根據(jù)命令接口和解析模塊發(fā)送過來的操作指令,按照SDRAM讀寫時(shí)序規(guī)范產(chǎn)生操作動作以及相應(yīng)的操作信號。程序中,CMD命令WRITEA和READA是實(shí)際上隱含了ACTIVE命令的WRITE和READ,它的實(shí)際工作過程是:當(dāng)該模塊收到do_write或do_read指令后,其反饋給命令接口及解析模塊的CMDACK置為1,表示響應(yīng)命令標(biāo)志,同時(shí)發(fā)出ACTIVE激活操作;緊接著產(chǎn)生一個(gè)延時(shí)動作,經(jīng)過初始化時(shí)配置規(guī)定的CAS Latency延時(shí)時(shí)間后再進(jìn)行寫或讀操作。
2.1.4 數(shù)據(jù)通路模塊
此模塊在OE信號控制下,保持?jǐn)?shù)據(jù)的輸入輸出和相應(yīng)的操作指令在時(shí)序上同步,并且根據(jù)SDRAM器件的時(shí)序參數(shù)加入一定的延時(shí)以滿足宏觀的時(shí)序符合數(shù)據(jù)手冊的要求。當(dāng)OE=1時(shí),數(shù)據(jù)由控制器經(jīng)過DQ引腳寫入SDRAM器件;當(dāng)OE=0時(shí),數(shù)據(jù)由SDRAM器件的DQ引腳讀入到控制器。
2.2 乒乓緩存模式
將輸入數(shù)據(jù)流通過輸入數(shù)據(jù)選擇單元實(shí)時(shí)地分配到兩個(gè)數(shù)據(jù)緩存區(qū)。分別利用兩組SDRAM作為乒緩存器和乓緩存器,使用“空間換取時(shí)間”的方法,使兩組緩存器在同一時(shí)間分別作為讀和寫的緩存,達(dá)到并行的目的。
在乒?fàn)顟B(tài)時(shí),乒乓操作控制器向SDRAM B中寫入數(shù)據(jù),與此同時(shí)從SDRAM A中讀取狀態(tài)交換之前已經(jīng)存入的數(shù)據(jù);在乓狀態(tài)時(shí),乒乓操作控制器向SDRAM A中寫入數(shù)據(jù),同時(shí)從SDRAM B中讀取狀態(tài)交換之前已經(jīng)存入的數(shù)據(jù),同時(shí)乒乓操作控制與其他的采集、算法和顯示模塊進(jìn)行數(shù)據(jù)交換。乒乓緩存結(jié)構(gòu)如圖2所示。

2.3 SDRAM控制器實(shí)現(xiàn)及時(shí)序仿真
SDRAM控制器實(shí)現(xiàn):SDRAM控制模塊與FPGA端的SDRAM存儲器相連,以FullPage模式從FPGA端的SDRAM存儲器中高速讀寫數(shù)據(jù);觸發(fā)FullPage的REFRESH的命令,既保證數(shù)據(jù)不丟失,也能保證刷新的完成。在發(fā)出FullPage命令以后,必須給出一段空操作的延時(shí)或讀操作。時(shí)序仿真分別如圖3、圖4、圖5所示。


3 DSP與FPGA的數(shù)據(jù)通信
為了提高數(shù)據(jù)傳輸?shù)耐掏铝浚珼SP與FPGA之間使用DMA方式進(jìn)行數(shù)據(jù)傳輸[6],每次突發(fā)傳輸一行圖像數(shù)據(jù),使傳輸速率最大化。DSP采用EMIF接口,EMIF數(shù)據(jù)接口可以配置為多種傳輸方式并且可以DMA傳輸,而且是無縫接口。由于DSP與FPGA是跨時(shí)鐘域系統(tǒng),所以必須利用FPGA做好跨時(shí)鐘域處理,使用FIFO作為接口進(jìn)行數(shù)據(jù)緩存。
FPGA將采集到的數(shù)據(jù)經(jīng)過預(yù)處理之后以64 bit的數(shù)據(jù)寬度開始向DSP傳送,同時(shí)FPGA通過發(fā)出脈沖沿觸發(fā)DSP外部中斷管腳來觸發(fā)DSP的全局中斷。全局中斷觸發(fā)EDMA把外部數(shù)據(jù)傳送給DSP內(nèi)部的RAM,當(dāng)EDMA(接收)傳輸完成后,DSP的EDMA傳輸事件管理器會觸發(fā)“EDMA傳輸完成中斷”,此時(shí)DSP可以進(jìn)行相應(yīng)的算法處理并且將處理后的目標(biāo)數(shù)據(jù)存放到內(nèi)部RAM中;然后再觸發(fā)EDMA(發(fā)送)數(shù)據(jù)傳輸,通過EMIF數(shù)據(jù)接口將處理后的數(shù)據(jù)傳回給FPGA。數(shù)據(jù)流向示意圖如圖6所示。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉