摘 要： 基于自適應色度分割方法，采用專用集成電路（ASIC）完成深度圖像的處理及優(yōu)化。系統(tǒng)級仿真驗證結(jié)果表明，該深度圖像處理方法具有實時性、兼容性、實用性等特點，適用于實時自由視點3D視頻的處理。
關鍵詞： 專用集成電路設計；自由視點視頻；深度圖像；色度圖像分割；運動-視差聯(lián)合預測
自由視點視頻FVV(Free Viewpoint Video)技術是自由視點3D視頻處理領域中最有前景的一種技術[1-4]。自由視點視頻處理技術的基本方法是基于深度圖像來估計和重建多視點視頻，從而顯著減少數(shù)據(jù)帶寬。所以深度圖像的估計和處理方法是自由視點視頻技術的關鍵和重點。
深度圖像可以直接由基于運動-視差聯(lián)合估計的方法計算，利用這種方法能夠有效減少自由視點視頻技術中深度圖像處理過程所需的數(shù)據(jù)帶寬，并且沒有增加額外的硬件資源和計算時間成本。但是這種方法是在一個特定的搜索窗口內(nèi)用特定的代價函數(shù)來進行塊搜索，所以它存在一些問題：在物體的邊緣存在著塊效應；在連續(xù)的大背景區(qū)域、復雜背景區(qū)域存在預測噪聲?；谏确指畹姆椒梢愿倪M這些錯誤。
1 色度分割原理
原始的YUV圖像是由亮度分量和色度分量組成的。在一般的運動-視差聯(lián)合估計的方法中，只有亮度信息被用到，以求得視差矢量和深度圖像，包含有豐富的物體邊界信息的色度分量沒有被用到。對于連續(xù)物體表面或者背景區(qū)域，色度分量值幾乎是相同的。所以如果色度圖像按照特定的標準被分割，物體的表面或者背景區(qū)域就能被相應地檢測出來。如果深度圖像的像素值在同一個分割內(nèi)各不相同，則在這個區(qū)域肯定存在深度預測錯誤。通過檢測到錯誤像素的位置，采取相應的措施來糾正這些錯誤。
色度分割方法的三個步驟[5]：
第一步：將U/V分量歸一化到[0，255]之間。
第二步：進行圖像分割，如果當前像素值與其相鄰的頂部或者左側(cè)像素值絕對值小于DIV_TH，則它被劃分到相同的分割，否則分離到下一個新的分割，如式(1)所示：
2 深度圖像處理模塊設計方案
2.1 總體設計
2.1.1 深度處理模塊的架構(gòu)與組成設計
根據(jù)算法結(jié)構(gòu)與組成，確定深度模塊的實現(xiàn)架構(gòu)與組成，包括總線結(jié)構(gòu)、存儲結(jié)構(gòu)、時鐘頻率、模塊組成等。
總線結(jié)構(gòu)選用標準AXI總線。由于立體視頻需要實時處理多路視頻信號，所以需要的視頻數(shù)據(jù)處理帶寬極大，必須采用AXI總線設計才能滿足實時處理要求。內(nèi)部模塊所產(chǎn)生的處理數(shù)據(jù)，如果不能暫存于片上存儲單元中，則通過AXI總線寫到片外緩存。同樣，讀數(shù)據(jù)也通過AXI總線讀入處理模塊。存儲結(jié)構(gòu)根據(jù)視頻像素YUV分量的組成，分為Interleave存儲方式和非Interleave存儲方式。Interleave存儲可以實現(xiàn)具有較長Burst傳輸?shù)腄MA設計，但是內(nèi)部芯片設計較為復雜。而非Interleave存儲則不利于實現(xiàn)高效的總線傳輸，但是DMA設計相對簡單。根據(jù)所用的標準單元庫，以及芯片實際電路設計來確定所需的時鐘頻率,根據(jù)經(jīng)驗應不低于200 MHz。
2.1.2 運動估計與視差估計存儲單元設計
由于需要對當前塊同時進行運動預測與視差預測，所以宏塊中間預測結(jié)果需要盡可能存儲于片上存儲單元中，以減少總線的輸入輸出數(shù)據(jù)帶寬。假設視差估計的搜索窗口為PW×PH，圖像分辨率為FW×FH，運動預測采用固定搜索窗口范圍48×48。視差預測模塊與運動預測模塊同時讀入相應參考宏塊存入片上緩存，片上存儲單元需要將進行完預測、并且后續(xù)預測有可能會用到的宏塊都存儲下來以減少數(shù)據(jù)帶寬，增加處理速度。這樣，運動估計存儲單元MEM（ME Memory）至少需要有16×3+4個像素行的容量，即FW×52。相應視差存儲單元DEM（DE Memory）至少需要有FW×PH+4容量。
2.1.3 芯片軟硬件驗證平臺設計
芯片設計離不開驗證平臺。大規(guī)模集成電路設計過程需要完善的驗證平臺進行仿真、測試來證明其功能和性能的正確性、完整性、實時性。立體視頻編碼芯片基于傳統(tǒng)的Verilog和C語言來搭建軟硬件驗證平臺，如圖1所示。
下載文檔
