用FPGA替代DSP實現(xiàn)實時視頻處理

實時視頻處理對系統(tǒng)性能的要求極高，因此幾乎所有只具最簡單功能的通用DSP都不具備這項功能?？删幊踢壿嬈骷试S設(shè)計人員利用并行處理技術(shù)實現(xiàn)視頻信號處理算法，并且只需單個器件就能實現(xiàn)期望的性能?；贒SP的解決方案通常需要在單板上嵌入許多DSP，以得到必需的處理能力，這無疑將增加程序資源開銷和數(shù)據(jù)存儲器資源開銷。

通過在實時環(huán)境下進行視頻處理，系統(tǒng)工程人員可將幀存儲器需求和數(shù)據(jù)緩沖需求降至最低，而在非實時應(yīng)用中則無需如此。

隨著業(yè)界積極推動高質(zhì)量視頻開發(fā)以及壓縮格式的不斷改進，系統(tǒng)處理速度也不斷提高?？删幊踢壿嬈骷膊捎昧藢Ｓ脤ず粼O(shè)備中廣泛采用的FPGA器件架構(gòu)。由于FPGA工藝的發(fā)展遵循摩爾定律，因此與稍早開發(fā)的同種產(chǎn)品相比，新產(chǎn)品能以更具吸引力的成本優(yōu)勢實現(xiàn)相同的功能和性能。

這種趨勢的一大源動力來自網(wǎng)絡(luò)、廣播、處理和顯示技術(shù)的融合，即業(yè)界所稱的“數(shù)字融合”。由于在極窄的傳輸信道(如無線信道)上發(fā)送高帶寬視頻數(shù)據(jù)并保持適當?shù)臉I(yè)務(wù)質(zhì)量(QoS)極其困難，因此設(shè)計人員展開了廣泛的研究，致力于改進糾錯、壓縮和圖像處理技術(shù)，這些研究均建立在FPGA實現(xiàn)的基礎(chǔ)上。



圖像壓縮/解壓縮-DCT/IDCT

目前在數(shù)字視頻系統(tǒng)中主要使用的視頻壓縮格式是MPEG2，已廣泛應(yīng)用于數(shù)字電視、機頂盒、數(shù)字衛(wèi)星系統(tǒng)、高清晰度電視(HDTV)解碼器、DVD播放器、視頻會議設(shè)備和網(wǎng)絡(luò)電話中。原始的數(shù)字視頻信息總需要進行壓縮，以便通過適當?shù)膫鬏斝诺纻魉突蛘叽鎯υ谶m當?shù)慕橘|(zhì)(如磁盤)中。此外還有許多新標準即將或正在推出，包括最為引人注目的MPEG4，但大多數(shù)基于該技術(shù)的產(chǎn)品仍在開發(fā)中。

MPEG2和MPEG4算法的核心是一種稱為離散余弦變換(DCT)的操作。DCT的基本原理是取像素塊的平方并除去觀察者察覺不到的冗余信息。為了解壓縮數(shù)據(jù)，還需要反離散余弦(IDCT)運算。

雖然MPEG算法中的DCT部分已經(jīng)標準化并能在FPGA中有效實現(xiàn)，MPEG編碼仍有許多部分尚未明確規(guī)定。而正是這些不明確部分使得一家公司的產(chǎn)品得以區(qū)別于競爭對手，并開發(fā)出擁有自主產(chǎn)權(quán)的算法。許多專用MPEG解碼器在這些部分(如運動估計模塊)使用了FPGA。因為FPGA可重新配置，因此器件能方便地進行刷新，并在整個開發(fā)階段(包括配置之后)集成新算法，而完全依賴標準ASSP解決方案的公司由于受到自身能力的限制而無法開發(fā)出類似產(chǎn)品，因此市場風險較大(圖1)。

色彩空間轉(zhuǎn)換

視頻系統(tǒng)另一重要部分是色彩空間轉(zhuǎn)換，該工藝規(guī)定了圖像的表示方法，例如由一種色彩格式轉(zhuǎn)化為另一種不同的色彩格式。

人眼感測器只能檢測到波長介于400nm至700nm之間的可見光，這些感測器稱為圓錐細胞，具有三種不同的類型：紅光圓錐細胞、綠光圓錐細胞和藍光圓錐細胞。如果單波長的光可見，這三種感測器的相對反應(yīng)能使我們鑒別出光的顏色。該現(xiàn)象極具實用價值，因為這意味著我們只需簡單地按不同比例將上述三種光混合，就能生成各種顏色的光。這就是著名的三色原理，它在彩電系統(tǒng)中獲得了廣泛的應(yīng)用。

我們可以在3維立方體中通過繪制三原色(即紅色、綠色和藍色，簡寫為RGB)的構(gòu)成比率圖以表示各種顏色，其中黑色位于原點，而白色則位于原點的斜對角。得到的立方體就是著名的RGB色彩空間。

不管最終的顯示媒質(zhì)是紙張、LED、CRT或等離子顯示器，圖像總可細分為很多個像素(例如HDTV可具備1920×1080 個像素)。同時每種媒質(zhì)之間又存在些許差異，但其基本原理都是每個像素由一定比例的紅色、綠色或藍色構(gòu)成，構(gòu)成的比例取決于驅(qū)動顯示的電壓信號。

利用RGB格式處理圖像時，每個像素由3個分別對應(yīng)于三原色的8位或10位字確定，因而這不是一種最高效的處理方法。這種格式下，必須在所有的紅色、綠色和藍色信道上對像素進行操作，所需的存儲空間和數(shù)據(jù)帶寬毫無疑問將比其它可供選擇的色彩格式更大。為了解決這個問題，許多廣播標準(如歐洲的PAL和北美的NTSC電視系統(tǒng))均采用亮度和色度視頻信號。因此，不同的色彩格式之間需要一種能互相轉(zhuǎn)換的機制，即色彩空間轉(zhuǎn)換(圖2)。

用硬件實現(xiàn)這些電路則相對比較簡單，只需要知道從一種格式映射到另一種格式的系數(shù)。最通用的一種轉(zhuǎn)換是由RGB格式轉(zhuǎn)換至YCbCr 格式(反之則從YCbCr 格式轉(zhuǎn)換至RGB格式)。研究表明，人眼察覺到的光亮度信息(Y)的60％至70％來自綠色光。紅色和藍色信道實際上只是亮度信息的復(fù)制，因此這些重復(fù)信息完全可以去除掉。最終的結(jié)果是圖像可用表征色度和亮度的信號來表示。在這種格式下，8位系統(tǒng)規(guī)定亮度的取值范圍介于16至235之間，而Cb和Cr 信號的取值范圍介于16至240之間，并規(guī)定128表示亮度為0。

可用如下的方程將YCbCr空間中的色彩轉(zhuǎn)換為RGB色彩空間中的色彩：

R'=1.164*(Y-16)+1.596*(Cr-128)
G'=1.164*(Y-16)-0.813*(Cr-128)-0.392*(Cb-128)
B'=1.164*(Y-16)+1.596*(Cr-128)

R'G'B' 表示圖像灰度校正RGB值。例如，CRT顯示器的信號振幅與輸出密度之間存在非線性，如果在顯示信號之前進行圖像灰度校正，就能使信號振幅與輸出密度間的關(guān)系趨于線性。輸出增益同樣必須限定低于特定的閥值，以減少圖像暗區(qū)中的傳輸噪聲(圖3)。

我們可以采用許多可行的方法實現(xiàn)所需的乘積功能，如利用內(nèi)存、邏輯器件或嵌入式乘法器[1][2]。

顯然，HDTV系統(tǒng)所需的74.25MHz數(shù)據(jù)率可輕松地達到，而且還可以嘗試不同的設(shè)計折衷考慮，如系統(tǒng)精確度和設(shè)計范圍之間的折衷。例如，為了保證3％的轉(zhuǎn)換誤差，YCbCr至RGB色彩空間轉(zhuǎn)換器的設(shè)計尺寸可以至少減小一半。這或許超出了大多數(shù)顯示器產(chǎn)品所能承受的范圍，但仍然能被其它的應(yīng)用系統(tǒng)接受，如機器視覺或安全系統(tǒng)。采用FPGA的系統(tǒng)架構(gòu)就能調(diào)整應(yīng)用系統(tǒng)的算法，由此實現(xiàn)最佳的性能和效率。

實時圖像和視頻處理功能

標準DSP自身性能上的缺陷促進了專門解決此難題的專用設(shè)計芯片(如媒質(zhì)處理器)的發(fā)展。但是，這些器件極低的靈活度往往使其局限于非常有限的應(yīng)用中并容易產(chǎn)生性能瓶頸。在高分辨率系統(tǒng)(如HDTV和醫(yī)療成像系統(tǒng))中，基于處理器的方法受到的限制尤為明顯。從根本上講，處理器的分辨率受限于分配給濾波器每個抽頭或每個轉(zhuǎn)換階段時鐘周期的數(shù)目。一旦達到極限條件，通常除了增加額外的DSP部件外別無選擇。FPGA可以通過定制調(diào)整提供最具實用價值的高性能高效率產(chǎn)品。設(shè)計人員可在適用范圍和速率之間進行折衷考慮，從而以比DSP時鐘低得多的速率實現(xiàn)指定功能。

例如Visicom公司發(fā)現(xiàn)，在中值濾波器應(yīng)用中[3]，DSP處理器需要67個時鐘周期執(zhí)行算法，而FPGA只需工作在25MHz頻率下，因為FPGA能并行實現(xiàn)該功能。實現(xiàn)上述功能的DSP必須工作在1.5GHz頻率下，可見在此特定應(yīng)用中，F(xiàn)PGA解決方案的處理能力可以達到100MHz DSP處理器的17倍。

許多實時圖像和視頻處理功能均適合于用FPGA器件來實現(xiàn)，包括：圖像旋轉(zhuǎn)、圖像縮放色彩校正和色度校正、陰影增強、邊緣檢測、直方圖功能、銳化、中值濾波器和斑點分析等。

許多功能都針對特定的應(yīng)用和系統(tǒng)，并構(gòu)建在核心架構(gòu)(如2D-FIR濾波器)之上。我們可以利用HDL設(shè)計語言或高級內(nèi)核設(shè)計工具(如Xilinx CoreGen軟件)中的DSP程序塊迅速實現(xiàn)這些功能。此外，還能通過系統(tǒng)級設(shè)計方法，利用Matlabs Simulink和Xilinx SystemGenerator工具進一步減少設(shè)計和仿真時間。需要獲取最新的視頻技術(shù)信息以及數(shù)字融合市場信息，可訪問http://www.xilinx.com/esp/esp.htm。

參考文獻

XAPP283: Color Space Application Note by Latha Pillai. Available from http://www.xilinx.com

TechXclusives: Color Space Conversion by Andy Miller http://support.xilinx.com/support/techxclusives/techX-home.htm

A Cost Effective Image Acquisition, Real-Time Processing and Display Architecture Using FPGA Technology http://www.chipcenter.com/pld/plf049.htm

RC100 Data Sheet http://www.celoxica.com/products/technical_papers/datasheets/DATRC100_001_01.pdf

Video Demystified - 3rd Edition by Keith Jack: LLH Technology Publishing http://www.video-demystified.com/

Video and Image Processing System Solution Web Page http://www.xilinx.com/xlnx/xil_prodcat_landingpage.jsp?iLanguageID=1&iCountryID=1&title=Video+%26+Image+Processing
作者：David Nicklin
戰(zhàn)略解決方案市場部
高級經(jīng)理
Xilinx公司