采用FPGA實現(xiàn)視頻和圖像處理設(shè)計

視頻和圖像處理發(fā)展趨勢

以視頻和圖像處理為核心的HDTV和數(shù)字影院等創(chuàng)新技術(shù)的進(jìn)展非常迅速，其推動力量在于圖像采集和顯示分辨率、高級壓縮方法以及視頻智能的跨越式發(fā)展。

在過去幾年中，分辨率的發(fā)展最為顯著，表1列出了不同終端設(shè)備上目前能夠達(dá)到的最高分辨率。
從標(biāo)準(zhǔn)清晰度(SD)過渡到高清晰度(HD)，需要處理的數(shù)據(jù)量提高了6倍。視頻監(jiān)控也從普通中間格式(CIF)(352×288)轉(zhuǎn)向標(biāo)準(zhǔn)要求的D1格式(704×576)，某些工業(yè)攝像機(jī)甚至達(dá)到1280×720HD。軍事監(jiān)控、醫(yī)療成像和機(jī)器視覺也普遍采用了分辨率非常高的圖像。

高級壓縮方法逐步替代了以前的技術(shù)，在保持一定質(zhì)量的前提下，能具有更好的數(shù)據(jù)流性能和壓縮比，而且延遲更低。JPEG 2000作為數(shù)字電影的標(biāo)準(zhǔn)，在軍事、醫(yī)療成像和監(jiān)控領(lǐng)域也得到了大量應(yīng)用。H.264將可能取代廣播電視應(yīng)用中的MPEG2，以及視頻監(jiān)控系統(tǒng)的MPEG4 Part 2和用于視頻會議的H.263。在應(yīng)用這些新壓縮方案的同時，H.264和JPEG 2000標(biāo)準(zhǔn)仍然在不斷改進(jìn)。

DICOM醫(yī)療成像標(biāo)準(zhǔn)已經(jīng)完成了附件105，它包括JPEG 2000第2部分3D醫(yī)療成像壓縮多分量變換。附件106將包括JPIP協(xié)議，遠(yuǎn)程瀏覽使用JPEG 2000壓縮的醫(yī)療影像。

MPEG 4 Part 10(H.264 AVC)的進(jìn)一步擴(kuò)展是可更新視頻編碼(SVC)技術(shù)。SVC在現(xiàn)有系統(tǒng)資源情況下，解決了不同網(wǎng)絡(luò)中向各種用戶可靠傳送視頻的編碼問題，特別是事先不知道下游客戶端容量、系統(tǒng)資源和網(wǎng)絡(luò)狀況的時候。例如，客戶端會有不同的顯示分辨率，系統(tǒng)有不同的緩沖或者中間存儲資源，網(wǎng)絡(luò)帶寬、丟包率、最大努力服務(wù)質(zhì)量(QoS)等都在變化。聯(lián)合視頻開發(fā)組(JVT)擴(kuò)展了AVC/H.264，增強(qiáng)比特流的靈活性，提高壓縮效率，可以自由組合各種壓縮模式(如空域、時域和SNR/保真等)。具體應(yīng)用領(lǐng)域包括視頻監(jiān)控系統(tǒng)、移動流視頻、無線多通道視頻產(chǎn)生和分配和多方視頻電話/會議等。

另一快速發(fā)展的領(lǐng)域是視頻智能。相機(jī)已經(jīng)具有搖攝、俯仰、變焦、全景等拍攝功能，這些功能逐步由系統(tǒng)智能實現(xiàn)而不需要人為干預(yù)。移動探測技術(shù)能夠更高效的利用硬盤存儲，它只捕獲高于移動閾值的視頻幀。視頻目標(biāo)識別技術(shù)能夠?qū)崿F(xiàn)自動監(jiān)控追蹤，其效率要遠(yuǎn)遠(yuǎn)高于人工監(jiān)控。

隨著分辨率和壓縮比的提高，不但要提高性能，還需要非常靈活的體系結(jié)構(gòu)，以便能夠迅速進(jìn)行更新。隨著技術(shù)的成熟以及產(chǎn)量的提高，也很有必要進(jìn)一步降低成本。

視頻和圖像處理系統(tǒng)體系結(jié)構(gòu)

系統(tǒng)體系結(jié)構(gòu)的選擇包括標(biāo)準(zhǔn)單元ASIC、ASSP以及數(shù)字信號處理器(DSP)或者媒體處理器和FPGA等可編程解決方案。這些方案都有各自的優(yōu)缺點(diǎn)，最終方案的選用取決于終端設(shè)備需求以及方案的可行性。考慮到上面討論的發(fā)展趨勢，理想的體系結(jié)構(gòu)應(yīng)具有以下特點(diǎn)：高性能、靈活性、方便更新、低開發(fā)成本，隨著應(yīng)用的成熟和產(chǎn)量的提高，能夠提供低成本移植途徑等。

1 高性能

不僅壓縮需要提高性能，預(yù)處理和后處理功能同樣需要提高性能。事實上，在很多情況下，這些功能要比壓縮算法本身對性能的影響更大。這類功能的例子包括縮放、去隔行、濾波和顏色空間轉(zhuǎn)換等。

在上面提到的市場領(lǐng)域中，對高性能的要求排除了單處理器體系結(jié)構(gòu)，因為單個器件難以達(dá)到性能要求。目前最好的1GHz DSP還無法實現(xiàn)H.264 HD解碼，而H.264 HD編碼要比解碼復(fù)雜10倍。FPGA是唯一能夠解決這種問題的可編程解決方案。在某些情況下，最好的方案是結(jié)合FPGA和外部DSP。

2 靈活性使產(chǎn)品快速面市，方便進(jìn)行產(chǎn)品更新

隨著技術(shù)的迅速發(fā)展，體系結(jié)構(gòu)必須足夠靈活，能夠方便地進(jìn)行更新。這些要求排除了在具體應(yīng)用中選用的標(biāo)準(zhǔn)單元ASIC和ASSP。ASSP一般用于大批量消費(fèi)類市場，產(chǎn)品很快會過時，對于大部分應(yīng)用而言，選用這種方案的風(fēng)險很大。

3 低開發(fā)成本

考慮到掩模、晶片、軟件、設(shè)計驗證和布板等成本，典型90nm標(biāo)準(zhǔn)單元ASIC的開發(fā)成本會高達(dá)3千萬美元。只有產(chǎn)量非常大的消費(fèi)類市場能夠支撐如此高的開發(fā)成本。

4 降低芯片成本的移植途徑

隨著標(biāo)準(zhǔn)的穩(wěn)定和產(chǎn)量的增加，應(yīng)該過渡到低成本方案。這通常意味著使用面向市場的ASSP或者標(biāo)準(zhǔn)單元定制ASIC器件。然而，定制芯片的成本在不斷攀升，使得這些解決方案只有在大批量消費(fèi)類應(yīng)用中才具有較好的經(jīng)濟(jì)性。大部分視頻和圖像應(yīng)用芯片公司主要關(guān)注視頻攝像機(jī)、機(jī)頂盒、數(shù)碼相機(jī)、移動電話等便攜式產(chǎn)品或者LCD電視和監(jiān)視器等應(yīng)用。因此，對于小批量應(yīng)用，最好考慮FPGA，它和ASSP不同，ASSP可能非常切合功能需求，但是當(dāng)需求變化時，由于產(chǎn)品更新?lián)Q代，目前最好的解決方案可能是最冒險的選擇。

采用FPGA的視頻和圖像處理方案

考慮到上面闡述的原因，F(xiàn)PGA非常適合視頻和圖像處理應(yīng)用。以Altera的FPGA為例，因其具有以下特性，非常適合視頻和圖像處理體系結(jié)構(gòu)。

● 高性能：可以在一片F(xiàn)PGA中完成HD處理功能。
● 靈活性：能夠迅速更新體系結(jié)構(gòu)，滿足不斷發(fā)展的需求，同時在低成本和高性能系統(tǒng)中靈活地應(yīng)用FPGA。
● 低開發(fā)成本：Altera的視頻開發(fā)套件起價只有1095美元，含有開發(fā)視頻系統(tǒng)所需要的軟件工具。
● 不會過時：擁有非常廣泛的客戶基礎(chǔ)，產(chǎn)品從推出以來已經(jīng)發(fā)售了多年。而且，F(xiàn)PGA設(shè)計很容易從一個工藝節(jié)點(diǎn)移植到下一節(jié)點(diǎn)。
● 低成本的結(jié)構(gòu)化ASIC移植途徑：Altera結(jié)構(gòu)化ASIC 1百萬ASIC邏輯門100ku起價為15美元。
● 其視頻和圖像處理方案：包括經(jīng)過優(yōu)化的DSP設(shè)計流程、視頻和圖像處理包、接口和第三方視頻壓縮IP以及視頻參考設(shè)計等。

圖1 實例設(shè)計結(jié)構(gòu)圖

圖1所示為使用視頻和圖像處理包的典型視頻系統(tǒng)。

可見，F(xiàn)PGA非常適合視頻和圖像處理應(yīng)用，如廣播基礎(chǔ)設(shè)備、醫(yī)療成像、HD視頻會議、視頻監(jiān)控和軍事成像等。以Altera FPGA的視頻和圖像處理方案為例，它包括經(jīng)過優(yōu)化的開發(fā)工具和開發(fā)套件、參考設(shè)計、視頻壓縮IP、接口和系統(tǒng)IP以及Altera的視頻和圖像處理IP包等。這些解決方案降低了大量視頻和圖像應(yīng)用的成本，提高了性能和效率。