JPEG解碼器IP核的設(shè)計(jì)與實(shí)現(xiàn)

摘要：介紹了基于靜止圖像壓縮標(biāo)準(zhǔn)JPEG解碼器IP核的設(shè)計(jì)與實(shí)現(xiàn)。設(shè)計(jì)采用適于硬件實(shí)現(xiàn)的IDCT算法結(jié)構(gòu)，通過(guò)增加運(yùn)算并行度和流水線技術(shù)相結(jié)合的方法以提高處理速度。根據(jù)Huffman碼流特點(diǎn)，采用新的Huffman并行解碼硬件實(shí)現(xiàn)結(jié)構(gòu)，用簡(jiǎn)單的算術(shù)運(yùn)算代替復(fù)雜的配對(duì)模式，解碼速度快，硬件成本低。該IP核可方便地集成到諸如數(shù)碼相機(jī)、手機(jī)以及掃描儀等各種應(yīng)用中。
關(guān)鍵詞：JPEG；IP核；Huffman；流水線設(shè)計(jì)

    基于IP(Intellectual Property)核的設(shè)計(jì)和可復(fù)用已成為SoC(System on a Chip)設(shè)計(jì)方法的主流設(shè)計(jì)方法。本設(shè)計(jì)實(shí)現(xiàn)了基于靜止圖像壓縮標(biāo)準(zhǔn)JPEG基本模式的解碼器軟IP核。JPEG(Joint Photograph ExpelsGroup)是1992年CCITT和ISO正式通過(guò)的連續(xù)色調(diào)靜止圖像壓縮標(biāo)準(zhǔn)。圖像的高數(shù)據(jù)量和廣泛應(yīng)用對(duì)圖像的存儲(chǔ)和傳輸提出了要求，有限的存儲(chǔ)容量和傳輸帶寬不能直接對(duì)圖像進(jìn)行存儲(chǔ)與傳輸，因此需要先對(duì)圖像進(jìn)行壓縮處理。JPEG壓縮算法因其優(yōu)異的壓縮性能成為目前最流行的圖像壓縮工具。

1 JPEG解碼IP核設(shè)計(jì)和實(shí)現(xiàn)
    在JPEG解碼器中，因?yàn)镠uffman解碼是變長(zhǎng)的，本次解碼結(jié)束后才能重新定位碼流，難以實(shí)現(xiàn)流水線設(shè)計(jì)，所以本設(shè)計(jì)中主要通過(guò)提高功能部件并行度和在功能模塊內(nèi)部實(shí)現(xiàn)流水線來(lái)提高解碼速度。因?yàn)榻獯a速度不定，所以各功能模塊間的握手信號(hào)很關(guān)鍵。每個(gè)模塊的數(shù)據(jù)輸出時(shí)也要考慮到后級(jí)模塊的數(shù)據(jù)輸入要求，這樣才能達(dá)到整個(gè)解碼過(guò)程的有序、高效進(jìn)行。JPEG解碼IP核總體架構(gòu)，如圖1所示。

1．1 JPEG解碼IP核控制器設(shè)計(jì)
    JPEG解碼器控制器的作用是在不同解碼環(huán)節(jié)為各個(gè)單元模塊分配任務(wù)，以控制中間運(yùn)算過(guò)程及最后輸出結(jié)果。采用了有限狀態(tài)機(jī)的設(shè)計(jì)方法，這是一種結(jié)構(gòu)清晰、設(shè)計(jì)靈活的方法，它易于建立、理解和維護(hù)，特別是應(yīng)用于大量狀態(tài)轉(zhuǎn)移和復(fù)雜時(shí)序控制系統(tǒng)中更顯優(yōu)勢(shì)?？刂破髦饕梢粋€(gè)Mealy型有限狀態(tài)機(jī)實(shí)現(xiàn)，狀態(tài)轉(zhuǎn)移如圖2所示。

    初始化狀態(tài)(IDLE)：復(fù)位或者一幅圖像解碼完成時(shí)進(jìn)入的狀態(tài)，重新定位碼流，在解碼開(kāi)始標(biāo)志有效時(shí)跳轉(zhuǎn)到標(biāo)志符解碼狀態(tài)(DeMar-ker)。
    標(biāo)志符解碼狀態(tài)(DeMarker)：按JPEG碼流語(yǔ)法和JFIF文件格式解析標(biāo)記符，根據(jù)解析出的標(biāo)志符跳轉(zhuǎn)到相應(yīng)的標(biāo)志段解碼狀態(tài)，如果解析到SOI標(biāo)志符或者是0xFFFF狀態(tài)不改變。
    解碼出錯(cuò)狀態(tài)(False)：若是在標(biāo)志段解碼出錯(cuò)跳轉(zhuǎn)到False狀態(tài)，通過(guò)輸出端口將出錯(cuò)信號(hào)輸出，在得到外部反饋后跳轉(zhuǎn)到初始化狀態(tài)IDLE。
    應(yīng)用擴(kuò)展標(biāo)志段APPn、幀開(kāi)始標(biāo)志段SOFO、量化表定義DQT標(biāo)志段、Huffman碼表定義DHT標(biāo)志段和掃描行開(kāi)始SOS標(biāo)志段的解碼過(guò)程是相似的，在相應(yīng)標(biāo)志符后是標(biāo)志段的長(zhǎng)度，可以根據(jù)這個(gè)長(zhǎng)度值，結(jié)合JPEG碼流語(yǔ)法，進(jìn)行碼流解析，將所需的圖像信息如圖像尺寸、圖像格式、量化表、Huffman碼表等寫(xiě)入相應(yīng)寄存器或者存儲(chǔ)器中，以便于后續(xù)壓縮數(shù)據(jù)的解碼。
    Huffman碼流解碼狀態(tài)(DeHuffman)：在解析完掃描開(kāi)始標(biāo)志段SOS后跳轉(zhuǎn)到Huffman碼流解碼狀態(tài)，解碼圖像壓縮數(shù)據(jù)，主要包括Huffman解碼、反量化、反Z字形重排、IDCT和輸出緩存等。
    控制器還負(fù)責(zé)外部輸入的調(diào)配工作，每個(gè)時(shí)鐘周期，都將本次解碼長(zhǎng)度送至碼流緩存模塊，從而重新定位解碼碼流位置。因?yàn)橛卸喾N圖像格式，所以控制器還要負(fù)責(zé)各個(gè)模塊的亮度色度選擇信號(hào)的輸入。[!--empirenews.page--]
1．2 碼流緩存模塊設(shè)計(jì)
    JPEG碼流是變長(zhǎng)碼，數(shù)據(jù)量大，如果采用傳統(tǒng)的解碼方法對(duì)碼字的每個(gè)比特進(jìn)行處理，其輸出速率勢(shì)必不能滿足應(yīng)用要求。JPEG標(biāo)準(zhǔn)中數(shù)據(jù)編碼的最大碼長(zhǎng)為26，而在標(biāo)志段解碼時(shí)要求碼長(zhǎng)為8的整數(shù)倍，所以設(shè)計(jì)中采用兩個(gè)32位寄存器、一個(gè)32位桶形移位器、一個(gè)加法器和一個(gè)減法器的組合來(lái)實(shí)現(xiàn)該功能。其中，寄存器Rn負(fù)責(zé)從外部模塊讀取數(shù)據(jù)，并和寄存器R1一起作為桶形移位器的輸入緩存。每個(gè)解碼周期，桶形移位器移出已解碼流的同時(shí)裝載新的待解碼流。減法器用于計(jì)算已處理碼長(zhǎng)，傳送桶形移位器移位長(zhǎng)度，判斷并控制R0的讀取和R1的更新。加法器用于碼流輸入時(shí)更新寄存器碼長(zhǎng)和桶形移位器移位長(zhǎng)度。這樣就為后續(xù)處理單元提供了連續(xù)不間斷的碼流，滿足了并行解碼處理的需求。
    桶形移位器的輸出是32位，因此每個(gè)時(shí)鐘周期R0、R1必須為其提供32位的有效碼流。圖3所示給出了桶形移位器輸入緩存的更新示例。

1．3 Huffman解碼模塊設(shè)計(jì)
    Huffman碼是變長(zhǎng)編碼，若采用傳統(tǒng)的解碼方法逐位讀人碼流，先判斷碼字長(zhǎng)度，再進(jìn)行解碼，效率較低，其解碼速率難以滿足應(yīng)用要求。本設(shè)計(jì)中提出了一種新的Huffman并行解碼硬件結(jié)構(gòu)，Huffman符號(hào)表可配置，通用性強(qiáng)。用簡(jiǎn)單的算術(shù)運(yùn)算代替復(fù)雜的配對(duì)模式，解碼速度快、硬件成本低。
1．3．1 Huffman解碼算法分析
    對(duì)于一組概率確定的符號(hào)，其最佳Huffman編碼有多種碼字分配方式。其中一種特殊的分配方式稱(chēng)為單調(diào)編碼，這種編碼中長(zhǎng)度相等的碼字在數(shù)值上是單調(diào)變化的，JPEG中Huffman編碼采用這種方式。單調(diào)編碼的單調(diào)性是指出現(xiàn)概率較大的符號(hào)其對(duì)應(yīng)的碼字的值一定小于概率小的符號(hào)對(duì)應(yīng)的碼字值。具體說(shuō)來(lái)有兩個(gè)特性：
    (1)在某一特定長(zhǎng)度對(duì)應(yīng)的碼字集當(dāng)中，碼字大小是連續(xù)變化的。
    (2)長(zhǎng)度短的碼字Ck的值一定小于長(zhǎng)度比它長(zhǎng)的碼字Cm，且Ck一定小于Cm的前k位前綴。
    根據(jù)單調(diào)編碼的特性，可以證明：對(duì)于一個(gè)長(zhǎng)為X的碼字，其長(zhǎng)為K(1≤K<X)位前綴碼的值總是大于長(zhǎng)度為K的最大碼字，同時(shí)其碼字總是小于長(zhǎng)度為Y(Y>X)的最小碼字的K位前綴。這一結(jié)論表明當(dāng)把一串足夠長(zhǎng)的碼流并行輸入碼長(zhǎng)檢測(cè)器時(shí)，只可能得到惟一的有效碼長(zhǎng)。
1．3．2 Huffman解碼模塊的硬件實(shí)現(xiàn)
    對(duì)于一個(gè)給定長(zhǎng)度L的碼字，可以用碼長(zhǎng)為L(zhǎng)的最小碼字和該碼字相對(duì)于最小碼字的偏差offset來(lái)表示。如果解碼器將相同碼長(zhǎng)的解碼符號(hào)順序存儲(chǔ)在RAM或者寄存器陣列中，則可以由最小碼字的地址和偏差offset得到解碼符號(hào)。解碼符號(hào)的地址可由式(1)得到
   
    在Huffman碼表定義DHT標(biāo)志段解碼時(shí)，可以得到各長(zhǎng)度對(duì)應(yīng)的最小碼字Min Code、各最小碼字的地址Base Address和解碼符號(hào)Symbol，為了后續(xù)解碼需要，要將這些數(shù)據(jù)存入存儲(chǔ)器中。因?yàn)榻獯a包括了亮度DC系數(shù)、亮度AC系數(shù)、色度DC系數(shù)和色度AC系數(shù)4種情況，所以相應(yīng)地需要多個(gè)存儲(chǔ)器。
    表1所示給出了本算法和其他算法的實(shí)現(xiàn)比較?？梢?jiàn)，本算法的實(shí)現(xiàn)在速度和硬件成本綜合權(quán)衡之下比較有優(yōu)勢(shì)。

[!--empirenews.page--]
    因?yàn)镠uffman編碼是無(wú)損壓縮，不存在誤差，所以Huffman解碼出來(lái)的數(shù)據(jù)也是沒(méi)有誤差的。本設(shè)計(jì)采用一個(gè)簡(jiǎn)潔的Mealy型狀態(tài)機(jī)實(shí)現(xiàn)，狀態(tài)轉(zhuǎn)移如圖4所示。圖5所示是相應(yīng)的Huffman解碼硬件結(jié)構(gòu)圖。

    接下來(lái)結(jié)合圖4和圖5介紹Huffman并行解碼流程。
    (1)初始化狀態(tài)(IDLE)：復(fù)位或圖像壓縮數(shù)據(jù)解碼完成時(shí)進(jìn)入的狀態(tài)，初始化相關(guān)寄存器。
    (2)解碼狀態(tài)1(S1)：首先寄存從碼流緩沖模塊輸入26位圖像碼流，將高16位輸入碼長(zhǎng)檢測(cè)單元，與Min Code Memory中存儲(chǔ)的各長(zhǎng)度最小碼字并行比較，碼長(zhǎng)檢測(cè)單元由選擇器、比較器和一個(gè)16選4的選擇器組成，得到碼字的長(zhǎng)度L。接著由碼長(zhǎng)為L(zhǎng)的Huffman碼與相應(yīng)長(zhǎng)度的最小碼字Min(L)計(jì)算出偏移量offset，從Base Address Memory中取出最小碼字Min(L)的地址Base Address，將兩者輸入8位加法器中，由式(1)可計(jì)算出該碼字對(duì)應(yīng)的解碼符號(hào)地址。然后根據(jù)這個(gè)地址從Symbol Memory中取出解碼符號(hào)，對(duì)DC來(lái)說(shuō)是SSSS，對(duì)AC來(lái)說(shuō)是RRRRSSSS。同時(shí)將移位寄存器中的碼字左移L位，將高11位編碼輸入到幅值寄存器中。
    (3)解碼狀態(tài)2(S2)：將解析出的字長(zhǎng)SSSS和碼長(zhǎng)L輸入到5位加法器中，得出本次解碼總位長(zhǎng)，輸出到碼流緩沖模塊，用于重新定位碼流，更新輸入數(shù)據(jù)。將幅值寄存器的高SSSS位選擇輸入一個(gè)12位中間寄存器的低位，該中間寄存器的高(12-SSSS)位移入幅值寄存器的最高位的相反值，若得到的中間寄存器的最高位為“1”，按．JPEG標(biāo)準(zhǔn)，要再加1。這樣解析出來(lái)的就是頻率系數(shù)，即DCT系數(shù)，對(duì)于DC來(lái)說(shuō)就是差值DIFF。解析完幅值后，進(jìn)行DC／AC系數(shù)解碼。
    DC／AC系數(shù)解碼：計(jì)數(shù)器用于計(jì)算解析系數(shù)在塊數(shù)據(jù)中的位置。若計(jì)數(shù)器值為零，表示解析出來(lái)的是DC系數(shù)的差值DIFF，要根據(jù)亮度色度選擇信號(hào)選擇相應(yīng)DCk-1，根據(jù)DCk=DIFF+DCk-1計(jì)算出DC值，并且更新DCk-1。若計(jì)數(shù)器值不為零，表示解析出來(lái)的是AC值，接下來(lái)對(duì)應(yīng)的有4個(gè)分支：1)若(RRRR，SSSS)=(0，0)，表示此圖像塊解碼結(jié)束，輸出塊解碼結(jié)束標(biāo)志DecOneBlock，并清零計(jì)數(shù)器；2)若(RRRR，SSSS)=(15，0)，表示連續(xù)16個(gè)零系數(shù)，計(jì)數(shù)器加16，不輸出；3)若SSSS不為零，且計(jì)數(shù)器值+RRRR=62，表示解析出來(lái)的是圖像塊的最后一個(gè)系數(shù)，計(jì)數(shù)器清零，并輸出塊解碼結(jié)束標(biāo)志DecOneBlock和DCT系數(shù)值；4)普通AC系數(shù)，計(jì)數(shù)器加1，輸出計(jì)數(shù)器的值和DCT系數(shù)值。
1．4 反量化模塊設(shè)計(jì)
    本設(shè)計(jì)在Huffman解碼后沒(méi)有采用JPEG標(biāo)準(zhǔn)的先反Z字形重排再反量化的流程，而是先進(jìn)行反量化操作。如此只要Huffman解碼有DCT系數(shù)輸出時(shí)才需要進(jìn)行反量化運(yùn)算，能減少無(wú)效操作，降低功耗。
    反量化運(yùn)算時(shí)先將相應(yīng)的量化系數(shù)保存在寄存器陣列中，在Huffman解碼模塊有DCT系數(shù)輸入時(shí)，按其地址取出相應(yīng)的量化系數(shù)，相乘后輸出到后級(jí)反Z字形重排模塊。
1．5 反Z字形重排模塊設(shè)計(jì)
    根據(jù)模塊輸入數(shù)據(jù)的特點(diǎn)，提出了一種優(yōu)化的硬件實(shí)現(xiàn)結(jié)構(gòu)。因?yàn)橐粋€(gè)8×8圖像塊經(jīng)DCT變換后非零系數(shù)個(gè)數(shù)一般不超過(guò)總數(shù)據(jù)量的10％，所以設(shè)計(jì)中為寄存器陣列的每個(gè)寄存器都設(shè)定一個(gè)一位的使能標(biāo)志，在初始化時(shí)先將寄存器陣列中寄存器和相應(yīng)標(biāo)志位都賦零值，在輸入值為非零值時(shí)才寫(xiě)入相應(yīng)地址，并置位對(duì)應(yīng)的使能標(biāo)志，這樣在寫(xiě)入數(shù)據(jù)時(shí)不需要進(jìn)行零數(shù)據(jù)的存儲(chǔ)，而在輸出數(shù)據(jù)時(shí)只要根據(jù)使能標(biāo)志就能判斷是要讀寄存器陣列還是直接輸出零，所以可以減少對(duì)存儲(chǔ)器的讀寫(xiě)操作，加快數(shù)據(jù)處理速度。
    反Z字形重排模塊不僅要接收反量化后的系數(shù)，對(duì)其進(jìn)行反Z字形重排，同時(shí)要對(duì)圖像塊數(shù)據(jù)進(jìn)行一次行列轉(zhuǎn)置，這樣可以節(jié)省2個(gè)寄存器陣列，降低硬件成本。為了提高運(yùn)算并行度，提高解碼速率，滿足后級(jí)模塊數(shù)據(jù)要求，反Z字形重排模塊中采用了兩個(gè)64×14位雙端口寄存器陣列，進(jìn)行乒乓操作。[!--empirenews.page--]
1．6 IDCT模塊設(shè)計(jì)
    2D-IDCT的實(shí)現(xiàn)選用行列分解法，所以主要功能模塊包括1D-IDCT模塊和行列轉(zhuǎn)置模塊。因?yàn)槿魉€實(shí)現(xiàn)系統(tǒng)解碼硬件成本很高，所以設(shè)計(jì)中主要通過(guò)提高運(yùn)算并行度和在功能模塊內(nèi)部實(shí)現(xiàn)流水線運(yùn)算來(lái)提高解碼速度。IDCT模塊設(shè)計(jì)中采用了兩個(gè)1D-IDCT處理單元，并通過(guò)流水線技術(shù)實(shí)現(xiàn)高運(yùn)算速率。
1．6．1 1D-IDCT模塊設(shè)計(jì)
    本設(shè)計(jì)采用了一種運(yùn)算量少、數(shù)據(jù)流簡(jiǎn)單且適于流水線實(shí)現(xiàn)的IDCT算法。通過(guò)對(duì)1D-IDCT數(shù)據(jù)流程的合理劃分，將其分4級(jí)，在每級(jí)中間插入寄存器，對(duì)每級(jí)流水線內(nèi)部運(yùn)算的時(shí)序進(jìn)行合理安排，在每級(jí)流水線內(nèi)共享算術(shù)單元，降低硬件成本。1D-IDCT快速算法的數(shù)據(jù)流程如圖6所示。

    通過(guò)對(duì)1D-IDCT數(shù)據(jù)流程的合理安排和資源共享，本設(shè)計(jì)共需4個(gè)加法器，4個(gè)減法器和4個(gè)乘法器，所用硬件資源比較少。而且本設(shè)計(jì)的處理速度快，每個(gè)時(shí)鐘周期輸入兩個(gè)像素，完成1D-IDCT的延遲時(shí)間是6個(gè)時(shí)鐘周期。在流水運(yùn)算時(shí)計(jì)算一個(gè)8點(diǎn)1D-IDCT只需要4個(gè)時(shí)鐘周期。
1．6．2 行列轉(zhuǎn)置模塊設(shè)計(jì)
    行列轉(zhuǎn)置矩陣的實(shí)現(xiàn)大部分設(shè)計(jì)采用雙RAM進(jìn)行乒乓操作完成，本設(shè)計(jì)采用一個(gè)8×8寄存器陣列和方向控制信號(hào)完成，可節(jié)省一半硬件資源，且控制簡(jiǎn)單。當(dāng)有信號(hào)輸入時(shí)，方向控制信號(hào)值初始設(shè)為0，這時(shí)寄存器陣列的輸入輸出方向是從左到右，64個(gè)時(shí)鐘周期后方向控制信號(hào)反向變?yōu)?，這時(shí)寄存器陣列的輸入輸出方向是從下到上。如此循環(huán)，即可實(shí)現(xiàn)行列轉(zhuǎn)置，如圖7所示。

2 綜合、仿真與性能分析
    設(shè)計(jì)時(shí)先用Matlab進(jìn)行算法級(jí)仿真與驗(yàn)證，在RLT級(jí)設(shè)計(jì)時(shí)采用Verilog語(yǔ)言實(shí)現(xiàn)，在Modelsim6．1中進(jìn)行功能仿真，選擇VIRTEX2系列xc2v250器件進(jìn)行FPGA驗(yàn)證，從軟硬件方面都驗(yàn)證了設(shè)計(jì)的正確性。
    使用Synopsys公司的Design Compiler工具在0．18μm的SMIC CMOS工藝條件下，對(duì)RTL代碼進(jìn)行綜合優(yōu)化。通過(guò)設(shè)置不同的面積、時(shí)序及功耗約束條件，縮短關(guān)鍵路徑的延時(shí)，時(shí)鐘頻率可達(dá)100 MHz的最優(yōu)設(shè)計(jì)，綜合出面積為721 695μm2，不包括存儲(chǔ)單元需要34．6 kB標(biāo)準(zhǔn)門(mén)。本設(shè)計(jì)能每秒能夠解碼1 920×1 080圖形25幀以上，所以也能用于一些有低成本需求的監(jiān)控、錄像系統(tǒng)。

3 結(jié)束語(yǔ)
    介紹了基于靜止圖像壓縮標(biāo)準(zhǔn)JPEG的解碼器IP核的設(shè)計(jì)，描述了硬件設(shè)計(jì)過(guò)程，提出了一種高效、低成本的JPEG解碼器架構(gòu)。設(shè)計(jì)通過(guò)VIRTEX2平臺(tái)進(jìn)行了FPGA驗(yàn)證，并使用Synopsys公司的DC工具在SMIC 0．18 μmCMOS工藝條件下，對(duì)設(shè)計(jì)進(jìn)行面積和時(shí)間的優(yōu)化，在100 MHz時(shí)鐘頻率下工作時(shí)電路面積為721 695μm2，每秒能夠解碼1 920×1 080圖形25幀以上。本設(shè)計(jì)還支持多種圖像質(zhì)量和圖像格式，有較寬的壓縮比范圍，設(shè)計(jì)具有獨(dú)立性和完整性，也適用于數(shù)碼相機(jī)、手機(jī)和掃描儀等各種應(yīng)用。