當(dāng)前位置:首頁 > 嵌入式 > 嵌入式硬件
[導(dǎo)讀]摘要:降低多媒體算法的復(fù)雜性和存儲器需求對于存儲器資源和運(yùn)算能力都很有限的嵌入式設(shè)備是十分重要的。在極低碼率應(yīng)用時,JPEG存在嚴(yán)重的方塊效應(yīng),JPEG2000具有極高的運(yùn)算

摘要:降低多媒體算法的復(fù)雜性和存儲器需求對于存儲器資源和運(yùn)算能力都很有限的嵌入式設(shè)備是十分重要的。在極低碼率應(yīng)用時,JPEG存在嚴(yán)重的方塊效應(yīng),JPEG2000具有極高的運(yùn)算復(fù)雜性和存儲器需求。分析了H.264 INTRA幀編碼的運(yùn)算復(fù)雜性和存儲器需求,并提出了一種減小運(yùn)算復(fù)雜性的有效方法。結(jié)果顯示,H.264 INTRA幀編碼具有極低的運(yùn)算量和存儲器需求,非常適合嵌入式設(shè)備的靜止圖像編碼。   關(guān)鍵詞:靜止圖像編碼 H.264 JPEG2000 零塊檢測 嵌入式多媒體設(shè)備的靜止圖像編碼有著廣泛的應(yīng)用,如照片的拍攝與傳輸。設(shè)備處理的圖像越來越大,存儲容量和傳能力都相當(dāng)有?因而靜止圖像編解碼要求具有較低的運(yùn)算復(fù)雜性、較少的存儲器需求和極好的壓縮性能。目前已經(jīng)制定的靜止圖像壓縮標(biāo)準(zhǔn)主要有JPEG和JPEG2000。JPEG標(biāo)準(zhǔn)在中高速率上壓縮效果較好, 對于細(xì)節(jié)分量多的灰度圖像, 當(dāng)編碼壓縮率低于每像素0.25比特時,視覺失真大,重構(gòu)圖像存在嚴(yán)重的方塊效應(yīng),不能很好地適應(yīng)網(wǎng)絡(luò)傳輸圖像的需要。JPEG2000為了降低運(yùn)算中的存儲器需求,使用分塊技術(shù),對每個小塊進(jìn)行處理,但采用較小的塊在低碼率時存在與JPEG一樣的方塊效應(yīng)。因而JPEG2000 在低比特率應(yīng)用時, 建議不分塊或者分成較大的塊,以保證良好的率失真性能, 但運(yùn)算復(fù)雜性和存儲器需求都極高。

  視頻編碼新標(biāo)準(zhǔn)H.264代表著繼MPEG1/2和MPEG4后的第三代視頻編碼標(biāo)準(zhǔn)。H.264比以前的標(biāo)準(zhǔn)提供了更高的編碼增益。H.264的 INTRA幀編碼算法充分利用圖像中的空間相關(guān)和變換域的相關(guān)性,提供了極高的編碼增益,可以用來對靜止圖像進(jìn)行編碼。在文獻(xiàn)[1]中H.264采用 JM73代碼,JPEG2000 采用Jasper 1.700.5,對標(biāo)準(zhǔn)靜止測試圖像和視頻序列進(jìn)行測試。測試結(jié)果表明:與JPEG2000相比,H.264 INTRA幀具有更高的客觀質(zhì)量和主觀質(zhì)量,但譯碼器的運(yùn)算復(fù)雜性卻比JPEG2000低50%左右。在嵌入式設(shè)備上,多媒體應(yīng)用的實時性不僅取決于算法的運(yùn)算次數(shù),還取決于可得到的存儲器帶寬。CPU的工作頻率越來越高,存儲器的頻率卻增加緩慢,很多算法的瓶頸在于數(shù)據(jù)輸入輸出。有效減小算法的存儲器需求,減少中間結(jié)果的存儲需求,可縮減片外存儲器訪問次數(shù),提高應(yīng)用的實時性能。下面主要討論降低H.264 INTRA幀編碼的運(yùn)算復(fù)雜性和存儲器需求的方法。 圖2 1 減少運(yùn)算復(fù)雜性   H.264 INTRA幀具有比JPEG2000更高的客觀質(zhì)量,這主要是由于INTRA幀采用的多種幀內(nèi)預(yù)測模式較好地去掉了空間冗余。對于平滑的背景區(qū)域采用 16%26;#215;16大小的粗糙預(yù)測,共有4種可能的預(yù)測方向。對于快速變化的圖像區(qū)域,采用4%26;#215;4的塊,共有9種預(yù)測模式。在預(yù)測后,對殘差信號進(jìn)行整型變換消除頻譜相關(guān)性。高效的去方塊效應(yīng)濾波器改善了圖像的信噪比和主觀質(zhì)量。圖1是H.264編碼器的結(jié)構(gòu)流程圖。從圖1可以看出,在整幀圖像的熵編碼后,對逆整型變換后的重建數(shù)據(jù)進(jìn)行去方塊效應(yīng),去方塊效應(yīng)后的重建圖像數(shù)據(jù)用作下一幀預(yù)測圖像的編碼,或者用于編碼同時顯示重建圖像。編碼器的作用主要是壓縮原始數(shù)據(jù)產(chǎn)生輸出碼流,若不需要在本地編碼器中顯示重建圖像(例如衛(wèi)星照片的拍攝),則編碼器中的整幀圖像的去方塊效應(yīng)可以省去,節(jié)省大約30%的運(yùn)算。宏塊的幀內(nèi)預(yù)測包含9種4%26;#215;4模式和4種16%26;#215;16模式如圖2。INTRA 16%26;#215;16 預(yù)測僅僅采用左邊16個像素和上邊16個像素作參考;INTRA 4%26;#215;4 預(yù)測僅僅采用左邊4個像素和上邊9個像素作參考,因而在逆整型變換和重建(逆變換結(jié)果與預(yù)測值相加)時,僅僅需要計算16%26;#215;16宏塊的第 16行與第16列像素、4%26;#215;4塊的第4行與第4列像素,沒有必要計算所有的像素。對于16%26;#215;16的塊,減少224個重建像素的計算。對于4%26;#215;4的塊,減少8個重建像素的計算。整型變換、量化、逆量化、掃描以及逆變換消耗比較多的編碼時間,可利用在模式選擇時計算的絕對差值和(SAD),提前判斷整型變換后量化系數(shù)全0塊,從而省去全0塊的整型變換、量化、逆量化、掃描以及逆變換這一系列操作。若SAD小于某個門限T,各個變換系數(shù)絕對值小于量化步長(Qstep),該塊為0塊。實驗中取T等于3Qstep,獲得了較高的檢測率和較低的檢測差錯率。 H.264 采用整型變換,為簡化門限的推導(dǎo),其中的整型變換與4%26;#215;4的離散余弦變換(DCT)相差較小,DCT變換為:

在INTRA幀量化中,即

,所有變換系數(shù)量化為0。由于該式是量化系數(shù)全為零的充分條件,而不是必要條件。實驗結(jié)果顯示,使用該門限檢測出零塊的正確性為100%,大量的量化系數(shù)為全零塊卻檢測不出來。為了大幅提高零塊檢出率,增大該門限T為3Qstep,測量miss.qcf 20幀編碼的平均情況,測試結(jié)果見表1。從表1可以看出,零塊檢測率隨著量化索引增大而增大,可能將部分非零塊檢測成零塊,但這對信噪比影響不大。 表1 不同量化索引的零塊檢出率 量化索引零塊檢出率(%) 檢出錯誤率(%) 平均信噪比降低(dB) 20 23 1 0.00 24 68 1 0.00 26 83 2 0.02 28 85 1 0.05 30 87 2 0.08 32 90 2 0.16 2 縮減存儲器需求   減少運(yùn)算中的存儲器需求對于嵌入式設(shè)備十分重要。宏塊編碼的過程包含預(yù)測、模式選擇、變換量化掃描、逆量化等。從圖2可以看出,在 INTRA16%26;#215;16的4種預(yù)測模式中,只使用上邊和左邊的各16個像素作為預(yù)測參考,在INTRA 4%26;#215;4 的9種預(yù)測模式中,僅使用左邊4個像素和上邊9個像素作為預(yù)測參考,因而重建圖像并不需要整幀存儲,只需存儲這幾個參考點(diǎn)就可以了。假設(shè)宏塊編碼按照從左到右、從上到下順序進(jìn)行,則水平方向的像素需要存儲一整行。

[!--empirenews.page--]

在INTRA 4%26;#215;4模式編碼時,由于相鄰的4%26;#215;4塊模式高度相關(guān),采用相鄰塊的預(yù)測模式預(yù)測當(dāng)前塊的最可能模式,同樣只需要存儲上邊一行4%26;#215;4和左邊一個4%26;#215;4塊的編碼模式(如圖3)。在對量化后變字長編碼(VLC)系數(shù)的個數(shù)進(jìn)行編碼時,需要利用相鄰兩塊的非零系數(shù)個數(shù)對該塊進(jìn)行預(yù)測,也只需要存儲上邊一行4%26;#215;4和左邊一個4%26;#215;4塊的編碼模式的非零系數(shù)個數(shù),如圖 3。在對整幀圖像的數(shù)據(jù)比特串(SODB)添加原始字節(jié)序列載荷(RBSP)結(jié)尾比特(RBSP trailing bits,添加一比特的"1"和若干比特"0",以便字節(jié)對齊)后,再檢查RBSP 中是否存在連續(xù)的三字節(jié)"00000000 00000000 000000xx";若存在這種連續(xù)的三字節(jié)碼,在第三字節(jié)前插入一字節(jié)的"0%26;#215;03",以免與起始碼競爭,形成EBSP碼流,這需要將近兩倍的整幀圖像碼流大小。為了減小存儲器需求,在每個宏塊編碼結(jié)束后即檢查該宏塊SODB中的起始碼競爭問題,并保留SODB最后兩字節(jié)的零字節(jié)個數(shù), 以便與下一宏塊的SODB的開始字節(jié)形成連續(xù)的起始碼競爭檢測;對一幀圖像的最后一個宏塊,先添加結(jié)尾停止比特,再檢測起始碼競爭。采用這種方法產(chǎn)生 H.264 附錄B中的字節(jié)流時,存儲器需求從兩幀碼流大小縮小到兩個宏塊碼流大小。通過對碼流輸出過程的改進(jìn),使INTRA幀編碼需要的存儲器大小不隨圖像大小的增加而增加,這時編碼過程中的存儲器不超過9K個整數(shù)。對于基于片上存儲器的多媒體處理器,存儲器需求的減少可以大量縮減中間結(jié)果的片外片上轉(zhuǎn)移,減小數(shù)據(jù)轉(zhuǎn)移的負(fù)擔(dān),提高程序的運(yùn)行速度。   采用H.264 INTRA幀對靜止圖像進(jìn)行編碼時,在編碼器端不需要顯示本地重建圖像,可省掉去方塊效應(yīng)濾波器;利用模式選擇時計算的絕對差值和,可提前判斷量化后全零系數(shù)塊,節(jié)省大量的計算。分階段地對各個宏塊的碼流插入競爭阻止字節(jié)(emulation prevention byte),以保證原始字節(jié)序列載荷中不含起始碼,有效減少存儲器的需求。運(yùn)算復(fù)雜性和存儲器需求極低的H.264 INTRA編碼模式,可代替JPEG2000,用于嵌入式設(shè)備的靜止圖像編碼

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉