當(dāng)前位置:首頁 > 消費電子 > 音頻技術(shù)
[導(dǎo)讀] 音頻的編解碼(codec)根據(jù)應(yīng)用場景的不同主要由幾大技術(shù)組織制定,分別是ITU-T、3GPP、MPEG。當(dāng)然也有一些公司或者公司的聯(lián)合體等制定,如微軟的WMA。他們不僅制定了codec的規(guī)范,

音頻的編解碼(codec)根據(jù)應(yīng)用場景的不同主要由幾大技術(shù)組織制定,分別是ITU-T、3GPP、MPEG。當(dāng)然也有一些公司或者公司的聯(lián)合體等制定,如微軟的WMA。他們不僅制定了codec的規(guī)范,同時還提供軟件實現(xiàn)的reference code,這樣便于普及制定的codec的使用。本文先談?wù)勥@些codec,然后講怎么樣根據(jù)reference code去優(yōu)化codec(主要是減少CPU load)。

1、codec 規(guī)范

1)ITU-T

ITU-T制定的是有線語音的codec標(biāo)準(zhǔn),即G系列,主要有G.711、G.722、G.726、G.728、G.729等。采樣率窄帶是8KHz,寬帶是16KHz。碼率從64kbps到8kbps不等。

下表列出了具體的采樣率和碼率。

2)3GPP

3GPP制定的是移動語音的codec標(biāo)準(zhǔn),主要是AMR(adapTIve mulTI-rate,自適應(yīng)多碼率)系列等,能根據(jù)網(wǎng)絡(luò)狀況自適應(yīng)的調(diào)整碼率。采樣率窄帶是8KHz,寬帶是16KHz。近年來為了應(yīng)對互聯(lián)網(wǎng)的競爭(互聯(lián)網(wǎng)公司提出了涵蓋語音和音樂的OPUS codec),3GPP出臺了EVS(enhanced voice service)音頻編解碼規(guī)范。EVS也涵蓋了語音和音樂,能在兩者之間靈活切換,支持多種采樣率和碼率。具體如下表。

3)MPEG

MPEG制定的主要是音樂的編解碼規(guī)范,主要有MP3、AAC等。MP3大家都很熟悉,是近二十年來聽音樂的最主要的格式,AAC是MP3的繼承者,下一代的最主要的音樂編解碼規(guī)范。音樂中采樣率一般是44100HZ,也有的用48000HZ。碼率在一個范圍內(nèi),碼率越大,音質(zhì)越好。

4)公司或公司聯(lián)合體

一些公司或者公司聯(lián)合體根據(jù)需要制定音頻的編解碼規(guī)范,比如微軟的WMA,Skype的SILK,GIPS(GIPS在2011年被谷歌收購,谷歌基于GIPS的音視頻解決方案推出了webRTC并開源出來,影響巨大)的ILBC等。還有一個不得不提的就是OPUS,它是由非盈利的Xiph.org 基金會、Skype 和Mozilla 等共同主導(dǎo)開發(fā)的,全頻段(8kHZ到48kHZ),支持語音和音樂(語音用SILK, 音樂用CELT),已被IETF接納成為網(wǎng)絡(luò)上的聲音編解碼標(biāo)準(zhǔn)(RFC6716)。

我用過的codec從語音到音樂分別有G.711/G.722/G.726/G.728/G.729/AMR-NB/AMR-WB/ILBC/OPUS/MP3/AAC/WMA/APE/Vorbis/ALAC/FLAC等。

2、codec的優(yōu)化

這里講的優(yōu)化主要是指CPU load的優(yōu)化,即優(yōu)化后運行codec占用更少的CPU,在具體的硬件平臺上運行的更流暢。優(yōu)化到什么程度算結(jié)束這依賴需求而定。如果優(yōu)化后給所在項目用,就要看項目給你多長時間優(yōu)化以及項目能接受的優(yōu)化后的CPU load,一般情況下項目用上優(yōu)化后的codec后在最復(fù)雜的場景下能流暢運行又不影響其他功能就可以了,因為項目上要騰出人手做其他事情,畢竟項目進度和質(zhì)量是最重要的。如果優(yōu)化后作為庫賣給客戶用,就要盡量優(yōu)化到極致,因為這是用戶選擇用哪家公司庫的重要指標(biāo),是賣點,這種情況下就會有更多的優(yōu)化方法和技巧。我做過的優(yōu)化都是給項目用,沒有作為庫給客戶用,因而技巧不是特別多。

(1)優(yōu)化前的準(zhǔn)備工作

a)通讀一下要優(yōu)化的codec的代碼,盡量讀懂,即使沒懂也要搞清楚函數(shù)是干什么的,這有利于后面優(yōu)化。

b)準(zhǔn)備好profiling工具,profiling工具就是測量運行某個函數(shù)花了多少clock。有現(xiàn)成的profiling工具最好,如果沒有就根據(jù)具體OS和硬件平臺(ARM/MIPS等)自己做工具。

c)準(zhǔn)備好test vector,即測試的音源,一般codec制定的官方會提供,通常是多個vector, 對應(yīng)于不同的場景。優(yōu)化的原則是在減少CPU load的同時算法運算結(jié)果不被改變,所以在做優(yōu)化時每優(yōu)化一些就要用test vector跑一下,看結(jié)果有沒有改變,如果改變了,就要退回到上一個版本。我做優(yōu)化時每天至少保留一個版本,有時兩個或者三個,就是為了出問題時好回溯,盡快查出哪個地方的優(yōu)化出了問題。

(2)優(yōu)化步驟與方法

a)將編譯器的優(yōu)化選項從-o0改為-o3

b)給代碼中那些經(jīng)常被調(diào)用的又短小的函數(shù)加上inline

通常情況下做完a,b后load會下來一大截,如同擠泡沫一樣,會擠掉很大一部分。

c)ITU-T或者3GPP的codec reference code中有好多基本運算(加減乘除)的函數(shù),這些函數(shù)都寫的特別嚴謹,同時調(diào)用的頻次又非常高,因而加大了運算復(fù)雜度。這些函數(shù)中有些在保證正確的前提下可以簡化(如一些防飽和就可以不要),這樣處理后load會降下來一些。

d)用profiling工具一步步排查看到底哪個函數(shù)花的load多,明白這個函數(shù)是干什么的,然后具體問題具體分析,看怎么樣來優(yōu)化。

e)有些函數(shù)就是一個小算法,reference code中寫的比較復(fù)雜,調(diào)用頻次又比較高。要去找有沒有簡單的實現(xiàn)可以替代,有的話替代了load就會降下來一些。比如codec中經(jīng)常有求平方根的計算,reference code中通常寫的比較復(fù)雜。我們知道用牛頓迭代法也可以求平方根,就可以用牛頓迭代法去替換將load降下來。

f)用匯編優(yōu)化。如果在C級別能解決問題就不要用匯編了。各個處理器都有自己的匯編指令集,需要去學(xué)并且掌握其中的思想和技巧。通常是用的頻次較高的又比較占load的函數(shù)用匯編去寫,即用C和匯編混合編程。匯編優(yōu)化花的時間會相對長一些。

當(dāng)然還有一些小的技巧比如展開for循環(huán)、用指針替代數(shù)組等,這里就不一一說了。

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉