ADSP-BF531在嵌入式語(yǔ)音識(shí)別系統(tǒng)中的應(yīng)用
掃描二維碼
隨時(shí)隨地手機(jī)看文章
摘要:設(shè)計(jì)了一個(gè)嵌入式語(yǔ)音識(shí)別系統(tǒng),該系統(tǒng)硬件平臺(tái)以ADSP-BF531為核心,采用離散隱馬爾可夫模型(DHMM)檢測(cè)和識(shí)別算法完成了對(duì)非特定人的孤立詞語(yǔ)音識(shí)別。試驗(yàn)結(jié)果表明,該系統(tǒng)對(duì)非特定人短詞匯的綜合識(shí)別率在90%以上。該系統(tǒng)具有小型、高速、可靠以及擴(kuò)展性好等特點(diǎn);可應(yīng)用于許多特定場(chǎng)合,有很好的市場(chǎng)前景。文中講述了該系統(tǒng)CODEC、片外RAM、ROM以及CPLD等與DSP的接口設(shè)計(jì),語(yǔ)音識(shí)別運(yùn)用的矢量量化、Mel倒譜參數(shù)、Viterbi等有關(guān)算法及其實(shí)際應(yīng)用效果。
關(guān)鍵詞:ADSP-BF531;語(yǔ)音識(shí)別;離散隱馬爾可夫模型;非特定人;孤立詞
自上世紀(jì)70年代以來(lái),國(guó)內(nèi)外的專家們?cè)谡Z(yǔ)音識(shí)別研究領(lǐng)域內(nèi)取得了重大突破,先后出現(xiàn)了動(dòng)態(tài)時(shí)間規(guī)整技術(shù)(DTW)、隱馬爾可夫模型(HMM)和人工神經(jīng)網(wǎng)絡(luò)(ANN)等3種主要方法。DTW雖然在孤立詞語(yǔ)音識(shí)別中取得了不錯(cuò)的性能,但其要求的存儲(chǔ)量和計(jì)算量太大;ANN雖然前景看好但其目前尚未有突破性進(jìn)展,目前它們都難以在工程中得到廣泛的應(yīng)用。HMM算法使語(yǔ)音識(shí)別的計(jì)算量得到大大減少,而且正確率較高,從而在語(yǔ)音識(shí)別中得到廣泛引用。
筆者在以ADSP-BF531為核心構(gòu)建的嵌入式系統(tǒng)上實(shí)現(xiàn)了對(duì)非特定人、孤立詞的語(yǔ)音識(shí)別,該系統(tǒng)采用了端點(diǎn)檢測(cè)、矢量量化(VQ)和離散隱馬爾可夫模型(DHMM)等算法。
1 ADSP-BF531介紹
ADSP-BF531是ADI公司Blackfin系列的高性能DSP,其最高主頻為400MHz,內(nèi)有2個(gè)16位MAC,2個(gè)40位ALU,4個(gè)8位視頻ALU,以及1個(gè)40位移位器,RISC式寄存器和指令模型,編程簡(jiǎn)單,編譯環(huán)境友好。
BF531包含豐富的外設(shè),通用外設(shè)如UART、帶有PWM(脈沖寬度調(diào)制)和脈沖測(cè)量能力的定時(shí)器、通用的I/O標(biāo)志引腳、以及一個(gè)實(shí)時(shí)時(shí)鐘和一個(gè)“看門狗”定時(shí)器。它還有多個(gè)獨(dú)立的DMA控制器,能夠以最小的處理器內(nèi)核開銷完成自動(dòng)的數(shù)據(jù)傳輸。DMA傳輸可以發(fā)生在ADSP-BF531處理器的內(nèi)部存儲(chǔ)器和任何有DMA能力的外設(shè)之間。此外,DMA傳輸也可以在任何有DMA能力的外設(shè)和已連接到外部存儲(chǔ)器接口的外部設(shè)備之間完成(包括SDRAM控制器、異步存儲(chǔ)器控制器)。具有DMA傳輸能力的外設(shè)包括SPORTS、SPI端口、UART和PPI端口。每個(gè)獨(dú)立的有DMA能力的外設(shè)至少有一個(gè)專用DMA通道。
2 硬件電路設(shè)計(jì)
該系統(tǒng)電路主要由DSP、音頻編碼器、CPLD、片外SDRAM、FLASH和EEPROM存儲(chǔ)器以及電源、時(shí)鐘等組成。硬件接口如圖1所示。
各器件的主要功能如下:
1)AD73311將經(jīng)前置放大后的麥克風(fēng)音頻信號(hào)經(jīng)A/D轉(zhuǎn)換后通過(guò)串行端口輸入BF531,同時(shí)完成對(duì)BF531輸出的數(shù)字音頻信號(hào)的D/A轉(zhuǎn)換,而后輸出到功放和喇叭;
2)BF531作為該系統(tǒng)的核心,對(duì)信號(hào)進(jìn)行特征提取和DHMM識(shí)別,同時(shí)對(duì)其外圍的器件進(jìn)行控制管理;
3)CPLD完成對(duì)DSP的外圍的器件時(shí)序和數(shù)據(jù)流程控制,以及對(duì)LCD顯示屏初始化檢測(cè)設(shè)置;
4)由于DSP片內(nèi)的RAM有限,配置了一塊SDRAM用于擴(kuò)展系統(tǒng)的內(nèi)存,以滿足程序運(yùn)行時(shí)數(shù)據(jù)和指令存儲(chǔ)的要求;
5)EEPROM用于存放DSP程序代碼和系統(tǒng)初始化所需的數(shù)據(jù);
6)FLASH用于存放訓(xùn)練樣本庫(kù)。
2.1 AD73311與BF531接口設(shè)計(jì)
本系統(tǒng)中設(shè)計(jì)AD73311的采樣率為16 kHz,其與BF531的串口0(SPORT0)連接,通過(guò)DMA方式在單時(shí)鐘周期內(nèi)完成操作。BF531支持32 bit的串口數(shù)據(jù)傳輸,由于AD73311為16 bit的音頻器件,而且16 bit已可滿足系統(tǒng)精度要求,因此本系統(tǒng)只使用了BF531的主傳輸數(shù)據(jù)通道,即:DTOPRI和DROPRI,而將第二傳輸數(shù)據(jù)通道DTOSEC和DROSEC進(jìn)行了屏蔽。AD73311與BF531的連接方式如圖2所示。
2.2 SDRAM接口設(shè)計(jì)
SDRAM主要用于擴(kuò)展系統(tǒng)內(nèi)存,為保證程序運(yùn)行的裕量及后續(xù)升級(jí)的需要,這里選用了三星電子的一款容量為32 MB的移動(dòng)式SDRAM,其型號(hào)為K4M56163PG。SDRAM與DSP的I/O總線連接,如圖3所示。
[!--empirenews.page--]
2.3 EEPROM接口設(shè)計(jì)
EEPROM主要用于存放程序代碼,選用ATMEL公司的AT45DB161D-TU型的EEPROM,該型存儲(chǔ)器采用SPI接口,容量為2 MB,可以滿足程序存儲(chǔ)的要求,其與DSP的SPI端口連接。
通過(guò)設(shè)置EEPROM存儲(chǔ)器的SPI主模式啟動(dòng)(即設(shè)置BMODE=11),現(xiàn)實(shí)配置BF531為連接一個(gè)SPI存儲(chǔ)器的主設(shè)備和存儲(chǔ)器的加載。為了正常工作,該加載模式需要在MISO加上拉電阻。否則,BF531將從MISO引腳讀取到0xFF(即SPI存儲(chǔ)器沒(méi)有寫任何數(shù)據(jù)到MISO引腳)。不僅MISO線上的上拉電阻是必要的,額外的上、下拉電阻還有如下2個(gè)用途:
1)上拉PF2信號(hào),確保SPI存儲(chǔ)器存DSP復(fù)位狀態(tài)下未激活;
2)在SPICLK上用下拉電阻,使顯示畫圖更加清晰。
2.4 FLASH接口設(shè)計(jì)
片外FLASH主要用于存訓(xùn)練樣本庫(kù),本系統(tǒng)采用的NANDFLASH為三星電子的K9F8G08U0M-PIB0,該FLASH為工業(yè)級(jí)SLC架構(gòu)(Single Laver Cell,單層單元)芯片,具有速度快、可靠性高等特點(diǎn),而且容量為1 GB,可以滿足存儲(chǔ)大量樣本數(shù)據(jù)的要求。其采用EBIU(External Bus Interface Unit,外部數(shù)據(jù)總線)和單個(gè)GPIO(General Purpose Input Output,通用輸入/輸出引腳實(shí)現(xiàn)與DSP數(shù)據(jù)通訊。
3 軟件設(shè)計(jì)
3.1 語(yǔ)音識(shí)別(孤立詞)的原理
本系統(tǒng)采用的孤立詞語(yǔ)音識(shí)別的原理框圖如圖4所示。
1)預(yù)處理 對(duì)聲源信號(hào)進(jìn)行抗混疊濾波、A/D轉(zhuǎn)換、預(yù)加重及端點(diǎn)檢測(cè)等內(nèi)容,以獲得比較理想的處理信息對(duì)象。
2)特征提取 從語(yǔ)音波形中提取出隨時(shí)間變化的能夠反映原始語(yǔ)音特征的矢量序列。
3)語(yǔ)音訓(xùn)練 建立聲學(xué)模型,將獲取的語(yǔ)音特征通過(guò)必要學(xué)習(xí)算法產(chǎn)生。
4)模式匹配 在識(shí)別時(shí)將輸入的語(yǔ)音特征同聲學(xué)模型進(jìn)行比較,得到識(shí)別結(jié)果。
在訓(xùn)練階段,用戶將詞匯表中的詞依次讀一遍,并且將其特征矢量序列存入模板庫(kù)中。在識(shí)別階段,將輸入語(yǔ)音的特征矢量序列依次與模板庫(kù)中的每一個(gè)模板進(jìn)行形似度比較,相似度最高者作為識(shí)別結(jié)果輸出。
在HHM算法中,語(yǔ)音序列被看做馬爾可夫隨機(jī)過(guò)程的輸出。假定識(shí)別系統(tǒng)的詞匯表共包括V個(gè)詞條,那么在訓(xùn)練階段需要請(qǐng)很多個(gè)說(shuō)話人分別將這次詞條說(shuō)一遍并存入數(shù)據(jù)庫(kù)中。利用這些訓(xùn)練數(shù)據(jù)可以為每一個(gè)詞條建立一套HMM參數(shù)λv(1≤v≤V)。
在識(shí)別時(shí),對(duì)于每個(gè)待識(shí)別語(yǔ)音,可以得到一個(gè)觀察矢量序列Y=[y1,y2,…yN],其中,N為輸入語(yǔ)音所包含的幀數(shù)。語(yǔ)音識(shí)別的過(guò)程就是計(jì)算每個(gè)HMM模型λv產(chǎn)生Y的概率P(Y|λv),并使得該概率達(dá)到最大的HMM模型,那么該模型所對(duì)應(yīng)的詞條即為孤立詞識(shí)別的結(jié)果,即:
3.2 語(yǔ)音識(shí)別算法設(shè)計(jì)
本系統(tǒng)采用VO/DHMM(矢量量化/離散隱馬爾可夫模型)算法,其主要包括預(yù)處理、特征提取、語(yǔ)音訓(xùn)練、模式匹配等幾個(gè)方面。
3.2.1 預(yù)處理和特征提取
首先采用預(yù)加重、漢明窗、雙門限法等完成對(duì)語(yǔ)音信號(hào)的預(yù)處理;然后使用Mel倒譜參數(shù)(MFCC)進(jìn)行特征識(shí)別,MFCC參數(shù)提取的過(guò)程如圖5所示,其中Mel濾波器組的作用是利用人耳聽覺(jué)特性對(duì)語(yǔ)音信號(hào)的幅度平方譜進(jìn)行平滑。對(duì)數(shù)操作的用途:壓縮語(yǔ)音譜的動(dòng)態(tài)范圍;考慮乘性噪聲,將頻域中的乘性成分轉(zhuǎn)換成加性成分。離散余弦變化主要是用來(lái)對(duì)不同頻段的頻譜成份進(jìn)行解相關(guān)處理,使得各維向量之間相互獨(dú)立。
[!--empirenews.page--]
3.2.2 矢量量化
矢量量化(VQ,Vector Quantization)是一種重要的信號(hào)壓縮方法,其過(guò)程是:將語(yǔ)音信號(hào)波形的K個(gè)樣點(diǎn)的每一幀,或在K個(gè)參數(shù)的每一參數(shù)幀,構(gòu)成K維空間中的一個(gè)矢量,然后對(duì)矢量進(jìn)行量化。量化時(shí),將K維無(wú)限空間劃分為M個(gè)區(qū)域邊界,然后將輸入矢量與這些邊界進(jìn)行比較,并被量化為“距離”最小的區(qū)域邊界的中心矢量值。
一個(gè)VO編碼器往往擁有一個(gè)或多個(gè)由具有代表意義的矢量組成的集合,稱為“碼本”(本系統(tǒng)中碼本大小為256),其中每個(gè)矢量稱為“碼矢量”。在語(yǔ)音識(shí)別中,訓(xùn)練用的語(yǔ)音特征通過(guò)聚類的方法形成碼書;識(shí)別時(shí),VO編碼器將待識(shí)別語(yǔ)音的特征矢量與碼書中的每個(gè)矢量進(jìn)行失真測(cè)度運(yùn)算,最小的失真測(cè)度所對(duì)應(yīng)的碼字的標(biāo)號(hào)代替輸入矢量。
3.2.3 HMM模型建立及訓(xùn)練過(guò)程
本系統(tǒng)選擇尤跨越的從左向有的HMM模型,狀態(tài)數(shù)取6。訓(xùn)練過(guò)程中利用Baum-Welch算法和Viterbi算法來(lái)計(jì)算所有觀察序列的輸出概率,然后對(duì)其進(jìn)行累加,得到總輸出慨率,采用前后2次的輸出概率的相對(duì)變化小于一定閾值(如:1×10-4)或超過(guò)迭代次數(shù)作為訓(xùn)練結(jié)束的判據(jù)。程序流程圖如圖6所示。
3.2.4 語(yǔ)音識(shí)別
語(yǔ)音識(shí)別的過(guò)程即是用Viterbi算法將經(jīng)將輸入的矢量量化后的語(yǔ)音與模型庫(kù)中的參考模板進(jìn)行匹配。
Viterbi算法是一種前向搜索算法,其可以是在給定相應(yīng)的觀察序列時(shí),找出從模型λ中找出的最佳狀態(tài)序列,即選擇輸出概率最大的模版作為輸出結(jié)果。對(duì)數(shù)形式的Viterbi算法,能夠避免大量的乘法運(yùn)算,減少計(jì)算量,同時(shí)還可以保證有很高的動(dòng)態(tài)范圍,不會(huì)出現(xiàn)由于過(guò)多的連乘而導(dǎo)致溢出問(wèn)題,其算法如下:
4 實(shí)驗(yàn)結(jié)果及分析
系統(tǒng)選取500字的詞表,詞長(zhǎng)不大于5;在進(jìn)行識(shí)別前,對(duì)每個(gè)待識(shí)別的詞進(jìn)行訓(xùn)練,參加訓(xùn)練人數(shù)為30,其中男性20人,女性10人。實(shí)驗(yàn)選取30個(gè)人,其中參加訓(xùn)練和未參加訓(xùn)練的各15人,對(duì)簡(jiǎn)單語(yǔ)音命令、數(shù)字串、字母串進(jìn)行測(cè)試(每人反復(fù)測(cè)試5次),結(jié)果如表1所示。
通過(guò)以上數(shù)據(jù)可以看出,該系統(tǒng)的對(duì)非特定人(包括參加訓(xùn)練和未參加訓(xùn)練)的簡(jiǎn)單漢語(yǔ)詞匯、數(shù)字串、字母串等的綜合識(shí)別率超過(guò)了90%,識(shí)別時(shí)間在0.7 s左右;具有較高的識(shí)別率和較好的實(shí)時(shí)性。從表中可以看出,未參加訓(xùn)練與參加訓(xùn)練的識(shí)別率相差約10%,可以通過(guò)在軟件中增加訓(xùn)練樣本量以及完善有關(guān)算法等來(lái)進(jìn)一步提高其識(shí)別率。
5 結(jié)束語(yǔ)
該嵌入式語(yǔ)音識(shí)別系統(tǒng)在以ADSP-BF531為核心的硬件基礎(chǔ)上,成功運(yùn)用DHMM算法完成了對(duì)非特定人孤立詞的語(yǔ)音識(shí)別。該系統(tǒng)運(yùn)行穩(wěn)定、可靠,其識(shí)別率及實(shí)時(shí)性均滿足使用要求,同時(shí)還具有存儲(chǔ)容量大、運(yùn)算速度快的特點(diǎn),為軟件運(yùn)行留下了充足的裕量,系統(tǒng)后續(xù)的完善和升級(jí)較容易實(shí)現(xiàn)。該系統(tǒng)可應(yīng)用于許多特定場(chǎng)合,有很好的市場(chǎng)前景。