基于Julius的機器人語音識別系統(tǒng)構(gòu)建

摘要：隨著機器人技術(shù)不斷發(fā)展，本文提出機器人的語音識別這一智能人機交互方式。在研究了基于HMM語音識別基本原理的情況下，在實驗室的機器人平臺上，利用HTK和Julius開源平臺，構(gòu)建了一個孤立詞的語音識別系統(tǒng)。利用該語音識別系統(tǒng)可以提取語音命令用于機器人的控制。
關(guān)鍵詞：機器人；語音識別；HMM；HTK；Julius

引言
    隨著現(xiàn)代科技和計算機技術(shù)的不斷發(fā)展，人們在與機器的信息交流中，需要一種更加方便、自然的交互方式，實現(xiàn)人機之間的語音交互，讓機器聽懂人話是人們夢寐以求的事情。語音識別技術(shù)的發(fā)展，使得這一理想得以實現(xiàn)，把語音識別技術(shù)與機器人控制技術(shù)相結(jié)合，正成為目前研究的熱點，不但具有較好的理論意義，而且有較大的實用價值。
    語音識別技術(shù)應用于機器人系統(tǒng)大多是針對特定的環(huán)境，設計出語音命令來進行控制的。只需要對幾十個字或詞的命令行進語音識別，便可使得原本需要手工操作的工作由語音輕松完成。本文針對現(xiàn)有機器人平臺，設計一個非特定人的孤立詞語音識別系統(tǒng)。

1 語音識別原理及JuliUS簡介
1．1 基于HMM的語音識別原理
    語音識別系統(tǒng)是一種模式識別系統(tǒng)，系統(tǒng)首先對語音信號進行分析，得到語音的特征參數(shù)，然后對這些參數(shù)進行處理，形成標準的模板。這個過程稱為訓練或?qū)W習。當有測試語音進入系統(tǒng)時，系統(tǒng)將對這些語音信號進行處理，然后進行參考模板的匹配，得出結(jié)果。此時便完成了語音識別的過程。
    目前，HMM作為語音信號的一種統(tǒng)計模型，是語音識別技術(shù)的主流建模方法，正在語音處理各個領域中獲得廣泛的應用?，F(xiàn)在許多商用語音軟件，以及各種具有優(yōu)良性能的語音識別系統(tǒng)，都是在此模型上開發(fā)的，已經(jīng)形成了完整的理論框架。
    基于HMM模式匹配算法的語音識別系統(tǒng)表現(xiàn)為：在訓練階段，采用HMM訓練算法為每一個詞條建立一個HMM模型。詞條經(jīng)過反復訓練后，將得到的對應HMM模型加入HMM模型庫中以數(shù)據(jù)的形式保存。在匹配階段，也就是識別階段，采用HMM匹配算法將輸入的未知語音信號與訓練階段得到的模型庫中的模型進行匹配，輸出語音識別的結(jié)果。
1．2 JuliUS簡介
    Julius是日本京都大學和日本IPA(Information-tech-nology Promotion Agency)聯(lián)合開發(fā)的一個實用高效雙通道的大詞匯連續(xù)語音識別引擎。目前已經(jīng)能較好地應用于日語和漢語的大詞匯量連續(xù)的語音識別系統(tǒng)。Julius由純C語言開發(fā)，遵循GPL開源協(xié)議，能夠運行在Lin-ux、Windows、Mac：OS X、Solaris以及其他Unix平臺。Julius最新的版本采用模塊化的設計思想，使得各功能模塊可以通過參數(shù)配置。
    Julius的運行需要一個語言模型和一個聲學模型。利用Julius，通過結(jié)合語言模型和聲學模型，可以很方便地建立一個語音識別系統(tǒng)。語言模型包括一個詞的發(fā)音字典和語法約束。Julius支持的語言模型包括：N-gram模型，以規(guī)則為基礎的語法和針對孤立詞識別的簡單單詞列表。聲學模型必須是以分詞為單位且由HMM定義的。
    應用程序可以有兩種方式與Julius交互：一種是基于套接字的服務器一客戶端通信方式，另一種是基于函數(shù)庫的嵌入方式。在這兩種情況下，要識別過程結(jié)束，識別結(jié)果就被送入應用程序中，應用程序就能得到Julius引擎的現(xiàn)有狀態(tài)和統(tǒng)計，并可以操作官。Julius概述如圖1所示。

[!--empirenews.page--]
2 系統(tǒng)框架
2．1 硬件結(jié)構(gòu)
    在語音識別的機器狗控制系統(tǒng)中Atom Z510為訓練學習機大腦(1．1 GHz主頻的Intel Atom Z510嵌入式控制平臺)，它主要完成語音識別的功能。PXA270控制器(Intel公司于2003年底推出的性能強勁的PXA27x系列嵌入式處理器，基于ARMv5E的XScale內(nèi)核，最高頻率可達624MHz)作為機器狗本體上的核心智能控制器，接收Atom Z510識別后的結(jié)果，發(fā)出控制命令。ATmega128控制器(Atmel公司的8位系列單片機中的一種，運行頻率16 MHz)完成基于串行總線的數(shù)字舵機控制，完成對機器狗的前后腿以及尾巴等關(guān)節(jié)控制。機器狗硬件結(jié)構(gòu)平臺如圖2所示。

2．2 軟件結(jié)構(gòu)
    整個機器人系統(tǒng)包括3個模塊：Julius語音識別模塊、GUI人機界面、機器人控制模塊。Julius將識別的語音命令提交給GUI模塊，并在GUI上顯示；同時GUI將語音命令轉(zhuǎn)化為動作控制命令并發(fā)給機器人控制模塊；GUI還可以控制Julius的啟動和停止。其中機器人控制模塊主要在PXA270上，而語音識別和GUI是在Atom Z510上。系統(tǒng)軟件模型如圖3所示。

3 語音識別系統(tǒng)構(gòu)建
    一個完整的語音識別系統(tǒng)一般包括3部分：聲學模型、語言模型和識別器。在本系統(tǒng)中只建立基于控制命令(動詞)的識別語法，其他詞忽略，因此沒有構(gòu)建語言模型；識別器采用Julius開源平臺，此部分只用配置參數(shù)和相關(guān)文件。本文主要工作是聲學模型訓練和語音識別系統(tǒng)構(gòu)建。
3．1 聲學模型訓練
    聲學模型是識別系統(tǒng)的底層模型，是語音識別系統(tǒng)中最關(guān)鍵的一部分，它是每個聲學單元的聲學模型參數(shù)集合。本系統(tǒng)的聲學模型是使用HTK對采集的語音庫進行多次迭代訓練后提取的，基于詞的聲學特征向量集。HTK(HMM Tools Kit)是由英國劍橋大學工程系的語音視覺和機器人技術(shù)工作組(Speech Vision and Robotics Group)開發(fā)，專門用于建立和處理HMM的實驗工具包，主要應用于語音識別領域，也可用于語音模型的測試和分析。其具體訓練步驟如下：
    (1)數(shù)據(jù)準備
    收集漢語標準普通話的語料庫，并將語料庫中的語音標記，創(chuàng)建語音識別單元元素列表文件。
    (2)特征提取
    本系統(tǒng)采用MFCC進行語音的特征參數(shù)提取，訓練中將每一個語音文件用工具HCopy轉(zhuǎn)換成MFCC格式。
    (3)HMM定義
    在訓練HMM模型時要給出模型的初始框架，本系統(tǒng)中的HMM模型選擇同一個結(jié)構(gòu)，如圖4所示。該模型包含4個活動狀態(tài){S2，S3，S4，S5)，開始和結(jié)束(這里是S1．S6)，是非發(fā)散狀態(tài)。觀察函數(shù)bi是帶對角矩陣的高斯分布，狀態(tài)的可能轉(zhuǎn)換由aij表示。[!--empirenews.page--]

    (4)HMM訓練
    本系統(tǒng)先使用HInit工具對HMM模型進行初始化，再用HCompv工具來對模型進行平坦初始化。HMM模型的每個狀態(tài)給定相同的平均向量和變化向量，在整個訓練集上全局計算而得。最后用HRest的多次估計迭代，估計出HMM模型參數(shù)的最佳值，經(jīng)多次迭代，將訓練得到的單個HMM模型整合到一個hmmsdef．mmf文件中。聲學模型HTK訓練流程如圖5所示。

3．2 Julius應用
3．2．1 Julius部署
    在本系統(tǒng)中語音識別部分是部署在Atom Z510上，而Atom Z510上首先需要移植linux操作系統(tǒng)(本系統(tǒng)采用的是ubuntu8．10)以上步驟在此不詳細介紹，文獻中有詳細說明。語音識別的核心部分是Julius識別器，需要將Julius源碼編譯部署到Atom Z510平臺。其步驟如下：
    ①要確保linux系統(tǒng)中有以下支持庫：Zlib、flex、OSS音頻驅(qū)動接口、ESounD和libsndfile。
    ②從Julius官網(wǎng)下載源代碼Julius-4．1．5。
    ③解壓：tar-zxjf julius-4．1．5。
    ④編譯：％．／configure，％make，％make install。
3．2．2 Julius配置
    Julius全部采用C語言代碼實現(xiàn)，采用模塊化設計方式，而且各功能模塊可配置。在使用前需要將配置參數(shù)寫入jconf文件，此文件作為運行參數(shù)載入系統(tǒng)，系統(tǒng)掃描參數(shù)配置并啟動各功能塊。其中重點介紹以下幾個配置參數(shù)：
    ◆-dfa rtdog．dfa，指定語法文件rtdog．dfa；
    ◆-v rtdog．dict，指定字典文件；
    ◆-h rtdog．binhmm，指定HMM模型文件；
    ◆-lv 8000，設定音頻的閾值便于濾去噪音；
    ◆-rejectshort 600，設定最小的語音長度；
    ◆-input mic，設定語音的輸入方式為microphone。
3．3 語音識別系統(tǒng)軟件設計
3．3．1 GUI設計
    本系統(tǒng)為了方便測試，采用QT4的圖形庫來開發(fā)人機界面(GUI)，同時加入了手動控制的按鈕。其總體功能如圖6所示。通信線程是本系統(tǒng)的數(shù)據(jù)傳輸樞紐，十分重要。在QT中通過對線程類QThread繼承來實現(xiàn)新的線程設計。該類提供了創(chuàng)建一個新線程以及控制線程運行的各種方法。線程是通過QThread：：run()重載函數(shù)開始執(zhí)行的。在本系統(tǒng)中設計了1個數(shù)據(jù)通信線程，用它來不斷地讀取共享內(nèi)存中的語音命令，然后將其轉(zhuǎn)化為控制命令傳給機器人控制模塊。

[!--empirenews.page--]
3．3．2 模塊間通信
    由于系統(tǒng)的3個模塊不在同一個平臺上部署，運行過程中需要進行數(shù)據(jù)通信。GUI和Julius都部署在Atom Z510平臺上，但屬于2個進程，它們之間可以通過共享內(nèi)存來交互數(shù)據(jù)。而GUI和機器人控制模塊就需要通過網(wǎng)絡通信來實現(xiàn)數(shù)據(jù)交互。這里采用的是基于TCP的socket編程接口來實現(xiàn)模塊間的通信，模塊間通信流程如圖7所示。

4 實驗測試
    演示系統(tǒng)界面如圖8所示。本文使用大量的語音樣本來完成HTK的訓練和模式構(gòu)建，語音樣本采用16 kHz采樣，16位量化。獨立的語音識別測試中，將訓練集以及測試集中語音樣本和識別結(jié)果進行了對比分析。本文語音樣本的內(nèi)容包括訓練集(語料庫中的語音成分)和測試集(本實驗中采集的語音)。由于本系統(tǒng)只用提取語音命令，不需要完整句子的識別，所以沒有針對句子做測試。

    本文對于訓練集基于詞的識別率為71．7％，測試集基于詞的識別率為56．5％，測試結(jié)果如表1所列。

    表中各符號所表示的意義如下所示：
    H，正確；S，替代錯誤；D，刪除錯誤；I，插入錯誤；N，標記文件中單元總數(shù)；SENT，句子，WORD：基本單元。
   

結(jié)語
    本文在給定的實驗室機器人平臺上，設計了基于語音控制的機器狗系統(tǒng)。其中，語音識別子系統(tǒng)通過HTK和Julius的開源平臺構(gòu)建而成。經(jīng)過測試分析，該系統(tǒng)能夠較好地識別人發(fā)出的語音命令，簡化了機器人的操作，使機器與人的交互更加智能化。