開源視頻服務(wù)器軟件MJPG-streamer的研究和應(yīng)用

摘要：針對嵌入式設(shè)備在進行多媒體數(shù)據(jù)處理時存在的資源限制問題，采用了一種開源視頻服務(wù)器軟件MJPG-streamer完成多媒體數(shù)據(jù)的處理及存儲，基于該軟件的特點和體系結(jié)構(gòu)，通過修改MJPG-streamer的源代碼，添加新的功能模塊，以增強這款軟件的功能。并重新交叉編譯后，移植到嵌入式系統(tǒng)中，以實現(xiàn)一個可控制前端設(shè)備的基于Arm9的嵌入式遠程視頻監(jiān)控系統(tǒng)。實驗結(jié)果表明，該方法很好地增強了視頻數(shù)據(jù)處理的效果，并可流暢地在客戶端播放瀏覽器。
關(guān)鍵詞：MJPG-streamer；開源；視頻服務(wù)器；插件；嵌入式應(yīng)用

    “MJPG-streamer”是一個輕量級的視頻服務(wù)器軟件。一個可以從單一輸入組件獲取圖像并傳輸?shù)蕉鄠€輸出組件的命令行應(yīng)用程序。
    該軟件可應(yīng)用在基于IP協(xié)議的網(wǎng)絡(luò)中，從網(wǎng)絡(luò)攝像機中獲取并傳輸JPEG格式的圖像到瀏覽器，例如Firefox、Cambozola、Videolanclie nt，甚至是一個運行了TCPMP播放器的Windows移動設(shè)備。
    它繼承于uvc_streamer，為在RAM和CPU上存在資源限制的嵌入式設(shè)備而寫的。因為兼容Linux-uvc的攝像機可以直接生成JPEG數(shù)據(jù)，即使是運行OpenWRT Linux的嵌入式設(shè)備也可以快速處理M-JPEG數(shù)據(jù)流。
    這款工具源代碼簡潔，注釋清晰。組件功能明確，銜接清晰。使用Linux C語言進行開發(fā)，可移植到不同的計算機平臺，也可以在根據(jù)GPL v2的條款下進行改進和發(fā)行。

1 MJPG-streamer的處理流程
    MJPG-streamer主函數(shù)的定義在mjpg-streamer．c文件。主函數(shù)的處理流程如圖1所示。

2 MJPG-streamer的相關(guān)組件
    MJPG-streamer采用模塊化的設(shè)計方法，以功能塊為單位進行描述，這些功能塊被稱為plug-in(組件)。軟件中定義好了各組件的輸入、輸出，以及組件之間的銜接關(guān)系。用戶可自行根據(jù)對功能的需求，選擇需要的模塊。這種模塊化的程序設(shè)計簡化了代碼的編寫、調(diào)試、維護，程序員只需要遵守設(shè)計的規(guī)范，就可以輕松地改寫軟件，或者編寫新的模塊以增強軟件的功能。
    MJPG-streamer最主要并且最常用的組件是input_uvc輸入組件和output_http輸出組件。其他組件包括input_control、input_file、input_testpicture、input_gspcavl、output_autofocus、output_file、out_viewer，如圖2所示。

[!--empirenews.page--]
2．1 input_uvc輸入組件
    input_uvc組件的主要功能是獲取攝像頭拍攝的圖像并將其壓縮編碼，共包括5個組件接口函數(shù)，這些組件接口函數(shù)是各個組件提供給外部使用的接口。相關(guān)函數(shù)的定義可查看input_uvc.c文件。
    下面以input_uvc輸入組件為例來詳細介紹模塊化程序設(shè)計的具體思路以及MJPG-streamer組件的工作方式。
    1)int input_init(input_parameter*param)
    這個函數(shù)是輸入組件的初始化函數(shù)，它的主要工作是初始化相關(guān)參數(shù)，為之分配內(nèi)存空間，并打開視頻設(shè)備。
    輸入組件初始化函數(shù)的工作流程如圖3所示。

    視頻設(shè)備數(shù)據(jù)結(jié)構(gòu)vdIn的定義如下：
   
    [!--empirenews.page--]
    2)int input_run(void)
    該函數(shù)使用pthread_create函數(shù)創(chuàng)建工作線程。并使用pthread_detach函數(shù)將該線程設(shè)置為分離狀態(tài)。在input_uvc組件中，input_run函數(shù)創(chuàng)建cam_thread線程，該線程負責抓取攝像頭采集的一幀圖像并進行格式轉(zhuǎn)換，采用的是V4L2視頻設(shè)備開發(fā)框架。具體工作流程請參考下文描述。
    3)int input_stop(void)
    該函數(shù)通過調(diào)用pthread_cancel(pthread_t tid)函數(shù)實現(xiàn)主線程取消cain_thread線程(抓取數(shù)據(jù)幀的工作線程)，這兩個線程在同一個進程內(nèi)，共享該進程的地址空間。主線程通過內(nèi)核發(fā)送信號以取消工作線程。tid是要取消線程的線程ID。
    4)int input_cmd(int in_cmd_type cmd，int value)
    該函數(shù)的主要功能是對網(wǎng)絡(luò)攝像頭鏡頭的控制，例如對色彩、飽和度、對焦等功能的控制。in_cmd_type結(jié)構(gòu)體定義了對輸入組件進行控制的命令類型，把對鏡頭的控制命令類型和參數(shù)值傳入此函數(shù)。函數(shù)內(nèi)進行匹配，以完成對鏡頭的控制操作。
    input_uvc組件的私有函數(shù)如下：
    1)void help(void)
    該函數(shù)打印相關(guān)的幫助信息到stderr。
    2)void*cam_thread(void*arg)
    這個工作線程的作用是抓取一幀數(shù)據(jù)并把它復制到全局緩沖區(qū)。它的工作流程如圖4所示。

    工作流程不斷循環(huán)，直至線程退出。退出前使用pthread_cleanup_pop函數(shù)調(diào)用cam_cleanup線程清理函數(shù)。
    3)void cam_cleanup(void*arg)
    該函數(shù)是線程清理函數(shù)，線程退出前，使用此函數(shù)釋放在工作線程中被分配的資源。
2．2 ouput_http輸出組件
    output_http輸出組件中的http．c文件內(nèi)定義了服務(wù)器對客戶端請求的響應(yīng)。
    send_snapshot、send_stream、send_error、send_file分別定義了如何響應(yīng)客戶端發(fā)送截圖、發(fā)送視頻流、發(fā)送錯誤信息、發(fā)送文件的請求信息。
    command函數(shù)執(zhí)行客戶端指定控制命令，并發(fā)送反饋信息。
    server_thread服務(wù)線程的作用是打開一個TCP socket并等待客戶端連接。如有客戶端鏈接，則為每一個連接到服務(wù)器的客戶端創(chuàng)建一個client_thread專門服務(wù)于該客戶端。
    client_thread客戶線程的作用是為連接到服務(wù)器的客戶端服務(wù)。

3 MJPG-streamer在嵌入式中的應(yīng)用
    本文通過修改軟件源代碼，實現(xiàn)軟件的額外功能。將MJPG-streamer作為視頻服務(wù)器軟件，應(yīng)用于嵌入式開發(fā)。
    系統(tǒng)以S3C2440微處理器為核心，構(gòu)建嵌入式視頻監(jiān)控系統(tǒng)。Arm9將攝像頭拍攝圖像經(jīng)壓縮后傳到Web客戶端，客戶端除了可以查看攝像頭拍攝圖像外，還可以控制云臺設(shè)備，從而獲得任意角度的圖像。
    采用低端云臺作為前端的控制設(shè)備，嵌入式視頻服務(wù)器可提供多個前端設(shè)備接口與多個云臺連接。嵌入式視頻服務(wù)器根據(jù)各客戶端的請求，將圖像或云臺控制信號傳輸給相應(yīng)的前端設(shè)備。本文只實現(xiàn)系統(tǒng)的基本模型，采用一個云臺設(shè)備?？稍诨灸Ｐ偷幕A(chǔ)上，擴展成多路傳輸。
3．1 系統(tǒng)硬件平臺
    系統(tǒng)的硬件平臺采用的是天嵌的TQ-2440開發(fā)板，CPU處理器是S3C2440AL，主頻為400MHz，最高可達533MHz，配備256MB的Nand Flash、2 MB的Nor Flash以及64 MB的SDRAM，可滿足系統(tǒng)要求。另外使用了一個V4L2攝像頭，以及一個RS485接口的低端云臺設(shè)備。[!--empirenews.page--]
3．2 系統(tǒng)硬件連接方式
    云臺控制器在本系統(tǒng)中是前端的控制設(shè)備，它負責接受視頻服務(wù)器設(shè)備發(fā)送的串行編碼信號，其內(nèi)置解碼器作為中間設(shè)備經(jīng)RS485轉(zhuǎn)RS232后，與arm9的RS232串口連接，解碼器通過串口與arm9通信。arm9通過串口發(fā)送控制信號給云臺，云臺解碼器接受到信號后，對控制信號進行地址解析，解析地址與解碼器內(nèi)部設(shè)置地址一致時，云臺解析控制信號，將其轉(zhuǎn)換成控制云臺或鏡頭的控制電壓，最后將控制電壓傳遞給云臺和鏡頭，從而實現(xiàn)對云臺轉(zhuǎn)動以及鏡頭調(diào)整的操作。如解析地址與內(nèi)部設(shè)置地址不一致時，則解碼器不進行相應(yīng)轉(zhuǎn)換。
    系統(tǒng)實物模型如圖5所示。

3．3 系統(tǒng)軟件平臺
3．3．1 集成云臺控制功能
    瀏覽器客戶端通過登錄服務(wù)器，獲取視頻流以及控制云臺轉(zhuǎn)動。云臺控制是為了實現(xiàn)多角度監(jiān)控的功能。因此需要對MJPG-streamer的源代碼進行改寫，集成云臺控制功能。
        3)http．c文件里的command函數(shù)的作用是當服務(wù)器接收了客戶端的傳值并進行解析后，執(zhí)行客戶端指定的控制命令。它把控制命令進行進一步解析，解析出命令是屬于攝像頭控制、MJPG-streamer系統(tǒng)控制(如MJPG-streamer重新配置命令)還是筆者添加的云臺控制命令。
    在這個函數(shù)里，首先調(diào)用編寫的云臺設(shè)備初始化函數(shù)intptz_device_init(void)。此函數(shù)負責打開arm9上的串口設(shè)備并進行串口配置。
    其次，遍歷輸出組件命令字符串與命令類型映射數(shù)組，找到與命令字符串相匹配的控制命令類型。
    再次，調(diào)用添加在output_http輸出組件的實現(xiàn)文件output_http．c中的output_cmd函數(shù)。在此函數(shù)中，調(diào)用控制函數(shù)，根據(jù)不同的云臺控制命令，發(fā)送數(shù)據(jù)到云臺解碼器。Arm9與云臺通信部分，采用的是PELCO-D協(xié)議。它的工作流程如圖6所示。

    4)把云臺控制功能集成進MJPG-streamer后，需要修改output_http輸出組件的Makefile。修改后的Makefile如下：

3．3．2 移植視頻服務(wù)器軟件
    首先，移植ipeg庫和SDL庫到開發(fā)板根文件系統(tǒng)的／lib目錄下。
    然后，將重新集成編譯后的mjpg-streamer相應(yīng)模塊移植到開發(fā)板根文件系統(tǒng)的／lib目錄下，使用到的模塊有攝像頭輸入模塊input_uvc．so，集成了云臺控制功能的HTTP輸出模塊output_http．so，把執(zhí)行文件移植到／usr／bin目錄下。
    將編寫好的客戶端網(wǎng)頁存放在開發(fā)板根文件系統(tǒng)的某個文件夾下，例如／var／Pages。啟動視頻服務(wù)器后，指定服務(wù)器的輸入組件、輸出組件以及該文件夾的路徑，那么客戶端瀏覽到的頁面就是該文件下的網(wǎng)頁。
3．4 系統(tǒng)瀏覽器客戶端
    系統(tǒng)客戶端采用網(wǎng)頁形式，界面如圖7所示。左邊是圖像幀顯示區(qū)域，用于顯示服務(wù)器端傳送的圖像數(shù)據(jù)。右邊的方向鍵，則是用于控制云臺設(shè)備多角度旋轉(zhuǎn)。

4 結(jié)束語
    隨著社會信息化的進步，視頻監(jiān)控作為一項重要的工具，幾乎涉及了所有行業(yè)。視頻服務(wù)器應(yīng)用程序在視頻監(jiān)控系統(tǒng)中扮演著極其重要的角色。本文從特點、處理流程、組件、應(yīng)用4個方面對開源視頻服務(wù)器軟件MJPG-streamer進行分析，理順軟件的處理思路，并將這款開源軟件進行修改后，應(yīng)用于實際的視頻監(jiān)控系統(tǒng)的開發(fā)，具有一定的參考價值。