當(dāng)前位置:首頁(yè) > 嵌入式 > 嵌入式硬件
[導(dǎo)讀]針對(duì)嵌入式設(shè)備在進(jìn)行多媒體數(shù)據(jù)處理時(shí)存在的資源限制問(wèn)題,采用了一種開(kāi)源視頻服務(wù)器軟件MJPG-streamer完成多媒體數(shù)據(jù)的處理及存儲(chǔ),基于該軟件的特點(diǎn)和體系結(jié)構(gòu),通過(guò)修改MJPG-streamer的源代碼,添加新的功能模塊,以增強(qiáng)這款軟件的功能。并重新交叉編譯后,移植到嵌入式系統(tǒng)中,以實(shí)現(xiàn)一個(gè)可控制前端設(shè)備的基于Arm9的嵌入式遠(yuǎn)程視頻監(jiān)控系統(tǒng)。實(shí)驗(yàn)結(jié)果表明,該方法很好地增強(qiáng)了視頻數(shù)據(jù)處理的效果,并可流暢地在客戶(hù)端播放瀏覽器。

“MJPG-streamer”是一個(gè)輕量級(jí)的視頻服務(wù)器軟件。一個(gè)可以從單一輸入組件獲取圖像并傳輸?shù)蕉鄠€(gè)輸出組件的命令行應(yīng)用程序。

該軟件可應(yīng)用在基于IP協(xié)議的網(wǎng)絡(luò)中,從網(wǎng)絡(luò)攝像機(jī)中獲取并傳輸JPEG格式的圖像到瀏覽器,例如Firefox、Cambozola、Videolanclie nt,甚至是一個(gè)運(yùn)行了TCPMP播放器的Windows移動(dòng)設(shè)備。

它繼承于uvc_streamer,為在RAM和CPU上存在資源限制的嵌入式設(shè)備而寫(xiě)的。因?yàn)榧嫒軱inux-uvc的攝像機(jī)可以直接生成JPEG數(shù)據(jù),即使是運(yùn)行OpenWRT Linux的嵌入式設(shè)備也可以快速處理M-JPEG數(shù)據(jù)流。

這款工具源代碼簡(jiǎn)潔,注釋清晰。組件功能明確,銜接清晰。使用Linux C語(yǔ)言進(jìn)行開(kāi)發(fā),可移植到不同的計(jì)算機(jī)平臺(tái),也可以在根據(jù)GPL v2的條款下進(jìn)行改進(jìn)和發(fā)行。

1 MJPG-streamer的處理流程

MJPG-streamer主函數(shù)的定義在mjpg-streamer.c文件。主函數(shù)的處理流程如圖1所示。


2 MJPG-streamer的相關(guān)組件

MJPG-streamer采用模塊化的設(shè)計(jì)方法,以功能塊為單位進(jìn)行描述,這些功能塊被稱(chēng)為plug-in(組件)。軟件中定義好了各組件的輸入、輸出,以及組件之間的銜接關(guān)系。用戶(hù)可自行根據(jù)對(duì)功能的需求,選擇需要的模塊。這種模塊化的程序設(shè)計(jì)簡(jiǎn)化了代碼的編寫(xiě)、調(diào)試、維護(hù),程序員只需要遵守設(shè)計(jì)的規(guī)范,就可以輕松地改寫(xiě)軟件,或者編寫(xiě)新的模塊以增強(qiáng)軟件的功能。

MJPG-streamer最主要并且最常用的組件是input_uvc輸入組件和output_http輸出組件。其他組件包括input_control、input_file、input_testpicture、input_gspcavl、output_autofocus、output_file、out_viewer,如圖2所示。



2.1 input_uvc輸入組件

input_uvc組件的主要功能是獲取攝像頭拍攝的圖像并將其壓縮編碼,共包括5個(gè)組件接口函數(shù),這些組件接口函數(shù)是各個(gè)組件提供給外部使用的接口。相關(guān)函數(shù)的定義可查看input_uvc.c文件。

下面以input_uvc輸入組件為例來(lái)詳細(xì)介紹模塊化程序設(shè)計(jì)的具體思路以及MJPG-streamer組件的工作方式。

1)int input_init(input_parameter*param)
這個(gè)函數(shù)是輸入組件的初始化函數(shù),它的主要工作是初始化相關(guān)參數(shù),為之分配內(nèi)存空間,并打開(kāi)視頻設(shè)備。

輸入組件初始化函數(shù)的工作流程如圖3所示。

視頻設(shè)備數(shù)據(jù)結(jié)構(gòu)vdIn的定義如下:



2)int input_run(void)

該函數(shù)使用pthread_create函數(shù)創(chuàng)建工作線程。并使用pthread_detach函數(shù)將該線程設(shè)置為分離狀態(tài)。在input_uvc組件中,input_run函數(shù)創(chuàng)建cam_thread線程,該線程負(fù)責(zé)抓取攝像頭采集的一幀圖像并進(jìn)行格式轉(zhuǎn)換,采用的是V4L2視頻設(shè)備開(kāi)發(fā)框架。具體工作流程請(qǐng)參考下文描述。

3)int input_stop(void)

該函數(shù)通過(guò)調(diào)用pthread_cancel(pthread_t tid)函數(shù)實(shí)現(xiàn)主線程取消cain_thread線程(抓取數(shù)據(jù)幀的工作線程),這兩個(gè)線程在同一個(gè)進(jìn)程內(nèi),共享該進(jìn)程的地址空間。主線程通過(guò)內(nèi)核發(fā)送信號(hào)以取消工作線程。tid是要取消線程的線程ID。

4)int input_cmd(int in_cmd_type cmd,int value)

該函數(shù)的主要功能是對(duì)網(wǎng)絡(luò)攝像頭鏡頭的控制,例如對(duì)色彩、飽和度、對(duì)焦等功能的控制。in_cmd_type結(jié)構(gòu)體定義了對(duì)輸入組件進(jìn)行控制的命令類(lèi)型,把對(duì)鏡頭的控制命令類(lèi)型和參數(shù)值傳入此函數(shù)。函數(shù)內(nèi)進(jìn)行匹配,以完成對(duì)鏡頭的控制操作。

input_uvc組件的私有函數(shù)如下:
1)void help(void)
該函數(shù)打印相關(guān)的幫助信息到stderr。
2)void*cam_thread(void*arg)
這個(gè)工作線程的作用是抓取一幀數(shù)據(jù)并把它復(fù)制到全局緩沖區(qū)。它的工作流程如圖4所示。

工作流程不斷循環(huán),直至線程退出。退出前使用pthread_cleanup_pop函數(shù)調(diào)用cam_cleanup線程清理函數(shù)。

3)void cam_cleanup(void*arg)

該函數(shù)是線程清理函數(shù),線程退出前,使用此函數(shù)釋放在工作線程中被分配的資源。

2.2 ouput_http輸出組件

output_http輸出組件中的http.c文件內(nèi)定義了服務(wù)器對(duì)客戶(hù)端請(qǐng)求的響應(yīng)。

send_snapshot、send_stream、send_error、send_file分別定義了如何響應(yīng)客戶(hù)端發(fā)送截圖、發(fā)送視頻流、發(fā)送錯(cuò)誤信息、發(fā)送文件的請(qǐng)求信息。

command函數(shù)執(zhí)行客戶(hù)端指定控制命令,并發(fā)送反饋信息。

server_thread服務(wù)線程的作用是打開(kāi)一個(gè)TCP socket并等待客戶(hù)端連接。如有客戶(hù)端鏈接,則為每一個(gè)連接到服務(wù)器的客戶(hù)端創(chuàng)建一個(gè)client_thread專(zhuān)門(mén)服務(wù)于該客戶(hù)端。
client_thread客戶(hù)線程的作用是為連接到服務(wù)器的客戶(hù)端服務(wù)。

3 MJPG-streamer在嵌入式中的應(yīng)用

本文通過(guò)修改軟件源代碼,實(shí)現(xiàn)軟件的額外功能。將MJPG-streamer作為視頻服務(wù)器軟件,應(yīng)用于嵌入式開(kāi)發(fā)。

系統(tǒng)以S3C2440微處理器為核心,構(gòu)建嵌入式視頻監(jiān)控系統(tǒng)。Arm9將攝像頭拍攝圖像經(jīng)壓縮后傳到Web客戶(hù)端,客戶(hù)端除了可以查看攝像頭拍攝圖像外,還可以控制云臺(tái)設(shè)備,從而獲得任意角度的圖像。

采用低端云臺(tái)作為前端的控制設(shè)備,嵌入式視頻服務(wù)器可提供多個(gè)前端設(shè)備接口與多個(gè)云臺(tái)連接。嵌入式視頻服務(wù)器根據(jù)各客戶(hù)端的請(qǐng)求,將圖像或云臺(tái)控制信號(hào)傳輸給相應(yīng)的前端設(shè)備。本文只實(shí)現(xiàn)系統(tǒng)的基本模型,采用一個(gè)云臺(tái)設(shè)備??稍诨灸P偷幕A(chǔ)上,擴(kuò)展成多路傳輸。

3.1 系統(tǒng)硬件平臺(tái)

系統(tǒng)的硬件平臺(tái)采用的是天嵌的TQ-2440開(kāi)發(fā)板,CPU處理器是S3C2440AL,主頻為400MHz,最高可達(dá)533MHz,配備256MB的Nand Flash、2 MB的Nor Flash以及64 MB的SDRAM,可滿(mǎn)足系統(tǒng)要求。另外使用了一個(gè)V4L2攝像頭,以及一個(gè)RS485接口的低端云臺(tái)設(shè)備。

3.2 系統(tǒng)硬件連接方式

云臺(tái)控制器在本系統(tǒng)中是前端的控制設(shè)備,它負(fù)責(zé)接受視頻服務(wù)器設(shè)備發(fā)送的串行編碼信號(hào),其內(nèi)置解碼器作為中間設(shè)備經(jīng)RS485轉(zhuǎn)RS232后,與arm9的RS232串口連接,解碼器通過(guò)串口與arm9通信。arm9通過(guò)串口發(fā)送控制信號(hào)給云臺(tái),云臺(tái)解碼器接受到信號(hào)后,對(duì)控制信號(hào)進(jìn)行地址解析,解析地址與解碼器內(nèi)部設(shè)置地址一致時(shí),云臺(tái)解析控制信號(hào),將其轉(zhuǎn)換成控制云臺(tái)或鏡頭的控制電壓,最后將控制電壓傳遞給云臺(tái)和鏡頭,從而實(shí)現(xiàn)對(duì)云臺(tái)轉(zhuǎn)動(dòng)以及鏡頭調(diào)整的操作。如解析地址與內(nèi)部設(shè)置地址不一致時(shí),則解碼器不進(jìn)行相應(yīng)轉(zhuǎn)換。
系統(tǒng)實(shí)物模型如圖5所示。


3.3 系統(tǒng)軟件平臺(tái)

3.3.1 集成云臺(tái)控制功能

瀏覽器客戶(hù)端通過(guò)登錄服務(wù)器,獲取視頻流以及控制云臺(tái)轉(zhuǎn)動(dòng)。云臺(tái)控制是為了實(shí)現(xiàn)多角度監(jiān)控的功能。因此需要對(duì)MJPG-streamer的源代碼進(jìn)行改寫(xiě),集成云臺(tái)控制功能。

3)http.c文件里的command函數(shù)的作用是當(dāng)服務(wù)器接收了客戶(hù)端的傳值并進(jìn)行解析后,執(zhí)行客戶(hù)端指定的控制命令。它把控制命令進(jìn)行進(jìn)一步解析,解析出命令是屬于攝像頭控制、MJPG-streamer系統(tǒng)控制(如MJPG-streamer重新配置命令)還是筆者添加的云臺(tái)控制命令。
在這個(gè)函數(shù)里,首先調(diào)用編寫(xiě)的云臺(tái)設(shè)備初始化函數(shù)intptz_device_init(void)。此函數(shù)負(fù)責(zé)打開(kāi)arm9上的串口設(shè)備并進(jìn)行串口配置。

其次,遍歷輸出組件命令字符串與命令類(lèi)型映射數(shù)組,找到與命令字符串相匹配的控制命令類(lèi)型。

再次,調(diào)用添加在output_http輸出組件的實(shí)現(xiàn)文件output_http.c中的output_cmd函數(shù)。在此函數(shù)中,調(diào)用控制函數(shù),根據(jù)不同的云臺(tái)控制命令,發(fā)送數(shù)據(jù)到云臺(tái)解碼器。Arm9與云臺(tái)通信部分,采用的是PELCO-D協(xié)議。它的工作流程如圖6所示。

4)把云臺(tái)控制功能集成進(jìn)MJPG-streamer后,需要修改output_http輸出組件的Makefile。修改后的Makefile如下:

3.3.2 移植視頻服務(wù)器軟件

首先,移植ipeg庫(kù)和SDL庫(kù)到開(kāi)發(fā)板根文件系統(tǒng)的/lib目錄下。

然后,將重新集成編譯后的mjpg-streamer相應(yīng)模塊移植到開(kāi)發(fā)板根文件系統(tǒng)的/lib目錄下,使用到的模塊有攝像頭輸入模塊input_uvc.so,集成了云臺(tái)控制功能的HTTP輸出模塊output_http.so,把執(zhí)行文件移植到/usr/bin目錄下。

將編寫(xiě)好的客戶(hù)端網(wǎng)頁(yè)存放在開(kāi)發(fā)板根文件系統(tǒng)的某個(gè)文件夾下,例如/var/Pages。啟動(dòng)視頻服務(wù)器后,指定服務(wù)器的輸入組件、輸出組件以及該文件夾的路徑,那么客戶(hù)端瀏覽到的頁(yè)面就是該文件下的網(wǎng)頁(yè)。

3.4 系統(tǒng)瀏覽器客戶(hù)端

系統(tǒng)客戶(hù)端采用網(wǎng)頁(yè)形式,界面如圖7所示。左邊是圖像幀顯示區(qū)域,用于顯示服務(wù)器端傳送的圖像數(shù)據(jù)。右邊的方向鍵,則是用于控制云臺(tái)設(shè)備多角度旋轉(zhuǎn)。


4 結(jié)束語(yǔ)

隨著社會(huì)信息化的進(jìn)步,視頻監(jiān)控作為一項(xiàng)重要的工具,幾乎涉及了所有行業(yè)。視頻服務(wù)器應(yīng)用程序在視頻監(jiān)控系統(tǒng)中扮演著極其重要的角色。本文從特點(diǎn)、處理流程、組件、應(yīng)用4個(gè)方面對(duì)開(kāi)源視頻服務(wù)器軟件MJPG-streamer進(jìn)行分析,理順軟件的處理思路,并將這款開(kāi)源軟件進(jìn)行修改后,應(yīng)用于實(shí)際的視頻監(jiān)控系統(tǒng)的開(kāi)發(fā),具有一定的參考價(jià)值。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專(zhuān)欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車(chē)的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車(chē)技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車(chē)工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車(chē)。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車(chē) 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶(hù)希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱(chēng),數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱(chēng)"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉