當前位置:首頁 > 電源 > 線性電源
[導讀]摘要:針對傳統(tǒng)網(wǎng)絡攝像機的結構復雜、效率低下以及昂貴的成本等問題,提出了基于嵌入式Linux和達芬奇技術TMS320DM365處理器平臺的高速網(wǎng)絡攝像機系統(tǒng)的設計方案。通過時基于TMS320DM365的高速網(wǎng)絡攝像機進行硬件軟件

摘要:針對傳統(tǒng)網(wǎng)絡攝像機的結構復雜、效率低下以及昂貴的成本等問題,提出了基于嵌入式Linux和達芬奇技術TMS320DM365處理器平臺的高速網(wǎng)絡攝像機系統(tǒng)的設計方案。通過時基于TMS320DM365的高速網(wǎng)絡攝像機進行硬件軟件設計,從前端攝像頭采集視頻數(shù)據(jù),通過Linux操作系統(tǒng)的V4L2編寫驅動程序從而實現(xiàn)視頻的采集。經(jīng)H.264壓縮算法對視頻數(shù)據(jù)進行處理,最后通過RTP以及RTCP編碼后經(jīng)由100 M網(wǎng)口完成網(wǎng)絡傳輸。
關鍵詞:TMS320DM365;高速網(wǎng)絡攝像機;達芬奇技術;軟件硬件設計

    多媒體技術和網(wǎng)絡與移動通信的飛速發(fā)展激發(fā)了人們進行視頻信息交流的需求。隨著視頻監(jiān)控系統(tǒng)逐步向數(shù)字化發(fā)展.開發(fā)新一代基于計算機網(wǎng)絡以及多媒體壓縮算法的視頻監(jiān)控系統(tǒng)成為行業(yè)的主流方向。然而隨著視頻應用的迅速增加,開發(fā)者往往需要花費很多時間來熟悉各種多媒體的標準,最終只能通過編寫與改進代碼來進行開發(fā)與改變。隨著美國TI公司推出達芬奇(DaVinci)平臺后,這一切都在發(fā)生改變。

1 達芬奇技術的主要特點
    達芬奇平臺是典型的基于共享存儲的嵌入式多處理(ARM,DSP,VICP,視頻前端和后端等)環(huán)境,支持的關鍵技術是片內(nèi)實現(xiàn)了多通道的交換中心資源(Switch Central Resources,SCR)?;谄瑑?nèi)SCR,達芬奇平臺在片內(nèi)多處理器之間形成了典型的C/S架構:計算能力強大的DSP可以作為服務器提供算法的實時計算服務;帶有JAVA處理能力的ARM9實現(xiàn)網(wǎng)絡,硬盤音視頻I/O等用戶界面。美國TI公司在達芬奇平臺上專門為音視頻編解碼(Codec)多媒體應用精心設計了系統(tǒng)框架,提供了豐富的系統(tǒng)程序接口SPI,應用程序接口API以及視頻,圖像,話音和音頻千余種流媒體算法組件。他們與操作系統(tǒng),中間件構成了一個應用系統(tǒng)的大部分內(nèi)容,應用系統(tǒng)開發(fā)團隊只需要將他們封裝成運行包,就能得到高可用性和高可靠性的產(chǎn)品。
    達芬奇平臺的最大特點就是基于DSP與ARM的SOC芯片,和與之相關的相關軟件,如圖1所示。


    對達芬奇平臺,硬件上給與雙核架構強有力的支持,在DSP端用DPS/BIOS來支持音/視頻算法的運行,在ARM端用MontaVistaLinux(MV)來支持其對外設的管理。對于ARM與DSP之間的數(shù)據(jù)交叉,則用Codec Engine和Codec Server來加以管理。達芬奇平臺的先進性,對高端音/視頻系統(tǒng)來說,無疑是開發(fā)平臺的最好選擇。

2 TMS320DM365介紹
    TI公司的TMS320DM365是一款面向多媒體技術應用的高性能芯片。TM320DM365功能框圖如圖2所示。


    內(nèi)核方面TMS320DM365集成ARM926EJ-S.H.264協(xié)處理器(HDVICP),MPEG4/JPEG協(xié)處理器(MJCP),能以1080p格式與10幀/s的速度提供H.264編解碼功能,和以1080p格式與24幀/s的速度提供MPEG4編解碼功能,以及以720p格式與30幀/s的速度提供H.264或MPEG4編解碼功能。存儲方面擴展存儲器接口EMIFs包括1個16位256 M地址空間的DDR2和mDDR,以及1個16/8位的AEMIF,可擴展的類型有8/16位NAND Flash,16Mb NOR Flash,SRAM,16位OneNAND等。其他外圍擴展控制器還包括16位HPI(Host-Port Interface),2個MMC(Multimedia Card)/SD(Secure Digital)/SDIO接口,1個16位的WDT(Watch DogTimer),5個SPI(Serial Port Interface)接口其中每個具有兩個片選,1個主/從I2C(Inter-Integrated Circuit)總線控制器,1個支持2.0USB OTG接口控制器等。[!--empirenews.page--]
    TMS320DM365集成的ARM926EJ-S處理器包括32 kBRAM、16 kB ROM(用于非AEMIF啟動模式下的ARMbootloader)、16 kB指令緩存、8 kB數(shù)據(jù)緩存、CP15及MMU等。其中CP15用來對指令、數(shù)據(jù)緩存、MMU以及其他ARM子系統(tǒng)進行配置及控制。MMU使用統(tǒng)一的TLB來對頁表中存儲的信息進行緩存,并為類似Linux、WindowsCE、ultron以及ThreadX等操作系統(tǒng)提供虛擬內(nèi)存。該處理器的寫緩沖數(shù)據(jù)容量高達17 kB,使其可以大幅提高內(nèi)核的性能。
    TMS320DM365中的視頻處理子系統(tǒng)(VPSS)由兩個接口,分別用于視頻捕獲的視頻前段(VPFE)輸入接口和用于圖像顯示的視頻后端(VPBE)輸出接口。圖3為視頻處理子系統(tǒng)系統(tǒng)框圖。


    VPFE模塊主要用于捕獲視頻信號,也可以直接從前端輸入已有的視頻信號。VPFE輸入接口有1個CCD控制器(CCDC)、1個預處理器、柱狀模塊、自動曝光/白平衡/聚焦模塊(H3A)和寄存器組成。CCDC可以與視頻解碼器、CMOS傳感器或電荷耦合裝置連接;預處理器是一個實時的圖像處理器,它把來自CMOS或CCD的原始圖像從RGB轉變?yōu)閅UV422的編碼;柱狀模塊和H3A模塊實現(xiàn)基于原始圖像信息的硬件操作。
    VPBE輸出接口由1個OSD引擎和1個視頻編碼器組成。OSD引擎能夠顯示兩組獨立的視頻窗口或兩組獨立的OSD窗口,還可以以2個視頻窗口、1個OSD窗口和一個屬性窗口的形式顯示。OSD用于在視頻圖像上疊加音量,圖標等位圖或圖像信息。視頻編碼模塊提供數(shù)字輸出和模擬輸出。數(shù)字輸出支持24bitRGB888格式、8/16bit BT.656以及具有獨立的水平和垂直同步功能的CCIT.601輸出;模擬輸出支持4路10bit DAC,均工作于54 MHz,支持復合NTSC/PAL、S端子和分量視頻。

3 系統(tǒng)硬件設計
    系統(tǒng)硬件結構如圖4所示,本系統(tǒng)選擇以TMS320DM365為嵌入式處理器,外圍電路包括有音頻、視頻信號采集電路,以太網(wǎng)絡電路,電源接口,JTFAG,UART,NAND Flash,SD卡,DDR2,USB2.0 OTG以及I2C。


    網(wǎng)絡攝像機系統(tǒng)的信息處理流程主要分為圖像的獲取、圖像的處理傳輸以及圖像的顯示3部分。本系統(tǒng)中,前端攝像頭負責圖像的捕捉,將獲取的未經(jīng)壓縮處理的圖像信號傳輸至電路板中通過TMS320DM365芯片進行壓縮處理以及SD卡的相應存儲,再由以太網(wǎng)接口或其他接口將處理過圖像進行傳輸,在遠端監(jiān)視器上將圖像進行顯示。[!--empirenews.page--]
    本系統(tǒng)的視頻采集模塊采用TVP5146。傳統(tǒng)NTSC/PAL攝像頭的輸出信號格式為模擬信號,由于TMS320DM365的視頻輸入信號是通過VPFE的CCDC以ITU-R BT.601/BT.656格式進行輸入的,所以首先需要通過視頻前段濾波放大器OPA361對采集到的模擬信號進行放大,經(jīng)過視頻解碼芯片TVPS146將模擬信號進行圖像的抗混疊濾波預處理、模擬數(shù)字化轉換及亮度/色度、水平/垂直同步信號的分離,實現(xiàn)模擬視頻信號轉換為數(shù)字并行信號BT.656碼流格式,隨后通過2個12位2選1的FET多路復用器對4路視頻信號選擇1路作為輸入從而完成VPFE的視頻輸入工作。  TVP5146是一種高性能單片數(shù)字視頻解碼器,它可將所有常見的基帶模擬視頻信號,例如NTSC,PAL,SECAM混合信號數(shù)字化并解碼為數(shù)字視頻信號。該解碼器還包括了具有模擬預處理功能的4路10位30MSPS的模數(shù)轉換器。高達10組的視頻輸入終端可以用來配置作為RGB,YPbPr,CVBS分量信號或者S端子視頻輸入。
    網(wǎng)絡控制模塊主要包括EMAC模塊和MDIO模塊,原理圖如圖5所示。


    本系統(tǒng)采用TI公司出品的TSB43EA42作為以太網(wǎng)收發(fā)器。TSB43EA42支持10 MB/100 MB基帶傳輸,提供與MAC層相接的MII接口。它與DM3 65通信的主要引腳有:發(fā)送、接收數(shù)據(jù)線、時鐘、使能信號、錯誤指示、管理數(shù)據(jù)接口、控制/指示引腳等。EMAC控制模塊內(nèi)部集成了8 kB的RAM,主要功能使存放緩沖描述符和以太網(wǎng)數(shù)據(jù)包。MDIO模塊則主要通過兩線接口完成對物理層芯片的配置,工作狀態(tài)檢測等工作。
    串口模塊采用TI公司的MAX322ICPW,主要用來負責開發(fā)板與計算機之間的通信。通過超級終端,完成Linux內(nèi)核的下載以及相關參數(shù)的設置,完成系統(tǒng)的開發(fā)以及調(diào)試。存儲模塊包括了2個擴展存儲接口EMIF和2個MMC/SD卡接口。前者包括DDR控制器和異步擴展存儲接口AEMIF分別用于擴展連接對DDR存儲器和Flash存儲器;后者實現(xiàn)了2個SD卡存儲器的擴展連接。
    電源模塊采用了TI公司的TPS65023作為電源管理芯片。該芯片包括3個DC/DC轉換器以及2個200mA線性穩(wěn)壓器LDO。每路LDO由TMS320DM3 65通過I2C與之通信,實現(xiàn)各路輸出電源電壓的控制,為內(nèi)核存儲器和I/O接口提供1.3,1.8,3.3 V的工作電壓;也可通過5 V穩(wěn)壓器直流供電,通過DC/DC轉換器提供1.3,1.8,3.3 V供電。

4 系統(tǒng)軟件設計
    系統(tǒng)的視頻采集模塊負責從攝像頭中讀取視頻流數(shù)據(jù),讀出的圖像數(shù)據(jù)交由壓縮模塊處理。攝像頭驅動程序加載完成后為了進行視頻采集必須加入Video4Linux模塊,從而可以通過Video4Linux模塊提供的編程接口從攝像頭設備中獲取圖像幀?;赩4L的視頻采集流程圖如圖6所示。


    本系統(tǒng)采用RTP實時傳輸協(xié)議以及RTCP實時傳輸控制協(xié)議作為視頻傳輸?shù)膮f(xié)議。RTP在多點傳送或單點傳送的網(wǎng)絡服務上,提供端對端的網(wǎng)絡傳輸功能,適合應用程序傳輸實時數(shù)據(jù),如:音頻、視頻或者仿真數(shù)據(jù)。RTP由于沒有為實時服務提供資源預留功能,所以不能保證QoS(服務質(zhì)量)。RTCP作為一種控制協(xié)議,通過擴展可以升級為大型的多點傳送網(wǎng)絡,并提供最小限度的控制和鑒別功能。在RTP會話期間,各參與者周期性的傳送RTCP包,RTCP包中含有已發(fā)送的數(shù)據(jù)包的數(shù)據(jù)、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計資料,因此服務器可以利用這些信息動態(tài)的改變傳輸速率,甚至改變有效載荷類型。RTP和RTCP配合使用,他們能以有效地反饋和量小的開銷使傳輸效率最佳化,RTCP利用主要的兩種控制包SR和RR反饋的信息如數(shù)據(jù)包丟失比,數(shù)據(jù)包丟失率,吞吐量和吞吐率,數(shù)據(jù)包到達時延抖動和往返傳播時延等來調(diào)節(jié)實時傳輸,并調(diào)整系統(tǒng)的打包格式,發(fā)包速率來保證流暢地傳輸數(shù)據(jù)和清晰的播放視頻,因此特別適合傳送網(wǎng)上的實時數(shù)據(jù)。
    JRTPLIB作為一個RTP協(xié)議的庫,用來開發(fā)多媒體的應用十分方便。通過JRTPLIB庫發(fā)送或接收RTP數(shù)據(jù),而不用考慮SSRC的沖突、調(diào)度,連RTCP的數(shù)據(jù)也不需要用戶來發(fā)送。用戶只需要使用相應的類來發(fā)送和接收媒體數(shù)據(jù)。下面介紹RTP相關代碼的具體實現(xiàn)。
    在使用JRTPLIB傳輸多媒體數(shù)據(jù)之前,首先應該創(chuàng)建一個RTPSession類的一個對象來標識此次會話。然后通過RTPSession實例的create()方法來對其進行初始化操作。在create()時,需要兩個參數(shù)sessparams和transparams,分別為RTPSessionParams和RTPUDPv4Trans mission Params的實例。在create()成功以后,需要設置目標地址、凈荷類型、時間戳增量等信息。在RTP會話建立起來以后,我們就可以進行媒體數(shù)據(jù)的傳輸。傳輸凈荷數(shù)據(jù)的方法很簡單,只需要調(diào)用RTPSession實例的SendPacker()方法就可以了。同時為了適應在網(wǎng)上的傳輸,還需對凈荷數(shù)據(jù)進行分割。為了方便的使用,我們需進一步的封裝。對于RTP分組的接收部分,由于給出的是拆分了的數(shù)據(jù)幀,我們需要組合成完整的數(shù)據(jù)幀。這里需要注意的是由于本攝像機采用的H.264解碼算法,所以分流式接收方式以及RTP分組接收方式兩種模式,對于流式傳輸,有的組合成完整的數(shù)據(jù)幀的步驟放在了H.264的NAL層。但對有些音頻和JPEG等應用,還是需要進行組裝過程的。

5 結束語
    提出一種基于TMS320DM365的高速網(wǎng)絡攝像機系統(tǒng)設計。網(wǎng)絡攝像機接入局域網(wǎng)后,在局域網(wǎng)內(nèi)部的PC機上通過IE輸入網(wǎng)絡攝像機的IP地址,通過第三方軟件便可以觀看到攝像機捕捉到的圖像以及網(wǎng)絡攝像機的相關數(shù)據(jù)流量信息。當獲得圖像質(zhì)量要求較高時,相應的圖像數(shù)據(jù)量也會增高,反之減小。在640X480的分辨率下,測得數(shù)據(jù)流量約為960 kb/s,可以滿足對監(jiān)控視頻流暢性的要求。
    本文首先介紹了視頻監(jiān)控系統(tǒng)的發(fā)展趨勢以及嵌入式處理器TMS320DM365的特點,之后通過對該系統(tǒng)的硬件設計以及軟件設計的詳細分析,實現(xiàn)了基于達芬奇技術TMS320DM365的高速網(wǎng)絡攝像機系統(tǒng)。該系統(tǒng)采用了最新的技術,降低了產(chǎn)品的成本,具有很強的實用性,是一種比較理想的網(wǎng)絡攝像機解決方案,可廣泛應用于視頻監(jiān)控系統(tǒng)。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉