基于Hi3516A的H265 IPC LIVE555 開發(fā)基本原理

1 系統(tǒng)工作原理

系統(tǒng)以Hi3516A開發(fā)平臺（由高分辨率1080 p的AR0330攝像頭模塊和帶千兆以太網(wǎng)功能的Hi3516A控制器模塊組成硬件平臺，并在硬件平臺上燒寫了U-Boot、Linux內(nèi)核和加載了相關(guān) 驅(qū)動）作為基礎(chǔ)，在該平臺上開發(fā)應(yīng)用程序。

首先，進(jìn)程A獲取來自AR0330攝像頭模塊的YUV原始視頻圖像，并使用H265壓縮編碼算法進(jìn)行壓縮編碼獲 得H265格式碼流，該過程通過使用海思提供的媒體處理平臺（MPP）實(shí)現(xiàn)；

其次，進(jìn)程B負(fù)責(zé)響應(yīng)網(wǎng)絡(luò)客戶端的請求，將進(jìn)程A的輸出碼流通過千兆以太網(wǎng)接 口實(shí)時(shí)地發(fā)送出去，該過程通過對LIVE555開源代碼（該代碼原本只支持文件發(fā)送功能，而不支持內(nèi)存實(shí)時(shí)數(shù)據(jù)發(fā)送功能）二次開發(fā)實(shí)現(xiàn)；

此外，進(jìn)程A與進(jìn) 程B之間的數(shù)據(jù)交換使用共享內(nèi)存進(jìn)程通信方式，節(jié)約了CPU資源和時(shí)間成本。

2 功能實(shí)現(xiàn)

2.1 視頻捕捉與編碼

選擇在 Hi3516A開發(fā)平臺上開發(fā)體現(xiàn)了在視頻捕捉和編碼過程中的很多優(yōu)勢。

Hi3516A是專用于HD IP攝像機(jī)的多媒體芯片，具有高性能Cortex-A7處理器和內(nèi)部集成的硬件H265視頻標(biāo)準(zhǔn)編碼器；此外，海思提供的MPP對應(yīng)用軟件屏蔽了芯 片相關(guān)的復(fù)雜的底層處理，提供給應(yīng)用程序方便的接口，這樣不僅大大縮短了開發(fā)周期，還降低了開發(fā)難度。對于應(yīng)用程序開發(fā)者，只需要使用MPP所提供的接口 實(shí)現(xiàn)特定功能，滿足應(yīng)用。

MPP主要由視頻輸入（VI）、視頻處理（VPSS）、視頻編碼（VENC）、視頻解碼（VDEC）、視頻輸出（VO）、視頻偵測分析（VDA）、 區(qū)域管理（REGION）等模塊組成。本系統(tǒng)用到VI、VPSS、VENC和REGION模塊完成視頻采集、處理、信息疊加和壓縮編碼工作，最終得到目標(biāo) 碼流。

首先，調(diào)用系統(tǒng)控制模塊的媒體處理平臺編程接口（MPI）完成硬件和MPP初始化，它實(shí)現(xiàn)的重要功能是分配視頻緩存池；

其次，調(diào)用VI模塊的MPI創(chuàng)建視頻輸入設(shè)備和視頻物理通道并設(shè)置參數(shù)；

然后，調(diào)用VPSS模塊的MPI創(chuàng)建組和通道，并設(shè)置組和通道參數(shù)，輸出期望分辨率的視頻數(shù)據(jù)；

最后，調(diào)用REGION模塊的MPI，在原始圖像上疊加用戶信息，并調(diào)用VENC模塊的MPI對YUV原始圖像進(jìn)行H265壓縮編碼，得到 H265格式碼流。

完成以上工作后，創(chuàng)建一個(gè)線程不斷從編碼通道獲取實(shí)時(shí)H265碼流。整個(gè)過程都通過調(diào)用各模塊的MPI實(shí)現(xiàn)，難度較低。

2.2 H265實(shí)時(shí)碼流傳輸

本系統(tǒng)中，H265實(shí)時(shí)流媒體數(shù)據(jù)的傳輸在LIVE555 C++開源項(xiàng)目的基礎(chǔ)上實(shí)現(xiàn)。Live555 是一個(gè)為流媒體提供解決方案的跨平臺的C++開源項(xiàng)目，它實(shí)現(xiàn)了對標(biāo)準(zhǔn)流媒體傳輸協(xié)議如RTP/RTCP、RTSP、SIP等的支持。Live555實(shí)現(xiàn) 了對多種音視頻編碼格式的音視頻數(shù)據(jù)的流化、接收和處理等支持，包括MPEG、H.263+、DV、JPEG視頻和多種音頻編碼。同時(shí)由于良好的設(shè) 計(jì)，Live555非常容易擴(kuò)展對其他格式的支持。目前，Live555已經(jīng)被用于多款播放器的流媒體播放功能的實(shí)現(xiàn)，如VLC(VideoLan)、 MPlayer。

LIVE555默認(rèn)只支持發(fā)送音視頻文件，而不支持從媒體設(shè)備獲取的實(shí)時(shí)碼流。需要修改LIVE555源代碼以實(shí)現(xiàn)H265碼流實(shí)時(shí)發(fā)送功能。

一 種方法是通過有名管道（FIFO）實(shí)現(xiàn)，這種方法不需要修改LIVE555源代碼，只需在視頻捕捉與編碼源進(jìn)程中創(chuàng)建一個(gè)FIFO，并不斷把實(shí)時(shí)H265 碼流寫入FIFO中即可。LIVE555服務(wù)器端用發(fā)送音視頻文件的方式獲取FIFO中數(shù)據(jù)，完成實(shí)時(shí)直播。這種方法容易實(shí)現(xiàn)，使用較多，但是當(dāng)視 頻碼流率較大時(shí)監(jiān)控端的延時(shí)較大，并存在卡頓、馬賽克等現(xiàn)象，效果較差。

另一種方法是通過修改LIVE555源代碼，從實(shí)現(xiàn)RTSP服務(wù)的相關(guān)基類派生出 H265碼流直播的類，重寫類的成員方法來實(shí)現(xiàn)。該方法通過共享內(nèi)存進(jìn)程通信方式實(shí)現(xiàn)與視頻捕捉和編碼進(jìn)程的碼流交互。這種方法的實(shí)現(xiàn)比較復(fù)雜，但在數(shù)據(jù) 處理過程中比第一種方式少了多次數(shù)據(jù)寫入和拷貝工作，從而監(jiān)控端能夠以較大碼流率實(shí)時(shí)、流暢地播放高清視頻圖像。

LIVE555主要通過任務(wù)調(diào)度機(jī)制和 RTSP服務(wù)機(jī)制兩個(gè)部分實(shí)現(xiàn)流媒體服務(wù)器功能。其中任務(wù)調(diào)度機(jī)制主要通過TaskScheduler類庫實(shí)現(xiàn)，它完成網(wǎng)絡(luò)套接字任務(wù)、延時(shí)任務(wù)和 觸發(fā)事件三種任務(wù)的循環(huán)調(diào)度，從而構(gòu)成了系統(tǒng)運(yùn)行框架。而RTSP服務(wù)機(jī)制通過工程的liveMedia目錄下的類庫實(shí)現(xiàn)，通過把RTSP協(xié)議加入到運(yùn)行 框架中，實(shí)現(xiàn)了流媒體服務(wù)器。下面具體分析RTSP服務(wù)機(jī)制的實(shí)現(xiàn)過程。

首先，建立RTSPServer，監(jiān)聽客戶端的連接請求，響應(yīng)客戶 端請求建立連接后，創(chuàng)建RTSPClientSession，RTSP協(xié)議就是在RTSPClientSession中實(shí)現(xiàn)的。

然后是RTSP協(xié)議的實(shí)現(xiàn) 過程，客戶端向服務(wù)器端發(fā)送RTSP描述命令（DESCRIBE），服務(wù)器查找到對應(yīng)的ServerMediaSession（對應(yīng)某個(gè)媒體設(shè)備或某種格 式文件），并生成會話描述協(xié)議（SDP）信息進(jìn)行回應(yīng)；

接著，客戶端發(fā)送RTSP建立命令（SETUP），服務(wù)器端建立RTP/RTCP套接字，并建立特 定的Source和Sink，為數(shù)據(jù)的獲取、封包和發(fā)送做準(zhǔn)備；

完成以上步驟后，客戶端發(fā)送播放命令（PLAY），服務(wù)器端響應(yīng)請求，循環(huán)調(diào)用 Source對象的成員方法獲取數(shù)據(jù)并通過Sink對象的成員方法進(jìn)行封包和發(fā)送，實(shí)現(xiàn)流媒體服務(wù)器的功能；在播放過程中，客戶端可以發(fā)送終止命令 （TERADOWN）結(jié)束流媒體會話。

從RTSP協(xié)議實(shí)現(xiàn)過程可知，為了支持H265實(shí)時(shí)流媒體數(shù)據(jù)傳輸，需要實(shí)現(xiàn)用戶自定義類 ServerMediaSubssion、Source和Sink。自定義的類可以繼承H265VideoFileServer MediaSubsession、H265VideoRTPSink和H265VideoStreamFramer中能共用的方法，重寫H265實(shí)時(shí)流媒 體處理特有的方法。具體實(shí)現(xiàn)方法是添加H265LiveVideoServerMediaSubssion：public H265VideoFileServerMediaSubsession類，并重寫createNewStreamSource成員方法。該成員方法的關(guān) 鍵段代碼段如下：

estBitrate=1000；
H265FramedLiveSource*liveSource=H265FramedLiveSource：：createNew（envir）；
if（liveSource==NULL）{return NULL；}
return H265VideoStreamFramer：：createNew（envir，liveSource）；

該 代碼段的主要工作是把ByteStreamFileSource替換為用戶自定義的H265FramedLiveSource，用于獲取高清攝像頭上的實(shí) 時(shí)視頻數(shù)據(jù)。H265FramedLiveSource的成員方法H265FramedLiveSource：：doGetNextFrame就實(shí)現(xiàn)了從 H265編碼輸出端獲取H265格式視頻數(shù)據(jù)并送到H265VideoRTPSink端的過程。

其中，進(jìn)程之間數(shù)據(jù)交換采用共享內(nèi)存方式，用有名信號量實(shí)現(xiàn)進(jìn)程對共享內(nèi)存的同步訪問。該成員方法的關(guān)鍵代碼段如下：

static int niHaveReadSize=0；
if（Framed_dosent==true）{
	if（0==niHaveReadSize）sem_wait（semr）；
	fFrameSize=（Framed_datasize->niHaveReadSize->fMaxSize）fMaxSize：Framed_datasize-niHaveReadSize；
	memcpy（fTo，shm_add+niHaveReadSize，fFrameSize）；
	niHaveReadSize+=fFrameSize；
	if（niHaveReadSize==Framed_datasize）{
		sem_post（semw）；
		niHaveReadSize=0；
	}
}

這樣，當(dāng)服務(wù)器端收到客戶端PLAY命令時(shí)，不斷調(diào)用H265FramedLiveSource：：doGetNextFrame讀取H265格式視頻數(shù)據(jù)，封包和發(fā)送出去，實(shí)現(xiàn)H265碼流實(shí)時(shí)傳輸功能。

在主函數(shù)中，只需在創(chuàng)建ServerMediaSession時(shí)加入H265LiveVideoServerMediaSubssion，并向RTSPServer中注冊該ServerMediaSession即可。

3 結(jié)果分析

H265碼流實(shí)時(shí)傳輸?shù)某绦蛲ㄟ^海思平臺的交叉編譯工具鏈編譯，生成可執(zhí)行文件，并在海思Hi3516A開發(fā)平臺下運(yùn)行，完成服務(wù)器搭建工作。

客 戶端通過安裝Windows系統(tǒng)下的VLC播放器實(shí)現(xiàn)。打開VLC播放器，在“打開網(wǎng)絡(luò)串流”選項(xiàng)中輸入 rtsp：//192.168.1.116：8554/H265LiveVideo，點(diǎn)擊播放，就可以看到來自高清攝像頭的視頻圖像，并長期穩(wěn)定工作。與 常用的FIFO方式作效果對比，當(dāng)碼流率較大時(shí)，視頻圖像延遲更短，視頻畫面更加完整和流暢。

實(shí)際上Darwin確實(shí)在架構(gòu)以及性能方面較live555略勝一籌，但是LIVE555 是更為廉價(jià)和快捷的開發(fā)方式。