基于Directshow的H.264流媒體播放器設(shè)計(jì)

　　0引言

　　DirectsHow應(yīng)用框架完成了流媒體處理的底層工作，使得編程者無(wú)需關(guān)心數(shù)據(jù)如何輸入，以及處理完后如何輸出，而只需關(guān)心如何對(duì)輸入數(shù)據(jù)進(jìn)行處理。H.264視頻編解碼標(biāo)準(zhǔn)具有高壓縮比和優(yōu)良的網(wǎng)絡(luò)親和性，被普遍認(rèn)為是最有影響力的流媒體視頻壓縮標(biāo)準(zhǔn)。將Direct-show和H.264兩種相結(jié)合的流媒體播放器無(wú)疑將具有非常優(yōu)秀的性能。

　　1Directshow技術(shù)和H.264視頻壓縮標(biāo)準(zhǔn)簡(jiǎn)介

　　Directshow是微軟公司提供的一套流媒體開發(fā)軟件包，為在windows平臺(tái)上處理各種格式的媒體文件的回放、音視頻采集的高性能要求的多媒體應(yīng)用，提供了完整的解決方案。

　　Directshow是一套完全基于COM的應(yīng)用系統(tǒng)，該系統(tǒng)位于應(yīng)用層中，它使用FilterGraph的模型來(lái)管理整個(gè)數(shù)據(jù)流的處理過(guò)程;參與數(shù)據(jù)處理的各個(gè)功能模塊叫Filter;各個(gè)Filter在FilterGraph中按照一定的順序連接成一條“流水線”協(xié)同工作。Filter是一個(gè)COM組件，其功能可以由用戶自行實(shí)現(xiàn)，DirectShowSDK也為用戶提供了一些標(biāo)準(zhǔn)的Filter供用戶使用。各個(gè)Filter在FilterGraph中按一定順序通過(guò)Pin互相連接起來(lái)，Pin也是一個(gè)COM對(duì)象。

　　H.264是由ITU-T和ISO/IEC的聯(lián)合開發(fā)組共同開發(fā)的最新國(guó)際視頻編碼標(biāo)準(zhǔn)。H.264/AVC視頻編碼標(biāo)準(zhǔn)在編碼質(zhì)量和壓縮比上比原有的視頻編碼標(biāo)準(zhǔn)都有了明顯的提高。在相同的視覺感知質(zhì)量上，編碼效率比H.263，MPEG-2和MPEG-4提高了50%左右。H.264不僅具有優(yōu)異的壓縮性能，而且具有良好的網(wǎng)絡(luò)親和性。因此，H.264被普遍認(rèn)為是最有影響力的流媒體視頻壓縮標(biāo)準(zhǔn)。

　　2系統(tǒng)設(shè)計(jì)框架

　　本系統(tǒng)基于Direotshow應(yīng)用框架和H.264視頻壓縮標(biāo)準(zhǔn)，實(shí)現(xiàn)了從網(wǎng)絡(luò)接收流媒體數(shù)據(jù)，并在客戶端實(shí)時(shí)播放的功能。流媒體文件是采用H.264編碼的AVI文件，由于directshow提供了AVISplitteRFilter、AudioDecoder和標(biāo)準(zhǔn)的Video/AudioRenderer，因此，本系統(tǒng)只需設(shè)計(jì)自定義的網(wǎng)絡(luò)源Filter、H.264解碼Filter。

　　多媒體流式傳輸實(shí)際上牽涉到兩個(gè)方面的技術(shù)。其一就是服務(wù)器與客戶端的通信技術(shù)，包括多媒體數(shù)據(jù)的傳輸、命令控制等;其二就是客戶端對(duì)接收到的多媒體流實(shí)時(shí)解碼后播放的技術(shù)。顯然，網(wǎng)絡(luò)通信可以使用windowssocket技術(shù)，多媒體流的解碼播放可以使用direct-show技術(shù)。本文采用direetshow應(yīng)用框架，設(shè)計(jì)了網(wǎng)絡(luò)源filter和h.264解碼filter，并通過(guò)FilterGraph構(gòu)建了流媒體播放器。

　　播放本地基于H.264編碼的AVI文件的FilterGraph如圖1。只需將本地FileSourceFilter替換為網(wǎng)絡(luò)源Filter，將CoreAVCVideoDe-coder替換為h.264解碼Filter，即可實(shí)現(xiàn)網(wǎng)絡(luò)H.264視頻播放器。

　　3系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

　　3.1Filter設(shè)計(jì)流程

　　Filter的編碼實(shí)現(xiàn)包括Filter的注冊(cè)信息、Filter上的框架函數(shù)實(shí)現(xiàn)、邏輯控制類實(shí)現(xiàn)、自定義接口實(shí)現(xiàn)、屬性頁(yè)實(shí)現(xiàn)、產(chǎn)權(quán)保護(hù)等。

　　首先，要對(duì)Filter所要完成的功能和它在FilterGraph中的位置進(jìn)行分析，以確定filter模型，選擇一個(gè)合適的基類;然后，再定義輸入輸出PIN以及自定義接口，注冊(cè)Filter信息;最后實(shí)現(xiàn)基類的全部純虛函數(shù)和自定義接口函數(shù)，并重寫基類的相關(guān)函數(shù)以定制filter功能。

　　3.2網(wǎng)絡(luò)源Filter的設(shè)計(jì)

　　源Filter主要功能是接收服務(wù)器發(fā)來(lái)的流媒體數(shù)據(jù)，并提供給FilterGraph中其它Filter使用。

　　由于directshow自帶的AVIsplitter工作于拉模式，故該源Filter也工作于拉模式。

　　本源Filter采用雙緩沖循環(huán)隊(duì)列技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的接收和向下一級(jí)Filter傳遞數(shù)據(jù)。采用該技術(shù)有如下理由：

　　(1)在SourceFilter與SpliRer連接的過(guò)程中，會(huì)從SourceFilter中讀取一部分?jǐn)?shù)據(jù)，以獲得數(shù)據(jù)的格式描述，否則FilterGraph無(wú)法完成連接。源Filter與SplitterFilter進(jìn)行連接前，應(yīng)啟動(dòng)一個(gè)等待線程，當(dāng)SourceFilter的數(shù)據(jù)緩存預(yù)先接收到足夠的數(shù)據(jù)后，再構(gòu)建完整的FilterGraph。

　　(2)當(dāng)完整的FilterGrapH構(gòu)建完成，并且處于運(yùn)行狀態(tài)后，SourceFilter必須動(dòng)態(tài)地接收數(shù)據(jù)，并持續(xù)地把新數(shù)據(jù)提供給SplitteRFilter，雙緩沖循環(huán)隊(duì)列既充分利用內(nèi)存空間，又能為SplitterFilter提供穩(wěn)定的數(shù)據(jù)源。

　　(3)緩沖隊(duì)列可以穩(wěn)定碼率，有效減小網(wǎng)絡(luò)延時(shí)、阻塞和抖動(dòng)的影響。

　　源Filter的工作過(guò)程如下：建立一個(gè)循環(huán)緩沖隊(duì)列，隊(duì)列尾指針用于緩沖從網(wǎng)絡(luò)接收的數(shù)據(jù)，隊(duì)列頭指針供Splitter讀取數(shù)據(jù)，進(jìn)行音視頻分離，并傳給下一級(jí)Decoder處理;當(dāng)Socket接收到網(wǎng)絡(luò)數(shù)據(jù)后，將數(shù)據(jù)插入隊(duì)列尾部，并使尾指針后移;當(dāng)Splitter需要讀取數(shù)據(jù)時(shí)，從隊(duì)列頭讀取數(shù)據(jù)，并使頭指針后移。

　　流媒體傳輸采用客戶端/服務(wù)器的架構(gòu)，服務(wù)器與客戶端之間還有一個(gè)Socket通信協(xié)議問題，由于流媒體是連續(xù)的，它的同步點(diǎn)不能隨意選擇，因此，為了傳送流媒體數(shù)據(jù)，必須使用面向連接的可靠的傳輸協(xié)議(TCP)。客戶端與服務(wù)器端的控制與反饋消息，則可以使用(UDP)來(lái)傳輸。服務(wù)器端首先創(chuàng)建一個(gè)偵聽Socket，偵聽來(lái)自客戶端的連接請(qǐng)求。一旦偵聽到客戶端的請(qǐng)求，服務(wù)器端就創(chuàng)建一個(gè)用于數(shù)據(jù)傳送的Socket，并綁定到請(qǐng)求連接的客戶端，此時(shí)，服務(wù)器處于數(shù)據(jù)傳送的就緒狀態(tài)。當(dāng)客戶端發(fā)出命令，服務(wù)器再根據(jù)命令的類型執(zhí)行相應(yīng)的操作，如數(shù)據(jù)發(fā)送、停止、斷開連接等。

　　在服務(wù)器端首先將連續(xù)的H.264流分成一塊一塊小包的負(fù)載數(shù)據(jù)，并且加上一個(gè)信息頭一起使用TCP協(xié)議發(fā)送;在客戶端根據(jù)信息頭描述，將小包的負(fù)載數(shù)據(jù)進(jìn)行拼裝，然后進(jìn)行H.264的解碼播放。Socket數(shù)據(jù)傳送結(jié)構(gòu)為：負(fù)載類型(8bit)、負(fù)載數(shù)據(jù)長(zhǎng)度(16bit)和負(fù)載數(shù)據(jù)包(2324Byte)。

　　客戶端的實(shí)現(xiàn)可以參考SDK中的MEMFileFilter，直接從SDK例子將asyncrdr.cpp、asyncrdr.h、asyncio.cpp、asyneio.h四個(gè)文件拷貝過(guò)來(lái)，然后在MemFilter.h文件中從CAsyncStream派生流處理類CMemStream，定制數(shù)據(jù)源并進(jìn)行數(shù)據(jù)的讀取操作;從CAsyncReader派生濾波器類CMemReader，實(shí)現(xiàn)含1個(gè)輸出PIN的SourceFilter框架，完成與SplitterFilter的連接。

　　網(wǎng)絡(luò)源濾波器類間數(shù)據(jù)流程如圖2，下一級(jí)Filter“拉”線程數(shù)據(jù)流程如圖3。其中：CAsyneStream用以標(biāo)示數(shù)據(jù)流;CAsyneRequest標(biāo)示輸入與輸出請(qǐng)求;CAsyncIo實(shí)現(xiàn)數(shù)據(jù)輸入和輸出的控制。編程主要實(shí)現(xiàn)CMemStream：Read()函數(shù)以實(shí)現(xiàn)從特定的數(shù)據(jù)源讀取數(shù)據(jù)到下一級(jí)Filter的Sample中。