ffmpeg音視頻不同步解決方法

　　經(jīng)過研究發(fā)現(xiàn)，F(xiàn)FMPEG SDK寫入視頻的時候有兩個地方用來控制寫入的時間戳，一個是AvPacket， 一個是AvFrame。 在調(diào)用avcodec_encode_video的時候需要傳入AvFrame的對象指針，也就是傳入一幀未壓縮的視頻進行壓縮處理，AvFrame包含一個pts的參數(shù)，這個參數(shù)就是當(dāng)前幀將來在還原播放的時候的時間戳。而AvPacket里面也有pts，還有dts。說起這個就必須要說明一下I，P，B三種視頻壓縮幀。I幀就是關(guān)鍵幀，不依賴于其他視頻幀，P幀是向前預(yù)測的幀，只依賴于前面的視頻幀，而B幀是雙向預(yù)測視頻幀，依賴于前后視頻幀。由于B幀的存在，因為它是雙向的，必須知道前面的視頻幀和后面的視頻幀的詳細(xì)內(nèi)容后，才能知道本B幀最終該呈現(xiàn)什么圖像。而pts和dts兩個參數(shù)就是用來控制視頻幀的顯示和解碼的順序。

　　pts就是幀顯示的順序。

　　dts就是幀被讀取進行解碼的順序。

　　如果沒有B幀存在，dts和pts是相同的。反之，則是不相同的。關(guān)于這個的詳細(xì)介紹可以參考一下mpeg的原理。

　　再說說AvPacket中包含的pts和dts兩個到底該設(shè)置什么值？

　　pts和dts需要設(shè)置的就是視頻幀解碼和顯示的順序。每增加一幀就加一，并不是播放視頻的時間戳。

　　但是實踐證明經(jīng)過rmvb解碼的視頻有時候并不是固定幀率的，而是變幀率的，這樣，如果每壓縮一幀，pts和dts加一的方案為導(dǎo)致音視頻不同步。

　　lTImeStamp 是通過directshow 獲取的當(dāng)前的視頻幀的時間戳。

　　m_llframe_index為當(dāng)前已經(jīng)經(jīng)過壓縮處理的幀的數(shù)量。

　　首先av_rescale計算得到當(dāng)前壓縮處理已經(jīng)需要處理什么時間戳的視頻幀，如果該時間戳尚未到達directshow當(dāng)前提供的視頻幀的時間戳，則將該幀丟棄掉。

　　否則進行壓縮操作。并設(shè)置AVPacket的pts和dts。這里假設(shè)B幀不存在。

　　因為在將來播放的時候視頻以我們設(shè)定的固定播放幀率進行播放，所以需要根據(jù)設(shè)定的播放幀率計算得到的視頻幀時間戳和directshow提供的當(dāng)前視頻幀的時間戳進行比較，設(shè)定是否需要進行實施延緩播放的策略。如果需要延緩播放，則將pts增加步長2，否則以普通速度播放，則設(shè)置為1.dts與之相同。

　　__int64 x =av_rescale（m_llframe_index，AV_TIME_BASE*（int64_t）c-《TIme_base.num，c-《TIme_base.den）;

　　if（ x 《 lTimeStamp ）

　　{

　　return TRUE;

　　}

　　m_pVideoFrame2-《pts = lTimeStamp;

　　m_pVideoFrame2-《pict_type = 0;

　　int out_size = avcodec_encode_video（ c， m_pvideo_outbuf， video_outbuf_size，m_pVideoFrame2 ）;

　　/* if zero size， it means the image was buffered */

　　if （out_size 《 0）

　　{

　　AVPacket pkt;

　　av_init_packet（&pkt）;

　　if（ x 《 lTimeStamp ）

　　{

　　pkt.pts = pkt.dts = m_llframe_index;

　　pkt.duration = 0;

　　}

　　else

　　{

　　pkt.duration = （lTimeStamp - x）*c-《time_base.den/1000000 + 1;

　　pkt.pts = m_llframe_index;

　　pkt.dts = pkt.pts;

　　m_llframe_index += pkt.duration;

　　}

　　//pkt.pts = lTimeStamp * （__int64）frame_rate.den / 1000;

　　if（ c-《coded_frame && c-《coded_frame-《key_frame ）

　　{

　　pkt.flags |= PKT_FLAG_KEY;

　　}

　　pkt.stream_index= m_pVideoStream-《index;

　　pkt.data= m_pvideo_outbuf;

　　pkt.size= out_size;

　　/* write the compressed frame in the media file */

　　ret = av_interleaved_write_frame（ m_pAvFormatContext， &pkt ）;

　　}

　　else

　　{

　　ret = 0;

　　}