ffmpeg學(xué)習(xí)（1）——解碼

FFmpeg是相當(dāng)強(qiáng)大的多媒體編解碼框架，在深入分析其源代碼之前必須要有基本的多媒體基礎(chǔ)知識(shí)，否則其源代碼會(huì)非?；逎y懂。本文將從介紹一些基本的多媒體只是，主要是為研讀ffmpeg源代碼做準(zhǔn)備，比如一些編解碼部分，只有真正了解了多媒體處理的基本流程，研讀ffmpeg源代碼才能事半功倍。

下面分析一下多媒體中最基本最核心的視頻解碼過程，平常我們從網(wǎng)上下載一部電影或者一首歌曲，那么相應(yīng)的多媒體播放器為我們做好了一切工作，我們只用欣賞就ok了。目前幾乎所有的主流多媒體播放器都是基于開源多媒體框架ffmpeg來做的，可見ffmpeg的強(qiáng)大。下面是對(duì)一個(gè)媒體文件進(jìn)行解碼的主要流程：

1.??? 解復(fù)用(Demux)

當(dāng)我們打開一個(gè)多媒體文件之后，第一步就是解復(fù)用，稱之為Demux。為什么需要這一步，這一步究竟是做什么的？我們知道在一個(gè)多媒體文件中，既包括音頻也包括視頻，而且音頻和視頻都是分開進(jìn)行壓縮的，因?yàn)橐纛l和視頻的壓縮算法不一樣，既然壓縮算法不一樣，那么肯定解碼也不一樣，所以需要對(duì)音頻和視頻分別進(jìn)行解碼。雖然音頻和視頻是分開進(jìn)行壓縮的，但是為了傳輸過程的方便，將壓縮過的音頻和視頻捆綁在一起進(jìn)行傳輸。所以我們解碼的第一步就是將這些綁在一起的音頻和視頻流分開來，也就是傳說中的解復(fù)用，所以一句話，解復(fù)用這一步就是將文件中捆綁在一起的音頻流和視頻流分開來以方便后面分別對(duì)它們進(jìn)行解碼，下面是Demux之后的效果。

2. ?? 解碼(Decode)

這一步不用多說，一個(gè)多媒體文件肯定是經(jīng)過某種或幾種格式的壓縮的，也就是通常所說的視頻和音頻編碼，編碼是為了減少數(shù)據(jù)量，否則的話對(duì)我們的存儲(chǔ)設(shè)備是一個(gè)挑戰(zhàn)，如果是流媒體的話對(duì)網(wǎng)絡(luò)帶寬也是一個(gè)幾乎不可能完成的任務(wù)。所以我們必須對(duì)媒體信息進(jìn)行盡可能的壓縮。

3.????FFmpeg中解碼流程對(duì)應(yīng)的API函數(shù)

了解了上面的一個(gè)媒體文件從打開到解碼的流程，就可以很輕松的閱讀ffmpeg代碼，ffmpeg的框架也基本是按照這個(gè)流程來的，但不是每個(gè)流程對(duì)應(yīng)一個(gè)API，下面這副圖是我分析ffmpeg并根據(jù)自己的理解得到的ffmpeg解碼流程對(duì)應(yīng)的API，我想這幅圖應(yīng)該對(duì)理解ffmpeg和編解碼有一些幫助。

Ffmpeg中Demux這一步是通過avformat_open_input（）這個(gè)api來做的，這個(gè)api讀出文件的頭部信息，并做demux，在此之后我們就可以讀取媒體文件中的音頻和視頻流，然后通過av_read_frame()從音頻和視頻流中讀取出基本數(shù)據(jù)流packet，然后將packet送到avcodec_decode_video2()和相對(duì)應(yīng)的api進(jìn)行解碼。