機(jī)器視覺之LBP-TOP詳解

之前介紹過機(jī)器視覺中常用到的一種特征：LBP

LBP可以有效地處理光照變化，在紋理分析，紋理識(shí)別方面被廣泛應(yīng)用。

但是LBP 只能處理單張的二維圖像，對(duì)于視頻或者圖像序列，如何用LBP來提取特征，捕捉視頻序列的運(yùn)動(dòng)信息呢。今天我們就介紹一種稱為 LBP-TOP 的特征，是芬蘭奧盧大學(xué)的 Guoying Zhao 等人提出來的，最早是用來處理動(dòng)態(tài)紋理的識(shí)別，但是現(xiàn)在已經(jīng)被廣泛用在基于視頻的人臉表情識(shí)別上面。

LBP-TOP 是 LBP 從二維空間到三維空間的拓展，LBP-TOP 的全稱為: local binary patterns from three orthogonal planes, 這里的three orthogonal planes 指的就是三個(gè)正交平面，我們知道，單張的圖像只有X, Y兩個(gè)方向，而一個(gè)視頻或者圖像序列除了X,Y 方向之外，還有一個(gè)沿著時(shí)間軸 T 的方向， 而 X-Y, X-T 和 Y-T 三個(gè)方向是相互正交的?？梢钥纯慈缦碌膱D：

圖片來自參考文獻(xiàn) [1]

一個(gè)圖像序列，給出三個(gè)正交平面的紋理圖，X-Y 就是我們正常看到的圖像，X-T 是每一行沿著時(shí)間軸掃描而過的紋理，Y-T 是每一列沿著時(shí)間軸掃描而過的圖像，簡(jiǎn)單來說，我們可以在這三個(gè)平面都提取 LBP 特征，然后把三個(gè)平面的 LBP 特征連接起來，就是 LBP-TOP。 如下圖所示：

圖片來自參考文獻(xiàn) [1]

所以說 LBP-TOP 是 LBP 從二維到三維的拓展，與LBP 相比，LBP-TOP 不僅考慮了 X-Y 平面的紋理信息，還考慮了 X-T, Y-T的紋理信息，而X-T，Y-T 的紋理信息，記錄著重要的動(dòng)態(tài)紋理。

從之前介紹的LBP 我們知道，提取LBP特征，采用 uniform code 編碼的話，會(huì)生成一個(gè) 59 維的數(shù)組，記錄著 LBP 的直方圖信息，那么 LBP-TOP特征，在三個(gè)正交平面都提取LBP，最終會(huì)生成一個(gè) 59&TImes;3 的數(shù)組，特征的維數(shù)一下增加了三倍。很多時(shí)候，我們會(huì)把圖像分塊，一個(gè)圖像分成 4&TImes;4 個(gè)blocks, 每個(gè)block都會(huì)生成一個(gè) 59&TImes;3 的數(shù)組，最后生成的特征的維數(shù)是 4&TImes;4×59×3=2832, 所以LBP-TOP 是一種高維特征。

LBP-TOP 源代碼可以在奧盧大學(xué)的官網(wǎng)下載

聲明：博客上用到的圖片都來自參考文獻(xiàn)[1], 只能用于學(xué)習(xí)交流，嚴(yán)禁用于任何商業(yè)目的，如需轉(zhuǎn)載或引用，請(qǐng)注明文獻(xiàn)[1]為出處。