GDC 2018大會(huì)，AR技術(shù)將參觀者的臉化妝成小矮人形象

ImaginaTIon參加了上周舉辦的GDC 2018大會(huì)，今年的增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)仍然令人興奮，我們?cè)谛“撕蚭moji上做了一些有意思的嘗試。我們?cè)谌四槞z測(cè)Demo上增加整容功能——將參觀者的臉化妝成小矮人形象。

那么具體是怎么操作的呢？我們?cè)O(shè)置了一個(gè)實(shí)時(shí)反饋攝像頭，然后每一幀都能實(shí)時(shí)的檢測(cè)到包含人臉的區(qū)域。然后我們會(huì)在人臉上增加小矮人帽以及個(gè)性化的頭發(fā)和胡須。

為什么？為什么不呢？

從技術(shù)方面來(lái)看，這個(gè)Demo運(yùn)行在集成了ImaginaTIon PowerVR G6430 GPU的谷歌Nexus平臺(tái)上，我們已經(jīng)進(jìn)行了適當(dāng)?shù)男薷氖顾С謱?shí)時(shí)的webcam視頻流輸入，采用OpenCL進(jìn)行人臉檢測(cè)，最后將結(jié)果渲染到屏幕上。這個(gè)算法沒(méi)有采用神經(jīng)網(wǎng)絡(luò)，盡管它在近幾年來(lái)變得很流行。與之相反，這個(gè)Demo中檢測(cè)器的基礎(chǔ)采用的是局部二值模式（LBP）分類器，它會(huì)檢測(cè)每個(gè)相鄰的像素，并基于中心像素與四周相鄰像素的閾值差異計(jì)算出結(jié)果。

在此設(shè)置中LBP是弱分類器，這些弱分類器的輸出會(huì)被組合成級(jí)聯(lián)的強(qiáng)分類器，強(qiáng)分類器來(lái)決定檢測(cè)的結(jié)果是否確實(shí)是真正的人臉。除了核心算法之外，還有一些其他的啟發(fā)，比如精確的提取含有皮膚顏色的區(qū)域以及處理有旋轉(zhuǎn)角度的人臉。如果你對(duì)PowerVR傳統(tǒng)機(jī)器視覺(jué)包括人臉檢測(cè)有濃厚的興趣，請(qǐng)點(diǎn)擊鏈接了解更多信息。

這個(gè)基于神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)Demo不僅僅具備人臉檢測(cè)功能，還能提供身份識(shí)別，第一次進(jìn)入到畫面內(nèi)的人臉會(huì)被注冊(cè)記錄，當(dāng)再次進(jìn)入畫面時(shí)就能夠識(shí)別了。這兩個(gè)Demo都是基于GPU的，如果使用我們最新的PowerVR 2NX神經(jīng)網(wǎng)絡(luò)加速器，人臉檢測(cè)采用專用的硬件來(lái)執(zhí)行，能提供更高的性能，同時(shí)也可以釋放GPU去執(zhí)行其他任務(wù)（比如渲染物理層的小矮人形象或者emoji表情）。閱讀這篇博客了解更多相關(guān)細(xì)節(jié)：為什么說(shuō)PowerVR 2NX NNA是神經(jīng)網(wǎng)絡(luò)加速器的未來(lái)？。