又火了一個(gè)百度的神器！

你以為這些人像發(fā)絲的勾勒是PS做的嗎？

NO！這是AI算法的效果！

這么好的效果，大家一定好奇是通過(guò)什么AI手段實(shí)現(xiàn)的。經(jīng)過(guò)小編的一番調(diào)研，這項(xiàng)技術(shù)叫做Matting，是指通過(guò)計(jì)算前景的顏色和透明度，將前景從影像中擷取出來(lái)，并生成一張Alpha圖的技術(shù)。

圖片數(shù)據(jù)引用公開(kāi)數(shù)據(jù)集[1]

還是不明白？我們通過(guò)和語(yǔ)義分割技術(shù)的對(duì)比理解會(huì)更有益于理解Matting的作用。語(yǔ)義分割是返回像素分類結(jié)果，分類結(jié)果是整型；而摳圖返回的是屬于前景或背景的概率p，在前景與背景交互區(qū)域會(huì)產(chǎn)生漸變的效果，使得摳圖更加自然。

圖片數(shù)據(jù)<原圖>引用公開(kāi)數(shù)據(jù)集[2]

近期PaddleSeg團(tuán)隊(duì)復(fù)現(xiàn)了經(jīng)典Matting算法MODNet，并進(jìn)行了一定改進(jìn)，提供了更豐富的backbone模型選擇，適用邊緣端、服務(wù)端等多種任務(wù)場(chǎng)景。

在這里小編趕緊給大家貼上項(xiàng)目鏈接地址。歡迎小伙伴們體驗(yàn)：

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.3/contrib/Matting

同時(shí)PaddleSeg團(tuán)隊(duì)提供了可部署在手機(jī)端的APP應(yīng)用，歡迎大家收藏鏈接體驗(yàn)Matting的人像摳圖效果。

APP下載鏈接：https://paddleseg.bj.bcebos.com/matting/models/deploy/app-debug.apkMatting精細(xì)化摳圖被廣泛應(yīng)用在多種行業(yè)，如視頻剪輯，視頻合成等領(lǐng)域。

看到這么好的技術(shù)，有的小伙伴們會(huì)比較關(guān)注技術(shù)上是怎么實(shí)現(xiàn)的，那么我們就一起來(lái)看看Matting的技術(shù)演化過(guò)程。

Matting算法基本結(jié)構(gòu)

基于深度學(xué)習(xí)的Matting分為兩大類：

1. 一種是基于輔助信息輸入。即除了原圖和標(biāo)注圖像外，還需要輸入其他的信息輔助預(yù)測(cè)。最常見(jiàn)的輔助信息是Trimap，即將圖片劃分為前景，背景及過(guò)度區(qū)域三部分。另外也有以背景或交互點(diǎn)作為輔助信息。

   
   

2. 一種是不依賴任何輔助信息，直接實(shí)現(xiàn)Alpha預(yù)測(cè)。

   
   

本文將分別對(duì)兩類Matting算法展開(kāi)介紹，和小伙伴們一起梳理Matting的發(fā)展歷程。

DIM -Matting

DIM（Deep Image matting）第一次闡述了在給定圖像和輔助信息Trimap的情況下，可以通過(guò)端到端的方式學(xué)習(xí)到Alpha。其網(wǎng)絡(luò)分為兩個(gè)階段，第一階段是深度卷積編碼-解碼網(wǎng)絡(luò)， 第二階段是一個(gè)小型卷積神經(jīng)網(wǎng)絡(luò)，用來(lái)減少編碼-解碼網(wǎng)絡(luò)引起的細(xì)節(jié)損失，提升Alpha預(yù)測(cè)的準(zhǔn)確性和邊緣效果。DIM通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取高級(jí)語(yǔ)義信息，真正打開(kāi)了卷積神經(jīng)網(wǎng)絡(luò)在Matting中的應(yīng)用，且在DIM之后誕生了大量的基于Trimap的Matting網(wǎng)絡(luò)。

圖片數(shù)據(jù)引用論文[3]

BGMV2-以背景作為輔助信息

BGMv2(Background Matting v2) 改變思路，利用背景圖像取代Trimap來(lái)輔助網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，有效避免了Trimap獲取費(fèi)時(shí)費(fèi)力的問(wèn)題，并將網(wǎng)絡(luò)分為Base網(wǎng)絡(luò)和Refiner兩部分。在計(jì)算量大的Base網(wǎng)絡(luò)階段對(duì)低分辨率進(jìn)行初步預(yù)測(cè)，在Refiner階段利用Error Map對(duì)高分辨率圖像相應(yīng)的切片進(jìn)行Refine。通過(guò)此，Background Matting v2 實(shí)現(xiàn)了高分辨率圖像的實(shí)時(shí)預(yù)測(cè)。

圖片數(shù)據(jù)引用論文[4]

MODNet

輔助信息的獲取極大限制了Matting的應(yīng)用，為了提升Matting的應(yīng)用性，Portrait Matting領(lǐng)域的MODNet摒棄了輔助信息，直接實(shí)現(xiàn)Alpha預(yù)測(cè)，實(shí)現(xiàn)了實(shí)時(shí)Matting，極大提升了基于深度學(xué)習(xí)Matting的應(yīng)用價(jià)值。MODNet將Matting分解成三個(gè)子目標(biāo)進(jìn)行優(yōu)化，通過(guò)任務(wù)分解提升Alpha預(yù)測(cè)的準(zhǔn)確率。

圖片數(shù)據(jù)引用論文[5]

當(dāng)前PaddleSeg提供的Matting算法便是對(duì)MODNet算法的復(fù)現(xiàn)，并在原著基礎(chǔ)上提供了多個(gè)不同主干網(wǎng)絡(luò)的預(yù)訓(xùn)練模型如RestNet50_vd、HRNet_w18等，來(lái)滿足用戶在邊緣端、服務(wù)端等不同場(chǎng)景部署的需求。

圖片數(shù)據(jù)引用說(shuō)明

[1] Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting.

[2] Qiao, Yu, et al. "Attention-guided hierarchical structure aggregation for image matting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.

[3] Xu, Ning, et al. "Deep image matting." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[4] Lin, Shanchuan, et al. "Real-time high-resolution background matting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

[5] Ke Z, Li K, Zhou Y, et al. Is a Green Screen Really Necessary for Real-Time Portrait Matting?[J]. arXiv preprint arXiv:2011.11961, 2020.