基于實(shí)時(shí)語(yǔ)義分割模型的機(jī)場(chǎng)道面裂縫檢測(cè)方法研究

引言

裂縫是機(jī)場(chǎng)道面最主要的表觀結(jié)構(gòu)病害,同時(shí)也是威脅飛機(jī)安全起降的重要隱患。目前機(jī)場(chǎng)主要依靠人工巡檢的方式檢測(cè)道面裂縫,這種傳統(tǒng)方法精度差、效率低,且大型機(jī)場(chǎng)的跑道面積大使得檢測(cè)人員的工作量巨大。因此,大型機(jī)場(chǎng)對(duì)道面裂縫的自動(dòng)化識(shí)別需求越來(lái)越強(qiáng)烈。

2012年,被稱(chēng)為"神經(jīng)網(wǎng)絡(luò)之父"的Hinton和他的學(xué)生AlexKrizhevSky利用深度神經(jīng)網(wǎng)絡(luò)理論設(shè)計(jì)的AlexNet取得ImageNet競(jìng)賽冠軍,自此之后,人工智能的深度學(xué)習(xí)方法開(kāi)始蓬勃發(fā)展。到目前為止,深度神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺(jué)領(lǐng)域已經(jīng)取得大量的研究成果,并在多個(gè)工業(yè)場(chǎng)景落地使用,如采用FaceNet等人臉識(shí)別算法進(jìn)行人臉識(shí)別:GAN網(wǎng)絡(luò)用于風(fēng)格化圖片的生成:HRnet等姿態(tài)檢測(cè)網(wǎng)絡(luò)用于檢測(cè)人或其他感興趣物體的行為姿態(tài):YoLo、FaSterRCNN等目標(biāo)檢測(cè)模型用于行人、車(chē)輛以及其他感興趣物體的檢測(cè):U-Net、SegNet及DeepLab等語(yǔ)義分割模型用于醫(yī)學(xué)影像中的病變檢測(cè)、機(jī)械制造中的缺陷檢測(cè)以及自動(dòng)駕駛中的物體檢測(cè)。其中,語(yǔ)義分割模型可對(duì)無(wú)固定形狀的缺陷進(jìn)行檢測(cè),但最初的語(yǔ)義分割模型結(jié)構(gòu)復(fù)雜,檢測(cè)速度慢,不利于工業(yè)落地。2016年6月推出的ENet相對(duì)于SegNet,其檢測(cè)速度大大提高,在NVIDIATitanx顯卡上實(shí)現(xiàn)了每秒檢測(cè)46張像素尺寸為1920×1080的圖片。從2016年至今,實(shí)時(shí)語(yǔ)義分割模型的精度與速度不斷提高,其中2021年推出的DDRNet在NVIDIAGTx2080Ti顯卡上實(shí)現(xiàn)了每秒檢測(cè)108張像素尺寸為2048×1024的圖片,已符合工業(yè)落地的要求。

道面裂縫的檢測(cè)在機(jī)器視覺(jué)領(lǐng)域?qū)儆跈z測(cè)任務(wù),當(dāng)前主要有目標(biāo)檢測(cè)和語(yǔ)義分割兩大類(lèi)算法處理檢測(cè)任務(wù)。如圖1所示,目標(biāo)檢測(cè)算法在圖片上檢測(cè)出感興趣物體后用方框標(biāo)記出其在圖片上的位置:如圖2所示,語(yǔ)義分割算法則能夠在檢測(cè)出感興趣物體后對(duì)物體沿著輪廓進(jìn)行分割?？紤]到裂縫的長(zhǎng)度、面積等外觀特征后續(xù)將用于計(jì)算道面損壞情況,本文選擇在TenSorFlow框架下復(fù)現(xiàn)和改進(jìn)當(dāng)前性能表現(xiàn)好的實(shí)時(shí)語(yǔ)義分割模型DDRNet(深度雙分辨率網(wǎng)絡(luò)),用于機(jī)場(chǎng)道面裂縫的自動(dòng)檢測(cè)。

1DDRNet概述

1.1總體結(jié)構(gòu)

DDRNet全稱(chēng)是深度雙分辨率網(wǎng)絡(luò)(DeepDual-reSolutionNetworkS),總體結(jié)構(gòu)如圖3所示,輸入圖像在經(jīng)過(guò)兩個(gè)殘差塊后,特征提取被分成兩個(gè)具有不同分辨率的平行分支:一個(gè)高分辨率分支(圖中上路分支)生成相對(duì)高分辨率的特征映射,另一個(gè)低分辨率分支通過(guò)多次下采樣操作提取豐富的上下文信息。兩個(gè)分支之間橋接多個(gè)雙邊融合以實(shí)現(xiàn)有效的信息融合,并在最后通過(guò)add的形式進(jìn)行特征融合,融合后的特征經(jīng)過(guò)卷積模塊得到最終的預(yù)測(cè)結(jié)果。另外,DDRNet模型提出了能夠極大增加感受野的深度聚合金字塔合并模塊(DAPPM),該模塊比普通的PPM能更充分地提取信息。

1.2殘差塊

殘差塊(ReSidua1B1ock)是He等提出的殘差網(wǎng)絡(luò)中的基本結(jié)構(gòu),可以解決深度神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題。殘差塊的結(jié)構(gòu)如圖4所示,其中,X表示輸入,H(X)是期望的復(fù)雜潛在映射,當(dāng)網(wǎng)絡(luò)較深時(shí),難以直接擬合H(X)。模型已經(jīng)學(xué)習(xí)到較飽和的準(zhǔn)確率時(shí),后續(xù)的學(xué)習(xí)目標(biāo)則轉(zhuǎn)變?yōu)楹愕扔成涞膶W(xué)習(xí),即H(X)=X,從而確保在后面的層次中不會(huì)造成精度下降。殘差塊通過(guò)"ShortcutconnectionS"的方式,直接把輸入X傳到輸出,使輸出結(jié)果為H(X)=F(X)+X,其中F(X)稱(chēng)為"殘差映射"。F(X)=H(X)-X,當(dāng)F(X)=0時(shí)即實(shí)現(xiàn)恒等映射,于是,殘差網(wǎng)絡(luò)相當(dāng)于將學(xué)習(xí)目標(biāo)從學(xué)習(xí)復(fù)雜潛在映射H(X)變?yōu)閷W(xué)習(xí)將殘差映射F(X)的結(jié)果逼近于0,使得準(zhǔn)確率不會(huì)隨著網(wǎng)絡(luò)的加深而下降。因此,殘差塊結(jié)構(gòu)的出現(xiàn),大大加深了深度神經(jīng)網(wǎng)絡(luò)的深度。

1.3雙邊融合結(jié)構(gòu)

雙邊融合結(jié)構(gòu)是人體姿態(tài)檢測(cè)網(wǎng)絡(luò)HRNet中的一種重要結(jié)構(gòu),通過(guò)多次重復(fù)的雙邊融合實(shí)現(xiàn)對(duì)多分辨率子網(wǎng)絡(luò)的多尺度特征融合。雙邊融合的主要結(jié)構(gòu)如圖5所示,高分辨率分支通過(guò)卷積層下采樣后與低分辨率分支融合,低分辨率分支通過(guò)插值上采樣層后與高分辨率分支融合。

1.4DAPPM模塊

如圖6所示,受MSFNet和ReS2Net的啟發(fā),DDRNet提出了將深度特征聚合與金字塔池化相結(jié)合的DAPPM模塊。該模塊首先通過(guò)大尺度的池化核和步長(zhǎng)獲得不同分辨率的特征圖,不同分辨率的特征圖經(jīng)上采樣后再以層次殘差的方式進(jìn)行信息融合,融合后的特征通過(guò)1×1卷積進(jìn)行壓縮。為了便于優(yōu)化,在壓縮特征上增加了一個(gè)輸入的快捷連接。DAPPM提取的信息比PPM更加豐富。

2模型的訓(xùn)練與結(jié)果處理

2.1數(shù)據(jù)的收集與增強(qiáng)

深度學(xué)習(xí)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練,故首先通過(guò)自研的道面自動(dòng)檢測(cè)機(jī)器人從機(jī)場(chǎng)收集數(shù)據(jù)。如圖7所示,機(jī)器人主要由機(jī)器人小車(chē)、線陣相機(jī)、全景相機(jī)、雷達(dá)以及工控機(jī)組成,其中線陣相機(jī)負(fù)責(zé)采集道面的圖像數(shù)據(jù),圖像數(shù)據(jù)的尺寸為2048×2048:工控機(jī)負(fù)責(zé)機(jī)器人小車(chē)的自動(dòng)/遠(yuǎn)程控制以及采集圖片的預(yù)處理。機(jī)器人采集的圖像如圖8所示。

其次還要收集公共的裂縫數(shù)據(jù)集CFD、GAPS384和CRACK500來(lái)作為補(bǔ)充。為了進(jìn)一步擴(kuò)充訓(xùn)練數(shù)據(jù),對(duì)各數(shù)據(jù)集進(jìn)行了亮度調(diào)節(jié)、鏡像、旋轉(zhuǎn)、裁剪以及仿射彈性變換等數(shù)據(jù)增強(qiáng)操作。經(jīng)過(guò)數(shù)據(jù)的收集與增強(qiáng),共獲得36912幅裂縫圖片。

2.2實(shí)驗(yàn)結(jié)果

將裂縫圖片中的80%作為訓(xùn)練數(shù)據(jù)對(duì)DDRNet模型進(jìn)行訓(xùn)練,訓(xùn)練完成后用剩余的20%進(jìn)行測(cè)試,部分測(cè)試效果如圖9所示。本次測(cè)試用平均交并比(M1oU)作為算法準(zhǔn)確性評(píng)價(jià)指標(biāo),本次調(diào)優(yōu)訓(xùn)練達(dá)到的最好效果為M1oU=72.8%,滿足對(duì)裂紋探測(cè)的需求,后續(xù)將通過(guò)采集更多數(shù)據(jù)提高模型檢測(cè)精度。本次測(cè)試的主機(jī)顯卡為NV1D1ARTx3090,對(duì)像素尺寸為1024x1024圖片的檢測(cè)速度為120fpS。巡檢機(jī)器人采集圖片的像素尺寸為2048×2048,可分割為4張1024×1024像素尺寸的圖片,因此,該算法每秒可檢測(cè)25張以上巡檢機(jī)器人采集的圖片,達(dá)到了實(shí)時(shí)性的要求。

3結(jié)語(yǔ)

針對(duì)道面裂縫病害實(shí)時(shí)檢測(cè)以及輪廓提取等問(wèn)題,本文結(jié)合深度學(xué)習(xí)快速語(yǔ)義分割算法的最新研究成果,采用DDRNet算法對(duì)道面裂縫病害進(jìn)行實(shí)時(shí)檢測(cè)。通過(guò)實(shí)驗(yàn)驗(yàn)證,DDRNet可實(shí)現(xiàn)對(duì)一臺(tái)2K攝像機(jī)采集圖像進(jìn)行實(shí)時(shí)檢測(cè),且對(duì)裂縫病害的檢測(cè)精度達(dá)到了應(yīng)用要求。在后續(xù)的研究工作中,可繼續(xù)從快速語(yǔ)義分割模型的角度出發(fā),搭建道面病害實(shí)時(shí)檢測(cè)系統(tǒng)。