基于實(shí)時(shí)語義分割模型的機(jī)場道面裂縫檢測方法研究

引言

裂縫是機(jī)場道面最主要的表觀結(jié)構(gòu)病害,同時(shí)也是威脅飛機(jī)安全起降的重要隱患。目前機(jī)場主要依靠人工巡檢的方式檢測道面裂縫,這種傳統(tǒng)方法精度差、效率低,且大型機(jī)場的跑道面積大使得檢測人員的工作量巨大。因此,大型機(jī)場對道面裂縫的自動化識別需求越來越強(qiáng)烈。

2012年,被稱為"神經(jīng)網(wǎng)絡(luò)之父"的Hinton和他的學(xué)生AlexKrizhevSky利用深度神經(jīng)網(wǎng)絡(luò)理論設(shè)計(jì)的AlexNet取得ImageNet競賽冠軍,自此之后,人工智能的深度學(xué)習(xí)方法開始蓬勃發(fā)展。到目前為止,深度神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺領(lǐng)域已經(jīng)取得大量的研究成果,并在多個(gè)工業(yè)場景落地使用,如采用FaceNet等人臉識別算法進(jìn)行人臉識別:GAN網(wǎng)絡(luò)用于風(fēng)格化圖片的生成:HRnet等姿態(tài)檢測網(wǎng)絡(luò)用于檢測人或其他感興趣物體的行為姿態(tài):YoLo、FaSterRCNN等目標(biāo)檢測模型用于行人、車輛以及其他感興趣物體的檢測:U-Net、SegNet及DeepLab等語義分割模型用于醫(yī)學(xué)影像中的病變檢測、機(jī)械制造中的缺陷檢測以及自動駕駛中的物體檢測。其中,語義分割模型可對無固定形狀的缺陷進(jìn)行檢測,但最初的語義分割模型結(jié)構(gòu)復(fù)雜,檢測速度慢,不利于工業(yè)落地。2016年6月推出的ENet相對于SegNet,其檢測速度大大提高,在NVIDIATitanx顯卡上實(shí)現(xiàn)了每秒檢測46張像素尺寸為1920×1080的圖片。從2016年至今,實(shí)時(shí)語義分割模型的精度與速度不斷提高,其中2021年推出的DDRNet在NVIDIAGTx2080Ti顯卡上實(shí)現(xiàn)了每秒檢測108張像素尺寸為2048×1024的圖片,已符合工業(yè)落地的要求。

道面裂縫的檢測在機(jī)器視覺領(lǐng)域?qū)儆跈z測任務(wù),當(dāng)前主要有目標(biāo)檢測和語義分割兩大類算法處理檢測任務(wù)。如圖1所示,目標(biāo)檢測算法在圖片上檢測出感興趣物體后用方框標(biāo)記出其在圖片上的位置:如圖2所示,語義分割算法則能夠在檢測出感興趣物體后對物體沿著輪廓進(jìn)行分割?？紤]到裂縫的長度、面積等外觀特征后續(xù)將用于計(jì)算道面損壞情況,本文選擇在TenSorFlow框架下復(fù)現(xiàn)和改進(jìn)當(dāng)前性能表現(xiàn)好的實(shí)時(shí)語義分割模型DDRNet(深度雙分辨率網(wǎng)絡(luò)),用于機(jī)場道面裂縫的自動檢測。

1DDRNet概述

1.1總體結(jié)構(gòu)

DDRNet全稱是深度雙分辨率網(wǎng)絡(luò)(DeepDual-reSolutionNetworkS),總體結(jié)構(gòu)如圖3所示,輸入圖像在經(jīng)過兩個(gè)殘差塊后,特征提取被分成兩個(gè)具有不同分辨率的平行分支:一個(gè)高分辨率分支(圖中上路分支)生成相對高分辨率的特征映射,另一個(gè)低分辨率分支通過多次下采樣操作提取豐富的上下文信息。兩個(gè)分支之間橋接多個(gè)雙邊融合以實(shí)現(xiàn)有效的信息融合,并在最后通過add的形式進(jìn)行特征融合,融合后的特征經(jīng)過卷積模塊得到最終的預(yù)測結(jié)果。另外,DDRNet模型提出了能夠極大增加感受野的深度聚合金字塔合并模塊(DAPPM),該模塊比普通的PPM能更充分地提取信息。

1.2殘差塊

殘差塊(ReSidua1B1ock)是He等提出的殘差網(wǎng)絡(luò)中的基本結(jié)構(gòu),可以解決深度神經(jīng)網(wǎng)絡(luò)的退化問題。殘差塊的結(jié)構(gòu)如圖4所示,其中,X表示輸入,H(X)是期望的復(fù)雜潛在映射,當(dāng)網(wǎng)絡(luò)較深時(shí),難以直接擬合H(X)。模型已經(jīng)學(xué)習(xí)到較飽和的準(zhǔn)確率時(shí),后續(xù)的學(xué)習(xí)目標(biāo)則轉(zhuǎn)變?yōu)楹愕扔成涞膶W(xué)習(xí),即H(X)=X,從而確保在后面的層次中不會造成精度下降。殘差塊通過"ShortcutconnectionS"的方式,直接把輸入X傳到輸出,使輸出結(jié)果為H(X)=F(X)+X,其中F(X)稱為"殘差映射"。F(X)=H(X)-X,當(dāng)F(X)=0時(shí)即實(shí)現(xiàn)恒等映射,于是,殘差網(wǎng)絡(luò)相當(dāng)于將學(xué)習(xí)目標(biāo)從學(xué)習(xí)復(fù)雜潛在映射H(X)變?yōu)閷W(xué)習(xí)將殘差映射F(X)的結(jié)果逼近于0,使得準(zhǔn)確率不會隨著網(wǎng)絡(luò)的加深而下降。因此,殘差塊結(jié)構(gòu)的出現(xiàn),大大加深了深度神經(jīng)網(wǎng)絡(luò)的深度。

1.3雙邊融合結(jié)構(gòu)

雙邊融合結(jié)構(gòu)是人體姿態(tài)檢測網(wǎng)絡(luò)HRNet中的一種重要結(jié)構(gòu),通過多次重復(fù)的雙邊融合實(shí)現(xiàn)對多分辨率子網(wǎng)絡(luò)的多尺度特征融合。雙邊融合的主要結(jié)構(gòu)如圖5所示,高分辨率分支通過卷積層下采樣后與低分辨率分支融合,低分辨率分支通過插值上采樣層后與高分辨率分支融合。

1.4DAPPM模塊

如圖6所示,受MSFNet和ReS2Net的啟發(fā),DDRNet提出了將深度特征聚合與金字塔池化相結(jié)合的DAPPM模塊。該模塊首先通過大尺度的池化核和步長獲得不同分辨率的特征圖,不同分辨率的特征圖經(jīng)上采樣后再以層次殘差的方式進(jìn)行信息融合,融合后的特征通過1×1卷積進(jìn)行壓縮。為了便于優(yōu)化,在壓縮特征上增加了一個(gè)輸入的快捷連接。DAPPM提取的信息比PPM更加豐富。

2模型的訓(xùn)練與結(jié)果處理

2.1數(shù)據(jù)的收集與增強(qiáng)

深度學(xué)習(xí)需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練,故首先通過自研的道面自動檢測機(jī)器人從機(jī)場收集數(shù)據(jù)。如圖7所示,機(jī)器人主要由機(jī)器人小車、線陣相機(jī)、全景相機(jī)、雷達(dá)以及工控機(jī)組成,其中線陣相機(jī)負(fù)責(zé)采集道面的圖像數(shù)據(jù),圖像數(shù)據(jù)的尺寸為2048×2048:工控機(jī)負(fù)責(zé)機(jī)器人小車的自動/遠(yuǎn)程控制以及采集圖片的預(yù)處理。機(jī)器人采集的圖像如圖8所示。

其次還要收集公共的裂縫數(shù)據(jù)集CFD、GAPS384和CRACK500來作為補(bǔ)充。為了進(jìn)一步擴(kuò)充訓(xùn)練數(shù)據(jù),對各數(shù)據(jù)集進(jìn)行了亮度調(diào)節(jié)、鏡像、旋轉(zhuǎn)、裁剪以及仿射彈性變換等數(shù)據(jù)增強(qiáng)操作。經(jīng)過數(shù)據(jù)的收集與增強(qiáng),共獲得36912幅裂縫圖片。

2.2實(shí)驗(yàn)結(jié)果

將裂縫圖片中的80%作為訓(xùn)練數(shù)據(jù)對DDRNet模型進(jìn)行訓(xùn)練,訓(xùn)練完成后用剩余的20%進(jìn)行測試,部分測試效果如圖9所示。本次測試用平均交并比(M1oU)作為算法準(zhǔn)確性評價(jià)指標(biāo),本次調(diào)優(yōu)訓(xùn)練達(dá)到的最好效果為M1oU=72.8%,滿足對裂紋探測的需求,后續(xù)將通過采集更多數(shù)據(jù)提高模型檢測精度。本次測試的主機(jī)顯卡為NV1D1ARTx3090,對像素尺寸為1024x1024圖片的檢測速度為120fpS。巡檢機(jī)器人采集圖片的像素尺寸為2048×2048,可分割為4張1024×1024像素尺寸的圖片,因此,該算法每秒可檢測25張以上巡檢機(jī)器人采集的圖片,達(dá)到了實(shí)時(shí)性的要求。

3結(jié)語

針對道面裂縫病害實(shí)時(shí)檢測以及輪廓提取等問題,本文結(jié)合深度學(xué)習(xí)快速語義分割算法的最新研究成果,采用DDRNet算法對道面裂縫病害進(jìn)行實(shí)時(shí)檢測。通過實(shí)驗(yàn)驗(yàn)證,DDRNet可實(shí)現(xiàn)對一臺2K攝像機(jī)采集圖像進(jìn)行實(shí)時(shí)檢測,且對裂縫病害的檢測精度達(dá)到了應(yīng)用要求。在后續(xù)的研究工作中,可繼續(xù)從快速語義分割模型的角度出發(fā),搭建道面病害實(shí)時(shí)檢測系統(tǒng)。