引言
機場道面是供飛機起飛、著陸、滑行、維修、停放的坪道,機場內(nèi)的道面有跑道、滑行道、機坪等,是機場最為重要的基礎(chǔ)設(shè)施。機場道面的健康狀況直接影響著機場航空器的飛行安全,然而,我國大多數(shù)機場其道面建設(shè)時長都達到了數(shù)十年,長期以來,這些機場道面一直處于露天環(huán)境,承受著化學試劑的腐蝕,還要不斷承受航空器帶來的各種載荷,極易產(chǎn)生各種病害,因此機場需要定期對道面進行評價。道面表觀缺陷狀況是道面評價的重要資料,道面表觀缺陷包括裂縫、接縫破碎、板角剝落等(圖1),在過去的幾十年間,主要都是采用人工通過肉眼巡視的方式來記錄的,這樣的方式工作強度大,巡檢效率低。
隨著計算機硬件的革新和圖像處理技術(shù)、深度學習技術(shù)的發(fā)展,一批致力于探索機場道面表觀缺陷自動巡檢技術(shù)的學者涌現(xiàn)出來,希望能夠提高道面表觀缺陷的發(fā)現(xiàn)效率,減少人力的投入。早期的道面表觀缺陷自動檢測技術(shù)主要基于傳統(tǒng)的圖像處理算法。任峰利用小波變換、閾值迭代法來對圖片進行去噪和分割以提取道面裂縫,這類采取圖像處理技術(shù)的方法其弊端在于:道面表觀缺陷基本位于露天環(huán)境下,環(huán)境情況復雜,會面對諸如積水、光照不均勻、夜間低照度等一系列問題,十分不穩(wěn)定,且難以對道面表觀缺陷進行識別分類,算法也相對復雜,計算速度慢。為了提高算法的穩(wěn)定性,吳治龍?zhí)岢隽艘环N結(jié)合深度信息的道面裂縫識別算法,但并不能完全克服上述復雜環(huán)境帶來的問題和檢測速度慢的缺陷,同時也僅能針對裂縫這一種缺陷進行識別提取。
近年來,深度學習發(fā)展迅速,在機場道面檢測領(lǐng)域也得到了許多應用。如馬代鑫提出了一種利用U-net模型對道面裂縫進行分割提取的方法,取得了較小誤差;張力波等人提出使用DDRNet的圖像分割算法來提取道面裂縫信息,但這些研究都沒有考慮表觀缺陷的分類情況,同時模型的復雜度較高,對模型計算速度有一定影響,而且巡檢過程中有大量的背景,用大規(guī)模的模型進行全流程的分割在算力的使用上效率不高。目標檢測算法是深度學習中的一類算法,在實現(xiàn)對目標定位和識別分類所要求的算力上往往較分割算法更低,能夠降低工程化的成本,也能提高道面表觀缺陷檢測的速度,并對多種表觀缺陷進行分類,因此,本文將利用目標檢測算法,針對搜集到的幾種典型的道面表觀缺陷進行研究。
1算法概述
1.1YOLOv7目標檢測算法
目標檢測算法是根據(jù)圖片全局信息分析推理出目標位置和分類的算法,通?？梢詫⑺惴ǚ譃槎A段檢測算法和一階段檢測算法。早期目標檢測算法都是二階段算法,算法在第一階段進行特征提取并分析正樣本的候選區(qū)域,對目標所在位置邊界框進行精確地回歸,確定目標未知區(qū)域,在第二階段進行目標分類的確定:而一階段算法則是直接預測出目標的分類和位置。由于二階段算法在早期可以通過采樣的方式避免樣本的不均衡問題,因此在準確度上一直優(yōu)于一階段算法,但速度上明顯慢于一階段算法。近幾年,一階段算法通過各種技巧很好地控制了樣本不均衡、樣本不一致等問題,在精度上已經(jīng)能媲美甚至超越二階段算法。
部分目標檢測算法性能對比如圖2所示,可以發(fā)現(xiàn),一階段算法YOLOv7平均精度上高于二階段算法FaSter-RCNN,且YOLOv7在速度上也具有很大優(yōu)勢。因此,本文也采用最新的YOLOv7目標檢測算法來進行研究。
1.2算法整體結(jié)構(gòu)
YOLOv7算法的整體框架如圖3所示,主要包含兩個部分:骨干網(wǎng)絡和檢測頭,其中骨干網(wǎng)絡用于提取特征,檢測頭用于對目標的位置和分類進行預測。
1.2.1骨干網(wǎng)絡結(jié)構(gòu)
YOLOv7的骨干網(wǎng)絡由若干基本卷積塊(BaSic-Conv-Block,以下簡稱BCB塊)構(gòu)成,如圖4所示,BCB塊包含一次卷積操作、一次批歸一化操作和一次利用SiLU激活函數(shù)激活的操作。BCB塊中卷積層的卷積操作有(1,1)、(3,1)、(3,2)三種形式,以(3,2)的BCB塊為例,其表示為用3×3的卷積核進行步長為2的卷積操作。
池化過程如圖5所示,在整個算法網(wǎng)絡中,池化塊存在兩種形式:MP-1、MP-2,區(qū)別在于MP-1的輸出通道與輸入通道相等,MP-2的輸出通道是輸入通道的兩倍。
骨干網(wǎng)絡中還有另一種形式的卷積塊,稱作ELAN塊,如圖6所示,ELAN塊是由BCB塊按照圖示組合而成的。
1.2.2檢測頭結(jié)構(gòu)
骨干網(wǎng)絡提取特征是自頂向下的過程,隨著卷積的不斷深入會損耗細節(jié)信息,YOLOv7的檢測頭將骨干網(wǎng)絡提取到的不同深度的特征層進行融合,使得用于預測的特征層既包含深層的整體信息,也包含淺層的細節(jié)信息。檢測頭首先通過自底向上的方式,將深層語義信息上采樣與淺層語義信息融合,再對這幾層特征進行一次自頂向下的卷積,以減少深層特征和淺層特征之間的距離。利用SPPCSP增大感受野,提升算法速度。
檢測頭的ELAN塊結(jié)構(gòu)和骨干網(wǎng)絡中的ELAN塊稍有不同,如圖7所示。
檢測頭中還使用了重參數(shù)化技術(shù),如圖8所示,在訓練過程中使用多分支結(jié)構(gòu)疊加的方式以增加模型的復雜程度,使模型的性能得到提升,在部署時通過重參數(shù)化的方法將多分支結(jié)構(gòu)等效成單分支結(jié)構(gòu),起到壓縮模型參數(shù)量、提高算法效能的作用。
2模型訓練
2.1數(shù)據(jù)集
本文從機場實際道面拍攝的圖片中篩選出3672張圖片進行標注。數(shù)據(jù)集標注了3類典型的表觀缺陷:裂縫、接縫破碎、板角剝落,并隨機選出734張圖片用于驗證,734張圖片用于測試,剩余的用于訓練。隨后利用翻轉(zhuǎn)、顏色空間調(diào)整、仿射變換等數(shù)據(jù)增強方式對數(shù)據(jù)集進行擴充。
2.2模型訓練
模型訓練和測試使用的硬件包括:NVIDIARTx3090顯卡、IntelCoreI9-10900K(3.70GHz)處理器。輸入尺寸為640×640×3,初始學習率為0.01,采用余弦退火法來控制學習率的變化。
另外,該模型在訓練時采用了多尺度訓練,如圖9所示,即每隔一個epoch,微調(diào)訓練圖片的尺度,以增強算法模型對不同大小目標的魯棒性。
3模型評價
該模型的訓練過程記錄如圖10所示,其中深灰色曲線表示的是未經(jīng)多尺度訓練的模型在驗證集上的表現(xiàn)記錄,淺灰色曲線表示的是經(jīng)過多尺度訓練的模型在驗證集上的表現(xiàn)記錄。
該模型在訓練到第354個epoch時的平均精度均值(mAP)達到最高,為0.787,且使用了多尺度訓練的模型在驗證集上的效果在訓練初期mAP要低于不使用多尺度訓練的模型,而當訓練了一段時間以后要優(yōu)于不使用多尺度訓練的模型。
因此,最終選擇進行了多尺度訓練的模型,該模型在測試集上的精確率(PreciSion)為0.809,召回率(Recall)為0.609,mAP為0.755,平均推理耗時僅為22ms。模型輸出效果如圖11所示。
4結(jié)語
根據(jù)實驗結(jié)果可以發(fā)現(xiàn),YOLOv7在針對機場道面的幾種典型表觀缺陷檢測上mAP可以達到0.755,且檢測速度較快(平均僅耗時22ms),可以實現(xiàn)機場道面表觀缺陷的快速檢測。但由于目前用于訓練和測試的數(shù)據(jù)集較小,針對的表觀缺陷類別還不夠齊全和細化,圖像采集環(huán)境也不夠多樣,因此,模型的性能還有待提升。未來將通過搜集更多數(shù)據(jù),研究場景更復雜,目標類別更多、更細化的機場道面自動化巡檢計算。
下載文檔
