當前位置:首頁 > 工業(yè)控制 > 《機電信息》
[導讀]摘要:機場道面表觀缺陷情況是道面評價的重要指標之一,直接影響著航空器起降安全,目前機場主要通過人工巡檢的方式定期檢查記錄機場道面表觀缺陷,效率低,工作量大,而現(xiàn)有的自動化檢測算法存在準確度低、推理速度慢、算力要求高等問題。針對這些問題,結(jié)合深度學習的目標檢測技術(shù)進行研究,提出一種快速高效的機場道面表觀缺陷檢測方法,在保證準確性的前提下,計算平均僅耗時22ms,對實現(xiàn)機場道面自動化高效檢測,提高機場運行效率有重要意義。

引言

機場道面是供飛機起飛、著陸、滑行、維修、停放的坪道,機場內(nèi)的道面有跑道、滑行道、機坪等,是機場最為重要的基礎(chǔ)設(shè)施。機場道面的健康狀況直接影響著機場航空器的飛行安全,然而,我國大多數(shù)機場其道面建設(shè)時長都達到了數(shù)十年,長期以來,這些機場道面一直處于露天環(huán)境,承受著化學試劑的腐蝕,還要不斷承受航空器帶來的各種載荷,極易產(chǎn)生各種病害,因此機場需要定期對道面進行評價。道面表觀缺陷狀況是道面評價的重要資料,道面表觀缺陷包括裂縫、接縫破碎、板角剝落等(圖1),在過去的幾十年間,主要都是采用人工通過肉眼巡視的方式來記錄的,這樣的方式工作強度大,巡檢效率低。

隨著計算機硬件的革新和圖像處理技術(shù)、深度學習技術(shù)的發(fā)展,一批致力于探索機場道面表觀缺陷自動巡檢技術(shù)的學者涌現(xiàn)出來,希望能夠提高道面表觀缺陷的發(fā)現(xiàn)效率,減少人力的投入。早期的道面表觀缺陷自動檢測技術(shù)主要基于傳統(tǒng)的圖像處理算法。任峰利用小波變換、閾值迭代法來對圖片進行去噪和分割以提取道面裂縫,這類采取圖像處理技術(shù)的方法其弊端在于:道面表觀缺陷基本位于露天環(huán)境下,環(huán)境情況復雜,會面對諸如積水、光照不均勻、夜間低照度等一系列問題,十分不穩(wěn)定,且難以對道面表觀缺陷進行識別分類,算法也相對復雜,計算速度慢。為了提高算法的穩(wěn)定性,吳治龍?zhí)岢隽艘环N結(jié)合深度信息的道面裂縫識別算法,但并不能完全克服上述復雜環(huán)境帶來的問題和檢測速度慢的缺陷,同時也僅能針對裂縫這一種缺陷進行識別提取。

近年來,深度學習發(fā)展迅速,在機場道面檢測領(lǐng)域也得到了許多應用。如馬代鑫提出了一種利用U-net模型對道面裂縫進行分割提取的方法,取得了較小誤差;張力波等人提出使用DDRNet的圖像分割算法來提取道面裂縫信息,但這些研究都沒有考慮表觀缺陷的分類情況,同時模型的復雜度較高,對模型計算速度有一定影響,而且巡檢過程中有大量的背景,用大規(guī)模的模型進行全流程的分割在算力的使用上效率不高。目標檢測算法是深度學習中的一類算法,在實現(xiàn)對目標定位和識別分類所要求的算力上往往較分割算法更低,能夠降低工程化的成本,也能提高道面表觀缺陷檢測的速度,并對多種表觀缺陷進行分類,因此,本文將利用目標檢測算法,針對搜集到的幾種典型的道面表觀缺陷進行研究。

1算法概述

1.1YOLOv7目標檢測算法

目標檢測算法是根據(jù)圖片全局信息分析推理出目標位置和分類的算法,通??梢詫⑺惴ǚ譃槎A段檢測算法和一階段檢測算法。早期目標檢測算法都是二階段算法,算法在第一階段進行特征提取并分析正樣本的候選區(qū)域,對目標所在位置邊界框進行精確地回歸,確定目標未知區(qū)域,在第二階段進行目標分類的確定:而一階段算法則是直接預測出目標的分類和位置。由于二階段算法在早期可以通過采樣的方式避免樣本的不均衡問題,因此在準確度上一直優(yōu)于一階段算法,但速度上明顯慢于一階段算法。近幾年,一階段算法通過各種技巧很好地控制了樣本不均衡、樣本不一致等問題,在精度上已經(jīng)能媲美甚至超越二階段算法。

部分目標檢測算法性能對比如圖2所示,可以發(fā)現(xiàn),一階段算法YOLOv7平均精度上高于二階段算法FaSter-RCNN,且YOLOv7在速度上也具有很大優(yōu)勢。因此,本文也采用最新的YOLOv7目標檢測算法來進行研究。

1.2算法整體結(jié)構(gòu)

YOLOv7算法的整體框架如圖3所示,主要包含兩個部分:骨干網(wǎng)絡和檢測頭,其中骨干網(wǎng)絡用于提取特征,檢測頭用于對目標的位置和分類進行預測。

1.2.1骨干網(wǎng)絡結(jié)構(gòu)

YOLOv7的骨干網(wǎng)絡由若干基本卷積塊(BaSic-Conv-Block,以下簡稱BCB塊)構(gòu)成,如圖4所示,BCB塊包含一次卷積操作、一次批歸一化操作和一次利用SiLU激活函數(shù)激活的操作。BCB塊中卷積層的卷積操作有(1,1)、(3,1)、(3,2)三種形式,以(3,2)的BCB塊為例,其表示為用3×3的卷積核進行步長為2的卷積操作。

池化過程如圖5所示,在整個算法網(wǎng)絡中,池化塊存在兩種形式:MP-1、MP-2,區(qū)別在于MP-1的輸出通道與輸入通道相等,MP-2的輸出通道是輸入通道的兩倍。

骨干網(wǎng)絡中還有另一種形式的卷積塊,稱作ELAN塊,如圖6所示,ELAN塊是由BCB塊按照圖示組合而成的。

1.2.2檢測頭結(jié)構(gòu)

骨干網(wǎng)絡提取特征是自頂向下的過程,隨著卷積的不斷深入會損耗細節(jié)信息,YOLOv7的檢測頭將骨干網(wǎng)絡提取到的不同深度的特征層進行融合,使得用于預測的特征層既包含深層的整體信息,也包含淺層的細節(jié)信息。檢測頭首先通過自底向上的方式,將深層語義信息上采樣與淺層語義信息融合,再對這幾層特征進行一次自頂向下的卷積,以減少深層特征和淺層特征之間的距離。利用SPPCSP增大感受野,提升算法速度。

檢測頭的ELAN塊結(jié)構(gòu)和骨干網(wǎng)絡中的ELAN塊稍有不同,如圖7所示。

檢測頭中還使用了重參數(shù)化技術(shù),如圖8所示,在訓練過程中使用多分支結(jié)構(gòu)疊加的方式以增加模型的復雜程度,使模型的性能得到提升,在部署時通過重參數(shù)化的方法將多分支結(jié)構(gòu)等效成單分支結(jié)構(gòu),起到壓縮模型參數(shù)量、提高算法效能的作用。

2模型訓練

2.1數(shù)據(jù)集

本文從機場實際道面拍攝的圖片中篩選出3672張圖片進行標注。數(shù)據(jù)集標注了3類典型的表觀缺陷:裂縫、接縫破碎、板角剝落,并隨機選出734張圖片用于驗證,734張圖片用于測試,剩余的用于訓練。隨后利用翻轉(zhuǎn)、顏色空間調(diào)整、仿射變換等數(shù)據(jù)增強方式對數(shù)據(jù)集進行擴充。

2.2模型訓練

模型訓練和測試使用的硬件包括:NVIDIARTx3090顯卡、IntelCoreI9-10900K(3.70GHz)處理器。輸入尺寸為640×640×3,初始學習率為0.01,采用余弦退火法來控制學習率的變化。

另外,該模型在訓練時采用了多尺度訓練,如圖9所示,即每隔一個epoch,微調(diào)訓練圖片的尺度,以增強算法模型對不同大小目標的魯棒性。

3模型評價

該模型的訓練過程記錄如圖10所示,其中深灰色曲線表示的是未經(jīng)多尺度訓練的模型在驗證集上的表現(xiàn)記錄,淺灰色曲線表示的是經(jīng)過多尺度訓練的模型在驗證集上的表現(xiàn)記錄。

該模型在訓練到第354個epoch時的平均精度均值(mAP)達到最高,為0.787,且使用了多尺度訓練的模型在驗證集上的效果在訓練初期mAP要低于不使用多尺度訓練的模型,而當訓練了一段時間以后要優(yōu)于不使用多尺度訓練的模型。

因此,最終選擇進行了多尺度訓練的模型,該模型在測試集上的精確率(PreciSion)為0.809,召回率(Recall)為0.609,mAP為0.755,平均推理耗時僅為22ms。模型輸出效果如圖11所示。

4結(jié)語

根據(jù)實驗結(jié)果可以發(fā)現(xiàn),YOLOv7在針對機場道面的幾種典型表觀缺陷檢測上mAP可以達到0.755,且檢測速度較快(平均僅耗時22ms),可以實現(xiàn)機場道面表觀缺陷的快速檢測。但由于目前用于訓練和測試的數(shù)據(jù)集較小,針對的表觀缺陷類別還不夠齊全和細化,圖像采集環(huán)境也不夠多樣,因此,模型的性能還有待提升。未來將通過搜集更多數(shù)據(jù),研究場景更復雜,目標類別更多、更細化的機場道面自動化巡檢計算。

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉