基于增強(qiáng)現(xiàn)實(shí)技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)開發(fā)

引 言

潛艇雷彈發(fā)控裝備的技術(shù)含量和復(fù)雜程度較高，在武器裝載裝填和發(fā)射過程中均涉及高壓氣、液壓、注排水、供電、艇內(nèi)武器等多種裝備和不同系統(tǒng)。在實(shí)裝操作時(shí)面臨操作步驟多、協(xié)同動(dòng)作復(fù)雜等問題，容易造成裝備和武器損害等，因此迫切需要在訓(xùn)練和操作過程中提供基于實(shí)裝的實(shí)時(shí)操作流程和動(dòng)作原理指導(dǎo)。目前虛擬現(xiàn)實(shí)（VirtualReality，VR）技術(shù)日趨成熟，大量虛擬訓(xùn)練平臺(tái)研發(fā)成功并裝配部隊(duì)。利用 VR技術(shù)研發(fā)的虛擬訓(xùn)練系統(tǒng)能夠在一定程度上解決實(shí)裝操作風(fēng)險(xiǎn)高， 容易造成設(shè)備損壞等問題，但 VR設(shè)備操作虛擬環(huán)境越貼近實(shí)際裝備，需要考慮的細(xì)節(jié)就越多，如虛擬環(huán)境空間尺寸、碰撞檢測(cè)、應(yīng)力反饋、視角變化、部件動(dòng)作物理規(guī)律等，投入大， 開發(fā)周期較長(zhǎng)。部隊(duì)的優(yōu)勢(shì)是有大量實(shí)際裝備，而完全脫離裝備使用虛擬現(xiàn)實(shí)進(jìn)行操作訓(xùn)練，則無法發(fā)揮部隊(duì)優(yōu)勢(shì)，不利于提高訓(xùn)練水平。增強(qiáng)現(xiàn)實(shí)（AugmentedReality，AR）技術(shù)將真實(shí)世界與虛擬世界的信息無縫集成，利用定位跟蹤、虛擬成像等技術(shù)，將實(shí)際裝備與裝備三維虛擬信息集合到同一空間 [1]， 通過AR可穿戴設(shè)備，使人眼看到虛擬信息與真實(shí)信息疊加后的效果?；贏R技術(shù)的發(fā)控裝備訓(xùn)練系統(tǒng)利用 AR頭戴設(shè)備實(shí)時(shí)跟蹤定位操作者目光鎖定的目標(biāo)，在發(fā)控裝備標(biāo)示部件上顯示部件三維全息模型，透視其內(nèi)部結(jié)構(gòu)，給出操作方法和操作指示，利用語音輸入、手勢(shì)輸入讓用戶與 AR頭戴設(shè)備顯示的實(shí)裝與虛擬信息相結(jié)合的畫面進(jìn)行交互，在 AR設(shè)備的輔助下完成從理論知識(shí)到實(shí)裝操作的過渡，提高系統(tǒng)訓(xùn)練效果，降低研制成本。

1 系統(tǒng)設(shè)計(jì)

基于增強(qiáng)現(xiàn)實(shí)技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)利用AR光學(xué)透視式頭戴顯示器開發(fā)，如圖1 所示。針對(duì)艇內(nèi)真實(shí)環(huán)境，依托實(shí)際裝備，使用人員利用 AR 頭戴設(shè)備實(shí)現(xiàn)目光追蹤，對(duì)于使用者目光鎖定的主要實(shí)裝部件，在 AR 頭戴設(shè)備顯示目鏡上顯示部件的全息模型、透視結(jié)構(gòu)、動(dòng)作原理動(dòng)畫視頻、操作使用指南等信息，全息模型和動(dòng)作原理與實(shí)裝部件貼合，操作指南基于實(shí)裝部件給出，具有極強(qiáng)的針對(duì)性和真實(shí)的操作感覺反饋。系統(tǒng)通過語音和手勢(shì)操作完成交互。

                                                                                            圖1 AR 光學(xué)透視式頭盔顯示器

基于AR技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)原理如圖 2 所示。虛擬場(chǎng)景生成單元完成虛擬場(chǎng)景的模型建立、實(shí)時(shí)管理并集中管理其他外設(shè) ；頭戴顯示器負(fù)責(zé)顯示裝備三維信息和實(shí)際裝備融合后的信號(hào) ；傳感器跟蹤用戶視線變化 ；交互設(shè)備用于語音信號(hào)及手勢(shì)操作信號(hào)的輸入、輸出。首先傳感器和攝像頭采集艇內(nèi)實(shí)際裝備的視頻或者圖像，傳入系統(tǒng)后臺(tái)信息處理單元對(duì)其進(jìn)行數(shù)據(jù)分析和環(huán)境重構(gòu)，并結(jié)合頭部跟蹤設(shè)備采集的數(shù)據(jù)來分析裝備虛擬結(jié)構(gòu)和真實(shí)裝備環(huán)境的相對(duì)位置，完成兩者坐標(biāo)系的對(duì)齊及融合計(jì)算；交互設(shè)備采集用戶語音和手勢(shì)控制信號(hào)，完成在虛實(shí)結(jié)合場(chǎng)景中的交互操作。經(jīng)過系統(tǒng)融合處理的信息實(shí)時(shí)顯示在頭戴顯示器中。

系統(tǒng)的主要功能如下：

(1) 發(fā)控裝備實(shí)裝部件視線定位結(jié)構(gòu)原理三維全息輔助學(xué)習(xí)。利用 AR頭戴設(shè)備檢測(cè)使用者的視線，實(shí)現(xiàn)視線指示， 三維模型跟蹤定位，在使用者視線聚焦的部件上顯示部件的三維模型，利用三維模型、實(shí)際裝備融合顯示和手勢(shì)控制等技術(shù)進(jìn)行部件結(jié)構(gòu)分解，動(dòng)作過程顯示，實(shí)現(xiàn)基于實(shí)裝的三維全息輔助學(xué)習(xí)。

(2) 發(fā)控裝備實(shí)裝操作步驟全息實(shí)時(shí)指導(dǎo)?；趯?shí)裝部件在具體操作位置上給出全息操作指導(dǎo)，并能夠通過三維模型顯示操作引起的部件內(nèi)部動(dòng)作過程和工作介質(zhì)的主要流向。

(3) 利用三維全息武器實(shí)現(xiàn)系統(tǒng)綜合訓(xùn)練。對(duì)于需要武器配合的綜合訓(xùn)練項(xiàng)目，如水下重裝訓(xùn)練、武器裝載訓(xùn)練，可在訓(xùn)練過程中通過顯示設(shè)備顯示三維虛擬武器，利用增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)虛擬武器的發(fā)控裝備實(shí)裝綜合操作訓(xùn)練。

系統(tǒng)通過攝像機(jī)識(shí)別并讀取已知標(biāo)識(shí)的相對(duì)位置，借以實(shí)現(xiàn)真實(shí)潛艇環(huán)境中發(fā)控裝備實(shí)際部件相對(duì)于攝像機(jī)位置、方向信息的跟蹤，通過矩陣計(jì)算得到坐標(biāo)的映射關(guān)系，然后在實(shí)際裝備上描繪出其三維結(jié)構(gòu)，最終實(shí)現(xiàn)虛擬裝備與實(shí)際裝備的疊加[2]。系統(tǒng)工作流程如圖 3 所示，系統(tǒng)結(jié)構(gòu)框圖如圖 4所示。

在系統(tǒng)的開發(fā)設(shè)計(jì)過程中，使用了圖 5 所示的邏輯結(jié)構(gòu)， 每一層的意義如下：

(1) 數(shù)據(jù)層 ：包含了訓(xùn)練應(yīng)用模塊中的所有相關(guān)數(shù)據(jù)， 如設(shè)備的基本參數(shù)、設(shè)備操作運(yùn)行數(shù)據(jù)以及三維模型數(shù)據(jù)等。數(shù)據(jù)層規(guī)定了數(shù)據(jù)結(jié)構(gòu)和存儲(chǔ)方式，規(guī)范數(shù)據(jù)調(diào)用機(jī)制是系統(tǒng)功能得以實(shí)現(xiàn)的基礎(chǔ)。

(2) 模型層：將裝備部件的結(jié)構(gòu)模型數(shù)據(jù)進(jìn)行有機(jī)組織， 在盡量保持模型細(xì)節(jié)的基礎(chǔ)上縮減模型存貯規(guī)模，并整合對(duì)應(yīng)部件模型的文本信息、三維動(dòng)畫或視頻指導(dǎo)等。

(3) 平臺(tái)層 ：對(duì)系統(tǒng)數(shù)據(jù)層和模型層進(jìn)行集成與管理， 使得各功能模塊可以順利實(shí)現(xiàn)。該層作為數(shù)據(jù)層與應(yīng)用層之間的紐帶，包括設(shè)備查詢平臺(tái)和操作過程指導(dǎo)平臺(tái)。

(4) 應(yīng)用層 ：應(yīng)用層是部件結(jié)構(gòu)原理和操作指導(dǎo)功能的體現(xiàn)。包括裝備結(jié)構(gòu)信息查詢、部件動(dòng)作過程三維視頻、裝備操作過程指導(dǎo)、工作過程介質(zhì)流向展示等。

(5) 界面層 ：界面層規(guī)定了人機(jī)交互界面風(fēng)格和界面顯示內(nèi)容，涉及語音輸入和手勢(shì)操作等交互方式。

2 關(guān)鍵技術(shù)

2.1 發(fā)控裝備部件模型建立

模型的建立要考慮兼容目標(biāo)、傳感器和環(huán)境三個(gè)方面 [3]。首先對(duì)于追蹤的裝備目標(biāo)，需要裝備目標(biāo)的先驗(yàn)信息，如裝備的外觀、形狀、相對(duì)位置、姿態(tài)等特性 [4] ；其次需要考慮傳感器的特性，選定的設(shè)備使用立體相機(jī)按照米制構(gòu)建 ；最后從環(huán)境角度出發(fā)，考慮到環(huán)境對(duì)跟蹤的準(zhǔn)確性起決定性作用， 在跟蹤過程中，當(dāng)光照充足、環(huán)境相對(duì)穩(wěn)定時(shí)，視野中所見的重構(gòu)三維模型顯示更加穩(wěn)定，提高了模型追蹤定位位置的準(zhǔn)確性。在模型建立階段，以離線方式完成模型構(gòu)建，將建模和跟蹤分開。

模型的制作可以通過Autodesk Revit，Autodesk Solidworks 等軟件對(duì)發(fā)控裝備部件模型進(jìn)行調(diào)整和修改，設(shè)備操作人員根據(jù)實(shí)際操作需要，對(duì)模型進(jìn)行拆分并進(jìn)一步處理成不同操作指導(dǎo)需求的 AR 虛擬場(chǎng)景模型，分類存儲(chǔ)在部件模型數(shù)據(jù)庫中 [5]。模型的具體處理過程是通過數(shù)據(jù)共享與交換的標(biāo)準(zhǔn)格式實(shí)現(xiàn)不同軟件之間的信息交換，將模型導(dǎo)出為 FBX 格式，然后將此格式文件導(dǎo)入 3DSMax 軟件中再進(jìn)行處理或加以渲染，導(dǎo)出WRL 格式的模型，該模型將作為后期 AR 程序調(diào)用的模型。

在發(fā)控裝備部件的建模過程中考慮 AR 系統(tǒng)的實(shí)際技術(shù)需求和資料儲(chǔ)備情況，若已知裝備目標(biāo)部件的 CAD 圖形則可將其作為先驗(yàn)知識(shí)，在構(gòu)建實(shí)際裝備訓(xùn)練環(huán)境時(shí)以本情況為主。在缺少 CAD 圖形的情況下，部分部件可通過傳感器逆向獲取目標(biāo)物體的模型信息作為先驗(yàn)知識(shí)。

2.2 基于模型的追蹤定位技術(shù)

識(shí)別追蹤技術(shù)、顯示技術(shù)和輸入交互技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)的核心組成部分，如圖 6 所示 [6]。實(shí)現(xiàn) AR 的基本功能主要依靠交互技術(shù)及空間感知的定位追蹤技術(shù)。傳感器獲取的數(shù)據(jù)經(jīng)過預(yù)處理作為輸入，實(shí)現(xiàn)對(duì)實(shí)際裝備的定位跟蹤，該過程可分為檢測(cè)和跟蹤兩個(gè)階段。在檢測(cè)階段，以被跟蹤裝備部件的先驗(yàn)信息作為初始值，利用視覺信息處理技術(shù)獲取的部件模型信息與輸入數(shù)據(jù)進(jìn)行匹配，確定其在空間的姿態(tài)和位置，實(shí)現(xiàn)對(duì)目標(biāo)部件的跟蹤。目前針對(duì)頭戴式 AR 眼鏡的跟蹤技術(shù)，大多將視覺和慣性測(cè)量原件進(jìn)行融合。本系統(tǒng)的跟蹤技術(shù)主要依靠視覺光學(xué)追蹤，其開發(fā)成本低，定位較精確。AR中的光學(xué)追蹤分類如圖 7 所示。

圖 6 增強(qiáng)現(xiàn)實(shí)的核心技術(shù)

圖 7 光學(xué)追蹤分類

采用 OutsideIn方式需使用反光或特殊材質(zhì)制作的標(biāo)示點(diǎn)進(jìn)行輔助定位，如在識(shí)字卡片、繪本中的應(yīng)用。該技術(shù)定位準(zhǔn)確， 但需要預(yù)先在實(shí)際場(chǎng)景中粘貼標(biāo)識(shí)，在使用適應(yīng)性和用戶體驗(yàn)方面存在局限性。在 InsideOut無標(biāo)示追蹤技術(shù)中主要采用模型追蹤定位技術(shù)。視覺信息技術(shù)和跟蹤技術(shù)是該技術(shù)的主要難點(diǎn)。視覺信息處理需要提取和關(guān)聯(lián)傳感器所獲取的目標(biāo)物體信息，實(shí)時(shí)更新跟蹤系統(tǒng)狀態(tài)。針對(duì)潛艇內(nèi)部發(fā)控裝備的實(shí)際空間特性，選擇部件模型的 CAD形狀和拓?fù)湫畔⒆鳛榉€(wěn)定的跟蹤線索，結(jié)合其各自對(duì)應(yīng)的紋理特征和形狀特征，整個(gè)視覺信息的處理過程以提取、優(yōu)化獲取構(gòu)建模型的穩(wěn)定特征為目標(biāo)。

由于潛艇內(nèi)部燈光較暗，環(huán)境狹窄，AR 追蹤定位存在一定的困難，且由于艇上設(shè)備密集，觀察空間狹窄，無標(biāo)示追蹤在小于最小觀測(cè)距離時(shí)，模型定位無法完成。此時(shí)可考慮使用標(biāo)記跟蹤技術(shù)，但大量使用標(biāo)示會(huì)影響實(shí)際裝備的使用， 所以基于AR 技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)以模型定位為主，綜合使用模型定位和標(biāo)示定位，在觀察空間不足和觀察條件較差的位置使用標(biāo)示定位方法，根據(jù)具體環(huán)境綜合使用兩種技術(shù)可取得更好的效果。

3 結(jié) 語

利用 AR技術(shù)研發(fā)雷彈發(fā)控裝備訓(xùn)練系統(tǒng)可以顯著提升日常訓(xùn)練水平，并在實(shí)際使用過程中提供實(shí)時(shí)操作和維護(hù)指導(dǎo)。使用基于 AR技術(shù)的潛艇雷彈發(fā)控裝備訓(xùn)練系統(tǒng)將顯著縮短新型潛艇雷彈發(fā)控裝備的學(xué)習(xí)掌握周期，提升掌握熟練程度。AR技術(shù)在 2017 年完成了新一輪大發(fā)展，被大量應(yīng)用于手機(jī)游戲中，頭戴式 AR設(shè)備被投入市場(chǎng)，AR技術(shù)在軍事訓(xùn)練領(lǐng)域中的應(yīng)用條件已經(jīng)初步具備。推進(jìn) AR技術(shù)在軍事裝備領(lǐng)域的應(yīng)用對(duì)于科技興軍，加深新技術(shù)領(lǐng)域的軍民融合具有積極意義。