基于混合現(xiàn)實(shí)技術(shù)的設(shè)備管理系統(tǒng)的開發(fā)

引言

生產(chǎn)設(shè)備是生產(chǎn)力的重要組成部分和基本要素之一,是企業(yè)從事生產(chǎn)經(jīng)營的重要工具和手段,是企業(yè)生存與發(fā)展的重要物質(zhì)財(cái)富,也是社會(huì)生產(chǎn)力發(fā)展水平的物質(zhì)標(biāo)志。生產(chǎn)設(shè)備無論從企業(yè)資產(chǎn)的占有率上,還是從管理工作的內(nèi)容上以及企業(yè)市場競爭能力的體現(xiàn)上,都占有相當(dāng)大的比重和十分重要的位置。管好用好生產(chǎn)設(shè)備,提高設(shè)備管理水平對(duì)于促進(jìn)企業(yè)進(jìn)步與發(fā)展有著十分重要的意義。

經(jīng)過20多年的發(fā)展,混合現(xiàn)實(shí)相關(guān)技術(shù)已經(jīng)取得了長足的進(jìn)步,展示出了強(qiáng)勁的發(fā)展動(dòng)力。人機(jī)交互是混合現(xiàn)實(shí)的重要支撐技術(shù),也是近年來國內(nèi)外的研究熱點(diǎn)。多年來,混合現(xiàn)實(shí)中的人機(jī)交互研究一直在探索更加自然和高效的交互方式。在這一背景下,本項(xiàng)目研究了一種基于混合現(xiàn)實(shí)(MR)技術(shù)的設(shè)備管理系統(tǒng),基于采用混合現(xiàn)實(shí)(MR)技術(shù)的HoloLens平臺(tái),開發(fā)HoloLens與機(jī)器設(shè)備的交互系統(tǒng)。戴上HoloLens頭顯,眼睛注視著機(jī)器設(shè)備,HoloLens的攝像頭將對(duì)機(jī)床外殼的二維碼進(jìn)行掃描,識(shí)別完成相對(duì)應(yīng)的機(jī)床型號(hào),通過互聯(lián)網(wǎng)通信,在眼鏡正前方即可成像顯示設(shè)備當(dāng)前的運(yùn)行狀態(tài)。戴上二次開發(fā)后的HoloLens頭顯,公務(wù)繁忙的高管或經(jīng)理可非常方便又快捷地了解各臺(tái)設(shè)備的運(yùn)行情況。

為進(jìn)一步深入研究和開發(fā)基于混合現(xiàn)實(shí)的設(shè)備管理系統(tǒng),本文將從三維模型設(shè)計(jì)、系統(tǒng)開發(fā)與運(yùn)行測試三個(gè)方面進(jìn)行較為詳細(xì)的闡述。

1三維模型設(shè)計(jì)

模型搭建是系統(tǒng)開發(fā)的必要環(huán)節(jié),是組成數(shù)據(jù)庫的重要內(nèi)容,也是實(shí)現(xiàn)虛擬拆裝的基石,采用3dsMax三維建模軟件進(jìn)行模型搭建。由于本系統(tǒng)虛擬拆裝是在HoloLens增強(qiáng)現(xiàn)實(shí)環(huán)境下進(jìn)行的,考慮到實(shí)際虛擬拆裝過程中要進(jìn)行模型移動(dòng)和旋轉(zhuǎn)等操作,所以搭建的三維模型不僅要在外形上追求真實(shí),還要盡可能地減少其內(nèi)部面數(shù)并優(yōu)化其結(jié)構(gòu),這樣才不會(huì)使HoloLens的內(nèi)存和GPU由于模型太復(fù)雜而過度消耗,影響人機(jī)交互的實(shí)時(shí)性和系統(tǒng)運(yùn)行的穩(wěn)定性。本文以仿生同步機(jī)械手為例,以更好地測試與檢驗(yàn)所開發(fā)的基于混合現(xiàn)實(shí)的設(shè)備管理系統(tǒng)。如圖1、圖2所示,設(shè)計(jì)為一種實(shí)時(shí)顯示數(shù)據(jù)的設(shè)備管理系統(tǒng),主要有三大部分:二維碼框架、仿生同步機(jī)械手、數(shù)據(jù)顯示框。仿生同步機(jī)械手的五指結(jié)構(gòu)獨(dú)立運(yùn)動(dòng),采用LsC-20系列舵機(jī)控制器,并利用LsC系列控制板通信協(xié)議V1.1進(jìn)行數(shù)據(jù)傳輸。

2系統(tǒng)開發(fā)

本系統(tǒng)采用射線碰撞檢測的方式實(shí)現(xiàn)虛擬模型的選取,射線碰撞原理如圖3所示。系統(tǒng)通過HoloLens向用戶眼睛凝視方向發(fā)射一條射線與虛擬三維模型零部件之間進(jìn)行碰撞檢測。射線與泵的某個(gè)虛擬部件交點(diǎn)為P。射線與前后剪切面相交于P1(X1,Y1,Z1)和P2(X2,Y2,Z2)點(diǎn),通過P1點(diǎn)與P2點(diǎn)的坐標(biāo)及連線可確定P點(diǎn)的信息。

交互手勢的實(shí)現(xiàn)是本系統(tǒng)另一大亮點(diǎn),選中目標(biāo)后可以通過交互手勢進(jìn)行移動(dòng)和旋轉(zhuǎn),以便更好地了解設(shè)備的運(yùn)行狀態(tài)。本系統(tǒng)主要采用動(dòng)態(tài)手勢檢測,將手放置于用戶眼前120o×120o的視角里,通過采集人體手部骨骼節(jié)點(diǎn)的深度圖,得出骨架節(jié)點(diǎn)的運(yùn)動(dòng)軌跡作為主要的手勢識(shí)別特征;通過對(duì)比骨架節(jié)點(diǎn)的起點(diǎn)、終點(diǎn)和移動(dòng)距離,然后處理計(jì)算分類,最終得出手勢識(shí)別結(jié)果。兩個(gè)重要手勢分別為:(1)Manipulation手勢:保持點(diǎn)擊手勢,在3D世界中絕對(duì)運(yùn)動(dòng);(2)Airtap手勢:主要是執(zhí)行點(diǎn)擊與確認(rèn)命令。

實(shí)現(xiàn)二維碼的生成與識(shí)別對(duì)設(shè)備管理系統(tǒng)至關(guān)重要,二維碼的構(gòu)成如圖4所示。位置探測圖形是定位圖案,一共有3個(gè),用于標(biāo)記二維碼的矩形大小。這3個(gè)定位圖案中的白邊叫位置探測圖形分隔符。之所以是3個(gè)而不是4個(gè),是因?yàn)?個(gè)就可以標(biāo)識(shí)一個(gè)矩形了。定位圖形也是用于定位的,原因是二維碼有40種尺寸,尺寸過大了之后需要有根標(biāo)準(zhǔn)線,否則掃描的時(shí)候可能會(huì)掃歪了。

Ho1oLens眼鏡通過無線網(wǎng)絡(luò)的通信方式獲取仿生同步機(jī)械手發(fā)送出來的相關(guān)數(shù)據(jù)。當(dāng)控制板的動(dòng)作組開始運(yùn)行的那一刻,仿生同步機(jī)械手會(huì)立馬發(fā)送數(shù)據(jù)并帶上參數(shù)信息。參數(shù)1:運(yùn)行動(dòng)作組的編號(hào):參數(shù)2:動(dòng)作組要運(yùn)行的次數(shù)低八位:參數(shù)3:動(dòng)作組要運(yùn)行的次數(shù)高八位:另外還有其他必要數(shù)據(jù)。

該系統(tǒng)還集成了空間映射功能,能夠使用空間映射將模型放在現(xiàn)實(shí)世界中的真實(shí)對(duì)象上。

3運(yùn)行測試

3.1仿生同步機(jī)械手三維模型靜態(tài)展示

將仿生同步機(jī)械手三維模型導(dǎo)入到Ho1oLens中,并在Ho1oLens中靜態(tài)展示,展示效果如圖2所示,當(dāng)然前提是得掃描二維碼,該模型一開始是隱藏的。

還可以通過手勢與Ho1oLens互動(dòng),實(shí)現(xiàn)模型的旋轉(zhuǎn)、拆除、拼裝等操作。

3.2與仿生同步機(jī)械手交互

在Ho1oLens已導(dǎo)入的仿生同步機(jī)械手三維模型基礎(chǔ)之上,結(jié)合Ho1oLens獲取到的仿生同步機(jī)械手?jǐn)?shù)據(jù),在數(shù)據(jù)顯示框能夠?qū)崟r(shí)顯示仿生同步機(jī)械手模型的數(shù)據(jù),同時(shí)通過手勢動(dòng)作,可以操作機(jī)械手進(jìn)行不同視角的觀察。Ho1oLens上展示的數(shù)據(jù)和模型,可通過微軟的專用數(shù)據(jù)導(dǎo)出軟件,同步顯示在LED大屏上。

綜合上文,本文所設(shè)計(jì)的基于混合現(xiàn)實(shí)技術(shù)的設(shè)備管理系統(tǒng)能滿足預(yù)期的效果。

4結(jié)語

本文所開發(fā)的基于混合現(xiàn)實(shí)的設(shè)備管理系統(tǒng),通過掃描二維碼,利用微軟的Ho1oLens技術(shù),實(shí)現(xiàn)對(duì)設(shè)備實(shí)時(shí)狀態(tài)的運(yùn)行監(jiān)測。與傳統(tǒng)的設(shè)備管理系統(tǒng)相比,它具有實(shí)時(shí)性、觀測靈活性和節(jié)省時(shí)間等優(yōu)勢,在企業(yè)設(shè)備管理、醫(yī)療設(shè)備管理等方面都有著廣闊的應(yīng)用前景。