增強現(xiàn)實（AR）技術(shù)的研究進(jìn)展及應(yīng)用

 摘 要：增強現(xiàn)實技術(shù)是近年來的一個研究熱點，有著廣泛的應(yīng)用前景增強?，F(xiàn)實是把計算機產(chǎn)生的虛擬物體或其他信息合成到用戶感知的真實世界中的一種技術(shù)。它是對真實世界的補充，而不是完全替代真實世界。顯示技術(shù)和跟蹤注冊技術(shù)是增強現(xiàn)實系統(tǒng)關(guān)鍵技術(shù)，也是研究的重點本文簡要介紹了頭盔顯示器、顯示投影式顯示、手持式顯示器顯示和普通顯示器顯示等顯示技術(shù)以及跟蹤注冊技術(shù)。最后提到了目前增強現(xiàn)實技術(shù)應(yīng)用和將來的發(fā)展方向。

引 言

增強現(xiàn)實(Augmented Reality 簡稱AR) 技術(shù)是近年來的一個研究熱點，有著廣泛的應(yīng)用前景。它是對現(xiàn)實世界的補充，使得虛擬物體從感官上成為周圍真實環(huán)境的組成部分。與傳統(tǒng)的虛擬現(xiàn)實(Virtual Reality 簡稱VR)不同，增強現(xiàn)實只是實現(xiàn)對現(xiàn)實環(huán)境的增強，加深了對現(xiàn)實環(huán)境的感受。

增強現(xiàn)實增強了用戶對現(xiàn)實世界的感知能力和與現(xiàn)實世界的交互能力如圖【1】。

Milgram根據(jù)用戶界面中計算機生成信息的比例的大小定義了一個真實環(huán)境到虛擬環(huán)境連續(xù)體，他認(rèn)為增強現(xiàn)實是混合現(xiàn)實環(huán)境中的一部分。

1 增強現(xiàn)實的顯示技術(shù)

增強現(xiàn)實系統(tǒng)設(shè)計最基本的問題就是實現(xiàn)虛擬信息和現(xiàn)實世界的融合。顯示技術(shù)是增強現(xiàn)實系統(tǒng)的基本技術(shù)之一。一般而言，可以把增強現(xiàn)實的顯示技術(shù)分為以下幾類：頭盔顯示器、顯示投影式顯示、手持式顯示器顯示和普通顯示器顯示。

1.1 頭盔顯示器(Head-mounted display, 簡稱HMD)顯示

現(xiàn)有的虛擬現(xiàn)實技術(shù)的人機界面中大多采用頭盔顯示真實世界器。主要原因是頭盔顯示器較其他幾種顯示技術(shù)而言沉浸感最強。因為用于增強顯示系統(tǒng)的頭盔顯示器能夠看到周圍的真實環(huán)境，所以叫做透視式(see-through)頭盔顯示器。

透視式頭盔顯示器一般分為視頻透視式(Vedio seethrough)和光學(xué)透視式(Optical see-through )。前者是利用攝像機對真實世界進(jìn)行同步拍攝，將信號送入虛擬現(xiàn)實工作站在虛擬工作站中將虛擬場景生成器生成的虛擬物體同真實世界中采集的信息融合，然后輸出到頭盔顯示器。而后者則是利用光學(xué)組合儀器直接將虛擬物體同真實世界在人眼中融合，實現(xiàn)增強(如 圖2).

還有一種更為奇特的方法是虛擬視網(wǎng)膜顯示技術(shù)(Virtual Retinal Display 簡稱VRD )。華盛頓大學(xué)的人機界面實驗室(HIT Lab) 研究出的VRD 是通過將低功率的激光直接投射到人眼的視網(wǎng)膜上，從而將虛擬物體添加到現(xiàn)實世界中來。

1.2 投影式顯示projection display

投影式顯示是將虛擬的信息直接投影到要增強的物體上，從而實現(xiàn)增強。日本Chuo 大學(xué)研究出的PARTNER 增強現(xiàn)實系統(tǒng)可以用于人員訓(xùn)練，并且使一個沒有受過訓(xùn)練的試驗人員通過系統(tǒng)的提示，成功地拆卸了一臺便攜式OHP(Over Head Projector)。

另外一種投影式顯示方式是采用放在頭上的投影機(Head-Mounted Projective Display 簡稱HMPD)來進(jìn)行投影。美國伊利諾斯洲立大學(xué)和密歇根洲立大學(xué)的一些研究人員研究出一種HMPD 的原型系統(tǒng)。該系統(tǒng)由一個微型投影鏡頭一個戴在頭上的顯示器和一個雙面自反射屏幕組成。

由計算機生成的虛擬物體顯示在HMPD 的微型顯示器上，虛擬物體通過投影鏡頭折射后再由與視線成45 的分光器反射到自反射的屏幕上面。自反射的屏幕將入射光線沿入射角反射回去進(jìn)入人眼中從而實現(xiàn)了虛擬物體與真實環(huán)境的重疊(如圖3 所示)。

1.3 手持式顯示器(Hand Held Display 簡稱HHD)顯示

通過采用攝像機等其他輔助部件，一些增強現(xiàn)實系統(tǒng)采用了手持式顯示器。美國華盛頓大學(xué)人機界面技術(shù)實驗室設(shè)計出了一個便攜式的MagicBook 增強現(xiàn)實系統(tǒng) 。該系統(tǒng)采用一種基于視覺的跟蹤方法把虛擬的模型重疊在真實的書籍上，產(chǎn)生一個增強現(xiàn)實的場景同時該界面也支持多用戶的協(xié)同工作。日本的SONY計算機科學(xué)實驗室也研究出一種手持式顯示器，利用這種顯示器，構(gòu)建了TransVision 協(xié)同式工作環(huán)境。

1.4 普通顯示器顯示Monitor-based Display

增強現(xiàn)實系統(tǒng)也可以采用普通顯示器顯示。在這種系統(tǒng)中，通過攝像機獲得的真實世界的圖像與計算機生成的虛擬物體合成之后在顯示器輸出。在需要時也可以輸出為立體圖像這時需要用戶戴上立體眼鏡。

2 增強現(xiàn)實的注冊技術(shù)

注冊技術(shù)是增強現(xiàn)實系統(tǒng)最為關(guān)鍵的技術(shù)之一，注冊實際上就是將計算機生成的虛擬物體和真實環(huán)境中景象“對齊”的過程。注冊必須先確定虛擬物體與觀察者之間的關(guān)系，然后通過正確的幾何投影將虛擬物體投影到觀察者的視野中。注冊一般分為動態(tài)注冊和靜態(tài)注冊。動態(tài)注冊是攝像機與真實物體相對運動的情況下，確定二者的相對位置靜態(tài)注冊是攝像機與真實物體相對靜止的情況下確定二者的相對位置。 在目前的增強現(xiàn)實系統(tǒng)中，絕大多數(shù)是采用的動態(tài)注冊。動態(tài)注冊技術(shù)一般可以分為兩種，基于跟蹤器的注冊技術(shù)和基于視覺的注冊技術(shù)。

2.1 基于跟蹤器的注冊技術(shù)

跟蹤的主要目的是記錄真實世界里的觀察者的方向和位置，以便保持虛擬空間和真實空間的連續(xù)性，實現(xiàn)精確的注冊一般主要有以下幾種：跟蹤技術(shù)飛行時間定位跟蹤、機構(gòu)聯(lián)接、跟蹤相差跟蹤、場跟蹤、復(fù)合跟蹤系統(tǒng)。

1) 飛行時間(Time of Flight,簡稱TOF)定位跟蹤系統(tǒng)

這種方法就是利用一些手段測量運動目標(biāo)和參照物之間的距離，然后推導(dǎo)出運動目標(biāo)在虛擬環(huán)境中的坐標(biāo)。前提是假定脈沖信號的傳播速度為常數(shù)，通過測定接收裝置接收相臨兩次脈沖信號之間的時間來確定運動目標(biāo)相對于參照物的距離。

2) 機構(gòu)聯(lián)接跟蹤系統(tǒng)

最為典型的機構(gòu)聯(lián)接跟蹤方式是直接用機構(gòu)聯(lián)接參照物和運動目標(biāo)。機械式的跟蹤一般可以分為兩類:一種各種機構(gòu)的組合,另外一種就是采用彈簧來聯(lián)接.當(dāng)彈簧處于張緊狀態(tài)時,就可以通過彈簧的參數(shù)計算出距離.

3) 相差(phase difference )跟蹤系統(tǒng)

相差跟蹤系統(tǒng)是通過測量參照物和運動目標(biāo)上的同頻率信號的相位差來進(jìn)行跟蹤的.采用的信號大多數(shù)是超聲波信號,它的缺點就是會有誤差積累,同時超聲波信號易受環(huán)境的溫度濕度和超聲波噪聲的影響.其優(yōu)點就是能夠有比較高的數(shù)據(jù)采集速度比TOF 超聲波跟蹤系統(tǒng)有更高的精度.

4) 場跟蹤系統(tǒng)

用來跟蹤的場包括電磁場和重力場,用得比較普遍的是電磁場.電磁場跟蹤采用的是線圈作為信號發(fā)生器,通過測量通過接收器的磁通量就可以確定接收器和信號源之間的相對距離.

電磁場跟蹤系統(tǒng)價格便宜結(jié)構(gòu)緊湊而且重量輕廣泛應(yīng)用于各種增強現(xiàn)實系統(tǒng)中.另外一種場跟蹤系統(tǒng)是基于重力場的,采用的測量儀器一般是傾角計和加速度計.

5) 復(fù)合跟蹤系統(tǒng)

復(fù)合跟蹤系統(tǒng)指的是在同一增強現(xiàn)實系統(tǒng)中采用兩種以上的跟蹤方式,以實現(xiàn)各種跟蹤方式的優(yōu)勢互補.但是復(fù)合跟蹤系統(tǒng)往往會提高系統(tǒng)的復(fù)雜性和成本.

2.2 基于視覺的注冊技術(shù)

基于視覺的注冊是通過給定的一幅或者多幅圖像來確定攝像機和真實世界中目標(biāo)的相對位置和方向.就目前的研究情況來看基于視覺的注冊主要有兩種情況,一種是事先對相機定標(biāo),對獲取的圖像進(jìn)行分析.計算相機的位置;另外一種是通過仿射變換來實現(xiàn)注冊。

1) 通過對相機定標(biāo)注冊

相機定標(biāo)就是獲取相機的內(nèi)部參數(shù)然后根據(jù)這些參數(shù)和獲取的圖像來計算相機的位置和方向。這實際上是一個從三維場景到二維成像平面的轉(zhuǎn)換過程。通常關(guān)心的相機參數(shù)包括鏡頭的焦距以及傳感器像元的高度、寬度、高寬比等。

國內(nèi)也有研究人員從事動態(tài)注冊的研究[3]。文獻(xiàn)[3]介紹了相機定標(biāo)以及跟蹤的算法，并且以PC 為平臺，實現(xiàn)了這個算法。

2) 通過仿射變換注冊

通過仿射變換注冊實際上是計算機圖形學(xué)和計算機視覺技術(shù)在增強現(xiàn)實系統(tǒng)設(shè)計中的一個運用。Konenderink 等人曾提出，給定三維空間中任何至少四個不共面的點空間中任何一個點的投影變換都可以用這四個點的變換結(jié)果的線性組合來表示。

通過引入全局仿射坐標(biāo)系的定義，將虛擬物體和真實世界置于同一個統(tǒng)一的坐標(biāo)系下面，從而很方便地實現(xiàn)了注冊。不僅如此該注冊方法也實現(xiàn)了深度的估計。國

外Kiriakos等人也討論過類似的系統(tǒng)，并且通過該方法設(shè)計出了具體的增強現(xiàn)實系統(tǒng) 。通過仿射變換實現(xiàn)注冊是增強現(xiàn)實注冊技術(shù)的一個突破它繞開了傳統(tǒng)的跟蹤、定標(biāo)等一些繁瑣而且容易出現(xiàn)較大誤差的注冊方法，實現(xiàn)了通過計算機視覺的分析進(jìn)行注冊。

3 增強現(xiàn)實系統(tǒng)的運用

由于增強現(xiàn)實系統(tǒng)既有虛擬的成分，同時也有現(xiàn)實世界的真實環(huán)境使得增強現(xiàn)實系統(tǒng)成為除了現(xiàn)實世界之外的最有沉浸感的環(huán)境。增強現(xiàn)實系統(tǒng)將成為一種新型的媒介，逐漸深入到從醫(yī)學(xué)到軍事等各個領(lǐng)域。

3.1 醫(yī)學(xué)

增強現(xiàn)實運用到醫(yī)療中，可以使外科醫(yī)生在給病人動手術(shù)的過程中，看到注冊到病人身體上的CT 或者M(jìn)RI 圖像。不僅如此，增強現(xiàn)實系統(tǒng)還可以用于醫(yī)療教育培訓(xùn)中。另外，增強現(xiàn)實還可用于虛擬人體解剖圖、虛擬人體功能、虛擬手術(shù)模擬、遠(yuǎn)程手術(shù)等并且可以用于康復(fù)醫(yī)療。

3.2 娛樂

增強現(xiàn)實系統(tǒng)廣泛應(yīng)用于各種娛樂活動中。虛擬演播室技術(shù)是增強現(xiàn)實在傳統(tǒng)視頻合成技術(shù)的基礎(chǔ)上發(fā)展的結(jié)果。 同時增強現(xiàn)實技術(shù)還可用于各種游戲體育比賽的轉(zhuǎn)播等。

3.3 機器人技術(shù)

增強現(xiàn)實技術(shù)可以用于機器人視覺、遙控機器人等方面。采用增強現(xiàn)實技術(shù)可以給空間機器人的操作員一個具有沉浸感的環(huán)境，使得操作起來更容易。除了空間機器人以外在許多諸如采礦深海潛水等許多危險的工作環(huán)境中，也可以采用增強現(xiàn)實技術(shù)。

3.4 制造維護(hù)和維修

當(dāng)設(shè)備維護(hù)人員在維護(hù)一臺陌生的設(shè)備的時候，往往需要看很多的手冊，利用增強現(xiàn)實系統(tǒng)則可以避免這一點日本Chuo 大學(xué)工業(yè)和系統(tǒng)工程系研究出的PARTNER 系統(tǒng)就指導(dǎo)了一個沒有經(jīng)過訓(xùn)練的人員成功地拆卸了一臺投影機。這種系統(tǒng)一般是用增強現(xiàn)實技術(shù)為維護(hù)人員提供輔助信息。

3.5 其他

增強現(xiàn)實系統(tǒng)還廣泛運用于軍事訓(xùn)練、商業(yè)等領(lǐng)域。增強現(xiàn)實技術(shù)在商業(yè)中的應(yīng)用主要是用于廣告業(yè)例如在體育比賽轉(zhuǎn)播中插入廣告等。Daniela Hall等人還研制出了一種用于辦公室環(huán)境的增強現(xiàn)實系統(tǒng)Magicboard，華盛頓大學(xué)將增強現(xiàn)實技術(shù)運用于遠(yuǎn)程會議系統(tǒng)。

4 增強現(xiàn)實技術(shù)的發(fā)展展望

雖然增強現(xiàn)實技術(shù)在近20 年來取得了很大的發(fā)展，但是還是存在很多技術(shù)方面的難題。例如透視式系統(tǒng)沒有足夠的亮度、分辨率和對比度。目前的大多數(shù)系統(tǒng)都是運用于預(yù)知的環(huán)境中，而在非預(yù)知的環(huán)境中的增強現(xiàn)實系統(tǒng)比較少。同時，如果增強現(xiàn)實系統(tǒng)運用于戶外用戶必須戴上計算機、傳感器、顯示器、電池等許多設(shè)備。從而使得系統(tǒng)顯得笨重，所以系統(tǒng)的微型化和低能耗也是一個重要的研究方向。

在網(wǎng)絡(luò)高度發(fā)展的今天，增強現(xiàn)實系統(tǒng)的網(wǎng)絡(luò)化也是一個重要的發(fā)展趨勢。通過網(wǎng)絡(luò)，可以減少一些裝備，同時也可以大大提高增強現(xiàn)實系統(tǒng)的效能。圖4 是Keith 等提出的增強現(xiàn)實系統(tǒng)網(wǎng)絡(luò)化的構(gòu)想圖，通過GPS 無線接入網(wǎng)絡(luò)可以將增強現(xiàn)實系統(tǒng)連上因特網(wǎng)。

和虛擬現(xiàn)實系統(tǒng)不同,增強現(xiàn)實系統(tǒng)的實時性要求非常高。前者的某些數(shù)據(jù)可以事先計算好，而增強現(xiàn)實系統(tǒng)中的虛擬物體必須實時地生成，并被準(zhǔn)確地描繪到現(xiàn)實世界的景象中。這就要求降低系統(tǒng)的延遲性，提高軟件的計算速度。

5 結(jié)論

增強現(xiàn)實技術(shù)是一個多學(xué)科交叉的領(lǐng)域，它包括計算機視覺、計算機圖形學(xué)、傳感器、網(wǎng)絡(luò)、GPS等許多技術(shù)在現(xiàn)實化的增強顯示中，人們能夠把真實世界和電腦圖形重合在一起，便可以得到對真實世界更深的理解。因此，AR被人們稱為“更真實的現(xiàn)實”。AR不僅在與VR有相似的應(yīng)用領(lǐng)域，但是由于其具有能夠?qū)φ鎸嵀h(huán)境的增強輸出特性，在醫(yī)療研究和解剖訓(xùn)練、精密儀器制造和維修、軍用飛機導(dǎo)航、工程設(shè)計和遠(yuǎn)程機器人控制等領(lǐng)域，具有VR技術(shù)更加明顯的優(yōu)勢。相信隨著技術(shù)的日益成熟，AR將會走進(jìn)人們的生活，為人們接受。