一次降落傘事故成為增強(qiáng)現(xiàn)實(shí)取得進(jìn)展的關(guān)鍵

時(shí)間：2022-10-13 09:45:04

關(guān)鍵字：傳感器感知覆蓋虛擬卡具

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]我爬進(jìn)一個(gè)覆蓋著傳感器、電機(jī)、齒輪和軸承的上半身外骨骼設(shè)備中，然后身體前傾，抬起頭，把臉貼在視覺系統(tǒng)吊在天花板下方的目鏡上。在我面前，我看到的是一塊漆成黑色的大木板，中間有金屬孔網(wǎng)格。木板是真實(shí)的。我手中的釘子也是真實(shí)的。我嘗試以最快的速度將釘子從一個(gè)孔移動(dòng)到另一個(gè)孔。當(dāng)我開始移動(dòng)釘子時(shí)，目標(biāo)孔上會(huì)出現(xiàn)一個(gè)虛擬錐體，以及一個(gè)向虛擬椎體緩慢移動(dòng)的虛擬臺面。當(dāng)我將釘子沿著平面滑向錐體并插入孔中時(shí)，我能感覺到這個(gè)臺面的存在。這就是20世紀(jì)90年代初開發(fā)的虛擬卡具（Virtual Fixtures）平臺，用于測試“感知覆蓋”的潛力，提高人執(zhí)行靈巧性的手動(dòng)任務(wù)的表現(xiàn)。它奏效了。

1992年，首個(gè)交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)備“從天而降”。

我爬進(jìn)一個(gè)覆蓋著傳感器、電機(jī)、齒輪和軸承的上半身外骨骼設(shè)備中，然后身體前傾，抬起頭，把臉貼在視覺系統(tǒng)吊在天花板下方的目鏡上。在我面前，我看到的是一塊漆成黑色的大木板，中間有金屬孔網(wǎng)格。木板是真實(shí)的。我手中的釘子也是真實(shí)的。我嘗試以最快的速度將釘子從一個(gè)孔移動(dòng)到另一個(gè)孔。當(dāng)我開始移動(dòng)釘子時(shí)，目標(biāo)孔上會(huì)出現(xiàn)一個(gè)虛擬錐體，以及一個(gè)向虛擬椎體緩慢移動(dòng)的虛擬臺面。當(dāng)我將釘子沿著平面滑向錐體并插入孔中時(shí)，我能感覺到這個(gè)臺面的存在。這就是20世紀(jì)90年代初開發(fā)的虛擬卡具（Virtual Fixtures）平臺，用于測試“感知覆蓋”的潛力，提高人執(zhí)行靈巧性的手動(dòng)任務(wù)的表現(xiàn)。它奏效了。

如今，虛擬現(xiàn)實(shí)專家將這個(gè)平臺稱為首個(gè)交互式增強(qiáng)現(xiàn)實(shí)（AR）系統(tǒng)，其讓用戶能夠在單一沉浸現(xiàn)實(shí)中，同時(shí)與真實(shí)對象和虛擬對象互動(dòng)。

該項(xiàng)目始于1991年，這項(xiàng)工作是我當(dāng)年在斯坦福大學(xué)攻讀博士學(xué)位的課題之一。歷經(jīng)三年，我制作了多個(gè)原型，最終完成項(xiàng)目時(shí)，我組裝的系統(tǒng)填滿了半個(gè)房間，所用的硬件價(jià)值近百萬美元。我還從人體測試中采集了大量數(shù)據(jù)，明確表明采用虛擬對象增強(qiáng)真實(shí)工作空間，可顯著提高用戶在精密任務(wù)中的表現(xiàn)。

鑒于時(shí)間較短，這項(xiàng)目聽起來一切順利，但由于預(yù)算緊張且設(shè)備需求巨大，項(xiàng)目多次接近“脫軌”。事實(shí)上，要不是因?yàn)?992年夏天一個(gè)降落傘（一個(gè)真實(shí)的，而非虛擬的降落傘）在俄亥俄州代頓湛藍(lán)的天空中開傘失敗，這項(xiàng)工作可能早就流產(chǎn)了。在解釋這次降落傘事故如何推動(dòng)增強(qiáng)現(xiàn)實(shí)發(fā)展之前，我先介紹一些歷史背景。30年前，虛擬現(xiàn)實(shí)（VR）領(lǐng)域尚處于起步階段。虛擬現(xiàn)實(shí)一詞本身是杰倫?拉尼爾（Jaron Lanier）在1987年創(chuàng)造的，當(dāng)時(shí)他正試圖商業(yè)化第一批頭戴式耳機(jī)和手套。該項(xiàng)工作以伊萬?薩瑟蘭（Ivan Sutherland）的早期研究為基礎(chǔ)，伊萬開創(chuàng)了頭戴式顯示技術(shù)和頭部追蹤技術(shù)，這兩個(gè)關(guān)鍵部件促進(jìn)了虛擬現(xiàn)實(shí)領(lǐng)域的發(fā)展。當(dāng)時(shí)，將現(xiàn)實(shí)世界和虛擬世界融合為沉浸式、交互式的單一現(xiàn)實(shí)的增強(qiáng)現(xiàn)實(shí)還不具有存在的意義。當(dāng)時(shí)，我還是斯坦福大學(xué)的研究生，也是美國國家航空航天局艾姆斯研究中心的兼職研究員，對創(chuàng)造虛擬世界很感興趣。在斯坦福大學(xué)，我在設(shè)計(jì)研究中心工作，該中心的團(tuán)隊(duì)重點(diǎn)研究人與技術(shù)的交匯，創(chuàng)造了非常早期的虛擬現(xiàn)實(shí)手套、沉浸式視覺系統(tǒng)和3D音響系統(tǒng)。在美國國家航空航天局，我在艾姆斯研究中心的高級顯示和空間感知實(shí)驗(yàn)室工作，這里的研究人員探索實(shí)現(xiàn)逼真、沉浸式虛擬世界所需的基本參數(shù)。

當(dāng)然，知道如何創(chuàng)建高質(zhì)量的虛擬現(xiàn)實(shí)體驗(yàn)與能夠真正實(shí)現(xiàn)這一體驗(yàn)并不是一回事。當(dāng)時(shí)市面上最好的個(gè)人電腦是工作頻率為33兆赫的英特爾486處理器，根據(jù)通貨膨脹調(diào)整后的成本約合8000美元，計(jì)算速度甚至不及當(dāng)今廉價(jià)游戲計(jì)算機(jī)的千分之一。另一個(gè)選擇是投資6萬美元購買一臺Silicon Graphics的工作站，其計(jì)算速度仍然不到今天普通個(gè)人電腦的百分之一。因此，盡管20世紀(jì)80年代末、90年代初的虛擬現(xiàn)實(shí)研究人員從事的是一項(xiàng)開創(chuàng)性的工作，但粗糙的圖形、笨重的耳機(jī)和糟糕的延遲會(huì)令人頭暈?zāi)垦；蚋械綈盒?，虛擬體驗(yàn)并不好。我那時(shí)在美國國家航空航天局執(zhí)行一個(gè)研究項(xiàng)目，優(yōu)化早期3D視覺系統(tǒng)中的深度感覺，我就是那些因延遲而頭暈?zāi)垦５娜酥弧．?dāng)時(shí)創(chuàng)造的圖像的確是虛擬的，與現(xiàn)實(shí)相差甚遠(yuǎn)。盡管如此，我并未因頭暈或保真度低而氣餒，因?yàn)槲掖_信硬件會(huì)穩(wěn)步改進(jìn)。相反，我為當(dāng)時(shí)虛擬現(xiàn)實(shí)驗(yàn)的封閉和孤立而感到擔(dān)心。我希望擴(kuò)展這項(xiàng)技術(shù)，將虛擬現(xiàn)實(shí)的性能釋放到現(xiàn)實(shí)世界中。我夢想著創(chuàng)造一個(gè)混在一起的現(xiàn)實(shí)世界，讓虛擬物體以真實(shí)的方式存在于身體周邊的環(huán)境中，宛若周邊真實(shí)世界的一部分，讓人們能夠與之接觸與互動(dòng)，就如同它們真實(shí)存在一樣。當(dāng)時(shí)我知道一種非?；A(chǔ)的混合現(xiàn)實(shí)，即軍事飛行員使用的平視顯示器，它讓飛行數(shù)據(jù)出現(xiàn)在飛行員的視線中，飛行員不需要低頭看駕駛艙儀表。我自己并未有過這樣的體驗(yàn)，而是在《壯志凌云》《終結(jié)者》等20世紀(jì)80年代的熱門電影中熟悉了它們?！秹阎玖柙啤返目諔?zhàn)中，飛行員面前的玻璃板上出現(xiàn)了發(fā)光的十字準(zhǔn)線；《終結(jié)者》中，十字準(zhǔn)線結(jié)合文本和數(shù)字?jǐn)?shù)據(jù)，成為虛構(gòu)機(jī)器人對周圍世界的一部分視角信息。這兩種混合現(xiàn)實(shí)沒有絲毫的沉浸感，圖像呈現(xiàn)在平面上，而非連接3D空間的現(xiàn)實(shí)世界。但它們暗示了一種有趣的可能性。我想我可以完全超越簡單的十字準(zhǔn)線和平面上的文本，我要?jiǎng)?chuàng)建一些虛擬物體，讓它們在空間上顯示為普通環(huán)境中的真實(shí)物體。我希望給這些虛擬物體灌注真實(shí)的物理特性。我需要大量資源來實(shí)現(xiàn)這一愿景，我在斯坦福大學(xué)和美國國家航空航天局獲得的資源遠(yuǎn)遠(yuǎn)不夠。因此，我向美國空軍阿姆斯特朗實(shí)驗(yàn)室的人體感官反饋研究組提交了這一概念，該實(shí)驗(yàn)室現(xiàn)為空軍研究實(shí)驗(yàn)室的一部分。為解釋混合現(xiàn)實(shí)世界和虛擬世界的實(shí)用價(jià)值，我用簡單的金屬尺子做個(gè)比喻。如果你要在現(xiàn)實(shí)世界中畫一條直線，你可以徒手慢慢地畫，即使花費(fèi)了大量的腦力，畫出的線條仍然不會(huì)特別直；而如果你有一把尺子，就可以又快又省力地完成這個(gè)任務(wù)了?，F(xiàn)在想象一下，你拿的不是真正的尺子，而是一把虛擬尺子，讓它馬上出現(xiàn)在現(xiàn)實(shí)世界中，完美地顯示在真實(shí)環(huán)境里。這把虛擬尺子在感覺上是真實(shí)存在的，真實(shí)到可以用它來引導(dǎo)真正的鉛筆。因?yàn)槌咦邮翘摂M的，所以它可以是任意形狀和大小，具有金屬直尺永遠(yuǎn)無法實(shí)現(xiàn)的有益且有用的特性。當(dāng)然，尺子只是一個(gè)比喻。我向空軍描繪的應(yīng)用范圍很廣，從增強(qiáng)制造拓展到外科手術(shù)。例如，需要進(jìn)行危險(xiǎn)手術(shù)的外科醫(yī)生可能使用笨重的金屬卡具來穩(wěn)定雙手，避開重要器官，而如果可以發(fā)明增強(qiáng)手術(shù)新工具——虛擬卡具來引導(dǎo)真實(shí)的手術(shù)刀，這種真實(shí)不僅是視覺上的，還是身體感覺上的，情況就不一樣了。因?yàn)榭ň呤翘摂M的，因此它可以直接穿過患者的身體，不需要切口就可以進(jìn)入患者的身體組織之中。這一概念令軍方興奮不已，軍方的興趣不僅在于外科手術(shù)這類現(xiàn)場任務(wù)，還在于使用遙控機(jī)器人執(zhí)行的遠(yuǎn)程任務(wù)。舉例而言，地球上的技術(shù)人員可以在虛擬卡具和工作現(xiàn)場的視頻圖像的輔助下，遠(yuǎn)程控制機(jī)器人修復(fù)衛(wèi)星?？哲娡馓峁┳銐虻馁Y金，支付我在斯坦福大學(xué)的費(fèi)用和少量的設(shè)備預(yù)算。我還能在俄亥俄州代頓附近的懷特帕特森空軍基地使用計(jì)算機(jī)和其他設(shè)備，這一點(diǎn)也許更為重要。被稱為虛擬卡具的項(xiàng)目終于盤活了，其目標(biāo)是構(gòu)建一個(gè)原型，用于人類受試者進(jìn)行嚴(yán)格測試。我成為了一個(gè)馬不停蹄出差的研究員，在斯坦福大學(xué)研究核心思想，在美國國家航空航天局艾姆斯中心具體化基礎(chǔ)技術(shù)，在懷特帕特森基地組裝整個(gè)系統(tǒng)。現(xiàn)在來談?wù)勀切┙德鋫恪?/span>作為20出頭的年輕研究員，當(dāng)時(shí)的我渴望了解周圍不同實(shí)驗(yàn)室正在進(jìn)行的多個(gè)項(xiàng)目。我在懷特帕特森基密切關(guān)注的項(xiàng)目是設(shè)計(jì)新的降落傘。如你所想，降落傘研究團(tuán)隊(duì)提出新設(shè)計(jì)時(shí)，并不是把它綁在一個(gè)人身上進(jìn)行測試，而是將降落傘綁到裝有傳感器和儀器的假人裝置上。兩名工程師帶著硬件登上飛機(jī)，投下假人裝置并相伴起跳，觀察傘布的展開情況。接著聽我的故事，你會(huì)明白為何降落傘成為早期增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)的關(guān)鍵。回到虛擬卡具項(xiàng)目，我的目標(biāo)是證明一個(gè)基本概念，即可以用逼真的虛擬對象來增強(qiáng)真實(shí)的工作區(qū)域，幫助用戶執(zhí)行靈巧性高的人工作業(yè)。要驗(yàn)證這一概念，我不會(huì)讓用戶進(jìn)行外科手術(shù)或修理衛(wèi)星，而是需要可重復(fù)的簡單任務(wù)來測定量化人工作業(yè)的表現(xiàn)。美國空軍已有一項(xiàng)使用多年的標(biāo)準(zhǔn)化作業(yè)，用于測試人在不同精神和身體壓力下的敏捷性。這個(gè)插釘子作業(yè)被稱為菲茨定律，即讓測試對象在大釘板上的各個(gè)孔之間快速移動(dòng)金屬釘子。于是，我開始組裝系統(tǒng)，將虛擬卡具與真實(shí)釘板融合，創(chuàng)建3D空間完美的混合現(xiàn)實(shí)體驗(yàn)。我的目標(biāo)是讓虛擬物體盡可能逼真，真實(shí)釘子撞在虛擬卡具上的感覺和撞到真實(shí)釘板一樣真實(shí)。我編寫了軟件來仿真各種虛擬卡具，從簡單的臺面，防止人手超越目標(biāo)孔，到造型細(xì)膩的圓錐體，幫助用戶將真正的釘子釘?shù)秸鎸?shí)的孔洞中。我創(chuàng)建了虛擬覆蓋層，模擬材質(zhì)且具有相應(yīng)的聲音，有些覆蓋層甚至能夠模擬穿過濃稠的虛擬蜂蜜液體的感覺。為提高真實(shí)性，我對每個(gè)虛擬元素的物理特性進(jìn)行建模，在3個(gè)維度上準(zhǔn)確表示元素的位置，與用戶對真實(shí)木板的感知保持一致。當(dāng)用戶將手移至與虛擬平面相對應(yīng)的區(qū)域時(shí)，外殼裝置中的電機(jī)會(huì)向后推一下，這一接口技術(shù)現(xiàn)在通常稱為觸覺反饋。它的感覺十分真實(shí)，你甚至可以沿著虛擬平面的邊緣滑動(dòng)，就像將鉛筆沿著真正的尺子移動(dòng)一樣。為將虛擬元素與真實(shí)的釘板準(zhǔn)確對齊，需要高質(zhì)量的攝像頭。當(dāng)時(shí)的攝像頭比今天貴得多，我已經(jīng)沒有預(yù)算再買攝像頭了。這是一個(gè)令人沮喪的障礙：空軍讓我使用了各種令人驚嘆的硬件，但對于一臺簡單的攝像頭，他們卻無能為力。似乎每個(gè)研究項(xiàng)目都需要攝像頭，其中大多數(shù)項(xiàng)目的優(yōu)先級都遠(yuǎn)高于我的項(xiàng)目。這便將故事帶回到了測試試驗(yàn)型降落傘的跳傘工程師。有一天，這些工程師來實(shí)驗(yàn)室聊天；他們提到降落傘未能打開，假人裝置垂直墜落到地上，所有的傳感器和攝像頭都摔毀了。這對我的項(xiàng)目而言也不是一個(gè)好消息，因?yàn)槲抑溃绻髽抢镞€有額外的攝像機(jī)，一定會(huì)被工程師拿走。后來我問工程師是否可以給我看看他們測試失敗的殘骸。變形的金屬、懸著的電路和破碎的攝像機(jī)雜亂地丟在一起。盡管這些攝像機(jī)外殼破裂、鏡頭損壞，看起來很糟糕，但我仍然想知道能不能找到一個(gè)還能使用的，滿足我的需求。奇跡出現(xiàn)了，我利用摔壞的6個(gè)工作單元拼湊出2個(gè)工作單元。于是，利用“從天而降”摔在地上的攝像機(jī)，交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的首次人體測試終于實(shí)現(xiàn)了。要了解這些攝像頭對系統(tǒng)的重要性，不妨想想如今簡單的增強(qiáng)現(xiàn)實(shí)應(yīng)用程序，例如《精靈寶可夢》。如果手機(jī)背面沒有攝像頭實(shí)時(shí)捕捉并顯示現(xiàn)實(shí)世界，那就不是增強(qiáng)現(xiàn)實(shí)體驗(yàn)，而只是個(gè)標(biāo)準(zhǔn)的視頻游戲。虛擬卡具系統(tǒng)亦是如此。多虧了那個(gè)失敗的降落傘裝置的攝像頭，我順利創(chuàng)建出具有精確空間表現(xiàn)的混合現(xiàn)實(shí)，提供可同時(shí)在真實(shí)和虛擬環(huán)境中進(jìn)行接觸和交互的沉浸式體驗(yàn)。至于項(xiàng)目的試驗(yàn)部分，我進(jìn)行了一系列人體研究，用戶在研究中體驗(yàn)了利用各種虛擬卡具疊加真實(shí)任務(wù)板的感知。最有用的卡具是錐體和臺面，當(dāng)用戶將釘子對準(zhǔn)孔洞時(shí)，卡具可以對用戶的手進(jìn)行引導(dǎo)。最有效的則是身體試驗(yàn)，在現(xiàn)實(shí)世界中不易制造的東西，在虛擬環(huán)境中卻很容易實(shí)現(xiàn)。例如，我通過編程實(shí)現(xiàn)了對釘子具有“磁性吸引力”的虛擬臺面。對用戶而言，就有了釘子好像被吸到臺面上的感覺，然后他們可以沿著臺面滑動(dòng)釘子，直到釘子又被吸了一下。這類卡具可將試驗(yàn)中的速度和靈巧度提高1倍以上。在我們當(dāng)時(shí)考慮的虛擬卡具的各類應(yīng)用中，最具商業(yè)可行性的是在遠(yuǎn)程或危險(xiǎn)環(huán)境中手動(dòng)控制機(jī)器人，例如危險(xiǎn)廢棄物的清理。如果通信距給遠(yuǎn)程遙控機(jī)器人操作帶來了延遲，那么虛擬卡具對于提高人的靈巧度將變得更加有價(jià)值。今天，研究人員仍在探索將虛擬卡具用于遠(yuǎn)程遙控機(jī)器人應(yīng)用，并取得了巨大成功，包括衛(wèi)星修復(fù)和機(jī)器人輔助手術(shù)。

而我選擇了完全不同的方向，推動(dòng)增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)更多主流應(yīng)用。因?yàn)樘摂M卡具項(xiàng)目對我個(gè)人影響最大的并不是在插釘子任務(wù)中提高性能，而是當(dāng)人類受試者爬出系統(tǒng)時(shí)，臉上洋溢著燦爛的笑容，陶醉于剛才非凡的經(jīng)歷。許多人主動(dòng)和我說，這項(xiàng)技術(shù)有一天將會(huì)無處不在。

我同意他們的看法。我當(dāng)時(shí)確信我們會(huì)在20世紀(jì)90年代末看到這項(xiàng)沉浸式技術(shù)成為主流。事實(shí)上，人們在嘗試這些早期原型時(shí)的熱情反響，真的令我深受鼓舞。我在1993年創(chuàng)立了Immersion公司，以實(shí)現(xiàn)主流消費(fèi)應(yīng)用為目標(biāo)。當(dāng)然，目標(biāo)并沒有很快實(shí)現(xiàn)。冒著再次犯錯(cuò)的風(fēng)險(xiǎn)，我真誠地相信，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)（現(xiàn)在通常被稱為元宇宙）將在21世紀(jì)20年代末成為大多數(shù)人生活的重要組成部分。基于近期大公司改進(jìn)技術(shù)的投資激增，我預(yù)測到21世紀(jì)30年代初，增強(qiáng)現(xiàn)實(shí)將取代手機(jī)，成為我們訪問數(shù)字內(nèi)容的主要界面。另外，在30年前早期體驗(yàn)過增強(qiáng)現(xiàn)實(shí)的測試對象中，沒有一個(gè)人知道自己使用的是從飛機(jī)上掉下來的硬件。但他們確實(shí)知道，自己是第一批伸手觸摸到增強(qiáng)現(xiàn)實(shí)未來的人。

作者：Louis Rosenberg