一次降落傘事故成為增強現(xiàn)實取得進展的關鍵

時間：2022-10-13 09:45:04

關鍵字：傳感器感知覆蓋虛擬卡具

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]我爬進一個覆蓋著傳感器、電機、齒輪和軸承的上半身外骨骼設備中，然后身體前傾，抬起頭，把臉貼在視覺系統(tǒng)吊在天花板下方的目鏡上。在我面前，我看到的是一塊漆成黑色的大木板，中間有金屬孔網格。木板是真實的。我手中的釘子也是真實的。我嘗試以最快的速度將釘子從一個孔移動到另一個孔。當我開始移動釘子時，目標孔上會出現(xiàn)一個虛擬錐體，以及一個向虛擬椎體緩慢移動的虛擬臺面。當我將釘子沿著平面滑向錐體并插入孔中時，我能感覺到這個臺面的存在。這就是20世紀90年代初開發(fā)的虛擬卡具（Virtual Fixtures）平臺，用于測試“感知覆蓋”的潛力，提高人執(zhí)行靈巧性的手動任務的表現(xiàn)。它奏效了。

1992年，首個交互式增強現(xiàn)實系統(tǒng)設備“從天而降”。

我爬進一個覆蓋著傳感器、電機、齒輪和軸承的上半身外骨骼設備中，然后身體前傾，抬起頭，把臉貼在視覺系統(tǒng)吊在天花板下方的目鏡上。在我面前，我看到的是一塊漆成黑色的大木板，中間有金屬孔網格。木板是真實的。我手中的釘子也是真實的。我嘗試以最快的速度將釘子從一個孔移動到另一個孔。當我開始移動釘子時，目標孔上會出現(xiàn)一個虛擬錐體，以及一個向虛擬椎體緩慢移動的虛擬臺面。當我將釘子沿著平面滑向錐體并插入孔中時，我能感覺到這個臺面的存在。這就是20世紀90年代初開發(fā)的虛擬卡具（Virtual Fixtures）平臺，用于測試“感知覆蓋”的潛力，提高人執(zhí)行靈巧性的手動任務的表現(xiàn)。它奏效了。

如今，虛擬現(xiàn)實專家將這個平臺稱為首個交互式增強現(xiàn)實（AR）系統(tǒng)，其讓用戶能夠在單一沉浸現(xiàn)實中，同時與真實對象和虛擬對象互動。

該項目始于1991年，這項工作是我當年在斯坦福大學攻讀博士學位的課題之一。歷經三年，我制作了多個原型，最終完成項目時，我組裝的系統(tǒng)填滿了半個房間，所用的硬件價值近百萬美元。我還從人體測試中采集了大量數(shù)據(jù)，明確表明采用虛擬對象增強真實工作空間，可顯著提高用戶在精密任務中的表現(xiàn)。

鑒于時間較短，這項目聽起來一切順利，但由于預算緊張且設備需求巨大，項目多次接近“脫軌”。事實上，要不是因為1992年夏天一個降落傘（一個真實的，而非虛擬的降落傘）在俄亥俄州代頓湛藍的天空中開傘失敗，這項工作可能早就流產了。在解釋這次降落傘事故如何推動增強現(xiàn)實發(fā)展之前，我先介紹一些歷史背景。30年前，虛擬現(xiàn)實（VR）領域尚處于起步階段。虛擬現(xiàn)實一詞本身是杰倫?拉尼爾（Jaron Lanier）在1987年創(chuàng)造的，當時他正試圖商業(yè)化第一批頭戴式耳機和手套。該項工作以伊萬?薩瑟蘭（Ivan Sutherland）的早期研究為基礎，伊萬開創(chuàng)了頭戴式顯示技術和頭部追蹤技術，這兩個關鍵部件促進了虛擬現(xiàn)實領域的發(fā)展。當時，將現(xiàn)實世界和虛擬世界融合為沉浸式、交互式的單一現(xiàn)實的增強現(xiàn)實還不具有存在的意義。當時，我還是斯坦福大學的研究生，也是美國國家航空航天局艾姆斯研究中心的兼職研究員，對創(chuàng)造虛擬世界很感興趣。在斯坦福大學，我在設計研究中心工作，該中心的團隊重點研究人與技術的交匯，創(chuàng)造了非常早期的虛擬現(xiàn)實手套、沉浸式視覺系統(tǒng)和3D音響系統(tǒng)。在美國國家航空航天局，我在艾姆斯研究中心的高級顯示和空間感知實驗室工作，這里的研究人員探索實現(xiàn)逼真、沉浸式虛擬世界所需的基本參數(shù)。

當然，知道如何創(chuàng)建高質量的虛擬現(xiàn)實體驗與能夠真正實現(xiàn)這一體驗并不是一回事。當時市面上最好的個人電腦是工作頻率為33兆赫的英特爾486處理器，根據(jù)通貨膨脹調整后的成本約合8000美元，計算速度甚至不及當今廉價游戲計算機的千分之一。另一個選擇是投資6萬美元購買一臺Silicon Graphics的工作站，其計算速度仍然不到今天普通個人電腦的百分之一。因此，盡管20世紀80年代末、90年代初的虛擬現(xiàn)實研究人員從事的是一項開創(chuàng)性的工作，但粗糙的圖形、笨重的耳機和糟糕的延遲會令人頭暈目?；蚋械綈盒?，虛擬體驗并不好。我那時在美國國家航空航天局執(zhí)行一個研究項目，優(yōu)化早期3D視覺系統(tǒng)中的深度感覺，我就是那些因延遲而頭暈目眩的人之一。當時創(chuàng)造的圖像的確是虛擬的，與現(xiàn)實相差甚遠。盡管如此，我并未因頭暈或保真度低而氣餒，因為我確信硬件會穩(wěn)步改進。相反，我為當時虛擬現(xiàn)實驗的封閉和孤立而感到擔心。我希望擴展這項技術，將虛擬現(xiàn)實的性能釋放到現(xiàn)實世界中。我夢想著創(chuàng)造一個混在一起的現(xiàn)實世界，讓虛擬物體以真實的方式存在于身體周邊的環(huán)境中，宛若周邊真實世界的一部分，讓人們能夠與之接觸與互動，就如同它們真實存在一樣。當時我知道一種非?；A的混合現(xiàn)實，即軍事飛行員使用的平視顯示器，它讓飛行數(shù)據(jù)出現(xiàn)在飛行員的視線中，飛行員不需要低頭看駕駛艙儀表。我自己并未有過這樣的體驗，而是在《壯志凌云》《終結者》等20世紀80年代的熱門電影中熟悉了它們?！秹阎玖柙啤返目諔?zhàn)中，飛行員面前的玻璃板上出現(xiàn)了發(fā)光的十字準線；《終結者》中，十字準線結合文本和數(shù)字數(shù)據(jù)，成為虛構機器人對周圍世界的一部分視角信息。這兩種混合現(xiàn)實沒有絲毫的沉浸感，圖像呈現(xiàn)在平面上，而非連接3D空間的現(xiàn)實世界。但它們暗示了一種有趣的可能性。我想我可以完全超越簡單的十字準線和平面上的文本，我要創(chuàng)建一些虛擬物體，讓它們在空間上顯示為普通環(huán)境中的真實物體。我希望給這些虛擬物體灌注真實的物理特性。我需要大量資源來實現(xiàn)這一愿景，我在斯坦福大學和美國國家航空航天局獲得的資源遠遠不夠。因此，我向美國空軍阿姆斯特朗實驗室的人體感官反饋研究組提交了這一概念，該實驗室現(xiàn)為空軍研究實驗室的一部分。為解釋混合現(xiàn)實世界和虛擬世界的實用價值，我用簡單的金屬尺子做個比喻。如果你要在現(xiàn)實世界中畫一條直線，你可以徒手慢慢地畫，即使花費了大量的腦力，畫出的線條仍然不會特別直；而如果你有一把尺子，就可以又快又省力地完成這個任務了?，F(xiàn)在想象一下，你拿的不是真正的尺子，而是一把虛擬尺子，讓它馬上出現(xiàn)在現(xiàn)實世界中，完美地顯示在真實環(huán)境里。這把虛擬尺子在感覺上是真實存在的，真實到可以用它來引導真正的鉛筆。因為尺子是虛擬的，所以它可以是任意形狀和大小，具有金屬直尺永遠無法實現(xiàn)的有益且有用的特性。當然，尺子只是一個比喻。我向空軍描繪的應用范圍很廣，從增強制造拓展到外科手術。例如，需要進行危險手術的外科醫(yī)生可能使用笨重的金屬卡具來穩(wěn)定雙手，避開重要器官，而如果可以發(fā)明增強手術新工具——虛擬卡具來引導真實的手術刀，這種真實不僅是視覺上的，還是身體感覺上的，情況就不一樣了。因為卡具是虛擬的，因此它可以直接穿過患者的身體，不需要切口就可以進入患者的身體組織之中。這一概念令軍方興奮不已，軍方的興趣不僅在于外科手術這類現(xiàn)場任務，還在于使用遙控機器人執(zhí)行的遠程任務。舉例而言，地球上的技術人員可以在虛擬卡具和工作現(xiàn)場的視頻圖像的輔助下，遠程控制機器人修復衛(wèi)星?？哲娡馓峁┳銐虻馁Y金，支付我在斯坦福大學的費用和少量的設備預算。我還能在俄亥俄州代頓附近的懷特帕特森空軍基地使用計算機和其他設備，這一點也許更為重要。被稱為虛擬卡具的項目終于盤活了，其目標是構建一個原型，用于人類受試者進行嚴格測試。我成為了一個馬不停蹄出差的研究員，在斯坦福大學研究核心思想，在美國國家航空航天局艾姆斯中心具體化基礎技術，在懷特帕特森基地組裝整個系統(tǒng)。現(xiàn)在來談談那些降落傘。作為20出頭的年輕研究員，當時的我渴望了解周圍不同實驗室正在進行的多個項目。我在懷特帕特森基密切關注的項目是設計新的降落傘。如你所想，降落傘研究團隊提出新設計時，并不是把它綁在一個人身上進行測試，而是將降落傘綁到裝有傳感器和儀器的假人裝置上。兩名工程師帶著硬件登上飛機，投下假人裝置并相伴起跳，觀察傘布的展開情況。接著聽我的故事，你會明白為何降落傘成為早期增強現(xiàn)實系統(tǒng)開發(fā)的關鍵。回到虛擬卡具項目，我的目標是證明一個基本概念，即可以用逼真的虛擬對象來增強真實的工作區(qū)域，幫助用戶執(zhí)行靈巧性高的人工作業(yè)。要驗證這一概念，我不會讓用戶進行外科手術或修理衛(wèi)星，而是需要可重復的簡單任務來測定量化人工作業(yè)的表現(xiàn)。美國空軍已有一項使用多年的標準化作業(yè)，用于測試人在不同精神和身體壓力下的敏捷性。這個插釘子作業(yè)被稱為菲茨定律，即讓測試對象在大釘板上的各個孔之間快速移動金屬釘子。于是，我開始組裝系統(tǒng)，將虛擬卡具與真實釘板融合，創(chuàng)建3D空間完美的混合現(xiàn)實體驗。我的目標是讓虛擬物體盡可能逼真，真實釘子撞在虛擬卡具上的感覺和撞到真實釘板一樣真實。我編寫了軟件來仿真各種虛擬卡具，從簡單的臺面，防止人手超越目標孔，到造型細膩的圓錐體，幫助用戶將真正的釘子釘?shù)秸鎸嵉目锥粗?。我?chuàng)建了虛擬覆蓋層，模擬材質且具有相應的聲音，有些覆蓋層甚至能夠模擬穿過濃稠的虛擬蜂蜜液體的感覺。為提高真實性，我對每個虛擬元素的物理特性進行建模，在3個維度上準確表示元素的位置，與用戶對真實木板的感知保持一致。當用戶將手移至與虛擬平面相對應的區(qū)域時，外殼裝置中的電機會向后推一下，這一接口技術現(xiàn)在通常稱為觸覺反饋。它的感覺十分真實，你甚至可以沿著虛擬平面的邊緣滑動，就像將鉛筆沿著真正的尺子移動一樣。為將虛擬元素與真實的釘板準確對齊，需要高質量的攝像頭。當時的攝像頭比今天貴得多，我已經沒有預算再買攝像頭了。這是一個令人沮喪的障礙：空軍讓我使用了各種令人驚嘆的硬件，但對于一臺簡單的攝像頭，他們卻無能為力。似乎每個研究項目都需要攝像頭，其中大多數(shù)項目的優(yōu)先級都遠高于我的項目。這便將故事帶回到了測試試驗型降落傘的跳傘工程師。有一天，這些工程師來實驗室聊天；他們提到降落傘未能打開，假人裝置垂直墜落到地上，所有的傳感器和攝像頭都摔毀了。這對我的項目而言也不是一個好消息，因為我知道，如果大樓里還有額外的攝像機，一定會被工程師拿走。后來我問工程師是否可以給我看看他們測試失敗的殘骸。變形的金屬、懸著的電路和破碎的攝像機雜亂地丟在一起。盡管這些攝像機外殼破裂、鏡頭損壞，看起來很糟糕，但我仍然想知道能不能找到一個還能使用的，滿足我的需求。奇跡出現(xiàn)了，我利用摔壞的6個工作單元拼湊出2個工作單元。于是，利用“從天而降”摔在地上的攝像機，交互式增強現(xiàn)實系統(tǒng)的首次人體測試終于實現(xiàn)了。要了解這些攝像頭對系統(tǒng)的重要性，不妨想想如今簡單的增強現(xiàn)實應用程序，例如《精靈寶可夢》。如果手機背面沒有攝像頭實時捕捉并顯示現(xiàn)實世界，那就不是增強現(xiàn)實體驗，而只是個標準的視頻游戲。虛擬卡具系統(tǒng)亦是如此。多虧了那個失敗的降落傘裝置的攝像頭，我順利創(chuàng)建出具有精確空間表現(xiàn)的混合現(xiàn)實，提供可同時在真實和虛擬環(huán)境中進行接觸和交互的沉浸式體驗。至于項目的試驗部分，我進行了一系列人體研究，用戶在研究中體驗了利用各種虛擬卡具疊加真實任務板的感知。最有用的卡具是錐體和臺面，當用戶將釘子對準孔洞時，卡具可以對用戶的手進行引導。最有效的則是身體試驗，在現(xiàn)實世界中不易制造的東西，在虛擬環(huán)境中卻很容易實現(xiàn)。例如，我通過編程實現(xiàn)了對釘子具有“磁性吸引力”的虛擬臺面。對用戶而言，就有了釘子好像被吸到臺面上的感覺，然后他們可以沿著臺面滑動釘子，直到釘子又被吸了一下。這類卡具可將試驗中的速度和靈巧度提高1倍以上。在我們當時考慮的虛擬卡具的各類應用中，最具商業(yè)可行性的是在遠程或危險環(huán)境中手動控制機器人，例如危險廢棄物的清理。如果通信距給遠程遙控機器人操作帶來了延遲，那么虛擬卡具對于提高人的靈巧度將變得更加有價值。今天，研究人員仍在探索將虛擬卡具用于遠程遙控機器人應用，并取得了巨大成功，包括衛(wèi)星修復和機器人輔助手術。

而我選擇了完全不同的方向，推動增強現(xiàn)實實現(xiàn)更多主流應用。因為虛擬卡具項目對我個人影響最大的并不是在插釘子任務中提高性能，而是當人類受試者爬出系統(tǒng)時，臉上洋溢著燦爛的笑容，陶醉于剛才非凡的經歷。許多人主動和我說，這項技術有一天將會無處不在。

我同意他們的看法。我當時確信我們會在20世紀90年代末看到這項沉浸式技術成為主流。事實上，人們在嘗試這些早期原型時的熱情反響，真的令我深受鼓舞。我在1993年創(chuàng)立了Immersion公司，以實現(xiàn)主流消費應用為目標。當然，目標并沒有很快實現(xiàn)。冒著再次犯錯的風險，我真誠地相信，虛擬現(xiàn)實和增強現(xiàn)實（現(xiàn)在通常被稱為元宇宙）將在21世紀20年代末成為大多數(shù)人生活的重要組成部分。基于近期大公司改進技術的投資激增，我預測到21世紀30年代初，增強現(xiàn)實將取代手機，成為我們訪問數(shù)字內容的主要界面。另外，在30年前早期體驗過增強現(xiàn)實的測試對象中，沒有一個人知道自己使用的是從飛機上掉下來的硬件。但他們確實知道，自己是第一批伸手觸摸到增強現(xiàn)實未來的人。

作者：Louis Rosenberg