計(jì)算機(jī)圖形學(xué)年鑒：研究現(xiàn)狀、應(yīng)用和未來(lái)

計(jì)算機(jī)圖形學(xué)是支持各種影視特效、三維動(dòng)畫(huà)影片、計(jì)算機(jī)游戲、虛擬現(xiàn)實(shí)以及大家手機(jī)上各種照片視頻美化特效背后的技術(shù)基礎(chǔ)，在本文中，微軟亞洲研究院網(wǎng)絡(luò)圖形組深入解釋了圖形學(xué)的現(xiàn)狀、發(fā)展和未來(lái)。

談及“計(jì)算機(jī)圖形學(xué)”，可能很多人會(huì)覺(jué)得很有距離感，或者和計(jì)算機(jī)視覺(jué)、圖像處理等學(xué)科混淆。但是，如果告訴大家圖形學(xué)技術(shù)是支持各種影視特效、三維動(dòng)畫(huà)影片、計(jì)算機(jī)游戲、虛擬現(xiàn)實(shí)以及大家手機(jī)上各種照片視頻美化特效背后的技術(shù)基礎(chǔ)，相信大家都不會(huì)再覺(jué)得陌生。

在計(jì)算機(jī)誕生后，如何在計(jì)算機(jī)中有效地表達(dá)、處理以及顯示三維信息，很快變成了計(jì)算機(jī)應(yīng)用研究中的一個(gè)重要問(wèn)題。針對(duì)這一需求，計(jì)算機(jī)圖形學(xué)在二十世紀(jì)六十年代應(yīng)運(yùn)而生。在過(guò)去的幾十年中，計(jì)算機(jī)圖形學(xué)得到了長(zhǎng)足的發(fā)展，并深深地影響了很多產(chǎn)業(yè)的發(fā)展和人們的生活、工作和娛樂(lè)方式。

在硬件上，圖形學(xué)的發(fā)展催生了專用圖形處理器GPU(graphics processing unit)的產(chǎn)生與普及。在軟件上，圖形學(xué)的基本繪制流水線已成為操作系統(tǒng)的一部分，為各種計(jì)算機(jī)平臺(tái)提供顯示和圖形處理。應(yīng)用上，圖形學(xué)催生了影視特效、三維動(dòng)畫(huà)影片、數(shù)據(jù)可視化、計(jì)算機(jī)游戲、虛擬現(xiàn)實(shí)、計(jì)算機(jī)輔助設(shè)計(jì)和制造等一系列產(chǎn)業(yè)，并為這些產(chǎn)業(yè)的發(fā)展提供了核心技術(shù)和算法支持。

作為一個(gè)計(jì)算機(jī)應(yīng)用學(xué)科，計(jì)算機(jī)圖形學(xué)的內(nèi)涵和外延在過(guò)去幾十年里也在不斷地演進(jìn)和擴(kuò)展。如果我們回顧計(jì)算機(jī)圖形學(xué)年會(huì)ACMSIGGRAPH上過(guò)去十幾年發(fā)表的論文，一方面會(huì)驚嘆其中紛雜精彩的研究題目和每篇文章作者的奇思妙想，另一方面也難免感到有些迷失，似乎圖形學(xué)僅僅是在不斷追求新奇和炫目的視覺(jué)效果。這是在一個(gè)快速發(fā)展的應(yīng)用學(xué)科中很多剛?cè)腴T的學(xué)者都會(huì)有的困惑。

圖形學(xué)研究的核心是什么？推動(dòng)圖形學(xué)發(fā)展的動(dòng)力是什么？未來(lái)，隨著計(jì)算機(jī)圖形學(xué)的進(jìn)一步發(fā)展，哪些應(yīng)用場(chǎng)景將呼之欲出？伴隨著這些新的應(yīng)用場(chǎng)景、需求的出現(xiàn)，我們面臨的技術(shù)挑戰(zhàn)又是怎樣的？在這篇文章中，我們?cè)囍鴮?duì)圖形學(xué)的現(xiàn)狀、發(fā)展和未來(lái)做一些思考，并嘗試一一回答這些問(wèn)題。

計(jì)算機(jī)圖形學(xué)研究與應(yīng)用現(xiàn)狀

圖形學(xué)的核心科學(xué)問(wèn)題是在計(jì)算機(jī)中有效的表達(dá)和處理三維世界的各種屬性。圖形學(xué)所處理的三維信息既包括物理真實(shí)世界中的三維信息，也包含我們?nèi)祟惔竽X通過(guò)想象產(chǎn)生的虛擬的三維信息。計(jì)算機(jī)圖形作為一個(gè)中介，提供了這兩個(gè)世界在計(jì)算機(jī)中的一個(gè)共同的表達(dá)和信息交流渠道。

在計(jì)算機(jī)圖形學(xué)誕生之前，物理學(xué)家和數(shù)學(xué)家已經(jīng)對(duì)真實(shí)三維世界進(jìn)行了長(zhǎng)期的研究，把我們觀察到的世界有效的解構(gòu)為核心的一些物理量和他們之間相互作用的規(guī)律。如圖1所示，傳統(tǒng)的圖形學(xué)受物理學(xué)和數(shù)學(xué)啟發(fā)，將三維對(duì)象分解為幾何、表觀、行為或者動(dòng)態(tài)三種屬性。其中幾何描述三維對(duì)象的幾何形狀；表觀描述三維對(duì)象的材料光照屬性以及材料如何和光相互作用；行為則表達(dá)了一個(gè)三維對(duì)象的動(dòng)態(tài)特性從而決定了對(duì)象的運(yùn)動(dòng)和其他物體的交互行為。

在這個(gè)基礎(chǔ)上，針對(duì)不同對(duì)象特性和應(yīng)用要求的不同，圖形學(xué)研究中具體的三維對(duì)象又可以大致分為物體、人（包括類人的角色character）以及環(huán)境三部分。

針對(duì)這些三維對(duì)象的不同三維信息（幾何、表觀、行為），我們把圖形學(xué)的研究方向和技術(shù)也可以大致分為三個(gè)大類：

一是獲取和建模。主要研究如何有效地構(gòu)建、編輯、處理不同的三維信息在計(jì)算機(jī)中的表達(dá)，以及如何從真實(shí)世界中有效地獲取相應(yīng)的三維信息。這既包括三維幾何建模和幾何處理這一研究方向，也包含材質(zhì)和光照建模、人體建模、動(dòng)作捕捉這些研究課題。

二是理解和認(rèn)知。主要研究如何識(shí)別、分析并抽取三維信息中對(duì)應(yīng)的語(yǔ)義和結(jié)構(gòu)信息。這個(gè)方向有很多圖形學(xué)和計(jì)算機(jī)視覺(jué)共同感興趣的研究課題，如三維物體識(shí)別、檢索、場(chǎng)景識(shí)別、分割以及人體姿態(tài)識(shí)別跟蹤、人臉表情識(shí)別跟蹤等。

三是模擬和交互。主要研究如何處理和模擬不同三維對(duì)象之間的相互作用和交互過(guò)程。這既包含流體模擬和物理仿真，也包含繪制、人體動(dòng)畫(huà)、人臉動(dòng)畫(huà)等方面的研究。

在應(yīng)用層面，圖1中最外環(huán)黑色字展示了計(jì)算機(jī)圖形學(xué)的經(jīng)典應(yīng)用場(chǎng)景，圖形學(xué)的早期發(fā)展來(lái)源于使用計(jì)算機(jī)設(shè)計(jì)真實(shí)世界產(chǎn)品的需求，如汽車外形。因此，計(jì)算機(jī)輔助設(shè)計(jì)和制造成為了計(jì)算機(jī)圖形學(xué)在真實(shí)世界的核心應(yīng)用場(chǎng)景。隨著圖形學(xué)的發(fā)展，創(chuàng)建虛擬場(chǎng)景實(shí)現(xiàn)人類的想象，成為了圖形學(xué)在虛擬世界的核心應(yīng)用場(chǎng)景，產(chǎn)生了游戲、影視特效等應(yīng)用場(chǎng)景。隨著相機(jī)的普及，圖片和視頻的編輯也成為圖形學(xué)中一個(gè)重要的橫跨虛擬世界和真實(shí)世界的重要應(yīng)用。

有了上面的”洋蔥“結(jié)構(gòu)，我們就可以對(duì)每一個(gè)圖形學(xué)論文或者研究熱點(diǎn)，通過(guò)其研究對(duì)象、三維屬性和所屬技術(shù)對(duì)其進(jìn)行歸類，比如繪制（Rendering）算法的研究是對(duì)場(chǎng)景的表觀屬性進(jìn)行模擬和交互的研究：算法通過(guò)研究光與環(huán)境的交互作用，生成真實(shí)感的圖像。

對(duì)計(jì)算機(jī)圖形學(xué)發(fā)展模式的回顧和思考

回顧和思考過(guò)去幾十年來(lái)圖形學(xué)的發(fā)展，我們發(fā)現(xiàn)圖形學(xué)研究的核心對(duì)象和科學(xué)問(wèn)題并沒(méi)有發(fā)生根本性的變化。但是技術(shù)和三維信息的表達(dá)卻在不斷的發(fā)展更新。而這些技術(shù)的發(fā)展往往發(fā)端于新的硬件設(shè)備的出現(xiàn)和普及。

如圖2所示，新的硬件設(shè)備的出現(xiàn)一方面往往引發(fā)了新的應(yīng)用需求，或使得某個(gè)應(yīng)用的技術(shù)成本急劇的下降。另一方面帶來(lái)了新的數(shù)據(jù)和技術(shù)問(wèn)題，從而引發(fā)了新的研究方向和技術(shù)，推動(dòng)了對(duì)圖形對(duì)象表達(dá)的更新和研究方法的更新。而這些技術(shù)的發(fā)展又反過(guò)來(lái)進(jìn)一步推動(dòng)了硬件的發(fā)展和應(yīng)用的普及，從而帶動(dòng)整個(gè)領(lǐng)域的快速迭代發(fā)展。光柵化圖形顯示技術(shù)的出現(xiàn)，GPU圖形學(xué)流水線的提出，可編程GPU的出現(xiàn)，三維掃描儀的出現(xiàn)，圖像采集設(shè)備的出現(xiàn)和普及，是過(guò)去幾十年圖形學(xué)發(fā)展幾次浪潮的背后緣起。

這里我們以基于圖像的繪制和光場(chǎng)表達(dá)的出現(xiàn)為例對(duì)上述的發(fā)展模式做一個(gè)分析。傳統(tǒng)圖形學(xué)中，所有的研究對(duì)象和屬性基本是基于物理表達(dá)。在這一表達(dá)下，幾何和物理過(guò)程成為了各個(gè)研究方向的基礎(chǔ)。

從20世紀(jì)后期開(kāi)始，隨著圖像捕捉設(shè)備的快速發(fā)展，人們有機(jī)會(huì)對(duì)真實(shí)世界進(jìn)行大量的圖像采集。這些大量的圖像一方面需要研究者研發(fā)有效的圖像編輯，分析和解構(gòu)技術(shù)。另一方面，也使得研究者開(kāi)始探索是否可以拋開(kāi)背后的物理機(jī)制，直接基于三維世界的這些觀察建立新的表達(dá)。由此催生了基于全光函數(shù)的表達(dá)和基于圖像的繪制技術(shù)。

這里，全光函數(shù)是一個(gè)高維函數(shù)，記錄了在一個(gè)三維場(chǎng)景的任意一點(diǎn)（x,y,z）沿任給方向(θ,Φ)，在某一時(shí)間t,在每一波長(zhǎng)λ上的光強(qiáng)。在真實(shí)世界中，雖然每種我們可以觀察到的視覺(jué)現(xiàn)象都可以解構(gòu)為以上的三維基本屬性及其相互作用，但是我們的人眼和圖像傳感器可以觀測(cè)到的卻是光線，即全光函數(shù)（PlenopticFuncTIon）（x,y,z,θ,Φ,t,λ）的一個(gè)采樣。

圖像的表達(dá)和繪制技術(shù)的進(jìn)步，催生了計(jì)算攝像學(xué)的發(fā)展，反過(guò)來(lái)促進(jìn)了新的攝像設(shè)備的誕生和發(fā)展，并進(jìn)一步促進(jìn)了圖形學(xué)中對(duì)全光表達(dá)函數(shù)的采樣與重構(gòu)、分析與編輯、認(rèn)知與理解三個(gè)方向的研究。這一迭代發(fā)展過(guò)程，從根本上將三維信息的表達(dá)由基于物理的表達(dá)推廣到新的基于觀測(cè)的表達(dá),從而拓展了研究方法，并將圖形學(xué)的研究領(lǐng)域從傳統(tǒng)三維幾何擴(kuò)展到了圖像和視頻，并且和計(jì)算機(jī)視覺(jué)、圖像和視頻處理、光學(xué)成像等學(xué)科產(chǎn)生了新的交叉。

計(jì)算機(jī)圖形學(xué)的未來(lái)：設(shè)備和硬件

展望未來(lái)，我們認(rèn)為，上述圖形學(xué)發(fā)展的模式還會(huì)繼續(xù)。硬件的發(fā)展和革新，會(huì)不斷促進(jìn)了新的圖形技術(shù)和應(yīng)用產(chǎn)生和迭代發(fā)展。在這個(gè)過(guò)程中，圖形學(xué)也在不斷地結(jié)合計(jì)算機(jī)視覺(jué)、光學(xué)、信號(hào)處理與機(jī)器學(xué)習(xí)等學(xué)科的最新研究成果，來(lái)解決圖形學(xué)中的研究問(wèn)題。下面，我們就從各個(gè)層面對(duì)計(jì)算機(jī)圖形學(xué)的未來(lái)進(jìn)行一些大膽的展望。

在硬件設(shè)備方面，我們認(rèn)為下面的這些硬件會(huì)迎來(lái)新的發(fā)展并帶來(lái)圖形學(xué)技術(shù)和應(yīng)用的革命性進(jìn)展。

三維顯示。提供高分辨率，高動(dòng)態(tài)范圍的全三維顯示。包括近眼的光場(chǎng)顯示設(shè)備，或者多焦平面顯示設(shè)備?；蛘哌h(yuǎn)場(chǎng)的全沉浸式的光場(chǎng)顯示設(shè)備。

深度相機(jī)。提供和現(xiàn)有的彩色相機(jī)相匹配的高分辨率，高幀率，低功耗，低噪聲的深度相機(jī)。

多自由度機(jī)械手和類人軟體機(jī)器人裝置。提供低成本，高精度，編程可控的多自由度機(jī)械手以及具有類人外形的軟體機(jī)器人。

三維打印機(jī)。提供同時(shí)支持多種打印材料，高精度，低價(jià)格，快速的三維打印。

IOT與傳感器。提供小型、省電、低成本的能測(cè)量真實(shí)世界各種物理參數(shù)的傳感器與實(shí)時(shí)的數(shù)據(jù)收集。

力學(xué)捕捉與反饋設(shè)備。提供精確的，具有高空間分辨率和力分辨率的觸覺(jué)輸入輸出。

計(jì)算機(jī)圖形學(xué)的未來(lái)：應(yīng)用場(chǎng)景

隨著上述硬件設(shè)備的發(fā)展和普及，以及計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，圖形學(xué)的應(yīng)用場(chǎng)景將得到更大的擴(kuò)展。如圖1黃色高亮部分所示，面向真實(shí)世界，機(jī)器人和三維打印將成為新的應(yīng)用場(chǎng)景。面向虛擬世界、虛擬現(xiàn)實(shí)，混合可視媒體將成為新興的應(yīng)用場(chǎng)景，帶給人們更好的娛樂(lè)體驗(yàn)，釋放人類的想象力。在真實(shí)世界和虛擬世界之間，增強(qiáng)現(xiàn)實(shí)將虛擬信息融合進(jìn)真實(shí)世界，并增強(qiáng)人類在真實(shí)世界的體驗(yàn)；數(shù)字化孿生則產(chǎn)生真實(shí)世界在虛擬世界的鏡像，方便我們更好地管理規(guī)劃真實(shí)世界。下面，我們將討論每個(gè)應(yīng)用場(chǎng)景，和它們對(duì)相關(guān)圖形學(xué)技術(shù)的需求。

機(jī)器人

隨著機(jī)械硬件，傳感器設(shè)備以及人工智能技術(shù)的進(jìn)步，多用途的機(jī)器人將逐漸被應(yīng)用到不同的真實(shí)世界場(chǎng)景中，自動(dòng)化或半自動(dòng)化地幫助人類完成各種任務(wù)。自動(dòng)駕駛可以被認(rèn)為是這一場(chǎng)景中一個(gè)應(yīng)用。機(jī)器人為了在不斷變化的三維場(chǎng)景中完成給定任務(wù)，不僅需要實(shí)時(shí)重建不斷變化的三維場(chǎng)景的幾何，還需要識(shí)別真實(shí)場(chǎng)景中的物體的類別和物理特性，從而預(yù)測(cè)物體的運(yùn)動(dòng)并決定自己的運(yùn)動(dòng)。同時(shí)，機(jī)器人自身也需要實(shí)時(shí)的動(dòng)態(tài)模擬技術(shù)來(lái)準(zhǔn)確地規(guī)劃和預(yù)測(cè)自己的運(yùn)動(dòng)，和環(huán)境中物體進(jìn)行交互，從而最終完成任務(wù)。

三維打印

三維打印硬件的發(fā)展使得生產(chǎn)復(fù)雜幾何形狀和不同幾何形狀的成本顯著下降。和傳統(tǒng)的減材制造不同，三維打印可以精確地控制三維形體中每個(gè)體素的材質(zhì)構(gòu)成，從而可以產(chǎn)生更為豐富的設(shè)計(jì)和功能。為了支持三維打印，圖形學(xué)技術(shù)需要將設(shè)計(jì)與物理模擬更好地結(jié)合在一起，提供一體化的端到端解決方案。通過(guò)高效的計(jì)算模擬和逆向優(yōu)化，幫助設(shè)計(jì)師和制造者快速地設(shè)計(jì)產(chǎn)品的三維形狀和內(nèi)部材質(zhì)分布，從而達(dá)到所需要的功能。

虛擬現(xiàn)實(shí)

虛擬現(xiàn)實(shí)技術(shù)作為一類新的媒體，提供了全新的沉浸式體驗(yàn)，在教育、游戲等方面具有重要的應(yīng)用。為了達(dá)到更好的虛擬現(xiàn)實(shí)體驗(yàn)，我們不僅需要圖形學(xué)渲染技術(shù)的進(jìn)步，也需要更好的物理模擬技術(shù)和交互技術(shù)，提供視覺(jué)外其他物理特性，如觸覺(jué)和聽(tīng)覺(jué)的建模和實(shí)時(shí)渲染。更為根本的是，如何更加快速地生成高質(zhì)量的三維虛擬內(nèi)容，以及如何在虛擬環(huán)境中和不同的虛擬內(nèi)容進(jìn)行有效的交互，是虛擬現(xiàn)實(shí)應(yīng)用得以成功和普及的關(guān)鍵。

增強(qiáng)現(xiàn)實(shí)

增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)系統(tǒng)通過(guò)將虛擬三維內(nèi)容疊加在真實(shí)場(chǎng)景中，從而實(shí)現(xiàn)了虛擬信息和真實(shí)世界的融合，提高了人們?cè)谡鎸?shí)世界的工作效率，提供了個(gè)性化的環(huán)境和更好的生活體驗(yàn)。某種程度上，可以將增強(qiáng)現(xiàn)實(shí)理解為新一代的精確GPS定位系統(tǒng)。它可以提供在場(chǎng)景中的實(shí)時(shí)精確三維定位和實(shí)時(shí)的三維地圖構(gòu)建服務(wù)。為了實(shí)現(xiàn)這一目標(biāo)，三維場(chǎng)景的實(shí)時(shí)捕捉建模（包括幾何、表觀、物理特性和行為），分析和理解將成為這一應(yīng)用場(chǎng)景背后的核心技術(shù)。

數(shù)字化孿生

和增強(qiáng)現(xiàn)實(shí)將虛擬信息疊加在真實(shí)世界相反，數(shù)字化孿生嘗試建立真實(shí)世界在計(jì)算機(jī)中的虛擬鏡像，并實(shí)時(shí)地記錄預(yù)測(cè)真實(shí)世界的所有變化。結(jié)合IoT和傳感器技術(shù)的發(fā)展，數(shù)字化孿生技術(shù)將提供真實(shí)環(huán)境的完整數(shù)字化，從而實(shí)現(xiàn)對(duì)真實(shí)世界的高效信息分析和控制。同時(shí)，數(shù)字化孿生為將為機(jī)器學(xué)習(xí)技術(shù)提供更多的數(shù)據(jù)和訓(xùn)練環(huán)境。為實(shí)現(xiàn)這一目標(biāo)，我們需要研究更加有效的三維建模和捕捉技術(shù)，以及實(shí)時(shí)的物理模擬技術(shù)。

計(jì)算機(jī)圖形學(xué)的未來(lái)：技術(shù)挑戰(zhàn)

上文中，我們看到了未來(lái)計(jì)算機(jī)圖形學(xué)的應(yīng)用場(chǎng)景，并討論了每個(gè)應(yīng)用場(chǎng)景所需要的關(guān)鍵技術(shù)。這些需求也為圖形學(xué)的發(fā)展提出了一系列的研究問(wèn)題與挑戰(zhàn)：

高效高質(zhì)量的三維內(nèi)容創(chuàng)作系統(tǒng)

雖然已有的圖形學(xué)算法和系統(tǒng)可以讓藝術(shù)家創(chuàng)作出具有高度真實(shí)感的虛擬環(huán)境和栩栩如生的人物及其動(dòng)態(tài)，這一過(guò)程仍然需要大量時(shí)間、專業(yè)技巧以及昂貴復(fù)雜的設(shè)備。發(fā)展高效高質(zhì)量的三維內(nèi)容生成算法和創(chuàng)作系統(tǒng)是圖形學(xué)研究中一個(gè)永恒的任務(wù)，也是虛擬現(xiàn)實(shí)、數(shù)字化孿生以及新一代的混合媒體等應(yīng)用場(chǎng)景得以實(shí)現(xiàn)的關(guān)鍵技術(shù)。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們需要在以下三個(gè)方面的研究取得突破：一是研發(fā)新一代的捕捉硬件系統(tǒng)和算法，使得普通用戶越來(lái)越容易從真實(shí)世界中快速地捕捉所需要的三維內(nèi)容；二是利用三維內(nèi)容屬性的本征屬性，從用戶的少量輸入如草圖、照片、視頻中構(gòu)建符合用戶需求的三維內(nèi)容；三是利用機(jī)器學(xué)習(xí)技術(shù)，如對(duì)抗神經(jīng)網(wǎng)絡(luò)（GAN），直接從已有的大量數(shù)據(jù)中生成新的三維內(nèi)容。

三維世界的實(shí)時(shí)理解與分析

實(shí)時(shí)地對(duì)我們所處的三維世界進(jìn)行理解，識(shí)別出場(chǎng)景中物體和人，推斷物體和人之間的空間關(guān)系與約束，以及人的動(dòng)作，是增強(qiáng)現(xiàn)實(shí)和機(jī)器人應(yīng)用場(chǎng)景中的核心技術(shù)。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，由于大量標(biāo)注數(shù)據(jù)的出現(xiàn)和深度學(xué)習(xí)技術(shù)的發(fā)展，圖像和視頻的理解與分析工作取得了飛速的發(fā)展。但是三維世界的理解和分析工作仍舊處于起始階段。

一方面，三維內(nèi)容由于獲取困難，可使用的標(biāo)注數(shù)據(jù)少，數(shù)據(jù)噪聲大。另一方面，三維數(shù)據(jù)表達(dá)多樣、維度更高。這些特點(diǎn)也對(duì)三維世界的分析理解算法的實(shí)時(shí)性、魯棒性提出了更大的挑戰(zhàn)。如何研發(fā)適合三維內(nèi)容的通用表達(dá)和機(jī)器學(xué)習(xí)算法，結(jié)合已有的圖片和視頻信息進(jìn)行三維世界的理解和分析也是這一領(lǐng)域未來(lái)研究的重點(diǎn)。

大規(guī)?？蓴U(kuò)展的實(shí)時(shí)模擬技術(shù)

在真實(shí)世界中，不同物體的運(yùn)動(dòng)和相互作用構(gòu)成了世界復(fù)雜的動(dòng)態(tài)。而在人類社會(huì)中，人的行為和交互則更為復(fù)雜。模擬這些復(fù)雜的動(dòng)態(tài)和交互是圖形學(xué)中一個(gè)重要任務(wù)，也是三維打印、機(jī)器人、數(shù)字化孿生應(yīng)用背后的重要技術(shù)支撐?，F(xiàn)有的圖形學(xué)技術(shù)發(fā)展了一系列快速的技術(shù)來(lái)模擬環(huán)境、物體和人的運(yùn)動(dòng)和復(fù)雜交互。然而，這些算法仍然存在復(fù)雜性高、計(jì)算不穩(wěn)定、收斂慢的問(wèn)題。尋找適用于不同場(chǎng)景的更為通用的模擬算法，發(fā)展快速數(shù)值解法，將深度學(xué)習(xí)技術(shù)用來(lái)加速優(yōu)化求解，以及利用增強(qiáng)學(xué)習(xí)技術(shù)進(jìn)行運(yùn)動(dòng)的規(guī)劃都是這一領(lǐng)域下一階段的研究重點(diǎn)。

人機(jī)交互與圖形學(xué)的深度結(jié)合

隨著新型傳感器、穿戴設(shè)備、VR/AR/MR設(shè)備的迅猛發(fā)展，人們有著更多的方式與機(jī)器打交道。這些新的輸入輸出方式也為圖形學(xué)研究帶來(lái)新的挑戰(zhàn)。如何使用多元異構(gòu)的數(shù)字輸入信息來(lái)指導(dǎo)生成符合用戶期望的三維影像與世界，如何針對(duì)不同設(shè)備設(shè)計(jì)便捷的輸入方式與交互手段，如何協(xié)同多用戶的操作并實(shí)時(shí)提供數(shù)字上和物理上的真實(shí)反饋、如何動(dòng)態(tài)調(diào)整已有算法以適配用戶的不斷更新的個(gè)性化要求等問(wèn)題，都值得圖形學(xué)研究者與從業(yè)者積極探討與深入研究。

計(jì)算機(jī)圖形學(xué)的未來(lái)：研究趨勢(shì)

通過(guò)上述內(nèi)容，我們可以很容易地看到，每個(gè)新的圖形學(xué)應(yīng)用場(chǎng)景都不可能由單一的一個(gè)圖形學(xué)技術(shù)來(lái)解決。為此，我們不僅需要在每個(gè)研究方向上進(jìn)一步努力，更需要借鑒最新的機(jī)器學(xué)習(xí)技術(shù)和計(jì)算機(jī)視覺(jué)技術(shù)，以及本領(lǐng)域的其他研究方向的技術(shù)和算法，才能最終解決問(wèn)題。

從基于物理和觀察的表達(dá)到基于學(xué)習(xí)的本征表達(dá)

現(xiàn)有的圖形學(xué)可以對(duì)單個(gè)三維對(duì)象的三維屬性進(jìn)行有效的表達(dá)和處理。但是對(duì)于所有的三維對(duì)象構(gòu)成的三維屬性空間，例如所有特定人造物體（椅子）的三維形狀空間,所有真實(shí)世界表面材質(zhì)的空間，或一個(gè)場(chǎng)景中所有光照傳輸路徑的空間，我們?nèi)匀蝗狈τ行У难芯亢捅磉_(dá)。隨著數(shù)據(jù)的增多和機(jī)器學(xué)習(xí)算法的應(yīng)用，這方面的研究慢慢成為可能。這些研究會(huì)導(dǎo)致三維信息新的表達(dá)形式的出現(xiàn)，即基于機(jī)器學(xué)習(xí)的三維形狀、材質(zhì)、行為等屬性空間的本征表達(dá)。這一表達(dá)會(huì)與傳統(tǒng)的基于物理的表達(dá)與基于觀測(cè)的表達(dá)共存。這一研究將成為圖形學(xué)的一個(gè)基礎(chǔ)理論問(wèn)題，并對(duì)我們研發(fā)高效的三維內(nèi)容建模、模擬和識(shí)別理解算法都具有極為重要的意義?；谶@一全新的表達(dá)，在圖形學(xué)研究中，如何有效的結(jié)合這一全新的表達(dá)和已有的表達(dá)，如何形成不同表達(dá)間的映射與轉(zhuǎn)換，也會(huì)成為一個(gè)重要的研究問(wèn)題。

在技術(shù)層，基于這一新的表達(dá)，機(jī)器學(xué)習(xí)技術(shù)將利用三維數(shù)據(jù)的本征屬性而不是物理屬性來(lái)解決三維內(nèi)容捕捉、生成、處理和模擬問(wèn)題。如何將機(jī)器學(xué)習(xí)技術(shù)有效地用于高維的三維圖形數(shù)據(jù)，結(jié)合用戶的交互輸入，是目前研究的熱點(diǎn)。進(jìn)一步將原有基于物理的方法與機(jī)器學(xué)習(xí)的方法有效結(jié)合，充分利用兩者的優(yōu)勢(shì)，也是圖形學(xué)研究中一個(gè)廣受關(guān)注和需要解決的重要問(wèn)題。

從屬性的單一表達(dá)到屬性的統(tǒng)一表達(dá)與融合

現(xiàn)有的圖形學(xué)對(duì)不同的三維屬性（形狀、表觀、動(dòng)態(tài)）具有各自單獨(dú)的表達(dá)和不同的處理方法。然而，一個(gè)三維對(duì)象（如物體）的表觀、形狀和行為并不是任意組合的，屬性之間也具有一定的約束和相關(guān)性。比如，一個(gè)木制的椅子由于材質(zhì)的限制，其椅腿的粗細(xì)和細(xì)節(jié)不可能是任意的。而它的表觀、重量和可能的運(yùn)動(dòng)特性也與木頭材質(zhì)屬性緊密相關(guān)。如何得到所有三維屬性更為簡(jiǎn)潔一致的表達(dá)是圖形學(xué)研究中的一個(gè)基礎(chǔ)問(wèn)題。

在技術(shù)和應(yīng)用層面，針對(duì)每個(gè)特定的應(yīng)用和問(wèn)題我們研發(fā)了可用的算法和解決方案。然而，這些算法或工具集是彼此孤立的。在目前的實(shí)際應(yīng)用中，我們需要具有領(lǐng)域知識(shí)的人將這些算法放在一起，輔以大量的人工和反復(fù)使用，調(diào)整修改每個(gè)工具的結(jié)果，反復(fù)迭代來(lái)達(dá)到最終的目標(biāo)。舉例來(lái)說(shuō)，為了設(shè)計(jì)一個(gè)像章魚(yú)爪子的軟體變形機(jī)械手，設(shè)計(jì)者可能需要先用造型軟件設(shè)計(jì)機(jī)器手外形，然后運(yùn)行仿真模擬軟件計(jì)算力學(xué)特性。設(shè)計(jì)好后，再運(yùn)行三維打印軟件進(jìn)行制造。制造好以后，進(jìn)行實(shí)際測(cè)試。由于每個(gè)模塊不知道最終的目標(biāo)，由此帶來(lái)的誤差需要人工反復(fù)修改并重復(fù)這一過(guò)程。

為此，我們需要將不同的技術(shù)方案，如幾何設(shè)計(jì)、仿真模擬、三維打印等有機(jī)地集成到一起，將每一步的約束引入到其他算法中，并允許所有的算法在統(tǒng)一的逆向優(yōu)化反饋框架下進(jìn)行自動(dòng)迭代，快速地生成滿足設(shè)計(jì)要求的結(jié)果。在最近幾年，越來(lái)越多的研究嘗試將不同的技術(shù)融合在一起，形成一個(gè)端到端的解決方案，這也成為了圖形學(xué)研究的一個(gè)趨勢(shì)。

從基礎(chǔ)工具集到智能系統(tǒng)的演進(jìn)

圖形學(xué)技術(shù)的一個(gè)重要目標(biāo)是將用戶的抽象設(shè)計(jì)意圖變成具體的三維對(duì)象。設(shè)計(jì)的最終目的是滿足一定的物理功能或故事情節(jié)的視覺(jué)展現(xiàn)。在功能和情節(jié)的約束下，最終得到美觀、成本合理的物理設(shè)計(jì)和視覺(jué)作品。目前，針對(duì)每個(gè)環(huán)節(jié)，已有的圖形學(xué)技術(shù)實(shí)現(xiàn)了基本的工具，可以幫助用戶完成形狀、表觀、動(dòng)態(tài)等底層三維屬性特性的生成、編輯，以及物理特性的模擬。然而，由于圖形學(xué)的屬性和對(duì)象表達(dá)缺乏對(duì)物理功能和語(yǔ)義的有效描述，使得現(xiàn)有的圖形學(xué)技術(shù)工具集無(wú)法幫助用戶有效的將高層抽象的功能和情節(jié)描述轉(zhuǎn)化為具體的三維屬性和表達(dá)。隨著機(jī)器學(xué)習(xí)的引入，圖形學(xué)技術(shù)的集成和表達(dá)的融合，圖形學(xué)研究將慢慢從三維信息的基礎(chǔ)設(shè)計(jì)和表達(dá)工具向高層語(yǔ)義的目標(biāo)進(jìn)發(fā)，最終實(shí)現(xiàn)從用戶的高層語(yǔ)義描述自動(dòng)生成三維內(nèi)容的最終目標(biāo)。

放眼未來(lái)，隨著計(jì)算機(jī)圖形學(xué)的進(jìn)一步發(fā)展，計(jì)算機(jī)輔助設(shè)計(jì)和制造技術(shù)的進(jìn)步，帶有傳感器的三維打印的個(gè)性化產(chǎn)品和機(jī)器人將被廣泛應(yīng)用于人類的實(shí)際生活和現(xiàn)實(shí)世界中。而真實(shí)環(huán)境的數(shù)據(jù)化孿生也將在計(jì)算機(jī)中實(shí)時(shí)地監(jiān)控著真實(shí)環(huán)境的動(dòng)態(tài)變化，規(guī)劃協(xié)調(diào)機(jī)器人高效地完成不同任務(wù)。而在虛擬世界中，隨著內(nèi)容創(chuàng)作工具的進(jìn)步，每個(gè)人的藝術(shù)天分都可以得到充分發(fā)揮，從而自由地創(chuàng)建自己的虛擬世界、游戲和虛擬化身。隨著下一代的虛擬現(xiàn)實(shí)設(shè)備和增強(qiáng)現(xiàn)實(shí)設(shè)備的出現(xiàn)，真實(shí)和虛擬的世界會(huì)得到更好的融合，新一代的人類將不需要再區(qū)分真實(shí)世界和虛擬世界。人、計(jì)算機(jī)（機(jī)器人和虛擬世界）和真實(shí)的物理世界將和諧高效地融合在一起，帶給人類一個(gè)超現(xiàn)實(shí)的世界。

本文作者：微軟亞洲研究院網(wǎng)絡(luò)圖形組