深圳大學(xué)王偉璽：復(fù)雜虛擬城市環(huán)境建模與仿真技術(shù)探討 | CCF-GAIR 2019

記者按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2019）于深圳正式召開。峰會(huì)由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，記者(公眾號(hào)：記者)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級(jí)交流博覽盛會(huì)，旨在打造國內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺(tái)。

7 月 14 日，大會(huì)議程進(jìn)入到最后一天，在智慧城市分會(huì)場，深圳大學(xué)智慧城市研究院院士助理、建筑與城市規(guī)劃學(xué)院城市空間信息工程系副系主任王偉璽帶來了主題為《復(fù)雜虛擬城市環(huán)境建模與仿真技術(shù)探討》的演講。

王偉璽提到，人類生活在一個(gè)復(fù)雜的三維環(huán)境中，包括城市建筑、道路系統(tǒng)、地形地貌、地質(zhì)礦藏、地下工程設(shè)施等等都位于三維場景當(dāng)中，全面透徹地對(duì)三維空間進(jìn)行感知和認(rèn)知表達(dá)，已經(jīng)是現(xiàn)在城市精細(xì)化治理必須要解決的突出問題。感知能力上，天基上有各類遙感衛(wèi)星，空中有固定翼或者直升機(jī)飛機(jī)航空攝影、無人機(jī)航空攝影等，地面上有各類視頻監(jiān)控、物聯(lián)傳感網(wǎng)絡(luò)等，更顯立體化。

他認(rèn)為，虛擬城市環(huán)境是當(dāng)下行業(yè)進(jìn)行數(shù)字政府、智慧城市建設(shè)的數(shù)字基礎(chǔ)，也是空間基礎(chǔ)，是智慧城市建設(shè)不可或缺、必須完成的工作。此外，王偉璽透露，深圳市從 2018 年 12 月開始就啟動(dòng)了全市的虛擬城市環(huán)境數(shù)據(jù)采集工作，總共分一期和二期兩個(gè)階段，一期是從 2018 年 12 月開始，二期是從 2019 年 4 月份開始，預(yù)計(jì)將在今年年底完成相關(guān)工作。

以下是王偉璽演講的全部內(nèi)容，記者作了不改變原意的整理與編輯：

各位領(lǐng)導(dǎo)、各位專家、各位同仁大家下午好！非常感謝大會(huì)組委會(huì)能給我這么一個(gè)機(jī)會(huì)向大家進(jìn)行匯報(bào)。我匯報(bào)的題目是《復(fù)雜虛擬城市環(huán)境構(gòu)建與仿真的技術(shù)探討》。

眾所周知，我們?nèi)祟惿钤谝粋€(gè)復(fù)雜的三維環(huán)境中，包括城市建筑、道路系統(tǒng)、地形地貌、地質(zhì)礦藏、地下工程設(shè)施等等都位于三維場景當(dāng)中。如何全面透徹地對(duì)三維空間進(jìn)行感知和認(rèn)知表達(dá)，已經(jīng)是現(xiàn)在城市管理治理，或者城市的規(guī)劃、設(shè)計(jì)、建設(shè)、管理、服務(wù)等各個(gè)領(lǐng)域都必須要解決的突出問題。

現(xiàn)在對(duì)城市三維空間進(jìn)行數(shù)據(jù)感知獲取的手段已經(jīng)很多，正如上圖所顯示的，天基上有各類遙感衛(wèi)星，空中有固定翼或者直升機(jī)飛機(jī)航空攝影、無人機(jī)航空攝影等，地面上有各類視頻監(jiān)控、物聯(lián)傳感網(wǎng)絡(luò)等等，還有比如此次參展的速騰公司等研發(fā)的地面激光掃描車，都可以為我們進(jìn)行地面數(shù)據(jù)的獲取。此外，針對(duì)海洋也有一整套的立體感知監(jiān)測系統(tǒng)；另外，對(duì)于政務(wù)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)以及社交網(wǎng)絡(luò)數(shù)據(jù)，都可以進(jìn)行感知。

所以從數(shù)據(jù)獲取的手段來講，目前我們已經(jīng)可以構(gòu)建起空天陸海網(wǎng)一體化的城市大數(shù)據(jù)智能感知網(wǎng)絡(luò)，具備立體感知的能力。有了這樣的立體感知能力，怎么樣利用這些數(shù)據(jù)來為我們恢復(fù)和構(gòu)建城市的真實(shí)三維環(huán)境呢？這就是我今天希望跟大家分享的內(nèi)容。

我們生活在一個(gè)真實(shí)的三維空間中，目的也是希望能夠構(gòu)建全空間、全尺度、全要素的虛擬城市環(huán)境，在這個(gè)環(huán)境下可以實(shí)現(xiàn)地上下、室內(nèi)外的統(tǒng)一，以及二維和三維的數(shù)據(jù)聯(lián)動(dòng)，進(jìn)而實(shí)現(xiàn)陸地與海洋的統(tǒng)籌管理，最終要實(shí)現(xiàn)的是數(shù)字孿生，虛實(shí)共濟(jì)。這是我們想要達(dá)到的目標(biāo)，也在為了這個(gè)目標(biāo)一直開展相關(guān)的工作。

全空間、全尺度、全要素的虛擬城市環(huán)境，可以為我們提供全市完整統(tǒng)一的三維空間數(shù)字底板。在這個(gè)三維的空間數(shù)字底板上，我們可以把前面講的各類數(shù)據(jù)，包括物理空間數(shù)據(jù)、人文空間數(shù)據(jù)、信息空間數(shù)據(jù)，都可以集成融合在這個(gè)虛擬城市環(huán)境當(dāng)中，再利用智慧城市操作系統(tǒng)進(jìn)行這些城市大數(shù)據(jù)進(jìn)行組織管理、挖掘分析、展示表達(dá)、應(yīng)用服務(wù)等等，這樣就可以實(shí)現(xiàn)智慧城市建設(shè)的基本目的。

所以說，虛擬城市環(huán)境是我們進(jìn)行智慧城市建設(shè)的數(shù)字基礎(chǔ)，也是空間基礎(chǔ)，是智慧城市建設(shè)不可或缺、必須完成的工作。

接下來我以深圳市為例介紹一下正在開展的虛擬城市環(huán)境建設(shè)工作。深圳市從 2018 年 12 月開始就啟動(dòng)了全市的虛擬城市環(huán)境數(shù)據(jù)采集這項(xiàng)工作，總共分一期和二期兩個(gè)階段，一期是從 2018 年 12 月開始，二期是從今年 4 月份開始，預(yù)計(jì)總共在今年年底結(jié)束。

它的工作是對(duì)全市 2000 平方公里的土地進(jìn)行傾斜攝影測量、機(jī)載激光掃描（Lidar）的三維數(shù)據(jù)采集。目前，整個(gè)采集工作目前已經(jīng)完成了 70%，現(xiàn)在全市激光掃描數(shù)據(jù)已經(jīng)基本完成，是按照每平方米四到五個(gè)點(diǎn)的國家規(guī)程來操作；傾斜攝影測量在我市西部地區(qū)也都基本完成，接下來會(huì)向東部拓展，預(yù)計(jì)到 9、10 月份，會(huì)實(shí)現(xiàn)全市的傾斜攝影數(shù)據(jù)采集。

那么有了這些數(shù)據(jù)之后，如何來構(gòu)建深圳的虛擬城市環(huán)境呢？我們可以把傾斜攝影和激光掃描的數(shù)據(jù)進(jìn)行融合，融合之后可以進(jìn)行室內(nèi)外地上下的建模和仿真，包括對(duì)三維數(shù)據(jù)的組織、調(diào)度管理以及可視化表達(dá)與分析，最后構(gòu)成虛擬城市環(huán)境。在這個(gè)過程當(dāng)中，我們會(huì)用到多種多樣的建模和仿真技術(shù)，以及 VR、AR、MR 等場景表達(dá)技術(shù)，這些和我們本次大會(huì)的主題當(dāng)中講到的很多計(jì)算機(jī)領(lǐng)域、人工智能領(lǐng)域的技術(shù)都會(huì)結(jié)合在一起進(jìn)行應(yīng)用，這是我們的整體技術(shù)思路。

從整體技術(shù)思路出發(fā)，我們先看一下地上或者室外的真實(shí)三維模型應(yīng)該如何構(gòu)建，頁面上左邊講的是傳統(tǒng)單一數(shù)據(jù)源的建模方式，在現(xiàn)在的技術(shù)條件下要做到多數(shù)據(jù)源的真實(shí)三維建模，比如多種影像數(shù)據(jù)融合建模，多種點(diǎn)云數(shù)據(jù)也可以融合建模，傾斜攝影數(shù)據(jù)和激光掃描數(shù)據(jù)都可以融合建模。

在這個(gè)頁面里，上面綠色和紅色表示的是激光掃描獲得的數(shù)據(jù)，下面是傾斜攝影影像匹配后得到的數(shù)據(jù)，兩者進(jìn)行融合之后，再進(jìn)行差異性比較和檢測，發(fā)現(xiàn)二者存在不同的地方，再進(jìn)行點(diǎn)云修復(fù)，這樣就既可以解決激光掃描點(diǎn)云在側(cè)立面的數(shù)據(jù)缺失問題，也可以解決傾斜影像密集匹配點(diǎn)云不規(guī)則的問題，最終為地上或室外的三維建模提供比較好的參考。有了融合后的點(diǎn)云模型之后，還要根據(jù)政府管理的數(shù)據(jù)要求，對(duì)它進(jìn)行三角網(wǎng)模型修復(fù)和單體化建模。

剛才所講的點(diǎn)云模型是由離散點(diǎn)和三角網(wǎng)構(gòu)成的 mesh 模型，這在日常管理中還不足以適用所有的應(yīng)用需求，還要把它進(jìn)行單體化，變成適合管理和應(yīng)用的點(diǎn)-線-面-體的矢量模型，這就是單體化的過程。單體化之后，既有 mesh 模型，又有三維矢量模型。

此外，我們還可以基于一些方法進(jìn)行城市的三維變化檢測，比如平面輪廓線切面法，可以自動(dòng)實(shí)現(xiàn)對(duì)發(fā)生變化的區(qū)域的識(shí)別和變化檢測，從中發(fā)現(xiàn)新增、拆除的區(qū)域。另外，我們還可以用帶有激光掃描設(shè)備的車輛或者前面提到的傾斜攝影和機(jī)載 Lidar 數(shù)據(jù)，對(duì)城市道路沿線的城市部件進(jìn)行自動(dòng)提取和三維建模。這樣對(duì)于地上或者室外的三維模型基本上可以通過這些方法來實(shí)現(xiàn)構(gòu)建。

除了地上或者室外的三維建模工作之外，還有一個(gè)重要的工作是對(duì)地下或者室內(nèi)的三維構(gòu)建，技術(shù)上大體可分為三個(gè)部分，第一步是采用自動(dòng)化設(shè)備進(jìn)行場景的三維掃描，第二步是利用深度學(xué)習(xí)方法，對(duì)地下或者室內(nèi)空間進(jìn)行快速建模，第三步是根據(jù)這些模型可以進(jìn)行一些交互分析，這是地下或者室內(nèi)建模的整體路徑。

在場景三維掃描的方式大概可以分成兩大類，第一類是利用比較流行的 RGB-D 深度相機(jī)的方式，采用多個(gè) RGB-D 相機(jī)以室內(nèi) SLAM 的方式對(duì)數(shù)據(jù)進(jìn)行采集，采集之后再進(jìn)行分析。比如這個(gè)頁面表示的就是利用左右兩個(gè)傳感器先進(jìn)行三維掃描，之后進(jìn)行數(shù)據(jù)融合，融合之后就可以合成比較完整的三維室內(nèi)模型，它用到了 RGB-D 傳感器本身自帶的深度信息和拍攝到的 RGB 彩色影像共同來完成。

除了這種方式之外，還有一種主流方式，就是利用激光掃描的 SLAM 方式，比如在室內(nèi)利用一個(gè)可手持或者可移動(dòng)的激光掃描器， 16 線或者 32 線都可以，按照一定的路徑進(jìn)行激光掃描 SLAM 方式進(jìn)行三維數(shù)據(jù)采集。

這里頁面展示的是深圳大學(xué)科技樓某一層的掃描路徑和生成的二維掃描圖，這個(gè)頁面的左邊是掃描之后得到的激光數(shù)據(jù)，然后我們進(jìn)行模型修復(fù)，最終得到了三維的室內(nèi)模型。通過這些，不管是用 RGB-DSLAM 的手段還是激光 SLAM 手段，都可以完成地下或者室內(nèi)的復(fù)雜場景數(shù)據(jù)采集和構(gòu)建。

在這里還涉及到一個(gè)關(guān)鍵技術(shù)，就是地下或者室內(nèi)的建筑物部件是非常復(fù)雜的，不管是計(jì)算機(jī)視覺還是攝影測量的方式，都要考慮怎么樣對(duì)建筑物的內(nèi)部結(jié)構(gòu)部件進(jìn)行自動(dòng)提取，包括墻面、地板、天花板、或者門、窗、梁、柱等，都要能進(jìn)行自動(dòng)提取，我們在這方面也做了一些研究工作，可以實(shí)現(xiàn)這方面的要求。

以上這些是通過實(shí)地測量的方式，對(duì)地下或室內(nèi)場景進(jìn)行三維的建模。

除了上面的地下或室內(nèi)建模方式外，別的還有沒有呢？現(xiàn)在深圳市或者其他城市，已經(jīng)有了很多的存量二維或者三維的建筑數(shù)據(jù)，不見得非要通過實(shí)測才能得到。比如，有時(shí)可以借助現(xiàn)有的二維 CAD 的圖紙通過數(shù)字化之后，采用參數(shù)化驅(qū)動(dòng)的建模方式直接生成三維模型，我們很多存量的數(shù)據(jù)都需要采用這種方式。還有一種方式是借助 BIM 模型進(jìn)行轉(zhuǎn)化，比如在深圳前海，已經(jīng)要求對(duì)其中的建筑要提供 BIM 模型，那么就可以借助這些 BIM 模型，通過 IFC 標(biāo)準(zhǔn)與 CityGML 標(biāo)準(zhǔn)之間的映射關(guān)系、以及細(xì)節(jié)程度上的綜合取舍，實(shí)現(xiàn) BIM 模型向三維 GIS 模型的轉(zhuǎn)化與融合。

所以，對(duì)于地下或者室內(nèi)建模來講，一種是用儀器設(shè)備進(jìn)行實(shí)測，然后進(jìn)行自動(dòng)化程度較高的提取和三維建模，這是一種方式；第二種是利用已有的設(shè)計(jì)數(shù)據(jù)、報(bào)建數(shù)據(jù)、竣工驗(yàn)收測量數(shù)據(jù)等等實(shí)現(xiàn)三維場景的構(gòu)建，這樣就可以對(duì)地下或室內(nèi)環(huán)境的三維建模。

在地上下室內(nèi)外的三維建模完成之后，還有一個(gè)問題要考慮的就是怎么對(duì)這些三維模型進(jìn)行表達(dá)的問題。我們知道一個(gè)城市的數(shù)據(jù)量是非常大的，如何對(duì)海量的城市數(shù)據(jù)進(jìn)行可視化表達(dá)，比如在進(jìn)行三維場景數(shù)據(jù)的動(dòng)態(tài)組織調(diào)度和可視化展示的時(shí)候，在不同視角和層次應(yīng)該用什么樣的細(xì)節(jié)程度表達(dá)，這也是一個(gè)非常重要的問題。所以我們在對(duì)城市進(jìn)行模擬和仿真的時(shí)候，必須要考慮它的建模和仿真應(yīng)該到哪個(gè)細(xì)節(jié)程度。

大家可以看到，這是 OGC 組織在 CityGML2.0 版本中發(fā)布的從 LOD0 到 LOD4 的 5 級(jí)細(xì)節(jié)層次模型規(guī)范，也是當(dāng)前大家主要遵從的細(xì)節(jié)層次規(guī)范，在今年六月份 OGC 組織又發(fā)布了一個(gè)最新的細(xì)節(jié)層次模型規(guī)范，對(duì)分級(jí)有一些小的改動(dòng)，分級(jí)層次少了一點(diǎn)。我們根據(jù)這個(gè)規(guī)范，在虛擬城市環(huán)境建設(shè)中也提出了多種空間要素應(yīng)具備的細(xì)節(jié)層次模型，比如對(duì)于建筑物，主要是從 LOD1 到 LOD4 的細(xì)節(jié)分層，其中 LOD3 和 LOD4 都涉及到了室內(nèi)，而 LOD4 的室內(nèi)環(huán)境是最精細(xì)的模型，包含了室內(nèi)的各種設(shè)施和部件等，達(dá)到了所見即所得的程度。

此外，對(duì)道路模型也有相應(yīng)的分級(jí)，按照最開始的粗?；蛘甙啄?，到 LOD4 的車道分級(jí)。另外對(duì)場地模型，比如體育場館這樣的公共設(shè)施，也需要按照不同的分級(jí)模型進(jìn)行表達(dá)，這里也分成了四個(gè)等級(jí)。再有植被，這對(duì)于城市的景觀設(shè)計(jì)是非常重要的，大部分植被可以在模型庫里選擇相應(yīng)的模型，但是還會(huì)有一些具體要求，比如名樹、古樹，也可能會(huì)采用實(shí)測的方式進(jìn)行數(shù)據(jù)采集，再進(jìn)行三維建模，這種的精細(xì)化程度要求就比較高了。此外還有地下管線，也都可以按照不同層次的要求，在不同的可視化場景下，按照相應(yīng)的建模和仿真的層級(jí)來選取對(duì)應(yīng)的細(xì)節(jié)層次。

以上是我們對(duì)虛擬城市環(huán)境建模和仿真在技術(shù)上的探討，下面我匯報(bào)一下我們所做的一些案例。

這是實(shí)景三維模型的案例，地點(diǎn)是龍崗坂田片區(qū)，利用的是傾斜攝影數(shù)據(jù)和激光掃描數(shù)據(jù)共同建立的 LOD2 層級(jí)的城市三維模型。需要跟大家解釋的是，我們通過這些方式建立起來的虛擬城市環(huán)境，它具有真三維的顯著特點(diǎn)，也就是說它的空間信息，包括坐標(biāo)和尺寸等等都是保持著相當(dāng)高的精度，是可以直接用于測量測算分析的實(shí)際數(shù)據(jù)，與我們所在的真實(shí)世界數(shù)據(jù)是保持高度一致的，因此它對(duì)于智慧城市當(dāng)中的應(yīng)用分析非常有用。

這是城市精細(xì)模型的案例，地點(diǎn)是香蜜湖片區(qū)，包括水榭花都、規(guī)劃大廈和交易大廈等等，模型層級(jí)以 LOD3 為主，有的甚至到了 LOD4 的層級(jí)。還有三維動(dòng)態(tài)變化檢測，比如對(duì)于一個(gè)小區(qū)，通過三維變化檢測發(fā)現(xiàn)發(fā)生改變的區(qū)域后，可以自動(dòng)把變化區(qū)域相應(yīng)的建筑物，一棟一棟的補(bǔ)充上去，這是在 LOD2 層次做的。在實(shí)景三維模型上還可以做空間規(guī)劃的輔助決策，比如在三維場景下，可以把編制的法定圖則疊加上去，跟城市現(xiàn)狀進(jìn)行比較，跟未來規(guī)劃進(jìn)行比較，還會(huì)涉及到對(duì)土地的定量評(píng)估等等，都可以支持，也就是說可以做出基于實(shí)景三維的土地供應(yīng)會(huì)商會(huì)審平臺(tái)。

另外，深圳的城市更新是一項(xiàng)非常重要的工作。這假設(shè)是深圳的某一個(gè)城中村，如果我們要對(duì)它進(jìn)行更新改造，可以先通過實(shí)測數(shù)據(jù)對(duì)現(xiàn)狀進(jìn)行了解，包括疊加人口數(shù)據(jù)、產(chǎn)權(quán)數(shù)據(jù)等等。然后可以對(duì)城市更新的過程進(jìn)行分析，比如把城市更新的法定圖則加上來，看看對(duì)未來的規(guī)劃定位，然后模擬拆除的過程、再把設(shè)計(jì)后的建筑方案等疊加上來，看一看整體效果，這樣就可以完成我們對(duì)城市更新方案的預(yù)演預(yù)判，包括不同方案的比較和分析，而且這是一個(gè)量化分析的過程。

還有，比如結(jié)合城市的實(shí)景三維模型，我們可以把視頻數(shù)據(jù)與三維模型進(jìn)行實(shí)時(shí)疊加融合，再利用計(jì)算機(jī)視覺的方法，對(duì)視頻區(qū)域內(nèi)的車輛類型和人流情況進(jìn)行自動(dòng)識(shí)別、檢測和分析，這對(duì)未來的交通管理、應(yīng)急管理等，都會(huì)有較好的用途。

剛才介紹的都是基于地上或者室外三維模型的應(yīng)用案例，對(duì)于地下或者室內(nèi)三維模型的應(yīng)用，首先可以通過剛才講的技術(shù)，對(duì)三維點(diǎn)云數(shù)據(jù)進(jìn)行結(jié)構(gòu)自動(dòng)識(shí)別、紋理的自動(dòng)映射，最后實(shí)現(xiàn) LOD4 的細(xì)節(jié)層級(jí)模型。除此之外，還可以把地上模型和地下模型融合起來，進(jìn)行地上下一體化三維仿真，這樣地上地下都可以進(jìn)行多層級(jí)的表達(dá)，包括地下管線、地下車庫等等。還有室內(nèi)外的一體化三維仿真，這是交易大廈，從室外走向室內(nèi)整個(gè)過程的模擬仿真，再加上視場和光照等影響，可以幫助我們對(duì)建筑內(nèi)部空間有一個(gè)非常清晰的了解，這些都是要基于真三維的室內(nèi)建模和可視化仿真技術(shù)來完成。

還有，對(duì)于城市設(shè)計(jì)或者房屋權(quán)籍管理，如果想要了解一棟戶型是什么樣，它在哪一棟、哪一層、哪一戶，面積多少、內(nèi)部怎么樣，都可以通過室內(nèi)外的一體化建模和仿真知道，而且在室內(nèi)三維建模完成之后，還可以對(duì)室內(nèi)進(jìn)行瀏覽，比如在陽臺(tái)上還可以看周圍的景觀是什么樣，這些對(duì)于城市設(shè)計(jì)、建筑設(shè)計(jì)也都很重要，可能會(huì)幫助它們從現(xiàn)有的圖紙表達(dá)和單一分析走向面向整體環(huán)境的數(shù)字化表達(dá)和分析。

另外我們還做了室內(nèi)疏散模擬，在這個(gè)案例中 ，大家看到了左下和右上是通過監(jiān)控視頻，判別出人群的數(shù)量和所在的位置，然后擺放到二維的室內(nèi)模型中，進(jìn)行疏散仿真與優(yōu)化配置，優(yōu)化前是 138 秒，優(yōu)化后是 110 秒，優(yōu)化后可以節(jié)省 28 秒，這可以為逃生節(jié)省了更多的時(shí)間，這都是要依賴虛擬城市環(huán)境來完成。

所以，我們把虛擬城市環(huán)境定義為智慧城市的數(shù)字底板，是一個(gè)完整統(tǒng)一的三維數(shù)字底板，有了這個(gè)底板，就可以集成融合我們可以獲取的各種各樣的城市大數(shù)據(jù)，然后在上面做出很多的、甚至意想不到的智慧城市應(yīng)用。我的匯報(bào)就是這些，謝謝。

「AI投研邦」將在近期上線CCF GAIR 2019峰會(huì)完整視頻與各大主題專場白皮書，包括機(jī)器人前沿專場、智能交通專場、智慧城市專場、AI芯片專場、AI金融專場、AI醫(yī)療專場、智慧教育專場等。「AI投研邦」會(huì)員們可免費(fèi)觀看全年峰會(huì)視頻與研報(bào)內(nèi)容，掃碼進(jìn)入會(huì)員頁面了解更多，或私信助教小慕（微信：moocmm）咨詢。