觸景無限CEO肖洪波：重構邊緣芯片，打通感知城市前端數(shù)據| CCF-GAIR 2019

記者按：7 月 12 日至 7 月 14 日，2019 第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學會（CCF）主辦，記者(公眾號：記者)、香港中文大學（深圳）承辦，深圳市人工智能與機器人研究院協(xié)辦，得到了深圳市政府的大力指導，是國內人工智能和機器人學術界、工業(yè)界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智能領域極具實力的跨界交流合作平臺。

感知型的城市場景到底需要一款什么樣的芯片？7月13日，大會迎來了AI芯片專場。會上，觸景無限科技聯(lián)合創(chuàng)始人兼CEO肖洪波帶來了《重構邊緣芯片，讓感知融入城市》的演講。

觸景無限科技聯(lián)合創(chuàng)始人兼CEO肖洪波

肖洪波指出，現(xiàn)有的智慧城市方案在后端打通了數(shù)據，但受限于網絡以及處理能力問題，僅能實現(xiàn)沙粒般的智慧化，智慧城市的進一步發(fā)展必然需要三大技術進步：物聯(lián)網、邊緣計算、通信。只有在前端完成智能分析，以價值數(shù)據與后端配合，才能將真正城市量級的物聯(lián)網數(shù)據完整利用，打造感知城市。

而要實現(xiàn)這一點，現(xiàn)有的芯片方案難以滿足我們推動前端感知技術進步的需求。

在過去兩年中，觸景無限一共研發(fā)了四代邊緣計算的產品，基本覆蓋了現(xiàn)在市面上各種前端的芯片解決方案。比如第一代基于嵌入式GPU的產品，隨后的VPU、NPU，以及正在研發(fā)的下一代的基于FPGA的產品。

在產品研發(fā)和方案落地過程中，觸景無限更加清晰認識到，只有掌握芯片設計技術，實現(xiàn)軟硬件的協(xié)同優(yōu)化，才能實現(xiàn)真正的前端感知。

在演講結束后，記者對肖洪波進行了采訪。

他提到，芯片技術的發(fā)展到了后期，客戶看重的一定是綜合場景下的效果而不僅僅是加速，未來更細分的場景會越來越多，產品落地的時候不僅僅是技術問題而是工程問題，比如系統(tǒng)的功耗、外界氣候、溫度等都會成為關鍵因素。因此，長期做產品的經驗也是觸景無限現(xiàn)有團隊的優(yōu)勢所在。

目前行業(yè)興起一股泛在電力物聯(lián)網、智能安防之風，其核心也是圍繞傳感器的感知能力展開，需要專用性的功能會更多。雖然通用性到專用性是非常長的一個軸，有很漫長的道路，但觸景無限從一開始就一直圍繞傳感器做感知融合和邊緣計算，并且會作為自己的技術路線堅持下去。

采訪中，他還談到，不久之前，在與中國建設銀行5G+智能銀行的案例上，觸景無限從眾多供應商中脫穎而出，憑借盾悟智能盒與智能分析主機為代表的邊緣智能系統(tǒng)與解決方案，落地了金融科技。

在現(xiàn)階段，從客戶提出需求到集成進客戶系統(tǒng)，觸景無限的產品部署在2天內即可完成，這意味著觸景無限已生成一套完全量產的邊緣計算系統(tǒng)，進入到了標準化的層次。

從未來來看，金融、安防、電力、應急智慧等場景的多種感知能力需求，將有大幅提升。

“從智慧城市到感知城市，其實還有很多工作要做。未來幾年，感知會帶來一個更大的市場?！?/p>

以下是肖洪波在 CCF-GAIR 大會上的演講內容，記者對其進行了不改變原意的編輯整理：

大家下午好！我是來自觸景無限的肖洪波。

我們公司一直專注于邊緣計算，在邊緣計算已經有很多年的經驗。我們在這一塊有很多落地的應用場景，在智慧城市領域包括安防、電力、金融等，特別想借今天這個機會給大家分享一下。

我看到今天有很多關于邊緣計算方面的演講，我們想在邊緣計算方面做更深度的解析，也就是邊緣計算需要一款什么樣的芯片來提升智慧城市的能力以及為什么邊緣計算需要對芯片進行重新設計。

這是羅蘭貝格2019年智慧城市戰(zhàn)略指數(shù)，調查的153個城市里面只有15個城市達到或者高于60分，也就是只有10%的城市及格了，90%的城市不及格。智慧城市提出來已經有十幾年的歷史了，從最早IBM提出智慧地球開始，大家就在做智慧城市，而云計算和大數(shù)據也有十幾年歷史了。我們發(fā)現(xiàn)智慧城市依然沒有達到理想的效果。

在我們看來，這主要是因為大家都忽略了在邊緣和感知領域的投入，只在后端打通了一些數(shù)據，并沒有對前端更豐富的數(shù)據進行收集和前端的智能分析。從感知領域對城市進行重構，是一個非常明顯的趨勢。

隨著現(xiàn)在的技術發(fā)展，我們覺得有三個技術對感知城市、智慧城市來說非常重要。

第一是物聯(lián)網技術，前端多種數(shù)據的采集，包括圖像、聲音、溫度、氣壓等等。綜合性的感知終端的出現(xiàn)，會改變前端數(shù)據的收集策略。

第二是邊緣計算技術，計算從云端又回到邊緣端，主要是因為芯片技術的發(fā)展使得邊緣擁有越來越強的計算能力。以前前端傳感器，比如圖像傳感器在前端只是做采集，最終還是需要傳輸?shù)綌?shù)據中心進行處理。而隨著最近一兩年的發(fā)展，大家發(fā)現(xiàn)越來越多前端數(shù)據可以在前端直接進行分析、處理以及響應。

第三是通訊技術的發(fā)展，新一代的物聯(lián)網將會給我們的城市帶來重大變革。

這是一個F1賽車。大概二十年前，在F1比賽里面，真正的勝利取決于兩個點，一個是車的機械性能，另外一個是車手的經驗，靠這兩個點基本可以獲得比賽的勝利。但是隨著遙測技術的出現(xiàn)，徹底改變了F1比賽規(guī)則。通過讓前端的車和后端計算機連接，車手成為了整個比賽的一部分，F(xiàn)1比賽轉變成實時的物聯(lián)網系統(tǒng)。

每一臺F1賽車上有超過幾百個傳感器，每一圈超過15萬的數(shù)據量，通過前端傳感器可以實時收集和傳輸周圍的環(huán)境數(shù)據、車輛數(shù)據，后端計算機團隊進行分析，把數(shù)據反饋給前端車手，迅速的做出反應策略。其實城市也需要這樣的變革，通過物聯(lián)網前端收集豐富的環(huán)境數(shù)據，經過分析之后，實時調整城市內部的策略。

2018年，“感知城市”被評為全球十大突破性技術，這是麻省理工的科技評論提到的，那怎么通過感知技術怎么去改變現(xiàn)在的城市？

在過去智慧城市的建設當中，我們創(chuàng)建了很多信息的孤島，我們有智慧安防系統(tǒng)、交通管理系統(tǒng)，但是它們都是獨立的，沒有一個整體的信息收集和分析處理的框架。

可以給大家舉個例子，我們在做高速公路項目過程中，發(fā)現(xiàn)有一種天氣對司機特別危險的，這種天氣叫做團霧。這種霧不是大面積的霧，大概只有800米-1公里，它會在整個路上隨著空氣的流動飄蕩。這對于開車是非常危險的，大家突然從一個可見度非常高的環(huán)境沖到一個看不見的環(huán)境里面去，很容易造成交通事故。那這是一個天氣應用還是一個交通應用呢？我們的高速項目是一個典型的交通應用，但單論團霧則是一個明顯的天氣問題。

然而通過我們的技術，可以通過高速上攝像頭進行可見度分析，非常精確地預測團霧的移動。在這里我們把交通和天氣兩者進行了融合處理。在未來我們相信在智慧城市的前端會出現(xiàn)多傳感器融合的綜合采集處理終端，把多種來自不同傳感器的數(shù)據進行融合，通過前端的智能分析反饋給我們的應用系統(tǒng)。

我們相信，未來城市+感知會變成“感知城市”，通過傳感器技術和邊緣計算相結合，迅速反饋信息到城市的方方面面。

這是最近非?；鸬囊粋€電視劇《長安十二時辰》，這是今年智慧城市的大戲，完全就是智慧安防和智慧消防的應用，對實時性要求非常高，CIO李必同學創(chuàng)建了一套用武侯和望樓做的融邊緣計算為核心的系統(tǒng)，根據場景來做系統(tǒng)的設計，而且這個系統(tǒng)的設計也完全符合Gartner對邊緣和云的設計理念。

今天我看到很多嘉賓都講到了邊緣計算和云計算，大家認為這是兩個事物的極端。其實從邊緣到云之間分了很多層，從邊緣智能到邊緣的智能網關一直到云的數(shù)據中心分了七層，每一層里面有很多技術創(chuàng)新都需要我們去實現(xiàn)。

對邊緣計算來講有幾個大的技術點是我們要關注的，首先是實時性，比如毫秒級的響應，這很難在云端實現(xiàn)，大家可以考慮一下光的傳輸速度就是一個極限。即使中間不經過一些路由器、交換機、網絡設備的運算，只是在光纖里面?zhèn)鬏?，如果?shù)據中心不在本城市，來回傳輸時間可能就達到幾十毫秒。當我們面對一些需要在一百甚至幾十毫秒內響應的場景的時候，就沒有辦法用云端實現(xiàn)，需要邊緣端來實現(xiàn)。

另外，城市里面?zhèn)鞲衅鞣浅６?，會產生大量的數(shù)據，現(xiàn)在物聯(lián)網上產生的數(shù)據是遠遠超過如今互聯(lián)網數(shù)據流量的。而且我們在很多項目實施過程中會發(fā)現(xiàn)，在數(shù)據中心存在著大量數(shù)據丟失的情況，很多幀都丟掉了，因為網絡的穩(wěn)定性不夠，帶寬也不支持傳輸全部信息到數(shù)據中心。而且還有各種隱私問題、本地響應的問題，這些都決定了邊緣人工智能是未來人工智能落地的重要技術基礎，而不是云端。

我們在過去幾年時間里面一直專注做邊緣計算，已經推出多款邊緣計算的產品，這里列了其中兩個：盾悟智能盒、盾悟智能分析主機，采用了用前端深度學習的加速陣列，功耗僅15瓦，支持多種算法處理，包括人臉、行人、ReID的前端圖像的處理算法。

而除了產品，我們還在其基礎上構建了一套分布式邊緣智能系統(tǒng)，我們設計了可以并聯(lián)處理的標準單元，由前端傳感器、邊緣智能盒、智能網關組成，可以在前端進行各類數(shù)據的采集與處理，可以將結果傳輸?shù)胶蠖说膽闷脚_，進行進一步的處理反饋。最近我們剛剛做的地鐵刷臉進站系統(tǒng)，就是把車站的系統(tǒng)分成多個節(jié)點來進行處理，從而實現(xiàn)在一兩百毫秒時間內實現(xiàn)刷臉進站。

在物聯(lián)網感知系統(tǒng)的應用方面我想舉一個例子，通過例子來說明我們在前端到底有什么樣的需求。這是我們在武漢做的城市交通的物聯(lián)網方案：電子警察系統(tǒng)（見PPT）。在中國大量的車禍都是因為不合規(guī)的開車引起的，雖然我們的交通法規(guī)里面制定了很多條款，但是因為技術沒有辦法抓到這些行為，基本上大家的電子警察只抓一個闖紅燈。但相信在上了我們這套系統(tǒng)之后，會對我們的開車行為有更大的規(guī)范性。

我們的電子警察系統(tǒng)，使用一個攝像機可以同時覆蓋多個車道，前端可以同時抓16種違章行為。而目前的違章抓拍都是一個攝像機覆蓋一條車道。我們和武漢交警的測試中，和之前的數(shù)據相比，路口抓拍的違章數(shù)量上升了20倍。以前一個月平均只能抓拍三十多個違章，而現(xiàn)在一個月抓了七百多個違章。我們的抓拍率達到了98.66%，遠超友商。

我們在這套系統(tǒng)中采用了前端感知技術，使用了特殊的圖像傳感器、多種并行的高速算法。而以往的系統(tǒng)往往支持一種算法，我們可以將除了車輛違規(guī)檢測以外的模型同時跑起來，像人臉模型，團霧檢測模型，都可以實時并行處理響應。

在過去兩年時間里面，我們公司一共研發(fā)了四代邊緣計算的產品，基本覆蓋了現(xiàn)在市面上各種前端的芯片解決方案，比如第一代基于嵌入式GPU的產品，隨后VPU和NPU的產品，而最近也正在研發(fā)的下一代的基于可編程芯片的產品。這些芯片都是非常優(yōu)秀，但是我們依然覺得有非常大的提升空間，我們覺得前端需要一款全新的芯片解決智慧城市里面碰到的問題。

對于前端的感知系統(tǒng)來講，它是這樣一個系統(tǒng)，從場景開始，經過光學部分，到達圖像傳感器，經過ISP處理，傳統(tǒng)處理方式事通過編解碼傳輸?shù)皆贫耍苯幼鎏幚?。我們認為感知系統(tǒng)，應該融合多種傳感器，不僅僅是光學的傳感器，還有聲音、激光雷達等其他傳感器的數(shù)據。前端感知系統(tǒng)經過分析之后，可以對這些傳感器進行動態(tài)調節(jié)，從而獲取想要的數(shù)據。不僅僅是拍照記錄，而是根據我關心的場景，比如交通的場景、安防的場景，根據這些場景對傳感器進行更細粒度的調節(jié)，獲取更好的圖像或者更好的其他傳感器的數(shù)據。

那么感知的場景到底需要一款什么樣的芯片？從做芯片的角度來說，一個是做通用芯片，包括CPU、GPU以及做深度學習加速的一些芯片，都是通用芯片。一種是專用芯片。我們認為，在感知的場景里面需要的是一個專用SOC，把感知能力在芯片里面做實現(xiàn)。

我們的芯片設計在三方面滿足了前端需求：高性能、低功耗、感知融合。

高性能和低功耗比較容易理解，因為這是邊緣的芯片，對功耗特別敏感。另外一點是傳感器和AI處理的融合，我覺得這是前端芯片最核心的能力，因為在物聯(lián)網領域或者在邊緣領域，它的核心數(shù)據來源就是在傳感器這個地方，怎么能夠把智能和傳感器真正融合在一起，才是我們要去解決的問題。

在前端感知芯片里面有幾個大的模塊組成，第一部分是來自圖像的數(shù)據，當然也有其他的傳感器數(shù)據，有一些DSP來進行處理。來自于圖像傳感器的數(shù)據有一個智能的AIISP的處理，來進行動態(tài)調節(jié)處理。關鍵的AI處理部分是并行神經網絡加速單元。

現(xiàn)在大家看到很多AI的芯片都是單核芯片，所有的模型都是要串行計算，也就是放一個模型進行運算，出來一個結果，另一種傳感器的數(shù)據或者其他功能要換另一個模型再進行處理。但感知系統(tǒng)和人的眼睛一樣，同時有多個功能在運行，這就需要你在前端有一個并行的神經網絡來加速。另外，芯片中也包括一些編解碼等功能模塊，這些都是比較成熟。

我們從去年公開感知芯片計劃的時候，也一同公開了我們在美國投資的一家物聯(lián)網芯片技術公司Inspirit IoT。在剛剛過去的2019年DAC大賽中，我們的神經網絡加速模型獲得了第一名的成績，與其他的一些GPU進行比較也是第一名，我們可以達到最高50倍的DNN加速效率，而能效比方面也達到了8TOPS/W。

在感知融合上，我們會通過邊緣多傳感器融合模型，把多種來自于不同傳感器的數(shù)據在前端進行深度學習的數(shù)據融合處理，獲取全面而又精準的數(shù)據，實現(xiàn)對實際場景功能需求的滿足。

在ROI方面，我們也進行也較為深度的優(yōu)化。傳統(tǒng)的ISP技術強調的是拍照或者做視頻，但是IoT場景里面關注的是信息點，怎么對信息點來進行智能的調節(jié)。就像剛才提到的交通場景一樣，用了超寬幅的相機，但我們并不關心整幅圖像，我們需要在前端對關心的目標進行處理，比如說車輛、人臉，我們會在前端將感興趣區(qū)域抓取出來，根據場景實現(xiàn)像素級的ISP優(yōu)化。主要分兩塊，一個是目標相關，另外一個是場景相關，例如根據周圍的光照調節(jié)。

此外我們芯片中也包含了較為出色的細節(jié)優(yōu)化算法，可以利用多幀算法對局部細節(jié)進行優(yōu)化，這也是對未來傳感器提出的挑戰(zhàn)。雖然大家用的產品都是幾十幀的幀率，但實際上目前傳感器可以支持到1000幀，只是很難傳輸出來，而我們在這類傳感器上，可以利用算法來進行優(yōu)化，有助于我們可以獲取更好的圖像或者數(shù)據的質量。

今年我們也將和英特爾進一步合作（見PPT），一起開發(fā)一套優(yōu)化的框架，把感知的算法在英特爾的FPGA上進行實現(xiàn)。我們會實現(xiàn)非常高的能耗比提升，包括算法自適應的優(yōu)化和移植，這里面包含了非常高效的高層綜合工具，自動產生RTL的FPGA碼，將感知算法快速移植到FPGA的平臺上去。

從感知角度來講，我們認為首先要從場景角度去滿足需求，而不是從技術、深度學習的角度出發(fā)，怎么樣對計算加速。我們是要解決產品和場景里面碰到的挑戰(zhàn)和問題，提供更易于使用的感知芯片，實現(xiàn)一個軟件內核級和芯片架構級的綜合產品。 謝謝大家！