中科創(chuàng)達(dá)孫力：AI視覺仍在路上，平臺(tái)需求勝過算法

時(shí)間：2019-01-07 13:16:03

關(guān)鍵字： AI 算法智能視覺

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]從2018年AIoT產(chǎn)業(yè)布局來看，主要有以下幾個(gè)大的趨勢(shì)：邊緣計(jì)算不斷被強(qiáng)調(diào)，存儲(chǔ)、計(jì)算的布局重點(diǎn)從云端回到邊緣側(cè)；AI被不斷強(qiáng)調(diào)，整個(gè)行業(yè)從強(qiáng)調(diào)IoT連接到AI賦能；產(chǎn)業(yè)落地提上日程，各類行業(yè)解決方

從2018年AIoT產(chǎn)業(yè)布局來看，主要有以下幾個(gè)大的趨勢(shì)：

邊緣計(jì)算不斷被強(qiáng)調(diào)，存儲(chǔ)、計(jì)算的布局重點(diǎn)從云端回到邊緣側(cè)；

AI被不斷強(qiáng)調(diào)，整個(gè)行業(yè)從強(qiáng)調(diào)IoT連接到AI賦能；

產(chǎn)業(yè)落地提上日程，各類行業(yè)解決方案不斷提出并開始落地，整體解決方案需求遠(yuǎn)高于純算法需求。

據(jù)了解，5月24日，在Qualcomm人工智能創(chuàng)新論壇上，美國(guó)高通公司宣布與中科創(chuàng)達(dá)（創(chuàng)通聯(lián)達(dá)）展開深度合作，雙方通過其最新的終端側(cè)AI商用技術(shù)將發(fā)布前沿的AI開發(fā)套件——TurboX AI Developer Kit；10月24日，TurboX AI Kit正式面市，中科創(chuàng)達(dá)通過圍繞該開發(fā)套件舉辦全球開發(fā)者活動(dòng)收集算法和應(yīng)用，助推AI從算法模型轉(zhuǎn)向產(chǎn)品化和商業(yè)化。

12月13日，在THUNDERWORLD 2018上，中科創(chuàng)達(dá)副總裁孫力就當(dāng)下AI視覺的技術(shù)及行業(yè)應(yīng)用和挑戰(zhàn)，以及TurboX AI Kit相關(guān)技術(shù)及應(yīng)用進(jìn)行了解讀和分析。

圖像處理系統(tǒng)面臨的挑戰(zhàn)

談到視覺技術(shù)，先要有Camera進(jìn)行圖像抓取。以手機(jī)為例，首先要有相關(guān)模組進(jìn)行圖像采集及應(yīng)用；要有主芯片，涉及到功耗優(yōu)化、性能優(yōu)化，以及系統(tǒng)驅(qū)動(dòng)；要有一些算法，不光是人臉識(shí)別、美顏，包括傳統(tǒng)的拼接，光學(xué)的處理、降噪，都需要有相關(guān)算法。

從圖上可以看出，這個(gè)系統(tǒng)架構(gòu)是比較復(fù)雜的。中科創(chuàng)達(dá)是做操作系統(tǒng)的公司，本身的子模塊、子系統(tǒng)也非常地復(fù)雜。整個(gè)從最底層的驅(qū)動(dòng)到核心的曝光、聚焦，這些算法一直到視頻的處理，整體架構(gòu)會(huì)非常復(fù)雜。

要做一個(gè)優(yōu)秀的圖像處理系統(tǒng)，其實(shí)有很多挑戰(zhàn)。

首先，圖像采集這個(gè)環(huán)節(jié)有很多挑戰(zhàn)，包括攝像頭模組的選擇、圖象處理算法的選擇、芯片加速、畫質(zhì)調(diào)優(yōu)等；

其次，硬件的碎片化需對(duì)畫質(zhì)進(jìn)行復(fù)雜的調(diào)優(yōu)流程，實(shí)驗(yàn)室與實(shí)際生活場(chǎng)景有很大的不同，因而，也需要對(duì)畫質(zhì)進(jìn)行復(fù)雜的調(diào)優(yōu)流程；

另外，在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，功耗和性能又需要作出權(quán)衡和調(diào)整。

其中，畫質(zhì)調(diào)優(yōu)（IQ）是很復(fù)雜的一部分，也是圖像處理最重要的一部分。要采集最優(yōu)圖像，包括亮度、白平衡、對(duì)比度、顏色都要非常地精準(zhǔn)，這些都要進(jìn)行調(diào)試。

畫質(zhì)調(diào)優(yōu)主要分為三個(gè)階段：

第一，先把基礎(chǔ)的軟件、驅(qū)動(dòng)做好，包括軟件功能檢查、無重大Bug影響IQ、驗(yàn)證原始圖片（EXIF、AE參數(shù)，校準(zhǔn)數(shù)據(jù)）等；

第二，為實(shí)驗(yàn)室配置諸多專業(yè)設(shè)備，進(jìn)行實(shí)驗(yàn)室調(diào)參，包括LSC、AWB、AE、Gamma、對(duì)比度增強(qiáng)、CCM、DPC、濾噪、邊緣增強(qiáng)等參數(shù)檢測(cè)及處理；

第三，真實(shí)場(chǎng)景調(diào)參，與參考設(shè)備對(duì)比拍攝并調(diào)整，參考設(shè)備包括包含：人物、寵物、風(fēng)景、肖像、戶外、低光、辦公室、家庭、閃光燈、背光、電影等。

為加強(qiáng)相關(guān)能力，2017年12月，中科創(chuàng)達(dá)以3100萬歐元收購(gòu)全球領(lǐng)先的移動(dòng)和工業(yè)圖形圖像視覺技術(shù)企業(yè)——保加利亞技術(shù)公司MMS，從而擁有世界頂尖IQ團(tuán)隊(duì)，得以在畫質(zhì)調(diào)優(yōu)方面有足夠強(qiáng)大的能力，為AI賦能行業(yè)應(yīng)用奠定了基礎(chǔ)。

據(jù)了解，這其實(shí)并非中科創(chuàng)達(dá)第一次海外并購(gòu)，中科創(chuàng)達(dá)第一次海外并購(gòu)是在2016年底，以6400萬歐元收購(gòu)位于芬蘭的車載交互技術(shù)公司Rightware，這一收購(gòu)也加快了中科傳達(dá)在車載領(lǐng)域的布局。

硬件加速的應(yīng)用與3D視覺的興起

在視覺技術(shù)中，硬件加速在近年來備受關(guān)注，也是對(duì)圖像相關(guān)計(jì)算進(jìn)行提升的關(guān)鍵部分。孫力在大會(huì)上也提到，“你會(huì)發(fā)現(xiàn)，大量的算法公司，一旦到了IoT時(shí)代就無法再繼續(xù)，無法真正用上如GPU這樣的加速硬件，因?yàn)橐嬲蒙螱PU這樣的嵌入式硬件需要很多能力。但是這種嵌入式硬件在對(duì)算法加速上有很大幫助，不用的話就浪費(fèi)了硬件能力，也會(huì)產(chǎn)生功耗的問題。例如手機(jī)或汽車多個(gè)攝像頭的拼接，這其中的拼接算法能用GPU，盡量不要用CPU?！?/p>

以汽車應(yīng)用為例，現(xiàn)在談的比較多的是ADAS本身，其中將會(huì)經(jīng)歷「從外置的ISP到內(nèi)置的ISP，再到Bayer Sensor」的技術(shù)變革。目前的主流方案仍然是用外置ISP，但在汽車?yán)锏膱D像傳感器會(huì)經(jīng)歷類似于手機(jī)從功能機(jī)到智能機(jī)的演變。

目前的主流方案仍然是用外置ISP，價(jià)格為2-3美元，外加攝像頭，一共8美元，這樣的成本問題，以及發(fā)熱問題、環(huán)視等應(yīng)用的拼接問題，勢(shì)必造成類似手機(jī)從功能機(jī)到智能機(jī)的遷移。

在圖像視覺方面的另一個(gè)趨勢(shì)是3D圖像技術(shù)的興起?，F(xiàn)在很多在用的，包括競(jìng)賽中應(yīng)用的算法，仍是2D的，但是，從現(xiàn)在技術(shù)發(fā)展需求及發(fā)展趨勢(shì)來看，3D視覺技術(shù)將會(huì)越來越普及。

目前，3D視覺技術(shù)的普及主要還面臨以下幾個(gè)問題：

BOM成本，由于規(guī)?；膯栴}，還沒有降低到平民化；

多種的光學(xué)設(shè)計(jì)，碎片化(ToF、結(jié)構(gòu)光、雙目、主動(dòng)雙目等)問題嚴(yán)重；

嵌入式的SoC的depth map的運(yùn)算能力(PC輔助到嵌入式ARM based)；

多套使用的完整建模問題；

RGBD，基于3D的人工智能學(xué)術(shù)進(jìn)展。

我認(rèn)為未來的3D技術(shù)會(huì)為AI帶來很大改變，人工智能也會(huì)突然出現(xiàn)，包括物體分類也可以做得很好。

智能視覺與邊緣AI開發(fā)套件

了解到，整個(gè)視覺市場(chǎng)近年來持續(xù)被看好，嵌入式視覺終端數(shù)量持續(xù)增長(zhǎng)，諸如Amazon AWS DeepLens、Google AIY Vision、Microsoft Vision AI Developer Kit等，市面上有越來越多的邊緣端智能視覺設(shè)備出現(xiàn)。正因如此，中科創(chuàng)達(dá)聯(lián)合高通公司，基于高通驍龍845平臺(tái)、AI Engine人工智能引擎，推出TurboX AI Kit嵌入式端側(cè)/邊緣AI開發(fā)套件，10月24日，TurboX AI Kit正式面市。

盡管市場(chǎng)趨勢(shì)向好，嵌入式AI算法仍然面臨諸多挑戰(zhàn)，存在諸如計(jì)算資源有限、終端處理平臺(tái)碎片化、應(yīng)用場(chǎng)景和需求多樣化、性能（準(zhǔn)確率-速度）的平衡與取舍、生態(tài)系統(tǒng)不成熟、功耗與成本較高等問題。

在嵌入式方面最關(guān)鍵的還是硬件和軟件的深度結(jié)合。

在硬件方面，IoT使得設(shè)備聯(lián)網(wǎng)，第一件事是要先看功耗、發(fā)熱、加速等問題。AI運(yùn)算加速引擎要在滿足功耗、加熱等限制條件的前提下，盡可能使用現(xiàn)有的DSP、GPU、NPU等加速硬件，與芯片平臺(tái)深度結(jié)合，實(shí)現(xiàn)AI運(yùn)算加速引擎。

在軟件算法方面，核心是降低算法計(jì)算量。設(shè)計(jì)適合嵌入式平臺(tái)的模型架構(gòu)，一方面要裁剪模型，另一方面要與場(chǎng)景的深度整合及適配優(yōu)化，共享深度學(xué)習(xí)模型中的超參數(shù)，壓縮網(wǎng)絡(luò)。

AI賦能行業(yè)需要平臺(tái)，而非只是算法

近年來，AI已經(jīng)逐漸開始賦能行業(yè)，在這其中，也存在一些問題和挑戰(zhàn)，主要包括以下三個(gè)方面：

首先，客戶期望的是包括數(shù)據(jù)獲取、隱私問題、訓(xùn)練、生產(chǎn)管理系統(tǒng)、私有云部署，以及前后端等在內(nèi)的整體解決方案，而不是純算法；

其次，客戶衡量AI技術(shù)的預(yù)算不是根據(jù)AI作為高大上的技術(shù)來做的，而是根據(jù)生產(chǎn)力的提升（用戶體驗(yàn)提升、銷售轉(zhuǎn)換率等）、運(yùn)行效率優(yōu)化，及經(jīng)營(yíng)業(yè)績(jī)能承受的預(yù)算能力來反推的，這和目前昂貴的AI投入成本（人力、服務(wù)器等）是矛盾的；

另外，行業(yè)客戶的工作流程、部門職能等還未能圍繞先進(jìn)生產(chǎn)力來進(jìn)行部署和優(yōu)化，客戶期望一次性投入建設(shè)一個(gè)人工智能平臺(tái)，可以一勞永逸地實(shí)現(xiàn)自我訓(xùn)練、升級(jí)和部署，對(duì)比于現(xiàn)在需要定制化的算法，未來圍繞需要解決的領(lǐng)域問題，少數(shù)的人力服務(wù)于算法的流程需要被建立。

最后，孫力還特別強(qiáng)調(diào)了兩個(gè)觀點(diǎn)：第一，AI需要一個(gè)小的平臺(tái)和引擎，而不是僅僅提供一個(gè)算法；第二，不能太迷信AI的算法，有的時(shí)候還得用傳統(tǒng)的圖象處理的算法。