人工智能的落地門檻將會(huì)越來越低

目前，人工智能基礎(chǔ)性算法已經(jīng)較為成熟，各大廠商紛紛發(fā)力建設(shè)算法模型工具庫，并將其封裝為軟件框架，供開發(fā)者使用，可以說軟件框架是算法的工程實(shí)現(xiàn)。企業(yè)的軟件框架實(shí)現(xiàn)有閉源和開源兩種形式：蘋果公司等少數(shù)企業(yè)選擇閉源方式開發(fā)軟件框架，目的是打造技術(shù)壁壘；目前業(yè)內(nèi)主流軟件框架基本都是開源化運(yùn)營。

基于深度學(xué)習(xí)的推斷的計(jì)算量相對(duì)訓(xùn)練過程小很多，但仍涉及到大量的矩陣卷積、非線性變換等運(yùn)算，為了滿足在終端側(cè)限定設(shè)備性能及功耗等因素的場(chǎng)景下，業(yè)界也開發(fā)了眾多開源的終端側(cè)軟件框架。

Caffe2go 是早出現(xiàn)的終端側(cè)推斷軟件框架，能夠讓深層神經(jīng)網(wǎng)絡(luò)在手機(jī)上高效的運(yùn)行。由于終端側(cè)的 GPU 設(shè)備性能有限，Caffe2go是基于 CPU 的優(yōu)化進(jìn)行設(shè)計(jì)。

TensorFlow Lite 可以運(yùn)行在 Android 和 iOS 平臺(tái)，結(jié)合 Android 生態(tài)的神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)能夠?qū)崿F(xiàn)較為高效的 AI 移動(dòng)端應(yīng)用速度。

NCNN 是騰訊開源的終端側(cè) AI 軟件框架，支持多種訓(xùn)練軟件框架的模型轉(zhuǎn)換，是主要面向CPU的AI模型應(yīng)用，無第三方依賴具有較高的通用性，運(yùn)行速度突出，是國內(nèi)目前較為廣泛使用的終端側(cè) AI 軟件框架。

Core ML 是蘋果公司開發(fā)的 iOS AI軟件框架，能夠?qū)?Caffe、PyTorch、MXNet、TensorFlow 等絕大部分 AI 模型，并且自身提供了常用的各種手機(jī)端 AI 模型組件，目前也匯集了眾多開發(fā)者及貢獻(xiàn)力量。

Paddle-mobile 是百度自研的移動(dòng)端深度學(xué)習(xí)軟件框架，主要目的是將 Paddle 模型部署在手機(jī)端，其支持 iOS GPU 計(jì)算。但目前功能相對(duì)單一，支持較為有限。

TensorRT是英偉達(dá)（NVIDIA）開發(fā)的深度學(xué)習(xí)推斷工具，已經(jīng)支持 Caffe、Caffe2、TensorFlow、MXNet、PyTorch 等主流深度學(xué)習(xí)庫，其底層針對(duì)NVIDIA顯卡做了多方面的優(yōu)化，可以和CUDA編譯器結(jié)合使用。

目前主要產(chǎn)業(yè)巨頭均推出了基于自身技術(shù)體系的訓(xùn)練及推斷軟件框架，但由于目前產(chǎn)業(yè)生態(tài)尚未形成，深度學(xué)習(xí)模型表示及存儲(chǔ)尚未統(tǒng)一，訓(xùn)練軟件框架及推斷軟件框架尚未形成一一對(duì)應(yīng)關(guān)系，技術(shù)生態(tài)爭(zhēng)奪將繼續(xù)持續(xù)。