CEVA憑借NeuPro-M異構(gòu)安全處理器架構(gòu)重新定義邊緣 AI 和邊緣計算設(shè)備的高性能 AI/ML 處理

CEVA，全球領(lǐng)先的無線連接和智能傳感技術(shù)及集成IP解決方案的授權(quán)許可廠商(NASDAQ：CEVA)宣布推出用于人工智能和機器學(xué)習 (AI/ML) 推理工作的最新一代處理器架構(gòu)NeuPro-M。NeuPro-M由多個專用協(xié)處理器和可配置硬件加速器組成，是瞄準廣闊的邊緣 AI 和邊緣計算市場的異構(gòu)處理器架構(gòu)，能夠同時無縫處理深度神經(jīng)網(wǎng)絡(luò)的各種工作，性能較上一代產(chǎn)品提升 5到15 倍。NeuPro-M支持系統(tǒng)級芯片(SoC)和異構(gòu)SoC (HSoC)可擴展性，最高性能可達 1,200 TOPS，并提供可選的穩(wěn)健安全啟動和端至端數(shù)據(jù)隱私功能，開創(chuàng)了業(yè)界先河。

NeuPro–M系列處理器初始包含以下預(yù)配置內(nèi)核：

? NPM11 – 單個 NeuPro-M 引擎，在 1.25GHz 下算力高達 20 TOPS

? NPM18 – 8 個 NeuPro-M 引擎，在 1.25GHz 下算力高達 160 TOPS

在處理 ResNet50卷積神經(jīng)網(wǎng)絡(luò)時，單個 NPM11內(nèi)核可將性能提升至上一代產(chǎn)品的五倍，并將內(nèi)存帶寬消耗減少六倍，從而實現(xiàn)高達 24 TOPS/W的出色功效，完美體現(xiàn)其業(yè)界領(lǐng)先的性能水平。

以成功的上一代產(chǎn)品為基礎(chǔ)，NeuPro-M能夠處理所有已知的神經(jīng)網(wǎng)絡(luò)架構(gòu)，并集成了下一代網(wǎng)絡(luò)，如transformer、3D convolution、self-attention和全部類型的循環(huán)神經(jīng)網(wǎng)絡(luò)的原生支持。經(jīng)優(yōu)化的NeuPro-M可處理 250 多種神經(jīng)網(wǎng)絡(luò)、450 多種AI 內(nèi)核和 50 多種算法。嵌入式矢量處理單元(VPU)確保對未來新的神經(jīng)網(wǎng)絡(luò)拓撲和AI處理工作提供基于軟件的驗證和支持。而且，對于常見基準測試，CDNN離線壓縮工具可以將NeuPro-M的FPS/Watt性能提高 5到10 倍，并且對精度僅有極小的影響。

CEVA副總裁兼視覺業(yè)務(wù)部門總經(jīng)理 Ran Snir評論道：“隨著生成的數(shù)據(jù)越來越多，以及傳感器相關(guān)軟件工作負載不斷遷移到神經(jīng)網(wǎng)絡(luò)以獲得更好的性能和效率，對邊緣 AI和邊緣計算的人工智能和機器學(xué)習處理需求的增速驚人。由于這些設(shè)備的功率預(yù)算保持不變，我們必需找到創(chuàng)新方法，在這些日益復(fù)雜的系統(tǒng)邊緣使用人工智能。我們利用在數(shù)百萬臺無人機、安全攝像頭、智能手機和汽車系統(tǒng)應(yīng)用等設(shè)備中部署 AI 處理器和加速器的豐富經(jīng)驗來設(shè)計NeuPro-M架構(gòu)。NeuPro-M創(chuàng)新的分布式架構(gòu)和共享內(nèi)存系統(tǒng)控制器將帶寬消耗和延遲降至最低，并提供出色的整體利用率和電源效率。這允許我們的客戶在 SoC 或 小芯片 (chiplet) 中連接多個NeuPro-M兼容內(nèi)核來應(yīng)對最嚴苛的 AI 工作，從而將智能邊緣處理器設(shè)計提升至全新的水平。”

NeuPro-M異構(gòu)架構(gòu)由特定功能協(xié)處理器和負載平衡機制組成，相比上一代產(chǎn)品，這是實現(xiàn)巨大的性能和效率飛躍的重要因素。通過將控制功能分配給本地控制器并以分層方式實現(xiàn)本地內(nèi)存資源，NeuPro-M 實現(xiàn)了處理數(shù)據(jù)流的靈活性，從而實現(xiàn)超過90%的利用率，并且在任意給定時間內(nèi)防止不同協(xié)處理器和加速器出現(xiàn)數(shù)據(jù)不足現(xiàn)象。它使CDNN 框架根據(jù)特定網(wǎng)絡(luò)、所需帶寬、可用內(nèi)存和目標性能來實施各種數(shù)據(jù)流方案，從而獲得最佳的負載平衡。

NeuPro-M 架構(gòu)亮點包括：

? 由 4K MACs(乘累加單元)組成的主網(wǎng)格陣列，混合精度為 2到16 位

? 用于權(quán)重和激活操作的Winograd transform引擎，可將卷積時間減少兩倍，并允許在精度降低到少于0.5% 的情況下進行 8 位卷積處理

? 用于避免每層具有零值權(quán)重或激活操作的Sparsity引擎，最多可將性能提升四倍，同時減少耗用內(nèi)存帶寬和降低功耗

? 具有完全可編程的矢量處理單元，用于處理未獲支持的全新神經(jīng)網(wǎng)絡(luò)架構(gòu)(具有全部數(shù)據(jù)類型)，從 32 位浮點到 2 位二進制神經(jīng)網(wǎng)絡(luò) (BNN)

? 將可配置的權(quán)重數(shù)據(jù)壓縮至兩位，同時讀取內(nèi)存時進行實時解壓縮以減少耗用內(nèi)存帶寬

? 使用動態(tài)配置兩級內(nèi)存架構(gòu)，最大限度地減少與外部 SDRAM 之間的數(shù)據(jù)傳輸功耗

使用NeuPro-M 架構(gòu)中創(chuàng)新功能，同時使用 Winograd 變換正交機制、Sparsity引擎和低分辨率 4x4 位激活，可將網(wǎng)絡(luò)(如 Resnet50 和 Yolo V3)的循環(huán)次數(shù)減少三倍以上。

由于神經(jīng)網(wǎng)絡(luò)權(quán)重和偏差以及數(shù)據(jù)集和網(wǎng)絡(luò)拓撲成為所有者的重要知識產(chǎn)權(quán)，因而業(yè)界迫切需要保護這些信息免遭未經(jīng)授權(quán)的使用。NeuPro-M架構(gòu)可選用信任根、身份驗證和加密加速器來支持安全接入。

針對汽車市場，CEVA提供NeuPro-M 內(nèi)核及其 CEVA 深度神經(jīng)網(wǎng)絡(luò) (CDNN)深度學(xué)習編譯器和軟件工具包，不僅符合汽車 ISO26262 ASIL-B 功能安全標準，并滿足嚴格的質(zhì)量保證標準 IATF16949 和 A-Spice要求。

結(jié)合CEVA 屢獲殊榮的神經(jīng)網(wǎng)絡(luò)編譯器 CDNN 及其功能強大的軟件開發(fā)環(huán)境，NeuPro-M架構(gòu)可為客戶提供一個完全可編程的硬件/軟件 AI開發(fā)環(huán)境，最大限度地提升 AI操作性能。CDNN 包含創(chuàng)新的軟件，能夠充分利用客戶的 NeuPro-M定制硬件來優(yōu)化功耗、性能和帶寬。CDNN 軟件還包含了用于減少耗用內(nèi)存和優(yōu)化負載平衡算法的內(nèi)存管理器，并廣泛支持各種網(wǎng)絡(luò)格式(包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等)。CDNN 與常見的開源框架 (包括 Glow、tvm、Halide 和 TensorFlow) 兼容，并包含模型優(yōu)化功能，例如“層融合(layer fusion)”和“訓(xùn)練后量化(post training quantization)”，同時使用精確的守恒方法。

目前CEVA向主要客戶提供NeuPro-M授權(quán)許可，并于今年第二季提供全面授權(quán)許可。CEVA 還為客戶提供異構(gòu) SoC 設(shè)計服務(wù)，幫助其進行系統(tǒng)集成并支持系統(tǒng)設(shè)計和小芯片開發(fā)，從而為NeuPro-M客戶帶來裨益。