嵌入式人工智能/機(jī)器學(xué)習(xí)(AI/ML)以“生態(tài)+集成+定制”差異化發(fā)展

隨著嵌入式處理器的能力不斷提升，超小型化的硬件加速器不斷被引入，以及原廠及商業(yè)的開發(fā)環(huán)境和工具不斷出現(xiàn)，嵌入式人工智能/機(jī)器學(xué)習(xí)(AI/ML)技術(shù)在近幾年得到了快速的發(fā)展。同時(shí)因?yàn)檫@些技術(shù)與千姿百態(tài)的各種應(yīng)用需求十分貼近，因此正在進(jìn)入差異化發(fā)展的新空間，未來其增長(zhǎng)速度將可以比肩甚至超過需要強(qiáng)大資源體系的、立足良好通信條件的和基于云的人工智能應(yīng)用。

人工智能并不是一個(gè)近幾年才提出的名詞，但是在近幾年隨著谷歌AlphaGo戰(zhàn)勝人類圍棋世界冠軍等事件的推動(dòng)，才使諸如卷積神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等技術(shù)走進(jìn)了大眾的視野，同時(shí)也使“人工智能=數(shù)據(jù)+算法+算力”的模型得到廣泛的認(rèn)同。

其結(jié)果是，在很多人的印象中，人工智能和機(jī)器學(xué)習(xí)就是在英特爾最新服務(wù)器處理器或者英偉達(dá)的GPU加速模組的基礎(chǔ)上的全新的、巨大的算法應(yīng)用，特別是人工智能的訓(xùn)練更是一場(chǎng)資源消耗戰(zhàn)，成為了進(jìn)入門檻很高的新興領(lǐng)域，傳統(tǒng)上設(shè)計(jì)MCU或者SoC的芯片企業(yè)基本上與高貴的AI/ML無緣。

但是人們很快發(fā)現(xiàn)在非常領(lǐng)先的人工智能企業(yè)所提供的解決方案中，不僅包括諸如自動(dòng)駕駛路況分析、自然語言處理、快速醫(yī)學(xué)影像識(shí)別和高頻金融交易等復(fù)雜功能，也包括更大量車牌識(shí)別、智能音箱喚醒詞識(shí)別、便攜智能健康監(jiān)測(cè)設(shè)備、人臉識(shí)別開機(jī)和智能家居安防等Lite級(jí)別的應(yīng)用。

在市場(chǎng)強(qiáng)烈需求的拉動(dòng)下，隨著谷歌的開源TensorFlow Lite嵌入式機(jī)器學(xué)習(xí)架構(gòu)和類似產(chǎn)品的推出，以及諸如Imagination公司的PowerVR神經(jīng)網(wǎng)絡(luò)加速器(NNA)等硬件加速器在移動(dòng)設(shè)備或嵌入式設(shè)備上商用，各種功耗和成本更低的，以及更加小巧的嵌入式AI/ML功能解決方案不斷涌現(xiàn)。

通過分析，北京華興萬邦管理咨詢有限公司認(rèn)為：嵌入式AI/ML的廣泛興起，帶來了與傳統(tǒng)AI技術(shù)以“人工智能=數(shù)據(jù)+算法+算力”為中心的發(fā)展范式不同的新模式，針對(duì)特定或者一些應(yīng)用和功能的嵌入式AI/ML的重點(diǎn)已轉(zhuǎn)向“生態(tài)+集成+定制”。下面我們從融入物聯(lián)網(wǎng)生態(tài)、硬件和商用開發(fā)工具集成、以及基于RISC-V開發(fā)定制處理器這三個(gè)方面來進(jìn)行分析：

為嵌入式AI/ML帶來最新Matter協(xié)議和物聯(lián)網(wǎng)大生態(tài)

Silicon Labs(亦稱“芯科科技”)是一家全球領(lǐng)先的物聯(lián)網(wǎng)芯片、軟件和解決方案供應(yīng)商，該公司在業(yè)界以支持最全面的物聯(lián)網(wǎng)通信協(xié)議和提供優(yōu)異的產(chǎn)品性能而著名，其客戶包括智能家居、智慧城市、工業(yè)與商業(yè)、智慧醫(yī)療和能源等領(lǐng)域內(nèi)的領(lǐng)導(dǎo)廠商。

今年初，該公司宣布推出其BG24和MG24系列2.4 GHz無線SoC，它們不僅都支持最新的Matter物聯(lián)網(wǎng)通信協(xié)議，還分別支持藍(lán)牙和多協(xié)議操作，同時(shí)還為電池供電的邊緣設(shè)備和應(yīng)用提供了人工智能/機(jī)器學(xué)習(xí)功能，并帶來了高性能無線功能和物聯(lián)網(wǎng)大生態(tài)。

BG24和MG24無線SoC代表業(yè)界前沿的生態(tài)、功能和技術(shù)組合，其中包括支持無線多協(xié)議、長(zhǎng)電池壽命(低功耗)、機(jī)器學(xué)習(xí)、以及面向物聯(lián)網(wǎng)邊緣應(yīng)用的安全性。Silicon Labs為它們提供的全新軟件工具包支持開發(fā)人員通過一些常用的工具套件(如TensorFlow)，來快速構(gòu)建及部署AI/ML算法。

為了實(shí)現(xiàn)AI/ML算力，BG24和MG24系列率先集成了專用的AI/ML加速器，幫助開發(fā)人員部署人工智能或機(jī)器學(xué)習(xí)功能并解決功耗難題。這種專用硬件旨在快速高效地處理復(fù)雜計(jì)算，內(nèi)部測(cè)試顯示其性能提升最高達(dá)4倍，能效提升最多達(dá)6倍。由于機(jī)器學(xué)習(xí)計(jì)算是在本地設(shè)備上而不是在云端進(jìn)行，因此消除了網(wǎng)絡(luò)延遲，加快了決策和行動(dòng)。

此外，BG24和MG24系列還具有Silicon Labs產(chǎn)品組合中最大的閃存和隨機(jī)存取存儲(chǔ)器(RAM)容量，使其可支持多協(xié)議、Matter以及用大型數(shù)據(jù)集訓(xùn)練ML算法。這些芯片載有獲得了PSA 3級(jí)認(rèn)證的Secure VaultTM物聯(lián)網(wǎng)安全技術(shù)，可為門鎖、醫(yī)療設(shè)備和其他需小心部署的產(chǎn)品提供所需的高安全性。

高集成度嵌入式AI/ML配合領(lǐng)先商用開發(fā)工具

IAR Systems是嵌入式開發(fā)軟件和服務(wù)的全球領(lǐng)導(dǎo)者，其領(lǐng)先的IAR Embedded Workbench®工具鏈已在全球獲得廣泛采用。IAR Systems的開發(fā)工具為Alif Semiconductor?高集成度的Ensemble?和Crescendo?系列芯片提供支持，打造了基于人工智能的、高效的微控制器(MCU)和融合處理器，賦能下一代嵌入式互聯(lián)應(yīng)用。

對(duì)更多功能的集成代表了嵌入式AI/ML的一個(gè)發(fā)展方向，Alif Semiconductor的這些高能效產(chǎn)品系列提供多達(dá)4個(gè)處理內(nèi)核，以及人工智能/機(jī)器學(xué)習(xí)(AI/ML)加速、多層安全、集成的LTE Cat-M1和NB-IoT連接、全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)定位等功能，從而使其應(yīng)用范圍得到了大幅擴(kuò)展。

為了讓這些功能得到更好的發(fā)揮，就需要利用諸如IAR Systems的Arm開發(fā)工具這些在行業(yè)中已被驗(yàn)證過的、領(lǐng)先的編譯器技術(shù)，對(duì)代碼大小和速度都進(jìn)行優(yōu)化，另外還提供高性能的調(diào)試功能，從而為企業(yè)提供了一個(gè)很好的平臺(tái)。

2021年11月，IAR Systems宣布其最新版本的IAR Embedded Workbench for Arm®增加了對(duì)Arm Cortex®-M55處理器的支持。該處理器是一款支持AI技術(shù)的Cortex-M系列處理器，帶來了節(jié)能的數(shù)字信號(hào)處理(DSP)和機(jī)器學(xué)習(xí)功能。

雙方此次合作可以支持Ensemble或Crescendo器件的應(yīng)用開發(fā)商利用IAR Embedded Workbench® for Arm開發(fā)工具鏈，以實(shí)現(xiàn)高性能的且強(qiáng)大的代碼優(yōu)化功能，充分發(fā)揮器件的AI/ML潛能，同時(shí)又盡可能地保持能源效率。

RISC-V使嵌入式AI/ML可針對(duì)邊緣應(yīng)用實(shí)現(xiàn)定制

多樣化的需求是嵌入式應(yīng)用的特征之一，MCU供應(yīng)商長(zhǎng)期以來是通過不同的處理器內(nèi)核與外設(shè)搭配來滿足用戶的個(gè)性化需求。而RISC-V的興起，帶來了定制處理器這一新的潮流，這一潮流將繼續(xù)延伸到嵌入式AI/ML領(lǐng)域，并得到業(yè)內(nèi)領(lǐng)先廠商的支持。

Codasip就是一家提供領(lǐng)先的RISC-V處理器IP和高級(jí)處理器設(shè)計(jì)工具的供應(yīng)商，為IC設(shè)計(jì)者提供RISC-V開放ISA的所有優(yōu)勢(shì)，以及定制處理器IP的獨(dú)特能力。Codasip在今年2月推出了兩款專為定制處理器而優(yōu)化的最新低功耗嵌入式RISC-V處理器內(nèi)核L31和L11。

基于這些新內(nèi)核，客戶可以很方便地使用Codasip Studio工具去定制處理器設(shè)計(jì)，以支持諸如神經(jīng)網(wǎng)絡(luò)、AI/ML等具有挑戰(zhàn)性的應(yīng)用，包括例如物聯(lián)網(wǎng)邊緣計(jì)算等極小型化的、功率受限的應(yīng)用。Codasip的內(nèi)核可定制功能是其成功的基石，目前全球已有超過20億顆處理器使用了Codasip的IP。

Codasip L31/L11嵌入式內(nèi)核運(yùn)行在谷歌的TensorFlow Lite for Microcontrollers(TFLite Micro)上，并利用Codasip Studio工具定制一類全新的嵌入式AI內(nèi)核，可為AI/ML計(jì)算密集型和內(nèi)部資源有限的嵌入式系統(tǒng)等應(yīng)用提供足夠的性能。不同應(yīng)用對(duì)器件的需求也有巨大的差異，而且現(xiàn)有的處理器并不能很好地加載AI/ML應(yīng)用。

Codasip可提供“創(chuàng)造差異化設(shè)計(jì)”模式，意味著使用其Studio工具的客戶，可以根據(jù)其特定系統(tǒng)、軟件及應(yīng)用程序的要求來定制處理器。通過將TFLite Micro)、RISC-V定制指令以及Codasip處理器設(shè)計(jì)工具三者相結(jié)合，就可以為嵌入式的、高效率的邊緣神經(jīng)網(wǎng)絡(luò)處理功能帶來低延遲、高安全性、快速通信和低功耗等優(yōu)勢(shì)。

展望未來：新的應(yīng)用與新的技術(shù)都將不斷涌現(xiàn)

隨著產(chǎn)業(yè)的發(fā)展，嵌入式AI/ML技術(shù)和應(yīng)用都將得到進(jìn)一步的發(fā)展，基于華興萬邦提出的“生態(tài)+集成+定制”新范式，以及不斷推陳出新的邊緣應(yīng)用，我們可以看到在未來一些新的技術(shù)值得高度關(guān)注，比如新的、適合邊緣應(yīng)用的硬件加速器和安全技術(shù)。

以硬件加速器為例，近年來廣泛興起并得到高度關(guān)注的xPU將會(huì)從云端走向嵌入式應(yīng)用;在一些應(yīng)用場(chǎng)景中，還需要針對(duì)算法和標(biāo)準(zhǔn)的演進(jìn)和升級(jí)對(duì)硬件進(jìn)行再編程，那么諸如Achronix公司的Speedcore嵌入式FPGA(eFPGA)這樣的IP產(chǎn)品也會(huì)從服務(wù)器和數(shù)據(jù)中心市場(chǎng)走入嵌入式AI/ML應(yīng)用，推動(dòng)采用不同硬件加速器的異構(gòu)計(jì)算模式向前發(fā)展。