輕易實現(xiàn)邊緣人工智能的“自主性”，ST Edge AI套件助力各類開發(fā)者實現(xiàn)覆蓋全硬件平臺的全鏈條開發(fā)體驗

據(jù)行業(yè)調(diào)研機構(gòu)數(shù)據(jù)，邊緣人工智能市場從2023年的191億美元起，將以25.9%的年復(fù)合增長率迅速擴展至2032年，達(dá)到1436億美元市場規(guī)模。不同于大火的ChatGPT，邊緣AI是將人工智能算法部署在接近數(shù)據(jù)源的邊緣設(shè)備上，如物聯(lián)網(wǎng)設(shè)備、智能手機及嵌入式系統(tǒng)等。與依賴云計算的人工智能相比，邊緣AI通過在本地處理數(shù)據(jù)，減少了向中央服務(wù)器頻繁傳輸數(shù)據(jù)的需求。這種方式帶來了包括更低的延遲、降低的帶寬消耗、提升的隱私保護以及更高的操作效率等多方面優(yōu)勢。

然而對于嵌入式設(shè)備開發(fā)者而言，要實現(xiàn)邊緣AI在端側(cè)的部署，需要解決一系列的問題，包括模型算法的優(yōu)化、成本體積的設(shè)計目標(biāo)和滿足系統(tǒng)功耗的標(biāo)準(zhǔn)等。某些AI算法方面的挑戰(zhàn)是傳統(tǒng)嵌入式工程師前所未有的，因此要從零開始學(xué)習(xí)的將會耗費大量的時間；而且在端側(cè)的設(shè)備的計算平臺多種多樣，數(shù)據(jù)種類更為豐富；因此要實現(xiàn)邊緣AI的大規(guī)模部署和應(yīng)用，是業(yè)界正在努力的方向。而ST推出的NanoEdge AI套件，結(jié)合ST的傳感器和計算硬件，將算法、軟件、各種硬件平臺都整合在一起，實現(xiàn)了一個全鏈條的開發(fā)及系統(tǒng)優(yōu)化體驗，能夠讓工程師更輕易地在端側(cè)設(shè)備上實現(xiàn)邊緣人工智能的“自主性”，并且方便其后續(xù)進行模型的維護、遷移和升級。

硬件是邊緣AI部署的基石，ST提供先進且靈活的算力配置

硬件無疑是邊緣AI部署的基石，傳感器負(fù)責(zé)前端數(shù)據(jù)的采集，然后MCU/MPU/SoC/FPGA等負(fù)責(zé)進行數(shù)據(jù)的計算和處理。據(jù)Matteo MARAVITA（意法半導(dǎo)體亞太區(qū)人工智能技術(shù)創(chuàng)新中心和智能手機技術(shù)創(chuàng)新中心高級經(jīng)理）分享，工程師要實現(xiàn)邊緣AI面臨著一系列的來自資源受限的硬件方面的挑戰(zhàn)，包括考慮整體的性能、安全性和較低功耗等。而在這一方面，ST從10年前就已經(jīng)開始進行一些基礎(chǔ)研究。

2018年ST就發(fā)布了STM32 Cube AI 庫；2019年推出了集成了機器學(xué)習(xí)內(nèi)核（MLC）的AI傳感器，隨后加入了TinyML聯(lián)盟；2020年ST開始在車規(guī)微控制器中部署邊緣AI，并隨后推出了支持ST Linux的邊緣AI；2021年ST推出了autoML；2022年推出了新的集成硬件加速器的 MEMS傳感器，能夠在傳感器內(nèi)運行較小的深度學(xué)習(xí)網(wǎng)絡(luò)；而在去年，ST不斷改進軟件生態(tài)系統(tǒng)，發(fā)布了STM 32開發(fā)者云模型庫，并更新了 Stellar 系列車規(guī)MCU工具。

可以看到歷經(jīng)了10年的技術(shù)積累和探索，ST不斷積極探索在傳感器和MCU硬件部署AI的最優(yōu)路徑，并且實現(xiàn)了專用的AI Core的IP技術(shù)積累。Matteo MARAVITA表示，MLPer是唯一提供MCU的AI基準(zhǔn)測試的網(wǎng)上平臺，而在MLPer Tiny基準(zhǔn)測試的提交中，基于STM32的項目數(shù)量排名第一，占比達(dá)到了73%。這表明STM32已經(jīng)成為了邊緣AI部署的事實硬件平臺，并且一直在支持客戶在消費電子、工業(yè)和汽車等領(lǐng)域更廣泛的人工智能創(chuàng)新。

在AI算力方面，ST提供了先進的算力，而且提供了靈活的產(chǎn)品形態(tài)供客戶選擇，包括已經(jīng)發(fā)布的ISPU傳感器，以及即將發(fā)布的集成了AI加速器的STM32N6和STM32MP2等。這覆蓋了從非常基礎(chǔ)的端側(cè)應(yīng)用、到中端的嵌入式應(yīng)用和高階的支持Linux的嵌入式應(yīng)用，所有的嵌入式應(yīng)用都可以通過通過STM32具有AI加速器的產(chǎn)品來實現(xiàn)AI賦能。

根據(jù)發(fā)布會現(xiàn)場的線上演示，在STM32N6上就可以運行多對象識別跟蹤的AI算法，可以達(dá)到每秒18幀的運行效果，適用于路口的交通信號燈的交通管理等應(yīng)用方向。能夠在一個32位的MCU上實現(xiàn)如此效果，正是得益于其中集成的AI專用加速器。據(jù)悉，主要的AI算法運行都是在AI加速器中進行，而STM32N6的CPU內(nèi)核的負(fù)載不到5%。

軟件是邊緣AI部署的關(guān)鍵，ST EdgeAI Suit提供全鏈條的開發(fā)和優(yōu)化

在端側(cè)部署AI的好處不言而喻，而對于端側(cè)設(shè)備的開發(fā)者而言，實際的挑戰(zhàn)更多來自于AI算法、模型和軟件等多方面，不同類型的工程師面臨著的挑戰(zhàn)也有所不同。Matteo MARAVITA表示：“嵌入式軟件工程師更關(guān)注邊緣 AI的實現(xiàn)以及如何將其集成到整個系統(tǒng)中，因此，這類工程師可能從可靠的示例項目開始開發(fā)，根據(jù)特定應(yīng)用情況修改參考設(shè)計。而機器學(xué)習(xí)工程師/AI工程師/數(shù)據(jù)科學(xué)家則主要關(guān)注機器學(xué)習(xí)模型的開發(fā)，不僅要關(guān)注機器學(xué)習(xí)模型的數(shù)據(jù)集，還需要關(guān)注根據(jù)被選目標(biāo)硬件設(shè)備的特點優(yōu)化學(xué)習(xí)模型。硬件工程師則需要一個簡單的對標(biāo)測試工具，在不同的硬件平臺或不同的部件號上測試數(shù)據(jù)科學(xué)家提供的高級算法，并在性能、功耗、尺寸、價格等方面找到最佳折衷方案?！?

如何滿足不同類型開發(fā)者的不同需求？ST Edge AI 開發(fā)套件給出了答案。

據(jù)了解，ST Edge AI開發(fā)套件集成了邊緣人工智能開發(fā)過程所需的所有工具和模塊，從創(chuàng)建模型庫用例、收集數(shù)據(jù)集到將模型部署到指定硬件，全程覆蓋?？蛻艨梢岳肁utoML工具直接從數(shù)據(jù)著手創(chuàng)建模型，亦可導(dǎo)入自行或通過第三方開發(fā)的模型，進行基準(zhǔn)測試并在硬件上部署。該套件旨在支持包括MEMS傳感器、微控制器、MPU微處理器和汽車微控制器在內(nèi)的多種硬件產(chǎn)品。此外，ST Edge AI套件還提供豐富的開發(fā)資源，如文檔、教程和社區(qū)訪問權(quán)限等，幫助用戶深入理解和使用。

值得一提的是，ST Edge AI開發(fā)套件對于關(guān)鍵客戶的外部人工智能開發(fā)系統(tǒng)還具有非常好的兼容性，支持深度學(xué)習(xí)框架TensorFlow Lite 、 Keras 、 PyTorch等訓(xùn)練的機器學(xué)習(xí)模型；此外該套件還提供了與英偉達(dá)(NVIDIA)工具包的兼容性；包括與亞馬遜云科技（AWS）和微軟Azure 等云服務(wù)的無縫連接；同時還兼容MATLAB等仿真工具。

該AI開發(fā)套件的核心在于一個被稱為“ST Edge AI Core”的部分，這一部分可以看作是一個創(chuàng)新的統(tǒng)一嵌入式人工智能解決方案優(yōu)化器。該優(yōu)化器用統(tǒng)一的命令行界面，實現(xiàn)了從客戶自主模型輸入到最終優(yōu)化模型生成和驗證。透過“ST Edge AI Core”，就可以將AI模型，轉(zhuǎn)換成可以在ST的各種硬件平臺上優(yōu)化運行的專用模型。

“目前邊緣人工智能并沒有一個統(tǒng)一通用的開發(fā)方法，但我們認(rèn)為， 在開發(fā)邊緣人工智能解決方案的過程中，為開發(fā)者提供指引和信息是非常重要的?！盡atteo解釋到，“因此ST Edge AI 套件考慮到了這個因素。這套工具可以幫助用戶根據(jù)自己的 知識和資源找到最佳的方法和工具。我們還將考慮融合和統(tǒng)一各種工具的用戶體驗，以簡化人工智能庫的設(shè)計流程?！?

結(jié)語

邊緣人工智能的實現(xiàn)涉及到三個基本 要素：安全性，連接性、自主性，而其中自主性是AI能力的體現(xiàn)，也是邊緣AI有別于其他傳統(tǒng)的物聯(lián)網(wǎng)的關(guān)鍵。而通過ST Edge AI套件，就可以幫助各種不同類型的開發(fā)者實現(xiàn)覆蓋全硬件平臺的全鏈條開發(fā)體驗，更輕松地實現(xiàn)邊緣人工智能的“自主性”。