輕易實現(xiàn)邊緣人工智能的“自主性”,ST Edge AI套件助力各類開發(fā)者實現(xiàn)覆蓋全硬件平臺的全鏈條開發(fā)體驗
據(jù)行業(yè)調(diào)研機構(gòu)數(shù)據(jù),邊緣人工智能市場從2023年的191億美元起,將以25.9%的年復(fù)合增長率迅速擴展至2032年,達(dá)到1436億美元市場規(guī)模。不同于大火的ChatGPT,邊緣AI是將人工智能算法部署在接近數(shù)據(jù)源的邊緣設(shè)備上,如物聯(lián)網(wǎng)設(shè)備、智能手機及嵌入式系統(tǒng)等。與依賴云計算的人工智能相比,邊緣AI通過在本地處理數(shù)據(jù),減少了向中央服務(wù)器頻繁傳輸數(shù)據(jù)的需求。這種方式帶來了包括更低的延遲、降低的帶寬消耗、提升的隱私保護(hù)以及更高的操作效率等多方面優(yōu)勢。
然而對于嵌入式設(shè)備開發(fā)者而言,要實現(xiàn)邊緣AI在端側(cè)的部署,需要解決一系列的問題,包括模型算法的優(yōu)化、成本體積的設(shè)計目標(biāo)和滿足系統(tǒng)功耗的標(biāo)準(zhǔn)等。某些AI算法方面的挑戰(zhàn)是傳統(tǒng)嵌入式工程師前所未有的,因此要從零開始學(xué)習(xí)的將會耗費大量的時間;而且在端側(cè)的設(shè)備的計算平臺多種多樣,數(shù)據(jù)種類更為豐富;因此要實現(xiàn)邊緣AI的大規(guī)模部署和應(yīng)用,是業(yè)界正在努力的方向。而ST推出的NanoEdge AI套件,結(jié)合ST的傳感器和計算硬件,將算法、軟件、各種硬件平臺都整合在一起,實現(xiàn)了一個全鏈條的開發(fā)及系統(tǒng)優(yōu)化體驗,能夠讓工程師更輕易地在端側(cè)設(shè)備上實現(xiàn)邊緣人工智能的“自主性”,并且方便其后續(xù)進(jìn)行模型的維護(hù)、遷移和升級。
硬件是邊緣AI部署的基石,ST提供先進(jìn)且靈活的算力配置
硬件無疑是邊緣AI部署的基石,傳感器負(fù)責(zé)前端數(shù)據(jù)的采集,然后MCU/MPU/SoC/FPGA等負(fù)責(zé)進(jìn)行數(shù)據(jù)的計算和處理。據(jù)Matteo MARAVITA(意法半導(dǎo)體亞太區(qū)人工智能技術(shù)創(chuàng)新中心和智能手機技術(shù)創(chuàng)新中心高級經(jīng)理)分享,工程師要實現(xiàn)邊緣AI面臨著一系列的來自資源受限的硬件方面的挑戰(zhàn),包括考慮整體的性能、安全性和較低功耗等。而在這一方面,ST從10年前就已經(jīng)開始進(jìn)行一些基礎(chǔ)研究。
2018年ST就發(fā)布了STM32 Cube AI 庫;2019年推出了集成了機器學(xué)習(xí)內(nèi)核(MLC)的AI傳感器,隨后加入了TinyML聯(lián)盟;2020年ST開始在車規(guī)微控制器中部署邊緣AI,并隨后推出了支持ST Linux的邊緣AI;2021年ST推出了autoML;2022年推出了新的集成硬件加速器的 MEMS傳感器,能夠在傳感器內(nèi)運行較小的深度學(xué)習(xí)網(wǎng)絡(luò);而在去年,ST不斷改進(jìn)軟件生態(tài)系統(tǒng),發(fā)布了STM 32開發(fā)者云模型庫,并更新了 Stellar 系列車規(guī)MCU工具。
可以看到歷經(jīng)了10年的技術(shù)積累和探索,ST不斷積極探索在傳感器和MCU硬件部署AI的最優(yōu)路徑,并且實現(xiàn)了專用的AI Core的IP技術(shù)積累。Matteo MARAVITA表示,MLPer是唯一提供MCU的AI基準(zhǔn)測試的網(wǎng)上平臺,而在MLPer Tiny基準(zhǔn)測試的提交中,基于STM32的項目數(shù)量排名第一,占比達(dá)到了73%。這表明STM32已經(jīng)成為了邊緣AI部署的事實硬件平臺,并且一直在支持客戶在消費電子、工業(yè)和汽車等領(lǐng)域更廣泛的人工智能創(chuàng)新。
在AI算力方面,ST提供了先進(jìn)的算力,而且提供了靈活的產(chǎn)品形態(tài)供客戶選擇,包括已經(jīng)發(fā)布的ISPU傳感器,以及即將發(fā)布的集成了AI加速器的STM32N6和STM32MP2等。這覆蓋了從非?;A(chǔ)的端側(cè)應(yīng)用、到中端的嵌入式應(yīng)用和高階的支持Linux的嵌入式應(yīng)用,所有的嵌入式應(yīng)用都可以通過通過STM32具有AI加速器的產(chǎn)品來實現(xiàn)AI賦能。
根據(jù)發(fā)布會現(xiàn)場的線上演示,在STM32N6上就可以運行多對象識別跟蹤的AI算法,可以達(dá)到每秒18幀的運行效果,適用于路口的交通信號燈的交通管理等應(yīng)用方向。能夠在一個32位的MCU上實現(xiàn)如此效果,正是得益于其中集成的AI專用加速器。據(jù)悉,主要的AI算法運行都是在AI加速器中進(jìn)行,而STM32N6的CPU內(nèi)核的負(fù)載不到5%。
軟件是邊緣AI部署的關(guān)鍵,ST EdgeAI Suit提供全鏈條的開發(fā)和優(yōu)化
在端側(cè)部署AI的好處不言而喻,而對于端側(cè)設(shè)備的開發(fā)者而言,實際的挑戰(zhàn)更多來自于AI算法、模型和軟件等多方面,不同類型的工程師面臨著的挑戰(zhàn)也有所不同。Matteo MARAVITA表示:“嵌入式軟件工程師更關(guān)注邊緣 AI的實現(xiàn)以及如何將其集成到整個系統(tǒng)中,因此,這類工程師可能從可靠的示例項目開始開發(fā),根據(jù)特定應(yīng)用情況修改參考設(shè)計。而機器學(xué)習(xí)工程師/AI工程師/數(shù)據(jù)科學(xué)家則主要關(guān)注機器學(xué)習(xí)模型的開發(fā),不僅要關(guān)注機器學(xué)習(xí)模型的數(shù)據(jù)集,還需要關(guān)注根據(jù)被選目標(biāo)硬件設(shè)備的特點優(yōu)化學(xué)習(xí)模型。硬件工程師則需要一個簡單的對標(biāo)測試工具,在不同的硬件平臺或不同的部件號上測試數(shù)據(jù)科學(xué)家提供的高級算法,并在性能、功耗、尺寸、價格等方面找到最佳折衷方案?!?
如何滿足不同類型開發(fā)者的不同需求?ST Edge AI 開發(fā)套件給出了答案。
據(jù)了解,ST Edge AI開發(fā)套件集成了邊緣人工智能開發(fā)過程所需的所有工具和模塊,從創(chuàng)建模型庫用例、收集數(shù)據(jù)集到將模型部署到指定硬件,全程覆蓋??蛻艨梢岳肁utoML工具直接從數(shù)據(jù)著手創(chuàng)建模型,亦可導(dǎo)入自行或通過第三方開發(fā)的模型,進(jìn)行基準(zhǔn)測試并在硬件上部署。該套件旨在支持包括MEMS傳感器、微控制器、MPU微處理器和汽車微控制器在內(nèi)的多種硬件產(chǎn)品。此外,ST Edge AI套件還提供豐富的開發(fā)資源,如文檔、教程和社區(qū)訪問權(quán)限等,幫助用戶深入理解和使用。
值得一提的是,ST Edge AI開發(fā)套件對于關(guān)鍵客戶的外部人工智能開發(fā)系統(tǒng)還具有非常好的兼容性,支持深度學(xué)習(xí)框架TensorFlow Lite 、 Keras 、 PyTorch等訓(xùn)練的機器學(xué)習(xí)模型;此外該套件還提供了與英偉達(dá)(NVIDIA)工具包的兼容性;包括與亞馬遜云科技(AWS)和微軟Azure 等云服務(wù)的無縫連接;同時還兼容MATLAB等仿真工具。
該AI開發(fā)套件的核心在于一個被稱為“ST Edge AI Core”的部分,這一部分可以看作是一個創(chuàng)新的統(tǒng)一嵌入式人工智能解決方案優(yōu)化器。該優(yōu)化器用統(tǒng)一的命令行界面,實現(xiàn)了從客戶自主模型輸入到最終優(yōu)化模型生成和驗證。透過“ST Edge AI Core”,就可以將AI模型,轉(zhuǎn)換成可以在ST的各種硬件平臺上優(yōu)化運行的專用模型。
“目前邊緣人工智能并沒有一個統(tǒng)一通用的開發(fā)方法,但我們認(rèn)為, 在開發(fā)邊緣人工智能解決方案的過程中,為開發(fā)者提供指引和信息是非常重要的?!盡atteo解釋到,“因此ST Edge AI 套件考慮到了這個因素。這套工具可以幫助用戶根據(jù)自己的 知識和資源找到最佳的方法和工具。我們還將考慮融合和統(tǒng)一各種工具的用戶體驗,以簡化人工智能庫的設(shè)計流程?!?
結(jié)語
邊緣人工智能的實現(xiàn)涉及到三個基本 要素:安全性,連接性、自主性,而其中自主性是AI能力的體現(xiàn),也是邊緣AI有別于其他傳統(tǒng)的物聯(lián)網(wǎng)的關(guān)鍵。而通過ST Edge AI套件,就可以幫助各種不同類型的開發(fā)者實現(xiàn)覆蓋全硬件平臺的全鏈條開發(fā)體驗,更輕松地實現(xiàn)邊緣人工智能的“自主性”。