嵌入式開發(fā)的邊緣AI如何影響未來的IOT

一個(gè)強(qiáng)大的轉(zhuǎn)變正在嵌入空間進(jìn)行。連接設(shè)備正在演變成能夠根據(jù)所收集的數(shù)據(jù)自行決策的系統(tǒng)。通過處理更接近其捕獲地點(diǎn)的數(shù)據(jù),而不是在iot網(wǎng)關(guān)或云中,它有望加快決策速度,減少延遲,解決數(shù)據(jù)隱私問題,降低成本和提高能源效率。

工業(yè)自動(dòng)化、機(jī)器人技術(shù)、智能城市和家庭自動(dòng)化僅僅是推動(dòng)提高計(jì)算機(jī)性能和能力需求的幾個(gè)應(yīng)用領(lǐng)域。過去,這些類型系統(tǒng)中的傳感器要簡單得多,而且不連接,不過,人工智能和機(jī)器學(xué)習(xí)(ML)現(xiàn)在能夠提高本地智能水平,允許本地的設(shè)備決策,而過去簡單的控制算法是不可能做到的。

人工智能時(shí)代通用處理器的演變

多年前,開發(fā)者把邏輯和控制算法作為軟件開發(fā)的核心,然而數(shù)字信號(hào)處理(DSP)算法隨后出現(xiàn),這使許多增強(qiáng)語音、視覺和音頻應(yīng)用成為可能。

應(yīng)用程序開發(fā)的這種轉(zhuǎn)變進(jìn)入了一個(gè)新的時(shí)代,正在影響計(jì)算體系結(jié)構(gòu)的設(shè)計(jì)?，F(xiàn)在我們已經(jīng)到了推理是算法開發(fā)的一個(gè)主要焦點(diǎn)的階段.這帶來了對(duì)計(jì)算性能、能源效率、延遲、實(shí)時(shí)處理和可伸縮性等新的或更高的要求。

我們看到,不僅需要新的處理器加速器,而且需要改進(jìn)通用處理,為開發(fā)人員提供必要的平衡,并啟用應(yīng)用程序,如特征檢查或人的實(shí)時(shí)視頻檢測(cè)。

幾年前開發(fā)人員創(chuàng)建噪音取消應(yīng)用程序時(shí),只會(huì)依賴基于頻率的濾波器。但是今天,開發(fā)人員可以通過將過濾與ML/AI模型和推理相混合來提高應(yīng)用程序的性能和功能。這推動(dòng)了對(duì)處理器和工具的需求,使這些任務(wù)更加高效,并且盡可能地?zé)o縫地提供給用戶。

邊緣和端點(diǎn)裝置中的智能標(biāo)記

這種演變是由ML驅(qū)動(dòng)的,但它并非沒有技術(shù)上的挑戰(zhàn)。多年的啟動(dòng)和停止,以及創(chuàng)造一個(gè)"一刀切"方法的嘗試,都促使業(yè)界改變了其方法,以釋放大規(guī)模的擴(kuò)展機(jī)會(huì)。

現(xiàn)在,開發(fā)者正在利用安全、性能提高的技術(shù),使小型、低功率嵌入式系統(tǒng)能夠應(yīng)用于先前難以想象的聲音、視覺和振動(dòng)應(yīng)用,這些應(yīng)用正在改變世界。語言和變壓器模型的各種版本將很快在具有新的計(jì)算能力的iot邊緣設(shè)備中找到他們的位置。這將打開開發(fā)人員曾經(jīng)夢(mèng)想的新的可能性。

為了給開發(fā)人員配備這種開發(fā)改造所需的硬件,幾年前我們?cè)贏RM8.1M體系結(jié)構(gòu)中引入了ARM矢量處理技術(shù)。ARM作為小型低功率嵌入式器件,在ML和數(shù)字信號(hào)處理中的應(yīng)用有著顯著的性能提升。它還提供單一指令多數(shù)據(jù)(SIMD)功能,為ARMcortexM設(shè)備提供新水平的性能,支持預(yù)測(cè)維護(hù)和環(huán)境監(jiān)測(cè)等應(yīng)用。

ARM增強(qiáng)了DSP和ML的性能,加速了信號(hào)調(diào)節(jié)(如濾波、消除噪聲和消除回聲)和特征提取(音頻或像素?cái)?shù)據(jù)),然后可以通過神經(jīng)網(wǎng)絡(luò)處理器輸入分類部分。

實(shí)現(xiàn)智能邊緣能力

我們已經(jīng)看到合作伙伴在他們的最新產(chǎn)品中選擇ARM技術(shù),使開發(fā)者能夠利用最受約束的設(shè)備在網(wǎng)絡(luò)的最邊緣的ML能力。ARMcortex-55于2020年2月發(fā)布,而Alif半導(dǎo)體于2021年9月發(fā)布了第一個(gè)cortex-55硅。它在其整體和產(chǎn)品家族中使用ARM的cortex-M-55。HMAX還采用了帶ARM的cortexM-55作為下一代W2AI處理器的一部分,該處理器的目標(biāo)是電池驅(qū)動(dòng)的iot設(shè)備中的計(jì)算機(jī)視覺。

第二個(gè)使用ARM的CPU,ARMcortex-M85,于2022年4月n發(fā)布,雷納斯在2022年和2023年嵌入式世界上展示了M85演示。普魯梅雷是一家開發(fā)了基于相機(jī)的人員檢測(cè)完整軟件解決方案的公司,該公司在演示過程中利用了雷納斯RAMU技術(shù)來顯著加速其推理引擎。該公司相信,性能提升將使其客戶能夠使用更大、更精確的普魯梅雷人檢測(cè)人工智能,增加額外的產(chǎn)品功能,并延長電池壽命。

隨著硬件的不斷發(fā)展,開發(fā)人員面臨著越來越復(fù)雜的軟件需求,需要新的開發(fā)流程來創(chuàng)建優(yōu)化的ML模型和高效的設(shè)備驅(qū)動(dòng)程序。至關(guān)重要的是,為生態(tài)系統(tǒng)提供的軟件開發(fā)平臺(tái)和工具與硬件一起發(fā)展。

有各種各樣的ARM和第三方工具可以支持最終用戶創(chuàng)建AI算法。一旦數(shù)據(jù)科學(xué)家離線創(chuàng)建了模型,就會(huì)有工具對(duì)模型進(jìn)行優(yōu)化,無論是在基于電子的NPPS上使用,還是在基于cortex的處理器上使用ARM指令。

QEexo是第一家為邊緣設(shè)備自動(dòng)化端到端機(jī)器學(xué)習(xí)的公司,其自動(dòng)化平臺(tái)提供了一個(gè)直觀的用戶界面,允許用戶收集、清理和可視化傳感器數(shù)據(jù),并使用不同的算法自動(dòng)建立機(jī)器學(xué)習(xí)模型。傳統(tǒng)的嵌入式工具,如凱伊微控制器開發(fā)工具包(凱伊MDK)補(bǔ)充了MLPOP工具,并幫助建立了一個(gè)用于驗(yàn)證復(fù)雜的軟件工作負(fù)載的開發(fā)流程。因此,嵌入式、iot和AI應(yīng)用程序在一個(gè)單一的開發(fā)流中收斂,這是許多軟件開發(fā)人員已知的。

邊緣的潛力正在被解鎖。人們對(duì)微控制器性能的需求越來越大,特別是在語音激活的門鎖、人員檢測(cè)和識(shí)別、將電動(dòng)機(jī)控制與預(yù)測(cè)性維護(hù)連接起來以及無數(shù)其他高端人工智能和ML應(yīng)用等方面。

配備了正確的技術(shù),開發(fā)者可以重新設(shè)想邊緣和端點(diǎn)設(shè)備,在成本、性能、能源效率和隱私之間達(dá)成正確的平衡,這是這些受限系統(tǒng)的關(guān)鍵因素。