利用Deeplite之軟件結(jié)合晶心科技RISC-V CPU處理器，達(dá)到更快、更小、更準(zhǔn)的邊緣運算

【2021年3月19日，臺灣新竹】--在邊緣運算設(shè)備上，推動低功耗和低延遲深度的學(xué)習(xí)模型、計算器硬件以及人工智能推理系統(tǒng)這些項目的發(fā)展，持續(xù)創(chuàng)造令人興奮的新機遇。業(yè)界相關(guān)產(chǎn)業(yè)對于應(yīng)用在深度學(xué)習(xí)的硬件和軟件解決方案(也稱為Edge AI，邊緣運算)的開發(fā)產(chǎn)生了前所未有的興趣。邊緣運算已經(jīng)開始在某些指標(biāo)性的應(yīng)用中取得進(jìn)展，例如音頻信號分類(audio classification)中的關(guān)鍵詞搜尋(keyword spotting)、異常檢測(anomaly detection)以及計算機視覺應(yīng)用中的人物辨識(person detection)。具體來說，tinyML是專為超低功耗系統(tǒng)量身訂作的機器學(xué)習(xí)分支，具有遠(yuǎn)大的前景。這個提案中之解決方案的效率極高(功耗為毫瓦(mW)，甚至只有微瓦(μW))，加上其可廣泛地部署到此類邊緣運算在現(xiàn)實環(huán)境中設(shè)備的適用性，預(yù)計在未來5年內(nèi)，將應(yīng)用在超過1000億個IoT傳感器和設(shè)備。蓄勢待發(fā)之深度學(xué)習(xí)科技的未來，將通過比以往更加可負(fù)擔(dān)、具有友善生態(tài)系、以及更容易使用的智能科技，提供客戶及終端使用者更顯著的便利。

晶心科技和Deeplite很高興地宣布兩家公司最新合作成果—通過使用Deeplite獨特的優(yōu)化軟件和晶心科技低功耗RISC-V CPU核心研發(fā)出具有人工智能運算能力的應(yīng)用程序(AI-powered applications)。這項合作關(guān)系著重于壓縮(compressing)并加速(accelerating)著名的視覺喚醒詞(Visual Wake Words (VWW))應(yīng)用程序。微型相機可以利用此類程序，進(jìn)行人物圖像偵測。Deeplite及晶心科技共同獲得了領(lǐng)先業(yè)界的結(jié)果，從利用浮點運算的Mobilenet-v1-0.25x模型中，產(chǎn)出各式優(yōu)化的INT8模型。本次發(fā)表的第一組研發(fā)結(jié)果側(cè)重于提高精確性，以精度為主的INT8模型優(yōu)化提高了2.7%的精度，縮小了1.7倍(172 KB)的檔案大小以及提高了9%的執(zhí)行速度。第二組結(jié)果主要著重于最大化壓縮(maximizing compression)。與TensorFlow Lite Micro提供的INT8 模型相比，本組專注于模型檔案尺寸最小化的模塊，成功做到縮小2.3倍(127KB)的檔案大小，更高的精度(0.7%)和提高了15%的執(zhí)行速度。(表1)

表1 參考模型和優(yōu)化模型的模型之檔案尺寸，精確性和運行時間之間的參數(shù)

「我們決心為低功耗設(shè)備提供最高效，最精確的解決方案，尤其是隨著邊緣計算類型之AI越來越多地在應(yīng)用在智能助理、安全監(jiān)控和智能制造應(yīng)用中?！? 晶心科技技術(shù)長兼總經(jīng)理蘇泓萌博士表示。「Deeplite的尖端軟件為AI模型優(yōu)化提供了一種有效的方法，可以增強目前架構(gòu)的性能。Deeplite支持我們的AndeStar? V5架構(gòu)，并已于第一個具有RISC-V P 擴充指令 (DSP SIMD) 的CPU核心D25F上高效率的執(zhí)行;客戶能將之應(yīng)用在選定的AI模型上?！?

「Andes? RISC-V CPU核心是非常理想的硬件的范例，替Deeplite的模型展示了優(yōu)化的優(yōu)點，為低成本、使用電池作為供電的設(shè)備，提供了以往無法達(dá)成的復(fù)雜智能功能?！笵eeplite首席執(zhí)行官Nick Romano說：「隨著我們持續(xù)在業(yè)界最大的挑戰(zhàn)上(如視覺喚醒詞Visual Wake Words和語音關(guān)鍵詞查詢keyword spotting)取得領(lǐng)先成果，我們預(yù)計由Deeplite軟件提供支持的邊緣運算AI應(yīng)用將出現(xiàn)大幅度的成長。」

領(lǐng)先業(yè)界的優(yōu)化Deeplite軟件結(jié)合晶心科技最新之RISC-V CPU核心，共同應(yīng)用于tinyML上，可以解鎖邊緣AI運算之應(yīng)用，例如語音識別或人物辨識，以滿足微控制器等級之內(nèi)存及計算要求。設(shè)備代工廠和應(yīng)用程序開發(fā)人員現(xiàn)在可以為用戶提供將其數(shù)據(jù)保存在終端設(shè)備上的優(yōu)點，并同時提供日常生活中AI所需的實時且無縫式回應(yīng)。