邊緣AI在智能家居人機(jī)界面(HMI)中的應(yīng)用

消費(fèi)者對(duì)于改進(jìn)其便利性、安全性和用戶體驗(yàn)的進(jìn)步有著無法滿足的胃口。我們看到，人機(jī)界面(human-machine interface，HMI)以明顯的方式發(fā)展，從純粹的觸覺發(fā)展到多年來，已經(jīng)涵蓋了從語音到手勢(shì)到視頻以及各種計(jì)算機(jī)視覺功能的各種輸入方法，從銷售終端到智能家居。下一步將是不僅理解直接命令而且可以推斷意圖的設(shè)備。

同時(shí)，對(duì)基于云的傳統(tǒng)連接設(shè)備的安全性和延遲的擔(dān)憂日益加劇，這為更多基于邊緣的處理鋪平了道路。在人機(jī)界面(HMI)中尤其如此。但是，本地處理給技術(shù)開發(fā)人員帶來了新的挑戰(zhàn)，他們必須考慮特定用例要求，開發(fā)選項(xiàng)和智能(受機(jī)器學(xué)習(xí)訓(xùn)練的)設(shè)備的成本，這些設(shè)備需要引入新的自動(dòng)化水平來增強(qiáng)感知智能和環(huán)境計(jì)算。

邊緣AI是基礎(chǔ)

所謂的邊緣AI(Edge AI)是實(shí)現(xiàn)更復(fù)雜、用戶友好和更安全的IoT體驗(yàn)的基礎(chǔ)。根據(jù)定義，邊緣AI意味著AI處理是在最終產(chǎn)品本身(例如機(jī)頂盒或智能顯示器)內(nèi)部而不是在云中運(yùn)行。這樣做的理由是眾所周知的，即更好的隱私、更少的帶寬和更快的響應(yīng)時(shí)間，甚至生態(tài)友好性，因?yàn)檫吘壧幚頊p少了運(yùn)行大型數(shù)據(jù)中心的能源、水和其他資源的需求。

邊緣AI已在我們生活每天接觸的許多應(yīng)用中采用，但最初的使用很大程度上僅限于昂貴的產(chǎn)品，例如智能手機(jī)和汽車。因此，針對(duì)這些產(chǎn)品的邊緣AI實(shí)施也很昂貴，并且對(duì)于智能家居的消費(fèi)者零售設(shè)備來說已經(jīng)遙不可及。在很大程度上，現(xiàn)有的邊緣AI應(yīng)用就其提供的用戶體驗(yàn)而言是一維的。例如，ADAS(高級(jí)駕駛輔助系統(tǒng))應(yīng)用中具有AI功能的視覺或移動(dòng)電話中的圖像質(zhì)量增強(qiáng)。

為智能家居創(chuàng)建和采用邊緣AI解決方案的令人信服的理由是什么?

HMI推動(dòng)家庭中的邊緣AI

我們看到，在無處不在的消費(fèi)物聯(lián)網(wǎng)細(xì)分市場(chǎng)中，人們的興趣特別濃厚，應(yīng)用機(jī)會(huì)越來越多，例如各種娛樂、通信、家庭自動(dòng)化、安全性以及其他各種設(shè)備。尤其是在當(dāng)前時(shí)代，消費(fèi)者希望獲得互聯(lián)的體驗(yàn)，但沒有傳統(tǒng)互聯(lián)的成本、隱私和性能問題。對(duì)更具沉浸感和感知力的人機(jī)交互的需求是推動(dòng)智能家居中邊緣AI需求的關(guān)鍵因素。

借助市場(chǎng)上智能家居基于AI的邊緣計(jì)算解決方案，創(chuàng)造更人性化的體驗(yàn)所需的性能將可用于更廣泛的產(chǎn)品。

受益于智能家居中的邊緣AI的實(shí)際應(yīng)用案例很多。有些具有明顯的實(shí)際好處。例如，家用門鈴攝像頭，可以分辨包裹掉落和包裹被盜之間的區(qū)別。娛樂設(shè)備可以自動(dòng)檢測(cè)低分辨率視頻流并將其提升到更高的分辨率，并具有出色的感知質(zhì)量，從而更好地利用高分辨率電視顯示器。即使是熟悉的，現(xiàn)在幾乎無處不在的視頻會(huì)議應(yīng)用也可以通過更高質(zhì)量的視頻和音頻進(jìn)行增強(qiáng)，并可以在具有成本效益的設(shè)備上使用。

其他示例似乎更具未來性?？梢愿鶕?jù)冰箱中的食材儲(chǔ)備內(nèi)容提供晚餐(菜單)建議的冰箱。烤箱可以告訴您何時(shí)將餐點(diǎn)烹制至完美。一個(gè)虛擬的私人家庭瑜伽教練，可以提醒您在擺姿勢(shì)時(shí)伸直雙臂。家庭自動(dòng)化設(shè)備可以協(xié)同工作，以預(yù)測(cè)房主的需求，從取暖、準(zhǔn)備食物到選擇在電視上觀看的內(nèi)容。

這樣的解決方案可以將視頻、視覺和語音傳感器與AI處理功能結(jié)合在一起，以將增強(qiáng)的功能帶給新一代熟悉的設(shè)備，例如智能顯示器和條形音箱、機(jī)頂盒和安全攝像機(jī)等等。

這些應(yīng)用的共同點(diǎn)是需要一種基于邊緣的、基于AI的解決方案，該解決方案專門針對(duì)智能家居而非智能手機(jī)或汽車應(yīng)用程序而量身定制。為了進(jìn)一步使邊緣AI民主化，解決方案必須是：

能夠在有效的系統(tǒng)中結(jié)合語音、視頻和視覺，支持多模式AI增強(qiáng)的用戶體驗(yàn); 通過標(biāo)準(zhǔn)工具，更廣泛的AI開發(fā)人員和創(chuàng)新者可以訪問; 確保安全和隱私措施符合消費(fèi)者的期望。

智能家居中邊緣AI優(yōu)勢(shì)

智能家居人機(jī)交互需要多模式方法

正如我們之前所討論的，針對(duì)智能手機(jī)和汽車應(yīng)用的基于邊緣AI的解決方案主要側(cè)重于攝像機(jī)視覺應(yīng)用。但是，在智能家居中，多模式人機(jī)交互界面是在連接設(shè)備的新時(shí)代增強(qiáng)用戶體驗(yàn)的關(guān)鍵要素。以機(jī)頂盒為例，此應(yīng)用將需要視頻AI，也許是如前所述的視頻增強(qiáng)形式。它還需要語音AI能夠通過語音命令來識(shí)別正在看電視的人，并相應(yīng)地配置體驗(yàn)。例如，讓選擇喜歡的節(jié)目變得更加容易。甚至可能需要視覺AI，并且需要帶有內(nèi)置攝像頭，以便遠(yuǎn)程與家庭成員聊天時(shí)提供增強(qiáng)而直觀的視頻會(huì)議體驗(yàn)。

理想的解決方案是以智能家居為中心的SoC(系統(tǒng)級(jí)芯片，System-on-a-Chip)，它可以支持高性能視頻、語音和視覺處理以及集成的AI加速器。 Synaptics VS600 SoC系列就是這種解決方案的一個(gè)示例。這種方法不僅經(jīng)過優(yōu)化，可以滿足智能家居應(yīng)用對(duì)多模式AI性能的要求，而且還可以將所有這些功能集成到單個(gè)芯片中，從而使以消費(fèi)者市場(chǎng)價(jià)格出售的普通家用產(chǎn)品都可以使用。

這個(gè)需要的解決方案從一個(gè)SOC平臺(tái)開始，該平臺(tái)集成了多種類型的處理器引擎：CPU、NPU、GPU和ISP，以及與高性能相機(jī)和顯示器的掛鉤。這種架構(gòu)實(shí)現(xiàn)了高度安全、低成本推理和實(shí)時(shí)多模式性能的理想組合。Synaptics Edge AI系列是一系列SoC，每個(gè)SoC都高度針對(duì)其給定的消費(fèi)類應(yīng)用。該系列中的每個(gè)SoC都集成了所需的處理內(nèi)核以及該應(yīng)用程序的適當(dāng)級(jí)別的集成AI性能。

完整的堆棧工具方法可簡化AI開發(fā)

如我們所見，成本/性能之間的權(quán)衡對(duì)于成功將邊緣AI擴(kuò)展到更多應(yīng)用至關(guān)重要。在競(jìng)爭激烈的消費(fèi)電子領(lǐng)域、上市時(shí)間和差異化也至關(guān)重要。為了應(yīng)對(duì)邊緣AI廣泛傳播的挑戰(zhàn)，需要采用全棧方法，其中包括將AI創(chuàng)新引入邊緣 AI SoC的必要開發(fā)工具。

最重要的是，所需的工具集應(yīng)該與龐大且不斷增長的AI開發(fā)人員用戶社區(qū)兼容。例如，該工具包將使開發(fā)人員能夠?qū)胧褂眯袠I(yè)標(biāo)準(zhǔn)框架(例如TensorFlow，TensorFlow Lite，Caffe和ONNX)創(chuàng)建的模型。這使開發(fā)人員能夠利用現(xiàn)有的AI創(chuàng)新，并使他們迅速而輕松地在目標(biāo)SoC上工作。

讓我們使用我們前面討論的個(gè)人家庭瑜伽教練應(yīng)用。該應(yīng)用所基于的AI模型將是人體姿勢(shì)估計(jì)模型，這是一種行業(yè)標(biāo)準(zhǔn)的概念，用于檢測(cè)用戶在攝像機(jī)視線中的相對(duì)骨骼位置。如果AI開發(fā)人員自己使用行業(yè)標(biāo)準(zhǔn)工具(例如TensorFlow lite)創(chuàng)建的人體姿勢(shì)估計(jì)模型的實(shí)現(xiàn)，則他們將使用該工具包將其導(dǎo)入以在所需的SoC上使用。

當(dāng)開發(fā)人員準(zhǔn)備就緒時(shí)，該工具應(yīng)使他們能夠針對(duì)將在其上運(yùn)行的所選處理器優(yōu)化其AI模型的性能。開發(fā)人員可以選擇使用開放框架，例如TensorFlow或TensorFlow Lite，但是在使用它們時(shí)要牢記目標(biāo)處理器的功能?；蛘咚麄兛梢栽俅问褂锰囟ㄓ赟oC的工具，例如Synaptics的SyNAP工具，該工具支持專門針對(duì)VS600 SoC中的處理器進(jìn)行優(yōu)化。在我們的示例中，開發(fā)人員可以使用SyNAP優(yōu)化功能來配置其身體姿勢(shì)估計(jì)模型，例如，使其能夠以每秒30幀的速度在VS600 SoC上實(shí)時(shí)運(yùn)行。

但是，安全和隱私需要滿足消費(fèi)者的期望

人機(jī)界面的未來聽起來很光明，但采用的最大障礙可能是用戶認(rèn)為他們的隱私和安全性將受到損害。新聞中有許多最近的故事可以證實(shí)這種擔(dān)憂。任何有意義的人機(jī)界面解決方案都必須考慮到這一點(diǎn)。

幸運(yùn)的是，這些視頻、語音和視覺數(shù)據(jù)將在設(shè)備中而不是在云中進(jìn)行處理的事實(shí)在隱私方面取得了巨大的進(jìn)步。在視頻門鈴示例中，通過將AI智能添加到門鈴本身中，來自前門的視頻不需要24/7流式傳輸?shù)皆?，而僅當(dāng)存在特定事件時(shí)才需要。例如，僅當(dāng)AI引擎檢測(cè)到一個(gè)邪惡的人正在接近門時(shí)，才傳輸視頻?；蛘?，以我們的家庭瑜伽教練為例，該應(yīng)用可以像我們之前顯示的那樣完全在設(shè)備中運(yùn)行，而根本不需要將任何圖像從家中發(fā)送到云端服務(wù)器。

但是，即使從未將這些圖像發(fā)送到云，用戶也可能擔(dān)心，即使是暫時(shí)的，這些圖像仍會(huì)在您的設(shè)備中被捕獲和處理。還有一個(gè)安全隱患，一個(gè)有惡意的人可能試圖從您的設(shè)備中獲取該數(shù)據(jù)。因此，理想的以智能家居為中心的AI解決方案還必須確保以安全的方式捕獲和處理該內(nèi)容，這一點(diǎn)至關(guān)重要。

智能家居安全

物聯(lián)網(wǎng)的新時(shí)代將通過更多的“本地智能”(邊緣AI)來推動(dòng)，這將減少始終保持連接的需求和風(fēng)險(xiǎn)。在邊緣設(shè)備上進(jìn)行處理的AI驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)是加速采用感知智能系統(tǒng)的關(guān)鍵。通過能夠在邊緣實(shí)現(xiàn)此功能，系統(tǒng)可以以更高的安全性和隱私性以及更低的延遲運(yùn)行?？梢灾С侄嗄Ｊ浇涌诮鉀Q方案的高性能，多處理器SoC(以消費(fèi)者市場(chǎng)的價(jià)格提供)將幫助開發(fā)人員快速利用AI創(chuàng)新并使其產(chǎn)品脫穎而出。

機(jī)器如何利用語音、視頻和視覺數(shù)據(jù)，以及如何利用它們來理解和預(yù)測(cè)性地響應(yīng)我們所做的事情(例如說或觸摸)，從而改善了物聯(lián)網(wǎng)如何在我們的生活中提供前所未有的安全性、便利性和生產(chǎn)力。