手表搭載科技，人機(jī)交互實(shí)現(xiàn)智能關(guān)鍵一步
[導(dǎo)讀]物聯(lián)傳媒隨著智能硬件和移動(dòng)計(jì)算的快速發(fā)展，物聯(lián)網(wǎng)在多個(gè)領(lǐng)域得到廣泛應(yīng)用，例如車載自組織網(wǎng)絡(luò)（VANET）、邊緣計(jì)算、智能家居或智能設(shè)備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設(shè)施和電器等，像智能空調(diào)、冰箱和電視機(jī)等。如何以自然的方式控制它們或與它們交互成為了一個(gè)懸而未決的問...
本文來(lái)源：物聯(lián)傳媒
隨著智能硬件和移動(dòng)計(jì)算的快速發(fā)展，物聯(lián)網(wǎng)在多個(gè)領(lǐng)域得到廣泛應(yīng)用，例如車載自組織網(wǎng)絡(luò)（VANET）、邊緣計(jì)算、智能家居或智能設(shè)備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設(shè)施和電器等，像智能空調(diào)、冰箱和電視機(jī)等。如何以自然的方式控制它們或與它們交互成為了一個(gè)懸而未決的問題，關(guān)乎用戶體驗(yàn)。
目前智能家居場(chǎng)景中的人機(jī)交互主要有三種解決方案。第一種是結(jié)合手機(jī)觸發(fā)控制，例如在手機(jī)上安裝相關(guān)APP控制家電。這種交互方式只是將手機(jī)作為一個(gè)遙控器，延長(zhǎng)控制距離。第二種是利用語(yǔ)音識(shí)別，將人類語(yǔ)言轉(zhuǎn)化為機(jī)器指令，提供人機(jī)交互體驗(yàn)。但是在一些特殊安靜的場(chǎng)景語(yǔ)音識(shí)別并不適用，或者有語(yǔ)言障礙的人無(wú)法使用這項(xiàng)功能。最后一種方法是使用基于相機(jī)或非基于相機(jī)的動(dòng)作識(shí)別?；跀z像頭的動(dòng)作識(shí)別是一種相對(duì)成熟的方式，但是隱私泄露的風(fēng)險(xiǎn)極大地限制了其應(yīng)用。非基于相機(jī)的動(dòng)作識(shí)別利用從商用MEMS傳感器（例如加速度計(jì)、陀螺儀和磁感應(yīng)器）收集的多個(gè)傳感信號(hào)來(lái)幫助智能設(shè)備了解用戶的行為意圖。
近年來(lái)，隨著科技的發(fā)展，智能設(shè)備層出不窮。一系列智能設(shè)備開始進(jìn)入人們的生活，比如智能手機(jī)、智能腕帶、智能手表和智能眼鏡等。
本文提到的智能手表預(yù)先嵌入了MEMS以外的多種傳感器，并使用了RFID相關(guān)技術(shù)。手腕的姿勢(shì)通過手表內(nèi)置的傳感器進(jìn)行識(shí)別，手指的識(shí)別主要通過柔性機(jī)械傳感器來(lái)實(shí)現(xiàn)，這些傳感器可用于檢測(cè)肌腱的運(yùn)動(dòng)和手腕形狀的變化。
智能手表是一種常見的可穿戴設(shè)備，通常配備陀螺儀、加速度計(jì)和磁力計(jì)等MEMS傳感器。這些傳感器可以收集與手腕和手臂運(yùn)動(dòng)相關(guān)的大量數(shù)據(jù)。這種交互方式具有成本低、使用方便、適用范圍廣等優(yōu)點(diǎn)。但是，該解決方案面臨許多困難。首先，低精度和高噪聲是智能手表內(nèi)置MEMS傳感器的共同特點(diǎn)。這對(duì)動(dòng)作識(shí)別的準(zhǔn)確性非常不利。其次，智能手表內(nèi)置的MEMS傳感器數(shù)量有限，通常不到3種，讓一個(gè)用戶佩戴多個(gè)智能手表顯然是不現(xiàn)實(shí)的。最后，手表佩戴者的手臂動(dòng)作復(fù)雜多樣，即使采用各種方法對(duì)傳感器進(jìn)行標(biāo)定，采用各種算法對(duì)數(shù)據(jù)進(jìn)行去噪，動(dòng)作識(shí)別的解空間仍然很大。因此，僅使用有限數(shù)量、精度較差的內(nèi)置 MEMS 傳感器很難在相對(duì)較大的空間內(nèi)準(zhǔn)確識(shí)別結(jié)果。
本文解決方案的主要思想是通過智能手表記錄用戶與設(shè)備的最新交互，然后猜測(cè)目標(biāo)的位置和軌跡。該方法主要包括兩步：手臂姿態(tài)估計(jì)和軌跡識(shí)別。
基于攝像頭的交互動(dòng)作識(shí)別
比較常用的基于相機(jī)的商業(yè)體感交互解決方案可能是 Kinect 系統(tǒng)，它利用紅外投影儀和探測(cè)器來(lái)避免光照變化或復(fù)雜背景的影響，并在 3D 空間中捕獲深度信息，例如體感游戲和智能控制。雖然基于攝像頭的解決方案可以精確捕捉動(dòng)作和交互意圖，但它們面臨著光照變化、復(fù)雜背景和部分遮擋物體的挑戰(zhàn)，以及額外的紅外傳感器會(huì)導(dǎo)致成本過高。
研究人員使用射頻信號(hào)和內(nèi)置 MEMS 傳感器來(lái)推斷用戶的動(dòng)作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活動(dòng)的感應(yīng)來(lái)實(shí)現(xiàn)人機(jī)交互。但是，由于他們沒有挖掘歷史信息軌跡和限制臂展，他們無(wú)法實(shí)現(xiàn)與多個(gè)智能家電的復(fù)雜交互。
隨著智能手表應(yīng)用的增加，我們通過內(nèi)置 MEMS 傳感器提出了一種基于可穿戴設(shè)備的智能家居人機(jī)交互解決方案。
使用智能手表進(jìn)行動(dòng)作識(shí)別
通過對(duì)人體手臂骨骼進(jìn)行數(shù)學(xué)建模，將智能手表內(nèi)置MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運(yùn)動(dòng)密切相關(guān)的自由度（DOF）數(shù)據(jù)，向量機(jī)（SVM）的分類模型通過手臂的自由度數(shù)據(jù)訓(xùn)練，對(duì)特定人機(jī)交互場(chǎng)景中的動(dòng)作進(jìn)行分類識(shí)別。然后將識(shí)別結(jié)果應(yīng)用于智能家居的交互控制。智能手表就是收集數(shù)據(jù)、運(yùn)行識(shí)別算法并發(fā)出交互控制指令的主體。
雖然智能家居的人機(jī)交互控制需求有很多種，但最廣泛的類型可以分為三類。第一類是開啟和關(guān)閉。所有智能家居產(chǎn)品都需要這樣的交互。第二種是定量加減法。比如控制智能空調(diào)溫度的升降，控制智能電視音量的升降。第三類是方向控制。比如控制智能窗簾太靠近左邊，控制智能電視的菜單光標(biāo)向右移動(dòng)，控制智能空調(diào)向上吹等等。對(duì)于這三種人機(jī)交互，當(dāng)智能手表識(shí)別到相應(yīng)動(dòng)作時(shí)，即可進(jìn)行智能家居的交互控制。
首先，通過數(shù)學(xué)建模構(gòu)建手腕姿勢(shì)與手臂自由度到手臂骨骼的映射關(guān)系。根據(jù)人類的生理結(jié)構(gòu)，手臂的運(yùn)動(dòng)是由肩、肘、腕關(guān)節(jié)、下臂和上臂的兩個(gè)連接器決定的。三個(gè)關(guān)節(jié)和兩個(gè)連接器有一定的運(yùn)動(dòng)范圍（旋轉(zhuǎn)或位移）。為了描述手臂的運(yùn)動(dòng)范圍，我們需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我們可以忽略手的獨(dú)立運(yùn)動(dòng)。
借助人體手臂姿態(tài)估計(jì)模型，可以將智能手表內(nèi)置的MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運(yùn)動(dòng)密切相關(guān)的自由度數(shù)據(jù)。
交互動(dòng)作識(shí)別流程圖
一般情況下，只有當(dāng)用戶在家時(shí)，才需要與智能家居產(chǎn)品進(jìn)行交互。此時(shí)，智能手表和智能家居接入同一個(gè)Wi-Fi路由器。因此，當(dāng)智能手表檢測(cè)到家庭Wi-Fi路由器的SSID時(shí)，則認(rèn)為已經(jīng)進(jìn)入動(dòng)作識(shí)別場(chǎng)景，反之則認(rèn)為已經(jīng)離開動(dòng)作識(shí)別場(chǎng)景。
進(jìn)入動(dòng)作識(shí)別場(chǎng)景后，智能手表開始采集內(nèi)置的MEMS傳感器數(shù)據(jù)。接下來(lái)，我們需要從自由度數(shù)據(jù)的動(dòng)作段中提取特征。這種提取方法使得識(shí)別動(dòng)作更加可行。
實(shí)例驗(yàn)證
我們邀請(qǐng)五名志愿者將LG G手表戴在與手背同方向的左手腕上參加測(cè)試。
LG G Watch（型號(hào)W100，代號(hào)Dory）是LG和谷歌于2014年6月25日發(fā)布的一款基于Android Wear的智能手表，擁有512MB內(nèi)存和高通12GHz CPU。手表配備 9 軸（陀螺儀/加速度計(jì)/羅盤）、氣壓計(jì)和 PPG 以感知位置、姿勢(shì)、高度和心率。
每個(gè)人獨(dú)立進(jìn)行70組實(shí)驗(yàn)，每組實(shí)驗(yàn)包括2個(gè)觸發(fā)動(dòng)作、4個(gè)歷史交互動(dòng)作和1個(gè)隨機(jī)動(dòng)作。然后通過 Kinect 估計(jì)的性能來(lái)分析手臂姿勢(shì)估計(jì)模型的可靠性和準(zhǔn)確性。
選取幾個(gè)基本動(dòng)作進(jìn)行驗(yàn)證，取一組畫圓測(cè)試數(shù)據(jù)進(jìn)行展示，測(cè)試者用他的手表在空間中任意畫一個(gè)圓圈。下圖為肘部和腕部軌跡線對(duì)應(yīng)的圖。左邊是模型估計(jì)的結(jié)果，右邊是Kinect的結(jié)果?？梢园l(fā)現(xiàn)，雖然左右圖形的形狀略有不同，但兩個(gè)圖形的軌跡具有相同的趨勢(shì)。
繪制圓形軌跡線的模型估計(jì)結(jié)果和Kinect觀測(cè)結(jié)果（單位：米）
一些相關(guān)的歷史交互，例如加載頂部，加載底部，穿上東西和扔?xùn)|西，它們的識(shí)別準(zhǔn)確度如下圖所示。
通過歷史交互結(jié)果可以看出，智能手表識(shí)別動(dòng)作的準(zhǔn)確度很高，小于0.3m。
結(jié)論
本文的智能家居人機(jī)交互解決方案，主要包括手臂姿態(tài)估計(jì)模型和軌跡估計(jì)模型。利用 MEMS 傳感器記錄的手臂約束和歷史信息，實(shí)現(xiàn)了基于細(xì)粒度動(dòng)作識(shí)別的智能家居與粗粒度 MEMS 傳感器的交互。
此外，引入更高效和有效的 去噪濾波算法，以應(yīng)對(duì)低成本內(nèi)置傳感器的挑戰(zhàn)。此外，我們可以將輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)（例如 MobileNet）移植到可穿戴設(shè)備以推斷用戶的活動(dòng)。
隨著智能手表和智能商品的普及，其計(jì)算能力和品類也將迅速增加。智能家電最終會(huì)走向智能家居，人機(jī)交互是未來(lái)既定趨勢(shì)。
來(lái)源：IEEE
~END~
搶先預(yù)登記，提前入群交流IOTE 2021展位#?深圳站2021年10月23-25日深圳會(huì)展中心（福田）
? ? ? #?參展聯(lián)系：? ? ??陳江漢先生 13360526899（微信同號(hào)）
今日份需求已上線1.DTU2.智能巡檢終端3.更多需求：https://www.iotku.com/Biz/
隨著智能硬件和移動(dòng)計(jì)算的快速發(fā)展，物聯(lián)網(wǎng)在多個(gè)領(lǐng)域得到廣泛應(yīng)用，例如車載自組織網(wǎng)絡(luò)（VANET）、邊緣計(jì)算、智能家居或智能設(shè)備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設(shè)施和電器等，像智能空調(diào)、冰箱和電視機(jī)等。如何以自然的方式控制它們或與它們交互成為了一個(gè)懸而未決的問題，關(guān)乎用戶體驗(yàn)。
目前智能家居場(chǎng)景中的人機(jī)交互主要有三種解決方案。第一種是結(jié)合手機(jī)觸發(fā)控制，例如在手機(jī)上安裝相關(guān)APP控制家電。這種交互方式只是將手機(jī)作為一個(gè)遙控器，延長(zhǎng)控制距離。第二種是利用語(yǔ)音識(shí)別，將人類語(yǔ)言轉(zhuǎn)化為機(jī)器指令，提供人機(jī)交互體驗(yàn)。但是在一些特殊安靜的場(chǎng)景語(yǔ)音識(shí)別并不適用，或者有語(yǔ)言障礙的人無(wú)法使用這項(xiàng)功能。最后一種方法是使用基于相機(jī)或非基于相機(jī)的動(dòng)作識(shí)別?；跀z像頭的動(dòng)作識(shí)別是一種相對(duì)成熟的方式，但是隱私泄露的風(fēng)險(xiǎn)極大地限制了其應(yīng)用。非基于相機(jī)的動(dòng)作識(shí)別利用從商用MEMS傳感器（例如加速度計(jì)、陀螺儀和磁感應(yīng)器）收集的多個(gè)傳感信號(hào)來(lái)幫助智能設(shè)備了解用戶的行為意圖。
近年來(lái)，隨著科技的發(fā)展，智能設(shè)備層出不窮。一系列智能設(shè)備開始進(jìn)入人們的生活，比如智能手機(jī)、智能腕帶、智能手表和智能眼鏡等。
本文提到的智能手表預(yù)先嵌入了MEMS以外的多種傳感器，并使用了RFID相關(guān)技術(shù)。手腕的姿勢(shì)通過手表內(nèi)置的傳感器進(jìn)行識(shí)別，手指的識(shí)別主要通過柔性機(jī)械傳感器來(lái)實(shí)現(xiàn)，這些傳感器可用于檢測(cè)肌腱的運(yùn)動(dòng)和手腕形狀的變化。
智能手表是一種常見的可穿戴設(shè)備，通常配備陀螺儀、加速度計(jì)和磁力計(jì)等MEMS傳感器。這些傳感器可以收集與手腕和手臂運(yùn)動(dòng)相關(guān)的大量數(shù)據(jù)。這種交互方式具有成本低、使用方便、適用范圍廣等優(yōu)點(diǎn)。但是，該解決方案面臨許多困難。首先，低精度和高噪聲是智能手表內(nèi)置MEMS傳感器的共同特點(diǎn)。這對(duì)動(dòng)作識(shí)別的準(zhǔn)確性非常不利。其次，智能手表內(nèi)置的MEMS傳感器數(shù)量有限，通常不到3種，讓一個(gè)用戶佩戴多個(gè)智能手表顯然是不現(xiàn)實(shí)的。最后，手表佩戴者的手臂動(dòng)作復(fù)雜多樣，即使采用各種方法對(duì)傳感器進(jìn)行標(biāo)定，采用各種算法對(duì)數(shù)據(jù)進(jìn)行去噪，動(dòng)作識(shí)別的解空間仍然很大。因此，僅使用有限數(shù)量、精度較差的內(nèi)置 MEMS 傳感器很難在相對(duì)較大的空間內(nèi)準(zhǔn)確識(shí)別結(jié)果。
本文解決方案的主要思想是通過智能手表記錄用戶與設(shè)備的最新交互，然后猜測(cè)目標(biāo)的位置和軌跡。該方法主要包括兩步：手臂姿態(tài)估計(jì)和軌跡識(shí)別。
基于攝像頭的交互動(dòng)作識(shí)別
比較常用的基于相機(jī)的商業(yè)體感交互解決方案可能是 Kinect 系統(tǒng)，它利用紅外投影儀和探測(cè)器來(lái)避免光照變化或復(fù)雜背景的影響，并在 3D 空間中捕獲深度信息，例如體感游戲和智能控制。雖然基于攝像頭的解決方案可以精確捕捉動(dòng)作和交互意圖，但它們面臨著光照變化、復(fù)雜背景和部分遮擋物體的挑戰(zhàn)，以及額外的紅外傳感器會(huì)導(dǎo)致成本過高。
研究人員使用射頻信號(hào)和內(nèi)置 MEMS 傳感器來(lái)推斷用戶的動(dòng)作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活動(dòng)的感應(yīng)來(lái)實(shí)現(xiàn)人機(jī)交互。但是，由于他們沒有挖掘歷史信息軌跡和限制臂展，他們無(wú)法實(shí)現(xiàn)與多個(gè)智能家電的復(fù)雜交互。
隨著智能手表應(yīng)用的增加，我們通過內(nèi)置 MEMS 傳感器提出了一種基于可穿戴設(shè)備的智能家居人機(jī)交互解決方案。
使用智能手表進(jìn)行動(dòng)作識(shí)別
通過對(duì)人體手臂骨骼進(jìn)行數(shù)學(xué)建模，將智能手表內(nèi)置MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運(yùn)動(dòng)密切相關(guān)的自由度（DOF）數(shù)據(jù)，向量機(jī)（SVM）的分類模型通過手臂的自由度數(shù)據(jù)訓(xùn)練，對(duì)特定人機(jī)交互場(chǎng)景中的動(dòng)作進(jìn)行分類識(shí)別。然后將識(shí)別結(jié)果應(yīng)用于智能家居的交互控制。智能手表就是收集數(shù)據(jù)、運(yùn)行識(shí)別算法并發(fā)出交互控制指令的主體。
雖然智能家居的人機(jī)交互控制需求有很多種，但最廣泛的類型可以分為三類。第一類是開啟和關(guān)閉。所有智能家居產(chǎn)品都需要這樣的交互。第二種是定量加減法。比如控制智能空調(diào)溫度的升降，控制智能電視音量的升降。第三類是方向控制。比如控制智能窗簾太靠近左邊，控制智能電視的菜單光標(biāo)向右移動(dòng)，控制智能空調(diào)向上吹等等。對(duì)于這三種人機(jī)交互，當(dāng)智能手表識(shí)別到相應(yīng)動(dòng)作時(shí)，即可進(jìn)行智能家居的交互控制。
首先，通過數(shù)學(xué)建模構(gòu)建手腕姿勢(shì)與手臂自由度到手臂骨骼的映射關(guān)系。根據(jù)人類的生理結(jié)構(gòu)，手臂的運(yùn)動(dòng)是由肩、肘、腕關(guān)節(jié)、下臂和上臂的兩個(gè)連接器決定的。三個(gè)關(guān)節(jié)和兩個(gè)連接器有一定的運(yùn)動(dòng)范圍（旋轉(zhuǎn)或位移）。為了描述手臂的運(yùn)動(dòng)范圍，我們需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我們可以忽略手的獨(dú)立運(yùn)動(dòng)。
借助人體手臂姿態(tài)估計(jì)模型，可以將智能手表內(nèi)置的MEMS傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為與手臂運(yùn)動(dòng)密切相關(guān)的自由度數(shù)據(jù)。
交互動(dòng)作識(shí)別流程圖
一般情況下，只有當(dāng)用戶在家時(shí)，才需要與智能家居產(chǎn)品進(jìn)行交互。此時(shí)，智能手表和智能家居接入同一個(gè)Wi-Fi路由器。因此，當(dāng)智能手表檢測(cè)到家庭Wi-Fi路由器的SSID時(shí)，則認(rèn)為已經(jīng)進(jìn)入動(dòng)作識(shí)別場(chǎng)景，反之則認(rèn)為已經(jīng)離開動(dòng)作識(shí)別場(chǎng)景。
進(jìn)入動(dòng)作識(shí)別場(chǎng)景后，智能手表開始采集內(nèi)置的MEMS傳感器數(shù)據(jù)。接下來(lái)，我們需要從自由度數(shù)據(jù)的動(dòng)作段中提取特征。這種提取方法使得識(shí)別動(dòng)作更加可行。
實(shí)例驗(yàn)證
我們邀請(qǐng)五名志愿者將LG G手表戴在與手背同方向的左手腕上參加測(cè)試。
LG G Watch（型號(hào)W100，代號(hào)Dory）是LG和谷歌于2014年6月25日發(fā)布的一款基于Android Wear的智能手表，擁有512MB內(nèi)存和高通12GHz CPU。手表配備 9 軸（陀螺儀/加速度計(jì)/羅盤）、氣壓計(jì)和 PPG 以感知位置、姿勢(shì)、高度和心率。
每個(gè)人獨(dú)立進(jìn)行70組實(shí)驗(yàn)，每組實(shí)驗(yàn)包括2個(gè)觸發(fā)動(dòng)作、4個(gè)歷史交互動(dòng)作和1個(gè)隨機(jī)動(dòng)作。然后通過 Kinect 估計(jì)的性能來(lái)分析手臂姿勢(shì)估計(jì)模型的可靠性和準(zhǔn)確性。
選取幾個(gè)基本動(dòng)作進(jìn)行驗(yàn)證，取一組畫圓測(cè)試數(shù)據(jù)進(jìn)行展示，測(cè)試者用他的手表在空間中任意畫一個(gè)圓圈。下圖為肘部和腕部軌跡線對(duì)應(yīng)的圖。左邊是模型估計(jì)的結(jié)果，右邊是Kinect的結(jié)果?？梢园l(fā)現(xiàn)，雖然左右圖形的形狀略有不同，但兩個(gè)圖形的軌跡具有相同的趨勢(shì)。
繪制圓形軌跡線的模型估計(jì)結(jié)果和Kinect觀測(cè)結(jié)果（單位：米）
一些相關(guān)的歷史交互，例如加載頂部，加載底部，穿上東西和扔?xùn)|西，它們的識(shí)別準(zhǔn)確度如下圖所示。
通過歷史交互結(jié)果可以看出，智能手表識(shí)別動(dòng)作的準(zhǔn)確度很高，小于0.3m。
結(jié)論
本文的智能家居人機(jī)交互解決方案，主要包括手臂姿態(tài)估計(jì)模型和軌跡估計(jì)模型。利用 MEMS 傳感器記錄的手臂約束和歷史信息，實(shí)現(xiàn)了基于細(xì)粒度動(dòng)作識(shí)別的智能家居與粗粒度 MEMS 傳感器的交互。
此外，引入更高效和有效
隨著智能手表和智能商品的普及，其計(jì)算能力和品類也將迅速增加。智能家電最終會(huì)走向智能家居，人機(jī)交互是未來(lái)既定趨勢(shì)。
來(lái)源：IEEE
~END~
搶先預(yù)登記，提前入群交流IOTE 2021展位#?深圳站2021年10月23-25日深圳會(huì)展中心（福田）
? ? ? #?參展聯(lián)系：? ? ??陳江漢先生 13360526899（微信同號(hào)）
今日份需求已上線1.DTU2.智能巡檢終端3.更多需求：https://www.iotku.com/Biz/
下載文檔
