穿墻眼？MIT研發(fā)全新射頻—姿態(tài)探測(cè)系統(tǒng) 可隔墻看到人移動(dòng)的骨骼狀圖像

通過無線電波與人工智能的結(jié)合，麻省理工學(xué)院的研究人員研發(fā)了一個(gè)全新的射頻—姿態(tài)(RF-Pose)探測(cè)系統(tǒng)，這項(xiàng)技術(shù)可以看到墻另一邊的人移動(dòng)的骨骼狀圖像。雖然這聽起來像是特警隊(duì)在破門而入之前希望擁有的技術(shù)，但它已經(jīng)以一種令人驚訝的方式被用于監(jiān)控帕金森癥患者在家中的活動(dòng)。

該項(xiàng)目的高級(jí)研究員、麻省理工學(xué)院電子工程和計(jì)算機(jī)科學(xué)教授迪娜·卡塔比(Dina Katabi)說：“人們對(duì)這種技術(shù)的興趣可以追溯到幾十年前，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(DARPA)曾有一個(gè)重大項(xiàng)目，試圖使用無線信號(hào)探測(cè)位于墻壁后的人。但在這項(xiàng)最新的研究之前，這些系統(tǒng)所能做的只是顯示一個(gè)人在墻后的斑點(diǎn)狀圖形。”

如今，這項(xiàng)技術(shù)能夠更精確的顯示信息：它能把場(chǎng)景中的人描繪成像骷髏一樣的木棍，同時(shí)顯示出他們?cè)谧鋈粘；顒?dòng)時(shí)的實(shí)時(shí)動(dòng)作，比如行走和坐臥。這項(xiàng)技術(shù)的重點(diǎn)在于檢測(cè)人體的關(guān)鍵部位，包括肘關(guān)節(jié)、臀部和腳。

卡塔比說道：“當(dāng)在墻后面的人開始移動(dòng)時(shí)，你就會(huì)看到系統(tǒng)創(chuàng)建的火柴人會(huì)做出相同的動(dòng)作，如果那個(gè)人坐下來，你就會(huì)看到系統(tǒng)中的火柴人也坐下來。”

一、 無線電信號(hào)反射出人體，神經(jīng)網(wǎng)絡(luò)加以識(shí)別

RF-Pose系統(tǒng)的工作原理是：傳輸比WiFi功率低1000倍的無線信號(hào)，穿透物體，如墻壁，再反射出人體——由于人體大部分由水組成，無線電無法穿透——之后再穿過墻壁回到設(shè)備中。

RF-Pose系統(tǒng)使用無線信號(hào)，可以作為一個(gè)醫(yī)療保健系統(tǒng)，監(jiān)測(cè)患者在墻壁另一側(cè)的運(yùn)動(dòng)。(圖片來源：Jason Dorfman / MIT CSAIL)

現(xiàn)在的問題是：如何解讀系統(tǒng)回傳的信息?卡塔比說：“這就是人工智能，特別是神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)發(fā)揮作用的地方。”

人工智能研究人員通過添加注釋信息來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使它能從數(shù)據(jù)中推斷出自己的規(guī)則以便學(xué)習(xí)，這個(gè)過程就叫做監(jiān)督學(xué)習(xí)。以一個(gè)識(shí)別貓的神經(jīng)網(wǎng)絡(luò)為例，其需要人們找到一個(gè)很大的圖片數(shù)據(jù)庫(kù)，并且將其中的圖片都標(biāo)注為“是貓”和“不是貓”。如果想要教一輛自動(dòng)駕駛汽車紅綠燈是什么樣的，你需要顯示包含紅綠燈的圖像，并對(duì)其進(jìn)行注釋，以便告訴AI什么是紅綠燈。

(圖片來源：MIT CSAIL)

為了解決這一難題，研究者使用無線設(shè)備和攝像頭來采集數(shù)據(jù)。他們拍攝了數(shù)千張人類活動(dòng)場(chǎng)景(如行走、說話、坐下、開門和等電梯)的照片。神經(jīng)網(wǎng)絡(luò)通常用來解析圖像，但也可以用來執(zhí)行復(fù)雜的任務(wù)，比如從一種語言翻譯到另一種語言，甚至可以通過模仿所給出的數(shù)據(jù)生成新的文本。

但在這種情況下，有一個(gè)問題：沒有人能通過無線電無線電信號(hào)分析出哪個(gè)位置是頭，哪個(gè)位置是腳。換句話說，通過圖像處理信息很容易，但通過人身上反射的無線電信號(hào)數(shù)據(jù)處理信息就沒那么輕松了。

(圖片來源：MIT CSAIL)

研究團(tuán)隊(duì)的解決方案是在訓(xùn)練期間，把信號(hào)接收器和攝像機(jī)連接起來，然后給攝像機(jī)創(chuàng)建的圖像貼上信息標(biāo)簽，并且提取出不同姿勢(shì)的人類簡(jiǎn)略骨架(火柴人圖，用于表示人體姿態(tài))，將其與無線信號(hào)對(duì)應(yīng)起來。這樣的組合能讓系統(tǒng)學(xué)習(xí)出場(chǎng)景中無線信號(hào)和火柴人圖之間的關(guān)聯(lián)，幫助神經(jīng)網(wǎng)絡(luò)將這些活動(dòng)聯(lián)系起來。

為了能讓攝像機(jī)真正接受到圖像信號(hào)，這些訓(xùn)練工作必須在沒有墻的情況下完成。卡塔比解釋道：“我們使用攝像機(jī)上的信息標(biāo)簽和同時(shí)發(fā)生的無線電信號(hào)來對(duì)它們進(jìn)行訓(xùn)練。”

訓(xùn)練結(jié)束后，他們驚訝地發(fā)現(xiàn)，盡管這個(gè)系統(tǒng)只對(duì)可見的人進(jìn)行了訓(xùn)練，但他們依然能探測(cè)到隱藏于墻背后的人。“它們能看到并描繪出墻壁后面的人形，盡管在訓(xùn)練中它們從未見過。” 卡塔比說道。 不僅如此，它甚至可以通過人們的步態(tài)來區(qū)分他們。在另一個(gè)神經(jīng)網(wǎng)絡(luò)的幫助下，該系統(tǒng)可以記錄人們走路的特征并識(shí)別不同的人，即使隔著墻壁，識(shí)別個(gè)體的準(zhǔn)確率仍超過83%。

二、 初步應(yīng)用于治療帕金森患者

研究人員已開始將“RF-Pose”項(xiàng)目付諸實(shí)踐，在一項(xiàng)針對(duì)帕金森患者的小型研究中，通過在病人家中安裝這些設(shè)備，他們可以在舒適的環(huán)境下監(jiān)控類似帕金森、多發(fā)性硬化癥(MS)和肌肉萎縮癥等疾病，為醫(yī)生提供更多信息，從而對(duì)癥下藥。這項(xiàng)技術(shù)也將通過監(jiān)測(cè)跌倒、受傷和運(yùn)動(dòng)模式的變化，來幫助老年人能夠更獨(dú)立的生活。他們現(xiàn)在正和醫(yī)生們合作，來探索“RF-Pose”在醫(yī)療領(lǐng)域的應(yīng)用。

從這個(gè)意義上說，它比傳統(tǒng)的視頻監(jiān)控少了些許侵入性，患者也不必佩戴傳感器或要記著給他們的設(shè)備充電。

這項(xiàng)研究共涉及7人，歷時(shí)8周。 卡塔比說：“系統(tǒng)分析的結(jié)果與用于評(píng)估患者的標(biāo)準(zhǔn)問卷‘高度相關(guān)’。” 此外，它還揭示了關(guān)于帕金森患者生活質(zhì)量的更多信息。

目前，Michael J. Fox基金會(huì)正在資助團(tuán)隊(duì)進(jìn)行進(jìn)一步的研究;卡塔比說，通過這種方式監(jiān)測(cè)病人可以幫助患者避免“白大褂綜合癥”，即病人在醫(yī)生面前就診時(shí)表現(xiàn)不同。 這項(xiàng)技術(shù)的使用也會(huì)引發(fā)相應(yīng)的隱私問題，但卡塔比解釋過，在沒有得到人們同意的情況下，它不會(huì)被應(yīng)用于任何人身上。

團(tuán)隊(duì)成員將展示成果

除了醫(yī)療健康領(lǐng)域的應(yīng)用，團(tuán)隊(duì)表示，該項(xiàng)目還可以用在需要玩家在整個(gè)房子中移動(dòng)的視頻游戲中，或者需要定位幸存者的搜救任務(wù)等。

除了卡塔比教授，該論文的作者還包括博士生Mingmin Zhao(趙明民，一作)、Antonio Torralba教授、碩士生Tianhong Li、博士后Mohammad Abu Alsheikh、博士生Yonglong Tian、博士生Hang Zhao。

在這篇論文中，模型的輸出是二維的火柴人骨架圖。不過該團(tuán)隊(duì)正在將其擴(kuò)展到三維，以監(jiān)測(cè)更小幅度的運(yùn)動(dòng)。比如，這個(gè)系統(tǒng)將能夠通過觀察老年人的手的擺動(dòng)規(guī)律，來確定是否需要健康檢查。

Torralba說：“如果你把計(jì)算機(jī)視覺系統(tǒng)當(dāng)成一個(gè)老師，那么這個(gè)例子真的很有趣，作為學(xué)生的無線信號(hào)觀測(cè)系統(tǒng)居然比老師還厲害了。”

趙明民表示：“通過視覺數(shù)據(jù)和AI結(jié)合實(shí)現(xiàn)穿墻觀測(cè)，通過視覺數(shù)據(jù)和AI結(jié)合實(shí)現(xiàn)穿墻觀測(cè)，我們能夠更好地理解生活場(chǎng)景，提供讓生活更安全，高效的環(huán)境。”

他們將在本月晚些時(shí)候在猶他州鹽湖城召開的計(jì)算機(jī)視覺與模式識(shí)別會(huì)議(Conferenceon Computer Visionand Pattern Recognition，CVPR)上展示這一成果。