穿墻眼？MIT研發(fā)全新射頻—姿態(tài)探測系統(tǒng) 可隔墻看到人移動的骨骼狀圖像

通過無線電波與人工智能的結(jié)合，麻省理工學(xué)院的研究人員研發(fā)了一個全新的射頻—姿態(tài)(RF-Pose)探測系統(tǒng)，這項技術(shù)可以看到墻另一邊的人移動的骨骼狀圖像。雖然這聽起來像是特警隊在破門而入之前希望擁有的技術(shù)，但它已經(jīng)以一種令人驚訝的方式被用于監(jiān)控帕金森癥患者在家中的活動。

該項目的高級研究員、麻省理工學(xué)院電子工程和計算機(jī)科學(xué)教授迪娜·卡塔比(Dina Katabi)說：“人們對這種技術(shù)的興趣可以追溯到幾十年前，美國國防部高級研究計劃局(DARPA)曾有一個重大項目，試圖使用無線信號探測位于墻壁后的人。但在這項最新的研究之前，這些系統(tǒng)所能做的只是顯示一個人在墻后的斑點(diǎn)狀圖形。”

如今，這項技術(shù)能夠更精確的顯示信息：它能把場景中的人描繪成像骷髏一樣的木棍，同時顯示出他們在做日?；顒訒r的實(shí)時動作，比如行走和坐臥。這項技術(shù)的重點(diǎn)在于檢測人體的關(guān)鍵部位，包括肘關(guān)節(jié)、臀部和腳。

卡塔比說道：“當(dāng)在墻后面的人開始移動時，你就會看到系統(tǒng)創(chuàng)建的火柴人會做出相同的動作，如果那個人坐下來，你就會看到系統(tǒng)中的火柴人也坐下來。”

一、 無線電信號反射出人體，神經(jīng)網(wǎng)絡(luò)加以識別

RF-Pose系統(tǒng)的工作原理是：傳輸比WiFi功率低1000倍的無線信號，穿透物體，如墻壁，再反射出人體——由于人體大部分由水組成，無線電無法穿透——之后再穿過墻壁回到設(shè)備中。

RF-Pose系統(tǒng)使用無線信號，可以作為一個醫(yī)療保健系統(tǒng)，監(jiān)測患者在墻壁另一側(cè)的運(yùn)動。(圖片來源：Jason Dorfman / MIT CSAIL)

現(xiàn)在的問題是：如何解讀系統(tǒng)回傳的信息?卡塔比說：“這就是人工智能，特別是神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)發(fā)揮作用的地方。”

人工智能研究人員通過添加注釋信息來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使它能從數(shù)據(jù)中推斷出自己的規(guī)則以便學(xué)習(xí)，這個過程就叫做監(jiān)督學(xué)習(xí)。以一個識別貓的神經(jīng)網(wǎng)絡(luò)為例，其需要人們找到一個很大的圖片數(shù)據(jù)庫，并且將其中的圖片都標(biāo)注為“是貓”和“不是貓”。如果想要教一輛自動駕駛汽車紅綠燈是什么樣的，你需要顯示包含紅綠燈的圖像，并對其進(jìn)行注釋，以便告訴AI什么是紅綠燈。

(圖片來源：MIT CSAIL)

為了解決這一難題，研究者使用無線設(shè)備和攝像頭來采集數(shù)據(jù)。他們拍攝了數(shù)千張人類活動場景(如行走、說話、坐下、開門和等電梯)的照片。神經(jīng)網(wǎng)絡(luò)通常用來解析圖像，但也可以用來執(zhí)行復(fù)雜的任務(wù)，比如從一種語言翻譯到另一種語言，甚至可以通過模仿所給出的數(shù)據(jù)生成新的文本。

但在這種情況下，有一個問題：沒有人能通過無線電無線電信號分析出哪個位置是頭，哪個位置是腳。換句話說，通過圖像處理信息很容易，但通過人身上反射的無線電信號數(shù)據(jù)處理信息就沒那么輕松了。

(圖片來源：MIT CSAIL)

研究團(tuán)隊的解決方案是在訓(xùn)練期間，把信號接收器和攝像機(jī)連接起來，然后給攝像機(jī)創(chuàng)建的圖像貼上信息標(biāo)簽，并且提取出不同姿勢的人類簡略骨架(火柴人圖，用于表示人體姿態(tài))，將其與無線信號對應(yīng)起來。這樣的組合能讓系統(tǒng)學(xué)習(xí)出場景中無線信號和火柴人圖之間的關(guān)聯(lián)，幫助神經(jīng)網(wǎng)絡(luò)將這些活動聯(lián)系起來。

為了能讓攝像機(jī)真正接受到圖像信號，這些訓(xùn)練工作必須在沒有墻的情況下完成?？ㄋ冉忉尩溃?ldquo;我們使用攝像機(jī)上的信息標(biāo)簽和同時發(fā)生的無線電信號來對它們進(jìn)行訓(xùn)練。”

訓(xùn)練結(jié)束后，他們驚訝地發(fā)現(xiàn)，盡管這個系統(tǒng)只對可見的人進(jìn)行了訓(xùn)練，但他們依然能探測到隱藏于墻背后的人。“它們能看到并描繪出墻壁后面的人形，盡管在訓(xùn)練中它們從未見過。” 卡塔比說道。 不僅如此，它甚至可以通過人們的步態(tài)來區(qū)分他們。在另一個神經(jīng)網(wǎng)絡(luò)的幫助下，該系統(tǒng)可以記錄人們走路的特征并識別不同的人，即使隔著墻壁，識別個體的準(zhǔn)確率仍超過83%。

二、 初步應(yīng)用于治療帕金森患者

研究人員已開始將“RF-Pose”項目付諸實(shí)踐，在一項針對帕金森患者的小型研究中，通過在病人家中安裝這些設(shè)備，他們可以在舒適的環(huán)境下監(jiān)控類似帕金森、多發(fā)性硬化癥(MS)和肌肉萎縮癥等疾病，為醫(yī)生提供更多信息，從而對癥下藥。這項技術(shù)也將通過監(jiān)測跌倒、受傷和運(yùn)動模式的變化，來幫助老年人能夠更獨(dú)立的生活。他們現(xiàn)在正和醫(yī)生們合作，來探索“RF-Pose”在醫(yī)療領(lǐng)域的應(yīng)用。

從這個意義上說，它比傳統(tǒng)的視頻監(jiān)控少了些許侵入性，患者也不必佩戴傳感器或要記著給他們的設(shè)備充電。

這項研究共涉及7人，歷時8周。 卡塔比說：“系統(tǒng)分析的結(jié)果與用于評估患者的標(biāo)準(zhǔn)問卷‘高度相關(guān)’。” 此外，它還揭示了關(guān)于帕金森患者生活質(zhì)量的更多信息。

目前，Michael J. Fox基金會正在資助團(tuán)隊進(jìn)行進(jìn)一步的研究;卡塔比說，通過這種方式監(jiān)測病人可以幫助患者避免“白大褂綜合癥”，即病人在醫(yī)生面前就診時表現(xiàn)不同。 這項技術(shù)的使用也會引發(fā)相應(yīng)的隱私問題，但卡塔比解釋過，在沒有得到人們同意的情況下，它不會被應(yīng)用于任何人身上。

團(tuán)隊成員將展示成果

除了醫(yī)療健康領(lǐng)域的應(yīng)用，團(tuán)隊表示，該項目還可以用在需要玩家在整個房子中移動的視頻游戲中，或者需要定位幸存者的搜救任務(wù)等。

除了卡塔比教授，該論文的作者還包括博士生Mingmin Zhao(趙明民，一作)、Antonio Torralba教授、碩士生Tianhong Li、博士后Mohammad Abu Alsheikh、博士生Yonglong Tian、博士生Hang Zhao。

在這篇論文中，模型的輸出是二維的火柴人骨架圖。不過該團(tuán)隊正在將其擴(kuò)展到三維，以監(jiān)測更小幅度的運(yùn)動。比如，這個系統(tǒng)將能夠通過觀察老年人的手的擺動規(guī)律，來確定是否需要健康檢查。

Torralba說：“如果你把計算機(jī)視覺系統(tǒng)當(dāng)成一個老師，那么這個例子真的很有趣，作為學(xué)生的無線信號觀測系統(tǒng)居然比老師還厲害了。”

趙明民表示：“通過視覺數(shù)據(jù)和AI結(jié)合實(shí)現(xiàn)穿墻觀測，通過視覺數(shù)據(jù)和AI結(jié)合實(shí)現(xiàn)穿墻觀測，我們能夠更好地理解生活場景，提供讓生活更安全，高效的環(huán)境。”

他們將在本月晚些時候在猶他州鹽湖城召開的計算機(jī)視覺與模式識別會議(Conferenceon Computer Visionand Pattern Recognition，CVPR)上展示這一成果。