數(shù)據(jù)倉(cāng)庫(kù)技術(shù)于RFID數(shù)據(jù)的結(jié)合

RFID數(shù)據(jù)有很多自己的特性，需要進(jìn)行復(fù)雜的數(shù)據(jù)清洗工作，這就需要在處理過程中對(duì)數(shù)據(jù)進(jìn)行壓縮，并創(chuàng)建有效的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)來存儲(chǔ)這些數(shù)據(jù)，在減少RFID數(shù)據(jù)量的同時(shí)保留數(shù)據(jù)本身攜帶的相關(guān)信息。這在數(shù)據(jù)壓縮算法、數(shù)據(jù)倉(cāng)庫(kù)模型等方面都提供了可供繼續(xù)研究的內(nèi)容。RFID會(huì)使得原來的供應(yīng)鏈管理系統(tǒng)變得更為智能，它改進(jìn)了原始的二維條形碼，使得相應(yīng)的貨物跟蹤和訂單管理的過程變得簡(jiǎn)易。近幾年沃爾瑪開始在它們的供應(yīng)鏈系統(tǒng)中使用這種技術(shù)，RFID還被廣泛應(yīng)用于軍事、郵政、航空、醫(yī)療等領(lǐng)域。由RFID的廣泛應(yīng)用而帶來的新事物就是“物聯(lián)網(wǎng)”，它意味著人們能通過無線網(wǎng)絡(luò)隨時(shí)獲取數(shù)以億計(jì)物品的位置及相關(guān)信息。

RFID作為一種自動(dòng)識(shí)別標(biāo)簽，是通過射頻信號(hào)來自動(dòng)識(shí)別目標(biāo)對(duì)象從而獲取相應(yīng)的數(shù)據(jù)。RFID標(biāo)簽有很多種的識(shí)別方式，但最為常見的是存儲(chǔ)一個(gè)唯一的序列號(hào)來標(biāo)識(shí)一個(gè)人或者物品的信息。它是通過一個(gè)帶有天線的微芯片來傳輸信息，芯片借助天線將識(shí)別信息傳輸給一個(gè)RFID閱讀器。這種技術(shù)讓用戶能通過一個(gè)RFID閱讀器遠(yuǎn)距離、非接觸地讀取數(shù)據(jù)，在這個(gè)過程中閱讀器和芯片之間不需要有機(jī)械或光學(xué)的接觸，并且這個(gè)過程不需要人工干預(yù)，在任何環(huán)境當(dāng)中均可自發(fā)完成。

Jiawei Han(2006)認(rèn)為在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域?qū)FID數(shù)據(jù)的研究主要分為三個(gè)方向：第一個(gè)方向在于安全地收集和管理RFID標(biāo)簽攜帶的信息;第二個(gè)方向是清理RFID數(shù)據(jù)中的誤差數(shù)據(jù);第三個(gè)方向是創(chuàng)建一個(gè)多維度的數(shù)據(jù)倉(cāng)庫(kù)，以提供對(duì)大量RFID數(shù)據(jù)集的OLAP操作。這也是本文的討論內(nèi)容。

 RFID數(shù)據(jù)特性

RFID數(shù)據(jù)完全不同于傳統(tǒng)的關(guān)聯(lián)技術(shù)或者數(shù)據(jù)倉(cāng)庫(kù)技術(shù)中的數(shù)據(jù)，對(duì)這些不同之處的研究正是對(duì)RFID數(shù)據(jù)進(jìn)行數(shù)據(jù)建倉(cāng)工作的起點(diǎn)，RFID數(shù)據(jù)主要有如下一些特性：

數(shù)據(jù)簡(jiǎn)單：RFID所產(chǎn)生的數(shù)據(jù)可視為一個(gè)RFID元數(shù)據(jù)的流，元數(shù)據(jù)的結(jié)構(gòu)主要是EPC、LocaTIon、TIme，EPC是Electronic Product Code的縮寫，即電子產(chǎn)品代碼，它用來唯一識(shí)別一個(gè)物品。LocaTIon是RFID閱讀器讀取該物品時(shí)的所在位置，TIme就是讀取時(shí)的時(shí)間。這種數(shù)據(jù)格式并沒有攜帶太復(fù)雜的信息，簡(jiǎn)單易讀。

數(shù)據(jù)海量：RFID應(yīng)用的重要挑戰(zhàn)就是由此產(chǎn)生的海量數(shù)據(jù)。

數(shù)據(jù)誤差：RFID數(shù)據(jù)的另一個(gè)重要問題是RFID閱讀器在產(chǎn)生數(shù)據(jù)流時(shí)會(huì)有誤差。在實(shí)際應(yīng)用當(dāng)中RFID閱讀率大概在60%～70%之間。

允許冗余：RFID閱讀器每隔固定一段時(shí)間就會(huì)產(chǎn)生一個(gè)(EPC，location，time)格式的元數(shù)據(jù)，當(dāng)一個(gè)物體停留在相同的地點(diǎn)一段時(shí)間就會(huì)有很多元數(shù)據(jù)產(chǎn)生，這就形成的數(shù)據(jù)的冗余，我們同樣需要對(duì)這些冗余進(jìn)行處理。

 RFID數(shù)據(jù)清理

數(shù)據(jù)清洗是在數(shù)據(jù)處理過程中最常見的問題之一，比如在數(shù)據(jù)倉(cāng)庫(kù)當(dāng)中進(jìn)行各種預(yù)定義的成熟操作當(dāng)中都涉及到這一過程。在RFID當(dāng)中的數(shù)據(jù)主要存在以下三種問題：缺失值，數(shù)據(jù)錯(cuò)誤，數(shù)據(jù)冗余。

 缺失值和數(shù)據(jù)錯(cuò)誤的處理

缺失值和數(shù)據(jù)錯(cuò)誤這類問題在RFID應(yīng)用當(dāng)中非常常見，因?yàn)橐恍┖?jiǎn)陋的無線閱讀器在無線通信過程中會(huì)出錯(cuò)。很多學(xué)者針對(duì)這類問題提出了若干解決方案，Yijian Bai(2007)提出的有效的RFID數(shù)據(jù)流過濾技術(shù)、Shawn(2007)提出的ESP(Extensible Sensor Stream Processing，在線清洗多層框架系統(tǒng))，付菡提出的基于定長(zhǎng)滑動(dòng)窗口的清洗技術(shù)等等。其中ESP作為主要的數(shù)據(jù)流清洗方法分為五個(gè)階段，每個(gè)階段都對(duì)應(yīng)一個(gè)不同數(shù)據(jù)處理的邏輯過程。ESP系統(tǒng)針對(duì)數(shù)據(jù)的時(shí)間粒度和空間粒度，通過說明性的查詢語言來解決用戶定義的功能，并通過實(shí)驗(yàn)證明ESP也適合于RFID數(shù)據(jù)流。

針對(duì)RFID數(shù)據(jù)流固有的不可靠性，以及定長(zhǎng)滑動(dòng)窗口的窗口大小不容易確定，Shawn還提出了一種自適應(yīng)的改變滑動(dòng)窗口大小的RFID數(shù)據(jù)清洗方法——SMURF。

 數(shù)據(jù)冗余

數(shù)據(jù)冗余的問題在RFID應(yīng)用當(dāng)中也非常嚴(yán)重。數(shù)據(jù)的冗余主要有兩個(gè)層面：在閱讀層面的冗余以及數(shù)據(jù)層面的冗余。

①閱讀層面的冗余：這種冗余是指一個(gè)RFID標(biāo)簽在同一個(gè)地點(diǎn)被不同的RFID閱讀器重復(fù)讀取。解決這種問題的一個(gè)辦法是，當(dāng)一個(gè)RFID閱讀器打開時(shí)其它有交叉部分的閱讀器暫時(shí)關(guān)閉;其次，每個(gè)RFID閱讀器計(jì)算出它所覆蓋的RFID標(biāo)簽的數(shù)目，然后將這個(gè)數(shù)據(jù)向它所覆蓋的每個(gè)RFID標(biāo)簽中書寫。如果一個(gè)閱讀器一個(gè)標(biāo)簽都沒有鎖定，則這個(gè)閱讀器為多余的。

但是這個(gè)算法當(dāng)中有一個(gè)假定，就是每個(gè)閱讀器會(huì)在同一位置持續(xù)很長(zhǎng)時(shí)間，然而在實(shí)際中很多閱讀器是隨時(shí)移動(dòng)的。

②數(shù)據(jù)層面的冗余：Han JW提出了一種簡(jiǎn)化RFID數(shù)據(jù)源的方式。每一個(gè)閱讀器產(chǎn)生RFID元數(shù)據(jù)(EPC，location，time)，當(dāng)一個(gè)物品停留在一個(gè)地方一段時(shí)間后會(huì)持續(xù)產(chǎn)生這樣的元數(shù)據(jù)，解決方法將元數(shù)據(jù)處理成(EPC，location，time_in，time_out)這樣的數(shù)據(jù)格式。在多數(shù)時(shí)候許多物品都是一起移動(dòng)的，比如一整集裝箱的洗發(fā)水從工廠出來后，在各物流中心中轉(zhuǎn)，直至被擺放到貨架上。因此，我們用(EPC list，location，time_in，time_out)格式來進(jìn)行儲(chǔ)存有助于減少冗余。

RFID數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建

因?yàn)镽FID數(shù)據(jù)的諸多特性，RFID數(shù)據(jù)倉(cāng)庫(kù)的建立也不同于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)。假設(shè)我們已經(jīng)將數(shù)據(jù)進(jìn)行了清洗，得到了以(EPC，location，time_in，time_out)格式的數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)處理技術(shù)也許能夠找出在指定地點(diǎn)，指定時(shí)間的相應(yīng)信息，但是對(duì)這些數(shù)據(jù)之間的聯(lián)系則缺少相應(yīng)的研究方法，比如如何尋找某些類別的商品從A地到B地的相關(guān)信息方面，并沒有很好的處理技術(shù)。為了滿足用戶對(duì)信息的需求，并結(jié)合RFID數(shù)據(jù)本身的特點(diǎn)，Hector Gonzalez，Xiaolei Li(2006)提出了構(gòu)建RFID數(shù)據(jù)倉(cāng)庫(kù)并進(jìn)行數(shù)據(jù)處理的一些相關(guān)技術(shù)。建立RFID數(shù)據(jù)倉(cāng)庫(kù)，Han等提出了兩類模型：一類是Path Cube，另外一類是Workflow Cube。

Workflow Cube模型

Workflow cube是一個(gè)data cube的模型，在這個(gè)模型在多維的抽象層次上涵蓋了物體的移動(dòng)流中的信息。它主要從兩個(gè)角度來觀察這些數(shù)據(jù)，一個(gè)是從物品的角度，另一個(gè)是從路徑的角度。

所謂物品的角度就是物品可以有多個(gè)抽象層次，物品可以是單個(gè)物品層次，也可以是一個(gè)小類或者一個(gè)大類。如鞋類包括運(yùn)動(dòng)鞋、皮鞋等，運(yùn)動(dòng)鞋下面又有品牌分類。所謂路徑的角度就是物品存儲(chǔ)可以有多個(gè)抽象層次，作為一個(gè)賣場(chǎng)不需要關(guān)心運(yùn)來的貨物經(jīng)過了哪些中轉(zhuǎn)站，而作為中轉(zhuǎn)站也不需要關(guān)心貨物進(jìn)入賣場(chǎng)后會(huì)放在哪個(gè)貨架上。

Workflow cube使用流向圖計(jì)算每個(gè)工作流的概率，流向圖就是一個(gè)樹形結(jié)構(gòu)圖，樹的每個(gè)節(jié)點(diǎn)是一個(gè)地點(diǎn)，樹的連線表示物品在兩個(gè)地點(diǎn)間的移動(dòng)。Path Cube和Workflow Cube與傳統(tǒng)的data cube有很多共同之處，如每個(gè)維度都有一個(gè)概念層次，因此它們都可以用星形模式來模擬。Path Cube的不同之處就在于它在多維空間內(nèi)對(duì)物體的移動(dòng)進(jìn)行了建模。Workflow Cube則是使用了復(fù)雜的概率模型，同時(shí)它還從物品和路徑兩個(gè)角度來建模。

Path Cube模型

Path cube 壓縮并整合了一些物體移動(dòng)的過程中的地點(diǎn)時(shí)間等信息，它是在物體的維度上建立起來的。這種cube能夠有效率的處理一些OLAP的請(qǐng)求。在建立這種RFID的數(shù)據(jù)倉(cāng)庫(kù)時(shí)使用清洗過的數(shù)據(jù)按照RFID-Cuboid的形式組合數(shù)據(jù)。RFID-Cuboid包含三種類型的表：信息表(Information Table)，保存每個(gè)RFID標(biāo)簽的物體信息;停留表(Stay Table)，存儲(chǔ)在同一個(gè)地點(diǎn)停留的物體信息;地圖表(Map Table)，存儲(chǔ)多個(gè)相互關(guān)聯(lián)的停留記錄的路徑信息。信息表(Information Table)：該表存儲(chǔ)的是例如物品名稱，制造商，物品價(jià)格，物品類別等和物品所經(jīng)過路徑無關(guān)的信息。這類信息的每個(gè)維度有一個(gè)相互關(guān)聯(lián)的概念層次。在這張表里，所有傳統(tǒng)的OLAP操作都可以進(jìn)行使用，和一般常見的數(shù)據(jù)倉(cāng)庫(kù)類似。

停留表(Stay Table)：在RFID數(shù)據(jù)處理時(shí)有一個(gè)常見場(chǎng)景就是大批量物品一起移動(dòng)的。根據(jù)上文數(shù)據(jù)清理部分所述，每個(gè)記錄可以調(diào)整為這樣的形式《(gids，location，time_in，time_out)：(m1，…，mk)》，gids是一個(gè)標(biāo)記，它指向更低級(jí)的gids，最后一個(gè)層次的gids指向一組RFID標(biāo)簽的EPC。time_in是物品進(jìn)入一個(gè)地點(diǎn)的時(shí)間，time_out是物品離開一個(gè)地點(diǎn)的時(shí)間。如果物品還沒有離開，這個(gè)值為空(NULL)。m1，…，mk是物品停留在此地測(cè)量的一些記錄，例如物品的數(shù)目，在此地平均的時(shí)間，最大的時(shí)間等量等等。

地圖表(Map Table)：該表是RFID數(shù)據(jù)當(dāng)中特有的一張表，它不同于傳統(tǒng)意義上數(shù)據(jù)倉(cāng)庫(kù)中的表。這張表中的數(shù)據(jù)使得處理有聯(lián)系的、同一條路徑上的信息變得容易。在每個(gè)階段使用這張表可以壓縮數(shù)據(jù)、減少數(shù)據(jù)量，同時(shí)讓信息的查詢過程變得更有效。Hector指出通過使用Path cube形式的表之后，數(shù)據(jù)倉(cāng)庫(kù)所占空間大大降低，同時(shí)I/O處理的速度有效降低，這使得處理RFID數(shù)據(jù)變得更為容易。