基于云計(jì)算的大數(shù)據(jù)處理技術(shù)研究

引 言

在計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、通信技術(shù)不斷發(fā)展的今天，人們獲取信息資源的渠道更多，信息傳播的形式也更加多元化、便捷化，將現(xiàn)階段稱之為信息大爆炸時(shí)代也不為過(guò)。此外，在信息傳播過(guò)程中，對(duì)數(shù)據(jù)處理體系提出了更高的要求。據(jù)預(yù)測(cè)，到2020 年，世界數(shù)據(jù)量會(huì)超過(guò) 35 億GB，而針對(duì)大數(shù)據(jù)隨機(jī)性、龐大性、離散性、爆發(fā)性的特點(diǎn)，還需要選擇更加強(qiáng)大的數(shù)據(jù)處理技術(shù)。云計(jì)算的出現(xiàn)為數(shù)據(jù)處理革新提供了基礎(chǔ)，基于此， 加強(qiáng)對(duì)云計(jì)算背景下大數(shù)據(jù)處理技術(shù)的研究具有十分現(xiàn)實(shí)的意義。

1 大數(shù)據(jù)和云計(jì)算之間的關(guān)系

云計(jì)算技術(shù)指采用集中式遠(yuǎn)程計(jì)算資源池，按照需求進(jìn)行分配，為終端用戶提供計(jì)算服務(wù)技術(shù)，且這種服務(wù)成本低、效果好。云計(jì)算屬于數(shù)據(jù)處理方式，具有以下技術(shù)特點(diǎn)：

(1) 透明性。從物理角度分析，資源池對(duì)所有終端用戶都是透明的；

(2) 云計(jì)算能夠?yàn)槿魏涡袠I(yè)提供無(wú)限能力的計(jì)算機(jī)服務(wù)；

(3) 快捷性。云計(jì)算能夠根據(jù)終端用戶的要求為其訂制服務(wù)，同時(shí)服務(wù)技術(shù)具有很強(qiáng)的伸縮能力；

(4) 云計(jì)算數(shù)據(jù)在獲取方面較為簡(jiǎn)單，能夠促進(jìn)資源共享，且成本較低。

現(xiàn)階段，云計(jì)算是最為強(qiáng)大的數(shù)據(jù)處理、運(yùn)用、存儲(chǔ)平臺(tái)， 是大數(shù)據(jù)處理的首選技術(shù)。云計(jì)算能夠?yàn)榇髷?shù)據(jù)提供的存儲(chǔ)空間、處理能力是無(wú)限的，可滿足超級(jí)容量數(shù)據(jù)的存儲(chǔ)及傳輸， 而這也是傳統(tǒng)數(shù)據(jù)處理技術(shù)無(wú)法實(shí)現(xiàn)的。此外，云計(jì)算相對(duì)于其他技術(shù)更側(cè)重計(jì)算與處理，即云計(jì)算是大數(shù)據(jù)處理的工具，而大數(shù)據(jù)是處理的對(duì)象。

2 云計(jì)算及其關(guān)鍵技術(shù)概述

在并行技術(shù)、分布式計(jì)算及網(wǎng)格計(jì)算等基礎(chǔ)上，云計(jì)算技術(shù)的形成與發(fā)展可通過(guò)網(wǎng)絡(luò)連接技術(shù)，集中數(shù)據(jù)計(jì)算、存儲(chǔ)等功能，構(gòu)建能夠?yàn)橛脩籼峁o(wú)限服務(wù)的資源池。

2.1 數(shù)據(jù)存儲(chǔ)技術(shù)

信息存儲(chǔ)的安全性、數(shù)據(jù)讀寫的高效性是保證云計(jì)算技術(shù)實(shí)施的基礎(chǔ)，利用分布式存儲(chǔ)技術(shù)將海量數(shù)據(jù)存儲(chǔ)于服務(wù)器集群中，還能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的備份處理，提高數(shù)據(jù)的安全性。此外，通過(guò)數(shù)據(jù)加密技術(shù)、冗余存儲(chǔ)模式等，可有效避免數(shù)據(jù)信息泄漏或遭到威脅。其中，Hadoop 團(tuán)隊(duì)開(kāi)發(fā)的GFS 與Google 非開(kāi)源的GFS 都是在云計(jì)算系統(tǒng)中被廣泛運(yùn)用的存儲(chǔ)系統(tǒng)。

2.2 數(shù)據(jù)管理技術(shù)

云計(jì)算能夠通過(guò)分布式處理及分析為用戶提供高效服務(wù)， 但對(duì)數(shù)據(jù)管理技術(shù)的管理能力有較高的要求。其中，開(kāi)源數(shù)據(jù)管理模塊HBase 以及BigTable 數(shù)據(jù)管理技術(shù)是現(xiàn)階段主要的數(shù)據(jù)管理技術(shù)。云服務(wù)平臺(tái)管理如圖 1 所示。

圖1 云服務(wù)平臺(tái)管理

2.3 虛擬化技術(shù)

虛擬化技術(shù)是云計(jì)算系統(tǒng)中存儲(chǔ)、計(jì)算的基礎(chǔ)，主要通過(guò)相關(guān)方式將真實(shí)環(huán)境中的計(jì)算機(jī)系統(tǒng)、組件等轉(zhuǎn)移到虛擬環(huán)境中，然后結(jié)合操作系統(tǒng)、硬件資源、軟件應(yīng)用程序等組成虛擬化層結(jié)構(gòu)。一般虛擬層可以分為上中下三層，通過(guò)中間層連接上下兩層結(jié)構(gòu)，為其提供類似的功能，保證其運(yùn)行在虛擬化環(huán)境中。虛擬化技術(shù)的運(yùn)用能夠?qū)崿F(xiàn)對(duì)相關(guān)系統(tǒng)功能的整合，保證資源利用的最大化。

3 云計(jì)算背景下大數(shù)據(jù)處理技術(shù)

傳統(tǒng)數(shù)據(jù)管理以收集、存儲(chǔ)為主，而云計(jì)算背景下，大數(shù)據(jù)管理方式得到了改變與創(chuàng)新，側(cè)重點(diǎn)在于數(shù)據(jù)的分析、挖掘，為相關(guān)人員決策提供依據(jù)。

3.1 大數(shù)據(jù)采集技術(shù)

根據(jù)采集形式的不同，可將大數(shù)據(jù)采集分為兩類，即集中式采集與分布式采集。這兩種采集方式各具優(yōu)劣，我們以優(yōu)點(diǎn)為例進(jìn)行說(shuō)明。集中式采集能夠掌控全局?jǐn)?shù)據(jù)，而在靈活性方面，采用分布式采集模式的優(yōu)勢(shì)更為明顯。在大數(shù)據(jù)采集過(guò)程中，既包括對(duì)企業(yè)內(nèi)部數(shù)據(jù)的采集，也包括采集企業(yè)之間的信息數(shù)據(jù)，通過(guò)分布式并行計(jì)算模式，將幾種采集模式混合使用，提升數(shù)據(jù)采集的整體效率。即在大數(shù)據(jù)采集過(guò)程中，對(duì)于企業(yè)內(nèi)部采用集中采集模式，而企業(yè)之間采用分布式采集模式。在每一個(gè)企業(yè)內(nèi)部都設(shè)置多個(gè)中心服務(wù)器，將企業(yè)共享的信息數(shù)據(jù)進(jìn)行存儲(chǔ)。對(duì)于中心服務(wù)器間的組織則采用分布式數(shù)據(jù)采集模式。

根據(jù)結(jié)構(gòu)類型的不同，可將大數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)大數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)采集過(guò)程中，應(yīng)該先對(duì)數(shù)據(jù)類型進(jìn)行分析，根據(jù)不同類型，通過(guò)云計(jì)算的擴(kuò)展、容錯(cuò)等優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的同構(gòu)化，實(shí)現(xiàn)各結(jié)構(gòu)數(shù)據(jù)對(duì)接。

3.2 大數(shù)據(jù)存儲(chǔ)技術(shù)

大數(shù)據(jù)的一大特點(diǎn)是 大 ，如果采用傳統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)， 將難以滿足大數(shù)據(jù)的儲(chǔ)存需求。原因如下：

(1) 在大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)量迅速增長(zhǎng)，傳統(tǒng)以單結(jié)點(diǎn)為主的數(shù)據(jù)倉(cāng)庫(kù)在海量數(shù)據(jù)面前顯得力不從心。

(2) 按行存儲(chǔ)是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的主要形式，但在視圖、索引等維護(hù)上需要花費(fèi)過(guò)大的成本。

在云計(jì)算背景下，大數(shù)據(jù)存儲(chǔ)以列式存儲(chǔ)為主。這種方式主要根據(jù)數(shù)據(jù)的屬性存儲(chǔ)，與按行存儲(chǔ)相反，將每一個(gè)屬性按照一列進(jìn)行存放。在數(shù)據(jù)投影過(guò)程中，只能對(duì)涉及到的屬性列進(jìn)行訪問(wèn)，大大提升系統(tǒng)輸入/ 輸出的效率。由于相鄰列數(shù)據(jù)類型相似度高，因此采用這種存儲(chǔ)模式能夠提升數(shù)據(jù)的壓縮率，壓縮后更能減少數(shù)據(jù)傳輸?shù)某杀?。大?shù)據(jù)存儲(chǔ)發(fā)展如圖 2 所示。

圖 2 大數(shù)據(jù)存儲(chǔ)發(fā)展

3.3 大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)

聯(lián)機(jī)分析處理技術(shù)是大數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的關(guān)鍵內(nèi)容，復(fù)雜的數(shù)據(jù)分析過(guò)程，其重點(diǎn)在決策性分析，為用戶提供實(shí)際結(jié)果。采用聯(lián)機(jī)分析手段，從綜合數(shù)據(jù)分析出發(fā)，建立多維模型，得到全面數(shù)據(jù)分析結(jié)果，為決策者提供參考依據(jù)。聯(lián)機(jī)分析處理的一個(gè)特點(diǎn)就是數(shù)據(jù)分析，將數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析技術(shù)相結(jié)合，不僅能夠計(jì)算海量數(shù)據(jù)，還能夠分析數(shù)據(jù)。

3.4 大數(shù)據(jù)挖掘技術(shù)

采用聯(lián)機(jī)分析技術(shù)，往往只能夠獲取表層的知識(shí)信息， 但對(duì)于數(shù)據(jù)信息潛在的聯(lián)系卻知之甚少。但在云計(jì)算背景下， 利用數(shù)據(jù)挖掘技術(shù)能夠獲悉數(shù)據(jù)本身，并將數(shù)據(jù)之間潛在的聯(lián)系想明白，利用概念、規(guī)律或模式等將其表示出來(lái)。目前， 大數(shù)據(jù)挖掘技術(shù)主要為并行模式，在大規(guī)模數(shù)據(jù)處理中具有較大優(yōu)勢(shì)。以往串行數(shù)據(jù)挖掘處理的數(shù)據(jù)規(guī)模較小，花費(fèi)時(shí)間較長(zhǎng)，而采用分布式并行數(shù)據(jù)挖掘技術(shù)，利用分布式系統(tǒng)， 采用集群、拆分等多種方式，提升數(shù)據(jù)計(jì)算的效率。此外， 云計(jì)算背景下的數(shù)據(jù)挖掘技術(shù)能夠發(fā)揮并行挖掘優(yōu)勢(shì)，與其他串行方式相比，并行挖掘技術(shù)能夠通過(guò)機(jī)器集群拆分分布式系統(tǒng)中的并行任務(wù)，將任務(wù)進(jìn)行拆分后再處理，由更多的機(jī)器進(jìn)行分任務(wù)的處理，提升數(shù)據(jù)處理效率，可在一定程度上節(jié)約數(shù)據(jù)處理的成本。

3.5 大數(shù)據(jù)可視化技術(shù)

通過(guò)數(shù)據(jù)挖掘技術(shù)可實(shí)現(xiàn)對(duì)大數(shù)據(jù)多維度、深層次的分析，便于獲取更多有效信息。在云計(jì)算平臺(tái)基礎(chǔ)上就能夠?qū)崿F(xiàn)可視化技術(shù)，將上述信息具體化，使其更形象的展示出來(lái)， 將數(shù)據(jù)信息之間的關(guān)系更直觀的展示給用戶，便于用戶理解。

可視化技術(shù)是指在數(shù)據(jù)存儲(chǔ)空間中，用圖形圖像的方式將數(shù)據(jù)庫(kù)以及數(shù)據(jù)庫(kù)中的相關(guān)數(shù)據(jù)表示出來(lái)，同時(shí)，在展示過(guò)程中利用某些手段，將圖像中蘊(yùn)藏的相關(guān)隱藏信息挖掘出來(lái)。傳統(tǒng)的數(shù)據(jù)處理過(guò)程僅僅基于數(shù)據(jù)本身，對(duì)數(shù)據(jù)中蘊(yùn)含的信息進(jìn)行觀察與分析。但借助云計(jì)算可視化技術(shù)，不僅能夠?qū)崿F(xiàn)對(duì)非空間數(shù)據(jù)多維度圖像的顯示，同時(shí)還能在圖形顯示過(guò)程中實(shí)現(xiàn)直接的檢索過(guò)程，幫助用戶更好地挖掘數(shù)據(jù)信息、理解數(shù)據(jù)信息，提升信息檢索效率。

4結(jié) 語(yǔ)

通過(guò)上述分析可知，在信息技術(shù)不斷發(fā)展的今天，人們進(jìn)入了大數(shù)據(jù)時(shí)代，對(duì)于海量大數(shù)據(jù)的處理與分析，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已明顯出現(xiàn)頹勢(shì)。而云計(jì)算的出現(xiàn)正好解決了這一問(wèn)題，為大數(shù)據(jù)處理提供了可能，通過(guò)大數(shù)據(jù)采集、存儲(chǔ)、分析與挖掘，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的合理運(yùn)用，為客戶提供更高質(zhì)量的數(shù)據(jù)服務(wù)。