大數(shù)據(jù)高速發(fā)展背景下，這些知識(shí)值得我們學(xué)習(xí)

在不借助大數(shù)據(jù)平臺(tái)的情況下，我們往往很難直接使用傳統(tǒng)的分析工具，比如用Excel等數(shù)據(jù)處理和分析工具來處理海量的數(shù)據(jù)，極易發(fā)生卡頓以及需要較長(zhǎng)的響應(yīng)時(shí)間，這是由于計(jì)算機(jī)本身的計(jì)算邏輯決定的，當(dāng)單臺(tái)計(jì)算機(jī)的數(shù)據(jù)吞吐量上去之后，會(huì)發(fā)現(xiàn)計(jì)算機(jī)好像停住了好久都沒反應(yīng)。

當(dāng)然，性能不同的電腦，所對(duì)應(yīng)的這個(gè)處理能力上限是不相同的，但總言之，數(shù)據(jù)量的大是一種模糊的概念，并不是說一定多少數(shù)據(jù)才算大數(shù)據(jù)，而數(shù)據(jù)量的大使得我們常規(guī)的數(shù)據(jù)處理分析的工具和方法難以使用的情況，正是“大數(shù)據(jù)分析”和普通的“數(shù)據(jù)分析”之間的門檻，即實(shí)現(xiàn)技術(shù)。

作為普通人的我們，也沒啥機(jī)會(huì)能處理海量數(shù)據(jù)，一般這些都是企業(yè)級(jí)的操作，那為什么剛才我還說我們可能甚至是在使用大數(shù)據(jù)呢?可以兩個(gè)角度理解，一個(gè)角度是，我們?cè)谝恍┢脚_(tái)上的一些使用數(shù)據(jù)，本身是經(jīng)過平臺(tái)服務(wù)器的大數(shù)據(jù)分析過的，這些加工后的數(shù)據(jù)作為平臺(tái)決策之用，但是用到了我們身上，我們是大數(shù)據(jù)分析結(jié)果的受用者;另一個(gè)角度是，我們有時(shí)候使用的一些處理平臺(tái)，比如大數(shù)據(jù)人力資源管理平臺(tái)、或者是大數(shù)據(jù)可視化平臺(tái)等等，我們現(xiàn)在是處理方，我們做了大數(shù)據(jù)處理這么個(gè)工作，但具體的實(shí)現(xiàn)過程是平臺(tái)調(diào)用了服務(wù)器上的集群資源，來一起完成這事，你可能只是一個(gè)發(fā)布指令的人。所以我們并不會(huì)感受到因?yàn)闆]基礎(chǔ)而帶來的限制。

體量(Volume)。大數(shù)據(jù)由大量數(shù)據(jù)組成，從幾個(gè)TB到幾個(gè)ZB。百度資料表明，其新首頁導(dǎo)航每天需要提供的數(shù)據(jù)超過1.5PB(1PB=1024TB)，這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實(shí)，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量?jī)H為200PB。這些數(shù)據(jù)可能會(huì)分布在許多地方，通常是在接入因特網(wǎng)的計(jì)算網(wǎng)絡(luò)中。一般來說，凡是滿足大數(shù)據(jù)的幾個(gè)V條件的數(shù)據(jù)都會(huì)因?yàn)樘蠖鵁o法被單獨(dú)的計(jì)算機(jī)處理。單單這一個(gè)問題就需要一種不同的數(shù)據(jù)處理思路，這也使得并行計(jì)算技術(shù)(例如MapReduce)得以迅速崛起。

高速(Velocity)。大數(shù)據(jù)是在運(yùn)動(dòng)著的，通常處于很高的傳輸速度之下。它經(jīng)常被認(rèn)為是數(shù)據(jù)流，而數(shù)據(jù)流通常是很難被歸檔的(考慮到有限的網(wǎng)絡(luò)存儲(chǔ)空間，單單是高速就已經(jīng)是一個(gè)巨大的問題)。這就是為什么只能收集到數(shù)據(jù)其中的某些部分。如果我們有能力收集數(shù)據(jù)的全部，長(zhǎng)時(shí)間存儲(chǔ)大量數(shù)據(jù)也會(huì)顯得非常昂貴，所以周期性的收集數(shù)據(jù)遺棄一部分?jǐn)?shù)據(jù)以節(jié)省空間，僅保留數(shù)據(jù)摘要(如平均值和方差)。這個(gè)問題在未來會(huì)顯得更為嚴(yán)重，因?yàn)樵絹碓蕉嗟臄?shù)據(jù)正以越來越快的速度產(chǎn)生。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

大數(shù)據(jù)預(yù)處理技術(shù):大數(shù)據(jù)預(yù)處理主要完成對(duì)已接收數(shù)據(jù)的抽取、清洗等操作。

抽取:因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。

清洗:對(duì)于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)數(shù)據(jù)通過過濾"去噪"從而提取出有效數(shù)據(jù)。

大數(shù)據(jù)存儲(chǔ)及管理技術(shù):大數(shù)據(jù)存儲(chǔ)與管理要用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來，建立相應(yīng)的數(shù)據(jù)庫，并進(jìn)行管理和調(diào)用。要解決大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問題。

大數(shù)據(jù)分析及挖掘技術(shù):數(shù)據(jù)分析及挖掘技術(shù)是大數(shù)據(jù)的核心技術(shù)。主要是在現(xiàn)有的數(shù)據(jù)上進(jìn)行基于各種預(yù)測(cè)和分析的計(jì)算，從而起到預(yù)測(cè)的效果，滿足一些高別數(shù)據(jù)分析的需求。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)實(shí)際數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識(shí)的過程。