AI 時(shí)代，還不了解大數(shù)據(jù)？

如果要問(wèn)最近幾年，IT行業(yè)哪個(gè)技術(shù)方向最火？一定屬于ABC，即AI + Big Data + Cloud，也就是人工智能、大數(shù)據(jù)和云計(jì)算。

這幾年，隨著互聯(lián)網(wǎng)大潮走向低谷，同時(shí)傳統(tǒng)企業(yè)紛紛進(jìn)行數(shù)字化轉(zhuǎn)型，基本各個(gè)公司都在考慮如何進(jìn)一步挖掘數(shù)據(jù)價(jià)值，提高企業(yè)的運(yùn)營(yíng)效率。在這種趨勢(shì)下，大數(shù)據(jù)技術(shù)越來(lái)越重要。所以，AI時(shí)代，還不了解大數(shù)據(jù)就真的OUT了！

相比較AI和云計(jì)算，大數(shù)據(jù)的技術(shù)門檻更低一些，而且跟業(yè)務(wù)的相關(guān)性更大。我個(gè)人感覺(jué)再過(guò)幾年，大數(shù)據(jù)技術(shù)將會(huì)像當(dāng)前的分布式技術(shù)一樣，變成一項(xiàng)基本的技能要求。

前幾天，我在團(tuán)隊(duì)內(nèi)進(jìn)行了一次大數(shù)據(jù)的技術(shù)分享，重點(diǎn)是對(duì)大數(shù)據(jù)知識(shí)做一次掃盲，同時(shí)提供一份學(xué)習(xí)指南。這篇文章，我基于分享的內(nèi)容再做一次系統(tǒng)性整理，希望對(duì)大數(shù)據(jù)方向感興趣的同學(xué)有所幫助，內(nèi)容分成以下5個(gè)部分：

1、大數(shù)據(jù)的發(fā)展歷史 

2、大數(shù)據(jù)的核心概念 

3、大數(shù)據(jù)平臺(tái)的通用架構(gòu)和技術(shù)體系

4、大數(shù)據(jù)的通用處理流程 

5、大數(shù)據(jù)下的數(shù)倉(cāng)體系架構(gòu)

在解釋「大數(shù)據(jù)」這個(gè)概念之前，先帶大家了解下大數(shù)據(jù)將近30年的發(fā)展歷史，共經(jīng)歷了5個(gè)階段。那在每個(gè)階段中，大數(shù)據(jù)的歷史定位是怎樣的？又遇到了哪些痛點(diǎn)呢？

1.1 啟蒙階段：數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn)

20世紀(jì)90年代，商業(yè)智能（也就是我們熟悉的BI系統(tǒng)）誕生，它將企業(yè)已有的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化成為知識(shí)，幫助老板們進(jìn)行經(jīng)營(yíng)決策。比如零售場(chǎng)景中：需要分析商品的銷售數(shù)據(jù)和庫(kù)存信息，以便制定合理的采購(gòu)計(jì)劃。

顯然，商業(yè)智能離不開數(shù)據(jù)分析，它需要聚合多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)（比如交易系統(tǒng)、倉(cāng)儲(chǔ)系統(tǒng)），再進(jìn)行大數(shù)據(jù)量的范圍查詢。而傳統(tǒng)數(shù)據(jù)庫(kù)都是面向單一業(yè)務(wù)的增刪改查，無(wú)法滿足此需求，這樣就促使了數(shù)據(jù)倉(cāng)庫(kù)概念的出現(xiàn)。

傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，第一次明確了數(shù)據(jù)分析的應(yīng)用場(chǎng)景，并采用單獨(dú)的解決方案去實(shí)現(xiàn)，不依賴業(yè)務(wù)數(shù)據(jù)庫(kù)。

• 數(shù)據(jù)規(guī)模變大：Google、雅虎等互聯(lián)網(wǎng)巨頭一天可以產(chǎn)生上億條行為數(shù)據(jù)。

• 數(shù)據(jù)類型多樣化：除了結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)，還有海量的用戶行為數(shù)據(jù)，以圖像、視頻為代表的多媒體數(shù)據(jù)。

很顯然，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法支撐起互聯(lián)網(wǎng)時(shí)代的商業(yè)智能。2003年，Google公布了3篇鼻祖型論文（俗稱「谷歌3駕馬車」），包括：分布式處理技術(shù)MapReduce，列式存儲(chǔ)BigTable，分布式文件系統(tǒng)GFS。這3篇論文奠定了現(xiàn)代大數(shù)據(jù)技術(shù)的理論基礎(chǔ)。

苦于Google并沒(méi)有開源這3個(gè)產(chǎn)品的源代碼，而只是發(fā)布了詳細(xì)設(shè)計(jì)論文。2005年，Yahoo資助Hadoop按照這3篇論文進(jìn)行了開源實(shí)現(xiàn)，這一技術(shù)變革正式拉開了大數(shù)據(jù)時(shí)代的序幕。

Hadoop相對(duì)于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)，有以下優(yōu)勢(shì)：

• 完全分布式，可以采用廉價(jià)機(jī)器搭建集群，完全可以滿足海量數(shù)據(jù)的存儲(chǔ)需求。

• 弱化數(shù)據(jù)格式，數(shù)據(jù)模型和數(shù)據(jù)存儲(chǔ)分離，可以滿足對(duì)異構(gòu)數(shù)據(jù)的分析需求。

隨著Hadoop技術(shù)的成熟，2010年的Hadoop世界大會(huì)上，提出了「數(shù)據(jù)湖」的概念。

數(shù)據(jù)湖是一個(gè)以原始格式存儲(chǔ)數(shù)據(jù)的系統(tǒng)。

1.3 數(shù)據(jù)工廠時(shí)代：大數(shù)據(jù)平臺(tái)興起

商用Hadoop包含上十種技術(shù)，整個(gè)數(shù)據(jù)研發(fā)流程非常復(fù)雜。為了完成一個(gè)數(shù)據(jù)需求開發(fā)，涉及到數(shù)據(jù)抽取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、多維分析、數(shù)據(jù)可視化等一整套流程。這種高技術(shù)門檻顯然會(huì)制約大數(shù)據(jù)技術(shù)的普及。

此時(shí)，大數(shù)據(jù)平臺(tái)（平臺(tái)即服務(wù)的思想，PaaS）應(yīng)運(yùn)而生，它是面向研發(fā)場(chǎng)景的全鏈路解決方案，能夠大大提高數(shù)據(jù)的研發(fā)效率，讓數(shù)據(jù)像在流水線上一樣快速完成加工，原始數(shù)據(jù)變成指標(biāo)，出現(xiàn)在各個(gè)報(bào)表或者數(shù)據(jù)產(chǎn)品中。

1.4 數(shù)據(jù)價(jià)值時(shí)代：阿里提出數(shù)據(jù)中臺(tái)

2016年左右，已經(jīng)屬于移動(dòng)互聯(lián)網(wǎng)時(shí)代了，隨著大數(shù)據(jù)平臺(tái)的普及，也催生了很多大數(shù)據(jù)的應(yīng)用場(chǎng)景。

此時(shí)開始暴露出一些新問(wèn)題：為了快速實(shí)現(xiàn)業(yè)務(wù)需求，煙囪式開發(fā)模式導(dǎo)致了不同業(yè)務(wù)線的數(shù)據(jù)是完全割裂的，這樣造成了大量數(shù)據(jù)指標(biāo)的重復(fù)開發(fā)，不僅研發(fā)效率低、同時(shí)還浪費(fèi)了存儲(chǔ)和計(jì)算資源，使得大數(shù)據(jù)的應(yīng)用成本越來(lái)越高。

極富遠(yuǎn)見的馬云爸爸此時(shí)喊出了「數(shù)據(jù)中臺(tái)」的概念，「One Data，One Service」的口號(hào)開始響徹大數(shù)據(jù)界。數(shù)據(jù)中臺(tái)的核心思想是：避免數(shù)據(jù)的重復(fù)計(jì)算，通過(guò)數(shù)據(jù)服務(wù)化，提高數(shù)據(jù)的共享能力，賦能業(yè)務(wù)。

了解了大數(shù)據(jù)的發(fā)展歷史后，再解釋下大數(shù)據(jù)的幾個(gè)核心概念。

2.1 究竟什么是大數(shù)據(jù)？

大數(shù)據(jù)是一種海量的、高增長(zhǎng)率的、多樣化的信息資產(chǎn)，它需要新的存儲(chǔ)和計(jì)算模式才能具有更強(qiáng)的決策力、流程優(yōu)化能力。

• Volume：海量的數(shù)據(jù)規(guī)模，數(shù)據(jù)體量達(dá)到PB甚至EB級(jí)別。

• Variety：異構(gòu)的數(shù)據(jù)類型，不僅僅包含結(jié)構(gòu)化的數(shù)據(jù)、還包括半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如日志文件、圖像、音視頻等。
• Velocity：快速的數(shù)據(jù)流轉(zhuǎn)，數(shù)據(jù)的產(chǎn)生和處理速度非?？?。

• Value：價(jià)值密度低，有價(jià)值的數(shù)據(jù)占比很小，需要用到人工智能等方法去挖掘新知識(shí)。

數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、隨著時(shí)間變化的、相對(duì)穩(wěn)定的數(shù)據(jù)集合。

• 面向主題的：表示按照主題或者業(yè)務(wù)場(chǎng)景組織數(shù)據(jù)。

• 集成的：從多個(gè)異構(gòu)數(shù)據(jù)源采集數(shù)據(jù)，進(jìn)行抽取、加工、集成。
• 隨時(shí)間變化的：關(guān)鍵數(shù)據(jù)需要標(biāo)記時(shí)間屬性。

• 相對(duì)穩(wěn)定的：極少進(jìn)行數(shù)據(jù)刪除和修改，而只是進(jìn)行數(shù)據(jù)新增。

3.1 數(shù)據(jù)傳輸層

• Sqoop：支持RDBMS和HDFS之間的雙向數(shù)據(jù)遷移，通常用于抽取業(yè)務(wù)數(shù)據(jù)庫(kù)（比如MySQL、SQLServer、Oracle）的數(shù)據(jù)到HDFS.

• Cannal：阿里開源的數(shù)據(jù)同步工具，通過(guò)監(jiān)聽MySQL binlog，實(shí)現(xiàn)增量數(shù)據(jù)訂閱和近實(shí)時(shí)同步。
• Flume：用于海量日志采集、聚合和傳輸，將產(chǎn)生的數(shù)據(jù)保存到HDFS或者HBase中。
• Flume + Kafka：滿足實(shí)時(shí)流式日志的處理，后面再通過(guò)Spark Streaming等流式處理技術(shù)，可完成日志的實(shí)時(shí)解析和應(yīng)用。

• HDFS：分布式文件系統(tǒng)，它是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，是Google GFS的開源實(shí)現(xiàn)，可部署在廉價(jià)商用機(jī)器上，具備高容錯(cuò)、高吞吐和高擴(kuò)展性。

• HBase：分布式的、面向列的NoSQL KV數(shù)據(jù)庫(kù)， 它是Google BigTable的開源實(shí)現(xiàn)，利用HDFS作為其文件存儲(chǔ)系統(tǒng)，適合大數(shù)據(jù)的實(shí)時(shí)查詢（比如：IM場(chǎng)景）。
• Kudu：折中了HDFS和HBase的分布式數(shù)據(jù)庫(kù)，既支持隨機(jī)讀寫、又支持OLAP分析的大數(shù)據(jù)存儲(chǔ)引擎（解決HBase不適合批量分析的痛點(diǎn)）。

• Yarn：Hadoop的資源管理器，負(fù)責(zé)Hadoop集群資源的統(tǒng)一管理和調(diào)度，為運(yùn)算程序（MR任務(wù)）提供服務(wù)器運(yùn)算資源（CPU、內(nèi)存），能支持MR、Spark、Flink等多種框架。

• Kubernates：由Google開源，一種云平臺(tái)的容器化編排引擎，提供應(yīng)用的容器化管理，可在不同云、不同版本操作系統(tǒng)之間進(jìn)行遷移。目前，Spark、Storm已經(jīng)支持K8S。

• MapReduce：面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)（將計(jì)算向數(shù)據(jù)靠攏、減少數(shù)據(jù)傳輸，這個(gè)設(shè)計(jì)思路非常巧妙）。
• Hive：一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，能管理HDFS存儲(chǔ)的數(shù)據(jù)，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢功能（實(shí)際運(yùn)行時(shí)，是將Hive SQL翻譯成了MapReduce任務(wù)），適用離線非實(shí)時(shí)數(shù)據(jù)分析。
• Spark sql：引入RDD（彈性分布式數(shù)據(jù)集）這一特殊的數(shù)據(jù)結(jié)構(gòu)，將SQL轉(zhuǎn)換成RDD的計(jì)算，并將計(jì)算的中間結(jié)果放在內(nèi)存中，因此相對(duì)于Hive性能更高，適用實(shí)時(shí)性要求較高的數(shù)據(jù)分析場(chǎng)景。

• Spark Streaming：實(shí)時(shí)流數(shù)據(jù)處理框架（按時(shí)間片分成小批次，s級(jí)延遲），可以接收Kafka、Flume、HDFS等數(shù)據(jù)源的實(shí)時(shí)輸入數(shù)據(jù)，經(jīng)過(guò)處理后，將結(jié)果保存在HDFS、RDBMS、HBase、Redis、Dashboard等地方。
• Storm：實(shí)時(shí)流數(shù)據(jù)處理框架，真正的流式處理，每條數(shù)據(jù)都會(huì)觸發(fā)計(jì)算，低延遲（ms級(jí)延遲）。
• Flink：更高級(jí)的實(shí)時(shí)流數(shù)據(jù)處理框架，相比Storm，延遲比storm低，而且吞吐量更高，另外支持亂序和調(diào)整延遲時(shí)間。

• Kylin：分布式分析引擎，能在亞秒內(nèi)查詢巨大的Hive表，通過(guò)預(yù)計(jì)算（用空間換時(shí)間）將多維組合計(jì)算好的結(jié)果保存成Cube存儲(chǔ)在HBase中，用戶執(zhí)行SQL查詢時(shí)，將SQL轉(zhuǎn)換成對(duì)Cube查詢，具有快速查詢和高并發(fā)能力。
• Druid：適用于實(shí)時(shí)數(shù)據(jù)分析的高容錯(cuò)、高性能開源分布式系統(tǒng)，可實(shí)現(xiàn)在秒級(jí)以內(nèi)對(duì)十億行級(jí)別的表進(jìn)行任意的聚合分析。

了解了大數(shù)據(jù)平臺(tái)的通用架構(gòu)和技術(shù)體系后，下面再看下針對(duì)離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，是如何運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行處理的？

上圖是一個(gè)通用的大數(shù)據(jù)處理流程，主要包括以下幾個(gè)步驟：

• 數(shù)據(jù)采集：這是大數(shù)據(jù)處理的第一步，數(shù)據(jù)來(lái)源主要是兩類，第一類是各個(gè)業(yè)務(wù)系統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，通過(guò)Sqoop或者Cannal等工具進(jìn)行定時(shí)抽取或者實(shí)時(shí)同步；第二類是各種埋點(diǎn)日志，通過(guò)Flume進(jìn)行實(shí)時(shí)收集。
• 數(shù)據(jù)存儲(chǔ)：收集到數(shù)據(jù)后，下一步便是將這些數(shù)據(jù)存儲(chǔ)在HDFS中，實(shí)時(shí)日志流情況下則通過(guò)Kafka輸出給后面的流式計(jì)算引擎。
• 數(shù)據(jù)分析：這一步是數(shù)據(jù)處理最核心的環(huán)節(jié)，包括離線處理和流處理兩種方式，對(duì)應(yīng)的計(jì)算引擎包括MapReduce、Spark、Flink等，處理完的結(jié)果會(huì)保存到已經(jīng)提前設(shè)計(jì)好的數(shù)據(jù)倉(cāng)庫(kù)中，或者HBase、Redis、RDBMS等各種存儲(chǔ)系統(tǒng)上。
• 數(shù)據(jù)應(yīng)用：包括數(shù)據(jù)的可視化展現(xiàn)、業(yè)務(wù)決策、或者AI等各種數(shù)據(jù)應(yīng)用場(chǎng)景。

數(shù)據(jù)倉(cāng)庫(kù)是從業(yè)務(wù)角度出發(fā)的一種數(shù)據(jù)組織形式，它是大數(shù)據(jù)應(yīng)用和數(shù)據(jù)中臺(tái)的基礎(chǔ)。數(shù)倉(cāng)系統(tǒng)一般采用下圖所示的分層結(jié)構(gòu)。

可以看到，數(shù)倉(cāng)系統(tǒng)分成了4層：源數(shù)據(jù)層、數(shù)據(jù)倉(cāng)庫(kù)層、數(shù)據(jù)集市層、數(shù)據(jù)應(yīng)用層。采用這樣的分層結(jié)構(gòu)，和軟件設(shè)計(jì)的分層思想類似，都是為了將復(fù)雜問(wèn)題簡(jiǎn)單化，每一層職責(zé)單一，提高了維護(hù)性和復(fù)用性。每一層的具體作用如下：

• ODS：源數(shù)據(jù)層，源表。
• DW：數(shù)據(jù)倉(cāng)庫(kù)層，包含維度表和事實(shí)表，通過(guò)對(duì)源表進(jìn)行清洗后形成的數(shù)據(jù)寬表，比如：城市表、商品類目表、后端埋點(diǎn)明細(xì)表、前端埋點(diǎn)明細(xì)表、用戶寬表、商品寬表。
• DM：數(shù)據(jù)集市層，對(duì)數(shù)據(jù)進(jìn)行了輕粒度的匯總，由各業(yè)務(wù)方共建，比如：用戶群分析表、交易全鏈路表。
• ADS：數(shù)據(jù)應(yīng)用層，根據(jù)實(shí)際應(yīng)用需求生成的各種數(shù)據(jù)表。

另外，各層的數(shù)據(jù)表都會(huì)采用統(tǒng)一的命名規(guī)則進(jìn)行規(guī)范化管理，表名中會(huì)攜帶分層、主題域、業(yè)務(wù)過(guò)程以及分區(qū)信息。比如，對(duì)于交易域下的一張曝光表，命名可以是這樣：

上文對(duì)大數(shù)據(jù)的歷史、核心概念、通用架構(gòu)、以及技術(shù)體系進(jìn)行了系統(tǒng)性總結(jié)。如果大家想深入學(xué)習(xí)大數(shù)據(jù)技術(shù)，建議參考這篇文章，同時(shí)結(jié)合下面的學(xué)習(xí)指南展開。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝