大數(shù)據(jù)時代離得開數(shù)據(jù)倉庫嗎

數(shù)據(jù)倉庫為組織了解其歷史業(yè)務表現(xiàn)和推動持續(xù)運營提供了一個接入窗口，為數(shù)據(jù)分析師和業(yè)務用戶提供了諸如客戶行為、業(yè)務趨勢、運營效率和銷售等方面的信息。

但作為數(shù)據(jù)管理體系結(jié)構(gòu)的一部分，在對數(shù)據(jù)倉庫平臺進行投資之前，首先還是要檢查您的組織是否真的需要一個數(shù)據(jù)倉庫平臺，以及通過實施部署，組織可以借此獲取哪些業(yè)務收益。相關的，您必須考慮不同的數(shù)據(jù)倉庫部署情況——在企業(yè)范圍內(nèi)還是部門范圍內(nèi)，在本地還是在云中。

您還需要確定，通常存儲在大數(shù)據(jù)系統(tǒng)中的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，是否會成為數(shù)據(jù)倉庫環(huán)境的組成部分，并確定是否將用于BI、企業(yè)報告和在線分析處理（OLAP）等應用的傳統(tǒng)數(shù)據(jù)倉庫，與數(shù)據(jù)處理和大數(shù)據(jù)分析管理集成在一起。最后，您必須將您的數(shù)據(jù)倉庫用例與最合適類型的數(shù)據(jù)倉庫平臺相匹配。

為什么需要數(shù)據(jù)倉庫？

數(shù)據(jù)倉庫的一般概念非常簡單：從支持業(yè)務流程的操作系統(tǒng)中定期提取數(shù)據(jù)副本，并將其加載到單獨的存儲庫中，在該存儲庫中，數(shù)據(jù)將被合并，然后可用于分析和報告。之后，業(yè)務用戶和分析師可以通過BI和分析工具、儀表板、入口和準備好的報告來訪問數(shù)據(jù)。

在下面這些情況下，數(shù)據(jù)倉庫可能更容易發(fā)揮其價值：

公司在做出有效的商業(yè)活動報告方面遇到了難題，因為所需要的數(shù)據(jù)不容易獲得。

不同部門和用戶組會將業(yè)務數(shù)據(jù)復制到電子表格中以進行分析，而這些電子表格并非總是相互一致的。

數(shù)據(jù)質(zhì)量和準確性的不確定性，導致企業(yè)高管和業(yè)務經(jīng)理會質(zhì)疑報告的準確性。

針對生產(chǎn)數(shù)據(jù)庫的BI報告會每晚延遲，或在月底進行的交易數(shù)據(jù)處理，需要擴展處理窗口。

在工作日對數(shù)據(jù)庫運行臨時查詢會降低操作系統(tǒng)的速度，從而影響內(nèi)部用戶和客戶、供應商以及其他外部用戶。

一個正確數(shù)據(jù)倉庫實施策略可以幫助您的組織準確地回答有關業(yè)務運營的問題，如發(fā)生了什么、為什么。數(shù)據(jù)倉庫可將來自不同位置和來源的數(shù)據(jù)組合到中央存儲庫中，從而提高數(shù)據(jù)的可訪問性。當數(shù)據(jù)移至數(shù)據(jù)倉庫時，通常還會對其進行清理和轉(zhuǎn)換，以使其與分析一致，這將有助于提高查詢結(jié)果和報告中信息的質(zhì)量。

此外，一旦數(shù)據(jù)倉庫部署完成并得到積極使用，由于BI、報告和分析活動已從生產(chǎn)數(shù)據(jù)庫中移出，運營工作流程可能會變得更有效率。

數(shù)據(jù)倉庫的部署

各個組織之間的數(shù)據(jù)倉庫環(huán)境可能會有很大差異。從體系結(jié)構(gòu)的角度來看，部署可以遵循多個路徑——如一個企業(yè)數(shù)據(jù)倉庫（EDW），一組較小的數(shù)據(jù)集市，或這兩種方法的組合。

EDW包含來自企業(yè)操作系統(tǒng)的所有相關數(shù)據(jù)，并且可能包含一些從外部數(shù)據(jù)源收集的數(shù)據(jù)。它是用于BI和分析數(shù)據(jù)的單個統(tǒng)一存儲庫，可以在所有部門和業(yè)務部門中使用。因此，建立EDW通常是一項艱巨的任務，尤其是在大型企業(yè)中。

在EDW架構(gòu)中，組織還可以在其操作系統(tǒng)和企業(yè)數(shù)據(jù)倉庫之間實施運營數(shù)據(jù)存儲（ODS）作為過渡步驟。將運營數(shù)據(jù)復制到ODS，然后提取并加載到數(shù)據(jù)倉庫中。ODS可以用作尚未經(jīng)過轉(zhuǎn)換的、無法用于分析的數(shù)據(jù)的暫存區(qū)，同時可以用于運行近實時的查詢，這些查詢需要最新的業(yè)務運營的詳細相關數(shù)據(jù)，而不是數(shù)據(jù)倉庫中可用的數(shù)據(jù)。

數(shù)據(jù)集市是小型化的數(shù)據(jù)倉庫，專注于各個業(yè)務部門和職能領域。當需要滿足部門對BI的特定需求時，組織通常會選擇建立數(shù)據(jù)集市，并且優(yōu)先考慮報告功能。數(shù)據(jù)集市不需要涵蓋整個企業(yè)的龐大項目，而是更加集中，并且可以更快地提供業(yè)務收益。

因此，數(shù)據(jù)集市的方法使組織可以通過一次處理一個業(yè)務的各個部分——而不是構(gòu)建整體的EDW——以迭代方式開發(fā)數(shù)據(jù)倉庫體系架構(gòu)。企業(yè)可以選擇部署一個或多個數(shù)據(jù)集市，具體取決于組織的規(guī)模和結(jié)構(gòu)。

然后，決定組合采用這兩種方法的組織，可以將不同的數(shù)據(jù)集市彼此集成以創(chuàng)建虛擬EDW，或以物理方式填充一個EDW。另一種方式是，以EDW開始的組織可以將倉庫數(shù)據(jù)的子集提供給后來建立的數(shù)據(jù)集市，以此分離業(yè)務運營。

本地與云數(shù)據(jù)倉庫

每種可用的數(shù)據(jù)倉庫平臺類型都有不同的部署選項：數(shù)據(jù)庫管理系統(tǒng)（DBMS）軟件，通?；陉P系數(shù)據(jù)庫技術;專門的分析型DBMS;數(shù)據(jù)倉庫設備將必要的硬件和DBMS軟件捆綁在一個包裝中;云數(shù)據(jù)倉庫。

將云用于數(shù)據(jù)倉庫已成為更可行的選擇。有些供應商已經(jīng)推出了特定于云的數(shù)據(jù)倉庫平臺，而且有些最初設定為本地安裝的數(shù)據(jù)倉庫數(shù)據(jù)庫，其供應商現(xiàn)在也提供了基于云的版本。此類產(chǎn)品包括組織自己在云中運行的常規(guī)數(shù)據(jù)倉庫系統(tǒng)，以及供應商為用戶部署和管理的數(shù)據(jù)倉庫即服務（DWaaS）技術。

與其他類型的云系統(tǒng)一樣，與本地環(huán)境相比，云數(shù)據(jù)倉庫可以減少部署時間，并提供更輕松的可伸縮性和更大的靈活性。還可以節(jié)省一定的成本——但這并不能保證，IT經(jīng)理需要密切關注云中數(shù)據(jù)倉庫的使用，以確保成本最終不會高于預期。同樣，數(shù)據(jù)安全和隱私問題可能是決定是否在本地部署數(shù)據(jù)倉庫的考慮因素。

數(shù)據(jù)湖與數(shù)據(jù)倉庫

在Hadoop和其他大數(shù)據(jù)技術首次出現(xiàn)之后，關于它們是否會替代數(shù)據(jù)倉庫，市場上充滿了各種聲音。但是在大多數(shù)組織中，數(shù)據(jù)倉庫并沒有消失。相反，它們和大數(shù)據(jù)系統(tǒng)通常并存，每種系統(tǒng)都支持不同類型的分析用例。

數(shù)據(jù)倉庫平臺通?；陉P系DBMS，并包含源自組織的運營和交易處理系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)倉庫主要由希望運行基于SQL的、基本BI查詢的業(yè)務分析人員和執(zhí)行人員，以及希望創(chuàng)建儀表板和報告以向業(yè)務用戶提供分析信息的BI開發(fā)人員訪問。

另一方面，大數(shù)據(jù)系統(tǒng)通?；诜顷P系技術，例如Hadoop、Spark和NoSQL數(shù)據(jù)庫。它們包含的數(shù)據(jù)可以是結(jié)構(gòu)化、非結(jié)構(gòu)化或半結(jié)構(gòu)化的，并且可以源自所有類型的內(nèi)部系統(tǒng)，以及社交網(wǎng)絡和其他外部數(shù)據(jù)源。大數(shù)據(jù)分析旨在發(fā)現(xiàn)模式、關聯(lián)和類似的見解——例如，根據(jù)過去的活動預測未來趨勢和客戶行為。通常是由數(shù)據(jù)科學家和統(tǒng)計人員使用Python、R和Scala等語言開發(fā)的復雜分析模型完成的。

大數(shù)據(jù)技術還支持數(shù)據(jù)湖的概念，數(shù)據(jù)湖是來自各種來源的原始數(shù)據(jù)的存儲庫，可以按原樣存儲這些數(shù)據(jù)，然后根據(jù)需要對其進行過濾和分析準備。

最后，大數(shù)據(jù)系統(tǒng)并不能直接替代數(shù)據(jù)倉庫和數(shù)據(jù)集市。實際上，數(shù)據(jù)倉庫和數(shù)據(jù)湖之間存在協(xié)同作用。例如，可以將在數(shù)據(jù)湖中收集的結(jié)構(gòu)化數(shù)據(jù)集移動到數(shù)據(jù)倉庫中，以進行常規(guī)的OLAP存儲和分析。供應商也已開始將大數(shù)據(jù)訪問集成到數(shù)據(jù)倉庫平臺中，從而可以從一個位置訪問存儲在不同系統(tǒng)中的，不同格式的數(shù)據(jù)。

數(shù)據(jù)倉庫用例和場景

下面我們介紹一些用例和方案，這可能會影響組織的數(shù)據(jù)倉庫策略，以及決定為數(shù)據(jù)倉庫項目部署哪種類型的平臺。

初次VS長期數(shù)據(jù)倉庫用戶。希望擴展現(xiàn)有數(shù)據(jù)倉庫的公司通常會很好地繼續(xù)使用他們已經(jīng)建立的數(shù)據(jù)倉庫平臺。對于第一次實施數(shù)據(jù)倉庫的組織而言，數(shù)據(jù)倉庫設備可能是一個不錯的選擇。供應商可能會與您一起確定適合的設備規(guī)格和配置，而且這些設備的交付是非常簡易的。但是，所有數(shù)據(jù)倉庫平臺對于首次使用的用戶都是可行的選擇，您應該審查本部門中的其他用例，以開發(fā)您的特定要求和部署計劃。

公司規(guī)模。大型公司可能會選擇主流的關系DBMS、分析數(shù)據(jù)庫或混合事務/分析處理（HTAP）系統(tǒng)。這些組織擁有成功使用此類技術的基礎架構(gòu)和人員。在HTAP方法中，相同的DBMS既可以用于處理業(yè)務交易，也可以用于BI和分析建模。為了支持HTAP，關系數(shù)據(jù)庫引擎可以提供內(nèi)置的列式訪問或用于分析處理的附加設備。

另一方面，較小的組織應考慮使用數(shù)據(jù)倉庫設備或云數(shù)據(jù)倉庫服務。這兩種選擇都可以最大程度地減少管理需求：設備已預先配置，并且DWaaS環(huán)境提供的云中的數(shù)據(jù)倉庫一般由云服務提供商進行設置和管理。

IT部門的規(guī)模。IT部門相對較小的大型組織往往擁有較少的數(shù)據(jù)庫管理員和其他可以建設、調(diào)整和管理數(shù)據(jù)倉庫系統(tǒng)的IT專業(yè)人員。對于他們來說，考慮使用數(shù)據(jù)倉庫設備或DWaaS產(chǎn)品也很有意義。

云用例。如果您的組織在云中運行大量應用程序，則DWaaS部署或自我管理的云數(shù)據(jù)倉庫平臺可能是您的最佳選擇。將生成和存儲在云中的業(yè)務數(shù)據(jù)保存在云中以進行數(shù)據(jù)倉庫和分析是一種符合邏輯的方法。

數(shù)據(jù)延遲要求。對于在分析應用程序中需要最小數(shù)據(jù)延遲的組織而言，優(yōu)化的數(shù)據(jù)倉庫設備可能最有價值。使用其他方法也不是說無法實現(xiàn)近實時的延遲，但是您可能需要使用其他高速硬件和軟件來擴展數(shù)據(jù)倉庫環(huán)境，以滿足您的性能目標。

一旦您的組織決定需要建設一個數(shù)據(jù)倉庫，并確定了最合理的部署方案，下一步就是研究購買數(shù)據(jù)倉庫平臺的可用技術選項。整個過程，往往需要經(jīng)過萬全的考慮。