大數(shù)據(jù)分析系列1：未來24個月市場趨勢和IT投入重點

前言：為了準確描述中國大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢，解析大數(shù)據(jù)發(fā)展的各階段對IT技術(shù)的需求，2013年6月，中橋國際調(diào)研咨詢（以下簡稱中橋）對中國480家最終用戶的IT管理者和專業(yè)人員，就大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢展開了調(diào)查。之后中橋首席分析師王叢，將結(jié)合其在歐美數(shù)據(jù)中心領(lǐng)域十幾年的市場調(diào)研積累，對中國大數(shù)據(jù)市場趨勢的調(diào)查數(shù)據(jù)進行解析，以詮釋中國大數(shù)據(jù)市場和技術(shù)趨勢。同時，會通過在線講座（ www.webinars-china.com ），和中國讀者解讀中國大數(shù)據(jù)市場趨勢，以及大數(shù)據(jù)對IT技術(shù)、IT架構(gòu)、IT管理以及IT格局的影響。中橋結(jié)合對中國大數(shù)據(jù)市場的的調(diào)研數(shù)據(jù)和分析，將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進行解讀。在系列1里，中橋?qū)⒅饕?strong>大數(shù)據(jù)分析未來24個月以及企業(yè)的大數(shù)據(jù)分析重點投入進行解析。

大數(shù)據(jù)分析未來24個月市場趨勢

我們在大數(shù)據(jù)的調(diào)研中了解到，中國各型企業(yè)正在逐步意識到大數(shù)據(jù)的業(yè)務價值和商業(yè)價值，并且鑒于數(shù)據(jù)量的迅猛增長和大數(shù)據(jù)分析所帶來的巨大價值，在未來24個月內(nèi)，不論是企業(yè)級（78.1%）還是中小企業(yè)用戶（71.8%），都將會在大數(shù)據(jù)分析上進行投入，通過部署新的數(shù)據(jù)分析方案來提高大數(shù)據(jù)創(chuàng)造價值的效率。這其中，考慮未來12-24個月在新的數(shù)據(jù)分析方案上進行投入的中小企業(yè)用戶比例甚至高于企業(yè)級用戶，鑒于中小企業(yè)在中國市場的龐大數(shù)量，可以想見這將對大數(shù)據(jù)分析形成一股極大的推動力。

　　大數(shù)據(jù)分析的演進過程

我們再從大數(shù)據(jù)分析的不同階段來看，大數(shù)據(jù)是一個演進過程。傳統(tǒng)商業(yè)智能通過增加數(shù)據(jù)類型和數(shù)據(jù)來源、提高分析速度，應對越來越多的數(shù)據(jù)子集，逐步演進為大數(shù)據(jù)數(shù)據(jù)分析。大數(shù)據(jù)通過IT創(chuàng)造價值的兩個主要維度是數(shù)據(jù)分析頻率、數(shù)據(jù)來源和種類，主要分為三個階段。

·第一階段：批量分析：數(shù)據(jù)主要以來自企業(yè)內(nèi)部結(jié)構(gòu)化數(shù)據(jù)（如生產(chǎn)、管理數(shù)等據(jù)）為主。目的是通過數(shù)據(jù)分析降低生產(chǎn)開支，提高資金周轉(zhuǎn)和物流效率，提高業(yè)務智能決策能力。這一階段用戶主要IT投資重點是如何提高數(shù)據(jù)分析頻率，以及增加大數(shù)據(jù)分析數(shù)據(jù)種類，為逐步向大數(shù)據(jù)分析架構(gòu)演進做好IT架構(gòu)和資源，大數(shù)據(jù)分析流程準備。

·第二階段：近實時分析：數(shù)據(jù)分析類型從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)逐步演進為結(jié)構(gòu)化，非結(jié)構(gòu)化（音視頻、社群等）和半結(jié)構(gòu)化數(shù)據(jù)（包括系統(tǒng)日志、客戶信息）。除了降低生產(chǎn)開支，提高決策效率的同時，通過大數(shù)據(jù)分析提升利潤和銷售增長，以及提升優(yōu)質(zhì)客源獲取和持有效率成為主要目的。數(shù)據(jù)分析子集數(shù)量相對批量分析更大。近實時分析對從分析準備、處理到呈現(xiàn)的時效性更強，提高了對數(shù)據(jù)處理能力和分析速度的要求。

·第三階段：實時分析：數(shù)據(jù)來源和種類更加豐富，不僅限于企業(yè)內(nèi)部的生產(chǎn)數(shù)據(jù)、用戶數(shù)據(jù)和社群網(wǎng)站，還會納入來自于第三方數(shù)據(jù)（競爭實時監(jiān)控，目標用戶群體采購行為監(jiān)控等）。主要目的是可以通過實時分析，通過前瞻性，實現(xiàn)業(yè)務突破創(chuàng)新。通過系統(tǒng)驅(qū)動實時“行動”，提升企業(yè)在全球市場核心競爭力，優(yōu)化企業(yè)優(yōu)質(zhì)資源持有率。此外，實時分析對于數(shù)據(jù)分析和根據(jù)分析結(jié)構(gòu)觸發(fā)動態(tài)業(yè)務決策（價格、庫存、打包服務）速度要求更為苛刻。不僅給計算、網(wǎng)絡提出更高要求，也大大提高了對數(shù)據(jù)存儲容量、性能和動態(tài)資源配置能力要求。

不同規(guī)模企業(yè)的數(shù)據(jù)分析投入重點

再從大數(shù)據(jù)分析環(huán)節(jié)來看，整個分析過程從數(shù)據(jù)采集管理，到數(shù)據(jù)分析呈現(xiàn)主要包括以下四大環(huán)節(jié)：

·數(shù)據(jù)采集管理：將企業(yè)內(nèi)部數(shù)據(jù)有效采集管理。逐步形成從數(shù)據(jù)采集階段的數(shù)據(jù)分類管理規(guī)范化和標準化。

·ETL：大數(shù)據(jù)分析的準備工作，從不同的應用實現(xiàn)數(shù)據(jù)的抽取、清理、轉(zhuǎn)換、加載。

·分析：根據(jù)業(yè)務需求進行批量，近實時或?qū)崟r分析。

·呈現(xiàn)：將大數(shù)據(jù)的分析結(jié)果呈現(xiàn)，以支撐智能的戰(zhàn)略決策和業(yè)務決策，或者自動化根據(jù)實時數(shù)據(jù)分析觸發(fā)商業(yè)行為，加大業(yè)務對市場的反應效率和利潤的捕捉能力。

那么就上述4個環(huán)節(jié)，不同規(guī)模的企業(yè)側(cè)重點又將如何呢？中橋的調(diào)研結(jié)果顯示，未來12個月，企業(yè)級用戶的大數(shù)據(jù)相關(guān)IT投入重點放在數(shù)據(jù)分析ETL（抽取，遷移，加載）和商業(yè)智能（BI），占比均為50%；中小企業(yè)的IT投入重點則在數(shù)據(jù)倉庫（50.5%）和ETL（抽取，遷移，加載）（41.6%）。這也與不同企業(yè)所處的數(shù)據(jù)分析階段有關(guān)。

具體來說，企業(yè)級用戶正從大數(shù)據(jù)分析第一階段，向第二階段演進，更側(cè)重于如何通過大數(shù)據(jù)分析和商業(yè)智能（BI）最大限度地提高用戶使用體驗，降低優(yōu)質(zhì)客戶流失。中小企業(yè)側(cè)重于如何通過商業(yè)智能提高生產(chǎn)效率，利潤和發(fā)展空間；如何通過對用戶采購行為分析，判斷潛在業(yè)務發(fā)展空間，通過業(yè)務創(chuàng)新，實現(xiàn)以“小”搏“大”、以“速度”搏“規(guī)模”的目的。

此外，中橋還對中國市場大數(shù)據(jù)分析的IT投入進行了調(diào)研，結(jié)果顯示，未來24個月，企業(yè)的IT投入大多數(shù)都將圍繞數(shù)據(jù)的商業(yè)智能（BI）展開。未來12個月，31.4%的受訪者選擇整合不同業(yè)務數(shù)據(jù)，實現(xiàn)商業(yè)智能這一方面進行IT投入，還有30.1%的受訪者選擇在提高結(jié)構(gòu)化數(shù)據(jù)（如數(shù)據(jù)庫）商業(yè)智能效率上進行最重要的IT投入。未來12-24個月，選擇整合數(shù)據(jù)以實現(xiàn)商業(yè)智能的比例為22.9%；選擇提高結(jié)構(gòu)化數(shù)據(jù)（如數(shù)據(jù)庫）商業(yè)智能效率的比例為22.4%。這表明數(shù)據(jù)的商業(yè)智能和商業(yè)效率是大數(shù)據(jù)時代企業(yè)的焦點，也直接影響到企業(yè)的業(yè)務發(fā)展和數(shù)據(jù)的價值挖掘。[!--empirenews.page--]

大數(shù)據(jù)分析對企業(yè)的IT資源也存在一定的需求，包括分析方式、計算節(jié)點、存儲技術(shù)、IT架構(gòu) ，中橋?qū)⒃谙盗?里進行詳解。