大數(shù)據(jù)分析系列3：大數(shù)據(jù)分析如何權衡存儲

系列1：未來24個月市場趨勢和IT投入重點

系列2：大數(shù)據(jù)分析對IT資源的需求

前言：為了準確描述中國大數(shù)據(jù)市場和技術發(fā)展趨勢，解析大數(shù)據(jù)發(fā)展的各階段對IT技術的需求，2013年6月，中橋調(diào)研咨詢（以下簡稱中橋）對中國480家最終用戶的IT管理者和專業(yè)人員，就大數(shù)據(jù)市場和技術發(fā)展趨勢展開了調(diào)查。中橋首席分析師王叢結合其在歐美數(shù)據(jù)中心領域十幾年的市場調(diào)研積累，對中國大數(shù)據(jù)市場趨勢的調(diào)查數(shù)據(jù)進行解析，以詮釋中國大數(shù)據(jù)市場和技術趨勢。同時，會通過在線講座（www.webinars-china.com ）和中國讀者解讀中國大數(shù)據(jù)市場趨勢，以及大數(shù)據(jù)對IT技術、架構、管理以及格局的影響。中橋結合中國大數(shù)據(jù)市場的調(diào)研數(shù)據(jù)和分析，將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進行解讀。

在之前的系列1和2中，中橋就大數(shù)據(jù)分析的發(fā)展趨勢以及對IT資源的需求進行了解析。接下來，針對大數(shù)據(jù)分析的重要一環(huán)—存儲，中橋?qū)⒔Y合市場熱門的存儲技術如閃存、固態(tài)盤等，來從存儲性能、數(shù)據(jù)保護等角度進行分析。

通過前文的相關數(shù)據(jù)分析，我們已經(jīng)了解到，隨著大數(shù)據(jù)時代應用數(shù)量、應用數(shù)據(jù)量和使用者數(shù)量的增長，系統(tǒng)對存儲IOPS以及OLTP和OLAP的要求越來越高。傳統(tǒng)存儲也越來越無法滿足業(yè)務關鍵應用的性能需求，這驅(qū)動了中國企業(yè)未來24個月新存儲的部署。而固態(tài)盤、閃存技術作為新型存儲，已經(jīng)得到越來越多的企業(yè)的青睞。中橋的調(diào)查數(shù)據(jù)也驗證了這一點。企業(yè)采用固態(tài)盤或閃存技術的主要原因排列如下：提高桌面虛擬化的性能、提高OLAP性能需求、滿足業(yè)務關鍵應用性能和低延遲要求、提高虛機密度應用性能等。而桌面虛擬化、OLAP高要求、業(yè)務關鍵應用、低延遲以及高虛擬機密度也正是大數(shù)據(jù)時代的典型特點。

圖1. 選擇固態(tài)盤或閃存技術的主要原因

那么對于中國企業(yè)而言，所選擇的新型存儲技術應該以什么樣的指標來權衡，才能確保整個大數(shù)據(jù)分析流程平穩(wěn)、高效運行？中橋?qū)ζ髽I(yè)的調(diào)查結果顯示（圖2），存儲高可擴展性、高可用性和并行處理能力是企業(yè)評估大數(shù)據(jù)存儲最重要的三個因素。高可擴展性可以確保企業(yè)的IT能夠隨著數(shù)據(jù)量的增長和性能需求進行擴展，以滿足海量數(shù)據(jù)的存儲和處理需求；高可用性則能夠保證大數(shù)據(jù)分析過程的平穩(wěn)、無間斷運行，確保了業(yè)務連續(xù)性；高并行處理能力則能夠確保在大數(shù)據(jù)處理過程中同時進行更多數(shù)據(jù)的處理，高效地完成數(shù)據(jù)分析，從而將分析結果轉(zhuǎn)化為業(yè)務決策，加快產(chǎn)品或技術的面市周期。此外，低延遲、自動分層存儲以及10GbE支持等也是用戶評估大數(shù)據(jù)存儲的重要考核因素。

圖2 . 評估數(shù)據(jù)分析存儲技術的重要指標

我們再換一個角度來繼續(xù)解讀一下存儲。眾所周知，不同類型的數(shù)據(jù)，其生命周期也是不同的，而根據(jù)數(shù)據(jù)類型和生命周期來進行存儲資源分配，則能夠有效提高存儲利用率，這對于大數(shù)據(jù)的存儲開支非常關鍵。此外，數(shù)據(jù)的有效管理也決定著生產(chǎn)應用的性能。中橋調(diào)查結果顯示（圖3），大量中國用戶所采用的數(shù)據(jù)庫面臨著性能壓力（84.4%），且沒能有效地進行數(shù)據(jù)的歸檔和清理，其中，24.6%的受訪企業(yè)甚至不進行數(shù)據(jù)歸檔和清理，還有高達34.9%的受訪企業(yè)采取手動方式來進行數(shù)據(jù)歸檔和清理。將非活躍數(shù)據(jù)從主存儲資源上清理出來，并根據(jù)數(shù)據(jù)類型和生命周期進行分層存儲和歸檔，盡可能提高存儲利用率的同時，還能夠確保生產(chǎn)應用性能的穩(wěn)定性，為數(shù)據(jù)分析提供所需的性能，有效降低主存儲開支，延緩存儲采購周期。

圖3 數(shù)據(jù)的歸檔和清理

在大數(shù)據(jù)時代，海量數(shù)據(jù)給企業(yè)帶來的不僅僅是系統(tǒng)性能和存儲難題，數(shù)據(jù)保護也是企業(yè)的一大焦點。中橋調(diào)研結果顯示（圖4），用戶就面臨的數(shù)據(jù)保護挑戰(zhàn)排列如下：“數(shù)據(jù)備份影響業(yè)務性能”（25.1%）、“數(shù)據(jù)保護網(wǎng)絡帶寬需求大”（20.7%）、“分級存儲讀寫性能不能滿足要求”（19.3%）。這表明，在大數(shù)據(jù)時代，海量數(shù)據(jù)的備份和保護以及分級存儲，將對業(yè)務性能帶來很大影響，包括對網(wǎng)絡帶寬的影響。這也從側(cè)面再一次表明數(shù)據(jù)的分級存儲對企業(yè)的重要性。

圖4 大數(shù)據(jù)數(shù)據(jù)保護的最大挑戰(zhàn)

數(shù)據(jù)是大數(shù)據(jù)時代通過IT創(chuàng)造價值的“種子”。在大數(shù)據(jù)分析的四個重要環(huán)節(jié)中——數(shù)據(jù)采集和存儲、數(shù)據(jù)清理和整合、數(shù)據(jù)分析、分析呈現(xiàn)——滿足大數(shù)據(jù)演進過程中對容量、性能和業(yè)務連續(xù)性的需求，提升資源利用率降低存儲開支，不僅能保護好大數(shù)據(jù)這個“種子”，也是選擇大數(shù)據(jù)存儲的重要考慮因素。

在之后的系列4中，中橋?qū)⒕痛髷?shù)據(jù)的分析方式和技術進行闡述，敬請關注。