大數(shù)據(jù)分析系列2：大數(shù)據(jù)分析對IT資源的需求

　　系列1： 未來24個月市場趨勢和IT投入重點

前言：為了準確描述中國大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢，解析大數(shù)據(jù)發(fā)展的各階段對IT技術(shù)的需求，2013年6月，中橋調(diào)研咨詢（以下簡稱中橋）對中國480家最終用戶的IT管理者和專業(yè)人員，就大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢展開了調(diào)查。中橋首席分析師王叢結(jié)合其在歐美數(shù)據(jù)中心領(lǐng)域十幾年的市場調(diào)研積累，對中國大數(shù)據(jù)市場趨勢的調(diào)查數(shù)據(jù)進行解析，以詮釋中國大數(shù)據(jù)市場和技術(shù)趨勢。同時，會通過在線講座（www.webinars-china.com ）和中國讀者解讀中國大數(shù)據(jù)市場趨勢，以及大數(shù)據(jù)對IT技術(shù)、IT架構(gòu)、IT管理以及IT格局的影響。中橋結(jié)合對中國大數(shù)據(jù)市場的調(diào)研數(shù)據(jù)和分析，將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進行解讀。

在系列1里，中橋就大數(shù)據(jù)分析對未來24個月以及企業(yè)的大數(shù)據(jù)分析投入重點進行分析。在系列2 里，中橋?qū)⒕痛髷?shù)據(jù)分析對IT資源的需求，包括IT架構(gòu)、計算節(jié)點以及存儲技術(shù)等進行分析。

　　大數(shù)據(jù)分析對IT架構(gòu)的需求

在大數(shù)據(jù)時代，隨著數(shù)據(jù)存儲量的爆炸性增長以及分層網(wǎng)絡(luò)架構(gòu)的出現(xiàn)，IT復(fù)雜性達到了前所未有的高度，而大數(shù)據(jù)分析使得傳統(tǒng)IT架構(gòu)更是不堪重負。那么從企業(yè)角度來看，他們的大數(shù)據(jù)環(huán)境需要怎樣的IT架構(gòu)呢？中橋調(diào)查結(jié)果表明（圖1），企業(yè)級用戶（員工人數(shù)在1000人以上）主要選擇的是“透明、經(jīng)濟、智能、自動化”的IT架構(gòu)（29.3%），中小企業(yè)（員工人數(shù)在1000人以下）則主要選擇的是一體機方案（服務(wù)器、存儲、網(wǎng)絡(luò)、大數(shù)據(jù)分析軟件）（28.9%）。企業(yè)級用戶傾向于開放、異構(gòu)、跨平臺的IT架構(gòu)，因為其用于大數(shù)據(jù)分析的IT架構(gòu)發(fā)展較為成熟，如何繼續(xù)提高BI效率是企業(yè)級用戶選擇IT架構(gòu)的重點。中小企業(yè)尚處于IT架構(gòu)發(fā)展初期，因此一體機的方案成為中小企業(yè)的首選。受訪者的選擇結(jié)果也體現(xiàn)了中國企業(yè)未來對IT架構(gòu)的需求趨勢，說明數(shù)據(jù)整合和ETL是中國企業(yè)的迫切需求，也是目前面臨的最大問題之一。

圖1. 大數(shù)據(jù)環(huán)境對IT架構(gòu)的需求

大數(shù)據(jù)分析對計算技術(shù)的需求

再從大數(shù)據(jù)分析的計算方式來看（圖2），21.6%和21.3%的企業(yè)級用戶分別考慮x86虛擬化和小型機來部署大數(shù)據(jù)分析方案，中小企業(yè)（23.8%）則主要考慮刀片服務(wù)器的計算方式。刀片服務(wù)器的高密度特點有利于提高計算能力、保持高IT密度。企業(yè)級的應(yīng)用多數(shù)運行在小型機的平臺上，這造成如果大數(shù)據(jù)分析是在現(xiàn)有基礎(chǔ)上實現(xiàn)，則小型機就成為了企業(yè)級的首選；如果要選擇在一個全新平臺實現(xiàn)大數(shù)據(jù)分析，那么X86虛擬化就成為了企業(yè)級用戶的第一選擇。結(jié)合我們之前所分析的，目前中國市場的大數(shù)據(jù)分析速度和頻率遠低于歐美市場，這導(dǎo)致中國企業(yè)在數(shù)據(jù)分析，這個大數(shù)據(jù)通過IT創(chuàng)造價值，這一重要環(huán)節(jié)上比較薄弱。

圖2.大數(shù)據(jù)分析對計算技術(shù)的需求

大數(shù)據(jù)分析對存儲的需求

從大數(shù)據(jù)分析的第一個環(huán)節(jié)——數(shù)據(jù)收集和存儲來看，大數(shù)據(jù)時代應(yīng)用數(shù)量、應(yīng)用數(shù)據(jù)量和使用者數(shù)量的增長，對存儲IOPS以及OLTP和OLAP的要求越來越高，具體體現(xiàn)在存儲不能滿足業(yè)務(wù)關(guān)鍵型應(yīng)用的需求。從中橋就企業(yè)支持當前數(shù)據(jù)分析和/或進程活動的存儲類型分析來看（圖3），F(xiàn)C SAN是企業(yè)級用戶（42.1%）和中型企業(yè)（34.0%）的首選，遠高于其他存儲類型的企業(yè)占比。這是因為FC SAN對OLTP和OLAP的性能穩(wěn)定性優(yōu)于其他存儲技術(shù)。這一調(diào)查結(jié)果也體現(xiàn)了，目前中國用戶大多處于大數(shù)據(jù)分析的第一階段，存儲和IT架構(gòu)大多以集中式為主。隨著Hadoop和MapReduce的不斷普及，用戶逐漸進入近實時和實時分析階段，節(jié)點式存儲的占比會隨之逐漸增加。

圖3.大數(shù)據(jù)分析對存儲的需求

那么在大數(shù)據(jù)時代企業(yè)的存儲能夠滿足需求呢（圖4）？中橋調(diào)研結(jié)果顯示，31.6%的用戶計劃在未來12個月部署新存儲來滿足業(yè)務(wù)關(guān)鍵型應(yīng)用的需求，33.2%計劃在未來12-24個月部署新存儲。這表明傳統(tǒng)存儲越來越無法滿足業(yè)務(wù)關(guān)鍵應(yīng)用的性能需求。在未來24個月，64.8%的用戶將會部署新存儲來滿足大數(shù)據(jù)時代，業(yè)務(wù)關(guān)鍵型應(yīng)用對存儲性能越來越高的需求。

圖4 大數(shù)據(jù)分析時代存儲的發(fā)展趨勢

通過上述一系列大數(shù)據(jù)對IT資源的需求分析，中橋分析師認為，傳統(tǒng)的IT架構(gòu)、計算方式以及存儲正成為中國用戶通過大數(shù)據(jù)分析處理快速提高IT效率，挖掘數(shù)據(jù)價值的巨大阻礙。而統(tǒng)一、透明、智能的自動化IT架構(gòu)管理、高密度下卓越的計算能力，以及能夠滿足存儲IOPS與OLTP和OLAP的新型存儲則能夠為企業(yè)創(chuàng)造價值，實現(xiàn)通過IT突破創(chuàng)新來提升企業(yè)競爭力的目的。

在接下來的系列3中，中橋?qū)⒕痛髷?shù)據(jù)時代下存儲所面臨的挑戰(zhàn)以及其發(fā)展趨勢進行更為詳盡的闡述。