大數(shù)據(jù)時代云存儲發(fā)展現(xiàn)狀與演變趨勢

大數(shù)據(jù)時代，存儲系統(tǒng)面臨嚴峻挑戰(zhàn)，云存儲(cloud storage)概念應運而生。與傳統(tǒng)存儲設(shè)備相比，云存儲不再僅是一個硬件，而是一個由網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、應用軟件等多個部分組成的復雜系統(tǒng)。云存儲的出現(xiàn)會給存儲行業(yè)帶來哪些新的機遇與挑戰(zhàn)？云存儲核心器件/方案將如何滿足大數(shù)據(jù)時代從個人到企業(yè)的多變需求？本期封面故事將就云存儲在技術(shù)和商用層面的發(fā)展現(xiàn)狀和最新趨勢展開討論。

大數(shù)據(jù)時代——存儲的世界

當前，全球數(shù)據(jù)爆漲。在你閱讀本文的3分鐘時間內(nèi)，有18萬小時的音樂下載，6億Email產(chǎn)生，6,000萬照片被查看，14萬個應用下載，390萬視頻被觀看……移動互聯(lián)網(wǎng)的快速發(fā)展讓人類創(chuàng)造和分享數(shù)據(jù)的熱情前所未有的高漲，一場數(shù)據(jù)革命正在被引發(fā)。根據(jù)IDC的預測，大數(shù)據(jù)市場將有望在2016年達到238億美元規(guī)模，數(shù)據(jù)存儲量的需求以每年50%的速率增加，并在2020年達到驚人的40澤字節(jié)(zettabyte, ZB)，相當于地球上所有沙粒數(shù)量的57倍，相應的IT基礎(chǔ)設(shè)施投入年增長為7%。

IDC數(shù)據(jù)顯示，過去五年間，全球被創(chuàng)造和分享的數(shù)字信息增長了9倍，2011年接近20億TB

與此同時，各種廉價且有吸引力的云存儲選擇也正日益增多。Strategy Analytics公司在調(diào)查接近2,300個連接終端后得出結(jié)論：目前，蘋果公司的iCloud和iTunes Match服務占有了云存儲市場上最多的用戶，為27%；其他取得了兩位數(shù)成績的公司依次是Dropbox(17%)、Amazon Cloud Drive(15%)以及Google Drive(10%)；而其他競爭對手的用戶占有率都未超過4%。有意思的是，音樂存儲在云服務中采用率最高，有90%左右的蘋果、亞馬遜及谷歌云用戶都使用這些服務存儲他們的音樂。

中國市場方面，艾瑞咨詢發(fā)布的《2012中國云存儲行業(yè)及用戶行為研究報告》顯示，中國的個人云存儲業(yè)務自2011年起步以來迅速發(fā)展，當年個人云存儲用戶數(shù)量達到2,300萬，2012年用戶數(shù)量則攀升至1.07億，但相比郵箱、搜索引擎、微博這些熱門的互聯(lián)網(wǎng)應用，用戶基礎(chǔ)依然薄弱。

艾瑞咨詢認為，云計算技術(shù)的成熟、移動互聯(lián)網(wǎng)的發(fā)展、智能手機的普及帶來了個人云存儲業(yè)務的繁榮，預計2013年中國個人云存儲用戶規(guī)模將達到2.23億，網(wǎng)民滲透率達到36.7%，而在2011年這一比例僅為7%。但該公司也同時指出，目前中國的個人云存儲服務的主要挑戰(zhàn)是積累用戶數(shù)量，隨著用戶規(guī)模的擴大，產(chǎn)業(yè)鏈逐步清晰，屆時將形成“免費付費”、增值業(yè)務收入為主，廣告收入為輔的商業(yè)模式。

云存儲技術(shù)應用創(chuàng)新潛力巨大　

英特爾(中國)有限公司存儲產(chǎn)品市場經(jīng)理亢海峰

在英特爾(中國)有限公司存儲產(chǎn)品市場經(jīng)理亢海峰看來，云存儲是對云計算概念的自然延伸與發(fā)展。其最主要的特征，就是將數(shù)據(jù)分布在大量分布式計算機上，降低部署成本，提高存儲效率，增強靈活性，使得存儲獲得很強的可擴展能力。通過部署云存儲，企業(yè)和個人用戶可以快速訪問存儲資源，享受所購買的存儲服務，如數(shù)據(jù)多副本、靈活的策略配置等。同時，存儲資源還能夠根據(jù)企業(yè)使用情況進行彈性擴展。

“云存儲走出實驗室，投入到現(xiàn)實商業(yè)應用之中已經(jīng)是不爭的事實。盡管目前大多數(shù)應用模式都要依賴軟件技術(shù)實現(xiàn)，但云存儲在技術(shù)與應用模式的進一步演進創(chuàng)新上擁有著巨大空間，市場增長潛力十分巨大?！盤MC公司研發(fā)副總裁廖恒說，“作為芯片公司，我們必須要思考這樣龐大的數(shù)據(jù)量將對硬件基礎(chǔ)設(shè)施產(chǎn)生怎樣深遠的影響，用戶、廠商以及整個行業(yè)都要用怎樣的創(chuàng)新去迎接這樣的挑戰(zhàn)?！薄?/P>

PMC公司研發(fā)副總裁廖恒

PMC為此已經(jīng)開始實施一個名為“平方公里陣列”的項目。簡單而言，該項目的運作方式是每秒獲取750太字節(jié)(terabyte, TB)的數(shù)據(jù)，將其分布在100萬個節(jié)點進行處理。這樣，每天將能處理一艾字節(jié)(Exabyte, EB)，存儲一拍字節(jié)(petabyte, PB)。這一項目的運作，將能夠幫助業(yè)界認識到系統(tǒng)的未來可擴展性在硬件架構(gòu)方面給數(shù)據(jù)中心帶來的挑戰(zhàn)與機遇。

亢海峰認為，云存儲的發(fā)展包含技術(shù)和服務兩個層面：傳統(tǒng)的網(wǎng)絡(luò)存儲已經(jīng)不能滿足目前龐大的數(shù)據(jù)存儲市場需求，大型的網(wǎng)格存儲解決方案開始向分布式計算、網(wǎng)格計算、虛擬化技術(shù)等云計算相關(guān)方向發(fā)展；而引領(lǐng)云存儲服務前行的主要動力則來自互聯(lián)網(wǎng)行業(yè)，包括社交網(wǎng)絡(luò)、云共享、云備份、云盤等，這些模式的產(chǎn)生和發(fā)展使大量數(shù)據(jù)通過高速互聯(lián)網(wǎng)存儲在云端進行分享。

Facebook、YouTube、Twitter等社交媒體增長迅速

他舉例說，在互聯(lián)網(wǎng)行業(yè)中，通過類似Linkedin、Facebook、twitter、微博、微信等社交網(wǎng)絡(luò)平臺，很多個人信息被大量歸納起來進行地域統(tǒng)計，從而整合出商業(yè)信息點，交由相應的公司做商業(yè)價值挖掘。由此帶來的價值，是有更多客戶為了得到有用的商業(yè)統(tǒng)計而自愿變成付費用戶，這是云存儲應用從社交網(wǎng)絡(luò)轉(zhuǎn)到具有商業(yè)價值市場行為方式的一個典型案例。此外，很多關(guān)系到國計民生的行業(yè)需求也離不開云存儲，例如智慧城市中的交通、醫(yī)療、電信、安防、商場購物等。如果這些應用得到了良好的發(fā)展，云存儲行業(yè)就大有希望。

“云存儲可顛覆磁盤陣列所代表的傳統(tǒng)存儲需求。”這是LSI公司亞太區(qū)渠道事業(yè)部總經(jīng)理李東勝做出的判斷。他分析稱，隨著智能手機、平板電腦和其他智能設(shè)備的大量普及，新的云存儲形式不斷涌現(xiàn)，這給新進入B2C和B2B領(lǐng)域的參與者帶來了機遇?，F(xiàn)在，不但消費者在日常生活中離不開云存儲，中小企業(yè)也越來越多的將云存儲作為降低成本和提高可用性的有效方法，甚至開始利用其建立新的業(yè)務模式(例如建立在AWS基礎(chǔ)之上的Instagram)。此外，其在技術(shù)層面上也有著更加令人激動的全新趨勢，如基于x86服務器的分布式存儲系統(tǒng)、虛擬化技術(shù)、閃存的廣泛普及、以及軟件定義的存儲技術(shù)等，都使云存儲能夠以更低的成本快速向前發(fā)展。[!--empirenews.page--]

LSI公司亞太區(qū)渠道事業(yè)部總經(jīng)理李東勝

傳統(tǒng)意義上，像LSI這樣的存儲半導體供應商，通常置身后臺，主要通過服務器廠商接觸最終客戶。但數(shù)據(jù)洪流(Data Deluge)的出現(xiàn)，使得以谷歌、Facebook、亞馬遜、百度、阿里、騰訊為代表的互聯(lián)網(wǎng)企業(yè)開始紛紛設(shè)計自己的數(shù)據(jù)中心架構(gòu)，直接跟組件廠商和ODM廠商合作，采用基本的組件搭建數(shù)據(jù)中心，操作系統(tǒng)(硬件資源管理和調(diào)度)層面軟件則由自己設(shè)計。Facebook甚至還提出了OCP開放計算計劃，將自己的硬件需求規(guī)范公諸之眾，吸引更多志同道合者采納，從而擴大同類需求的規(guī)模，降低硬件成本。

臺灣威剛科技(Adata)股份有限公司技術(shù)營銷資深經(jīng)理洪旗徽

李東勝說，這意味著云存儲供應商將直接成為LSI未來新的合作伙伴，因此，了解他們的需求和發(fā)展趨勢，設(shè)計出專門針對大型數(shù)據(jù)中心環(huán)境而優(yōu)化的芯片解決方案和產(chǎn)品，調(diào)整已有渠道業(yè)務體系，是公司的當務之急。

臺灣威剛科技(Adata)股份有限公司技術(shù)營銷資深經(jīng)理洪旗徽同樣認為，云存儲概念的提出和發(fā)展與智能終端、移動互聯(lián)網(wǎng)的普及密切相關(guān)，消費者正將數(shù)據(jù)從傳統(tǒng)的U盤、移動硬盤轉(zhuǎn)變成云儲存。從目前的發(fā)展狀況來看，隨著云應用的蓬勃發(fā)展，無論是YouTube、Facebook，還是最新的Whatsapp、Wechat社交軟件，均需要構(gòu)建相當大的云存儲空間以提供良好用戶體驗。以Facebook為例，截止2013年6月，累計已有11億人次使用，平均每天約有7億人在線，3億張圖片被上傳，45億次文章發(fā)表，這代表著存儲內(nèi)存的需求將會越來越高。

云計算時代存儲架構(gòu)演變趨勢

“云存儲目前的發(fā)展階段總體來講仍處于快速上升階段，現(xiàn)在大家考慮的問題是在最近幾年里，如何把這么多的數(shù)據(jù)有效存儲起來?！笨汉７灞硎荆捎诖鎯θ萘康南拗?，很多數(shù)據(jù)并不能完整的保存下來，都是對經(jīng)過加工處理之后的信息進行保存。例如，攝像頭拍攝的信息就是根據(jù)事先設(shè)定的標簽，截取有效時間點，將之前信息覆蓋后再進行重新利用。因此，如何從軟硬件角度出發(fā)，綜合考慮功耗、空間、冷卻、采購/運營成本等要素，對基礎(chǔ)架構(gòu)進行改造是首當其沖需要考慮的問題。

廖恒指出，目前的大型數(shù)據(jù)中心在實現(xiàn)云存儲的功能和業(yè)務時，大多利用通用型服務器搭建硬件基礎(chǔ)設(shè)施，然后采用軟件技術(shù)加以實現(xiàn)。同時，硬件服務器系統(tǒng)廠商也開始對高密度存儲的應用進行優(yōu)化。例如，過去多數(shù)通用服務器直連的硬盤數(shù)目都只有8-12個左右，而現(xiàn)在，許多廠家都已開發(fā)部署了能夠連接24-80個硬盤的存儲服務器，還有廠商采用了存儲SoC或較低成本的通用CPU來優(yōu)化存儲服務器的成本。另外，傳統(tǒng)的企業(yè)存儲系統(tǒng)廠商也試圖以專用設(shè)備的形式開拓云存儲市場。這些設(shè)備加載了分布式文件系統(tǒng)等存儲業(yè)務軟件，并對整個軟硬件系統(tǒng)進行了優(yōu)化。

“我們發(fā)現(xiàn)一些本質(zhì)問題是大家共同關(guān)心的，比如在數(shù)據(jù)熱度(Data With Temperature)方面， 如何使傳統(tǒng)的向外擴展(scale-out)構(gòu)架中通常采用的服務器單元根據(jù)數(shù)據(jù)熱度做優(yōu)化？在資源池化(Resource pooling)方面，如何在有全局的CPU、內(nèi)存、存儲資源和網(wǎng)絡(luò)資源的數(shù)據(jù)中心中，在軟件策略不受任何局限的前提下，靈活地綁定這些資源，構(gòu)建各種各樣的虛擬機？”

廖恒進一步解釋說，針對上述挑戰(zhàn)，業(yè)界目前出現(xiàn)了兩個技術(shù)趨勢：一個是分離I/O構(gòu)架(Disaggregated IO, DIO)，即把CPU、網(wǎng)絡(luò)、存儲、甚至包括內(nèi)存資源，在物理上分離成獨立的單元；另一個是軟件定義數(shù)據(jù)中心(Software Defined Data Center, SDDC)，即通過云操作系統(tǒng)對整個云的CPU、網(wǎng)絡(luò)和存儲資源統(tǒng)一指揮調(diào)派并彼此綁定，來建立一個虛擬化的數(shù)據(jù)中心基礎(chǔ)設(shè)施，從而快速地適配動態(tài)變化的業(yè)務要求(VM+SDN+SDS=SDDC)。PMC觀察到了這些趨勢，并充分發(fā)揮自身優(yōu)勢，有機地結(jié)合這兩種技術(shù)，引入了FDIO來進行下一代產(chǎn)品的研發(fā)。

李東勝將人們對云存儲的主要需求歸納為以下四點：能提供快速、穩(wěn)健的24x7全天候無故障服務；能按需擴展或收縮存儲使用量；具備高度安全性；具有可靠的API集合，能用以訪問、操控和存儲各種結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)類型。“對大型數(shù)據(jù)中心而言，這意味著要使用能效最高(即每GB容量功耗)的云存儲實現(xiàn)方案，將每GB存儲容量的成本降至最低，并最大限度地提高機架空間利用率?！?BR>
洪旗徽給出的觀點則是，在可預見的5至10年內(nèi)，云存儲系統(tǒng)需求將會從以傳統(tǒng)硬盤為主，逐漸轉(zhuǎn)換至以固態(tài)硬盤為主。轉(zhuǎn)變的原因是固態(tài)硬盤在架構(gòu)上具有較佳的效能和功耗，如高IOPS(每秒輸出入次數(shù))及低延遲時間(Latency)；另一方面，機架空間也是云儲存需要思考的問題。傳統(tǒng)硬盤目前最小尺寸只能支持到2.5英寸(70×100mm)，但固態(tài)硬盤卻可以縮小至15%面積(22×42mm)。如果用兩臺各自裝備21塊傳統(tǒng)硬盤和16塊固態(tài)硬盤的x86服務器作對比，后者將具有100倍速度的提升、90%空間及80%能耗的節(jié)省。