未來技術(shù)對數(shù)據(jù)存儲結(jié)構(gòu)變化的挑戰(zhàn)

2018年全球共產(chǎn)生了32個ZB的數(shù)據(jù)(ZB是10的12次方GB)，在4年后我們將進(jìn)入一個階段性的ZB級數(shù)據(jù)時代，每年將會產(chǎn)生超過100個ZB的數(shù)據(jù)量。隨著5G、IoT、AI和深度學(xué)習(xí)、超高清技術(shù)的發(fā)展，數(shù)據(jù)將產(chǎn)生爆炸性的增長，同時也對數(shù)據(jù)存儲提出新的挑戰(zhàn)。2019年9月11日，西部數(shù)據(jù)產(chǎn)品市場部副總裁朱海翔先生就下一代存儲創(chuàng)新為主題在2019世界計算機(jī)大會上進(jìn)行了主題演講。

西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔先生

西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔表示：“數(shù)據(jù)正悄然無聲地產(chǎn)生于我們?nèi)粘Ｉ畹狞c滴之中。隨著萬物互聯(lián)的發(fā)展，我們已經(jīng)來到了數(shù)據(jù)大爆炸的時代。相信流媒體發(fā)展產(chǎn)生的數(shù)據(jù)表現(xiàn)能夠快速引起大家的共鳴：一部40集的電視劇，在高清格式下需要有大概69GB的存儲空間，而到了現(xiàn)在4K超高清的畫質(zhì)下，我們則需要大約480GB的存儲容量，這相當(dāng)于之前所需存儲容量的約7倍。在今天，我們可以看到很多的數(shù)據(jù)還是以人為產(chǎn)生的為主;但預(yù)計到了2023年，全世界超過90%的數(shù)據(jù)都會由機(jī)器自動產(chǎn)生。針對這些爆炸性的數(shù)據(jù)，我們有必要重新審視當(dāng)今的存儲能不能滿足數(shù)據(jù)中心急劇增長的發(fā)展需求。如何滿足數(shù)據(jù)增長的存儲需求，是時代交給西部數(shù)據(jù)的命題。”

成本：數(shù)字和邏輯的維度

從標(biāo)清提升到超高清用戶在視覺上獲得更好的體驗，而背后的數(shù)據(jù)則呈指數(shù)級增長，超高清的存儲量約是標(biāo)清的16倍，數(shù)據(jù)的存儲量也呈現(xiàn)指數(shù)級的增長，隨著未來90%的數(shù)據(jù)都由機(jī)器自動產(chǎn)生，將呈現(xiàn)爆發(fā)式的數(shù)據(jù)存儲需求。西部數(shù)據(jù)認(rèn)為利用更多數(shù)據(jù)產(chǎn)生過程和特性的改變，以有效、低成本、高密度的方式存儲數(shù)據(jù)，是應(yīng)對數(shù)據(jù)存儲結(jié)構(gòu)變化的有效措施。

以目前的存儲技術(shù)全球存儲的數(shù)據(jù)僅15%被留存下來，到2023年在技術(shù)不變的前提下大約只有10%的數(shù)據(jù)留存，其余高達(dá)90%的數(shù)據(jù)因成本和收益等原因被放棄，在大數(shù)據(jù)時代每一行數(shù)據(jù)都是有潛在價值的，數(shù)據(jù)是時代的新貨幣言下之意就是在產(chǎn)生數(shù)據(jù)的時候你沒有意識到數(shù)據(jù)的價值，而在后期分析中將挖掘出數(shù)據(jù)的價值，兼顧數(shù)據(jù)存儲的有效性和低成本是未來的一大趨勢。

在NAND FLASH工藝制程經(jīng)常能聽到24層、48層、96層，對于追求成本的企業(yè)來說并非工藝制程越高就越合適，朱海翔做了一個生動的形容：“在舊金山市中心有一幢61層的大廈，將其比喻成64層的的3D NAND，每層增加都是需要增加成本的，所以你從來看不到200層的大廈。”

縱向增加的層數(shù)都會反映在成本上，而結(jié)合橫向和縱向的維度就產(chǎn)生了第三個數(shù)字和邏輯的維度，當(dāng)閃存孔每單元存儲422個比特，為了保持在高效的4kb狀態(tài)下，推進(jìn)邏輯擴(kuò)展到邊界是一個很好的辦法，通過QLC的邏輯擴(kuò)展成本得以控制并獲得極佳的訪問性能，而同時也產(chǎn)生了OP的限制問題。

面向未來的分區(qū)存儲架構(gòu)

西部數(shù)據(jù)擁有非常成熟的HDD技術(shù)儲備，HDD的技術(shù)演進(jìn)是基于系統(tǒng)的架構(gòu)來創(chuàng)建的，在過去十幾年西部數(shù)據(jù)一直在推進(jìn)HDD單盤的存儲量，傳統(tǒng)的垂直記錄技術(shù)已經(jīng)到達(dá)邊界，全新的疊瓦式磁記錄技術(shù)(SMR)增通過邏輯擴(kuò)展再次不斷刷新單盤面密度的新紀(jì)錄。

預(yù)計到2002年全球數(shù)據(jù)中心的HDD將有一半會轉(zhuǎn)向疊瓦式磁記錄技術(shù)的HDD，同時西部數(shù)據(jù)也會推進(jìn)閃存技術(shù)的發(fā)展，隨著數(shù)據(jù)量的爆發(fā)式增長，數(shù)據(jù)中心將面臨超大負(fù)載會產(chǎn)生巨大的資源需求和成本開銷。機(jī)器產(chǎn)生的數(shù)據(jù)具有順序?qū)懭氲奶匦裕ㄟ^分區(qū)存儲設(shè)備對工作負(fù)載進(jìn)行合理優(yōu)化，從而性能性能、效率，更快的實現(xiàn)TCO的降低。

分區(qū)存儲架構(gòu)通過應(yīng)用層、主機(jī)和存儲協(xié)同數(shù)據(jù)存放位置，利用SMR HDD實現(xiàn)最的存儲容量，并通過新興分區(qū)命名空間(ZNS)標(biāo)準(zhǔn)的NVMe SDD實現(xiàn)耐久性和低延遲以及QoS性能，以彌補(bǔ)OP的限制問題，由SMR和ZNS SSD組成的分區(qū)存儲架構(gòu)是實現(xiàn)優(yōu)化基礎(chǔ)架構(gòu)實現(xiàn)更大規(guī)模經(jīng)濟(jì)效益的面向未來的全新存儲架構(gòu)，目前西部數(shù)據(jù)基于開源的模式，和全球主要廠商和OEM廠商建立聯(lián)盟，在今年10月份共同推行分區(qū)存儲結(jié)構(gòu)的標(biāo)準(zhǔn)化。

從數(shù)據(jù)架構(gòu)角度來看，分區(qū)存儲結(jié)構(gòu)是一次真正改變存儲效能的演進(jìn)，特別是滿足新興的技術(shù)產(chǎn)生的大存儲量數(shù)據(jù)， 分區(qū)存儲技術(shù)能更好的不同行業(yè)的發(fā)展。