看圖識云 全面解析云存儲的網(wǎng)格架構(gòu)

云存儲(cloud storage)這個(gè)概念一經(jīng)提出，就得到了眾多廠商的支持和關(guān)注。Amazon在兩年前就推出的Elastic Compute Cloud(EC2：彈性計(jì)算云)云存儲產(chǎn)品，旨在為用戶提供互聯(lián)網(wǎng)服務(wù)形式同時(shí)提供更強(qiáng)的存儲和計(jì)算功能。內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)提供商CDNetworks和業(yè)界著名的云存儲平臺服務(wù)商 Nirvanix發(fā)布了一項(xiàng)新的合作，并宣布結(jié)成戰(zhàn)略伙伴關(guān)系，以提供業(yè)界目前唯一的云存儲和內(nèi)容傳送服務(wù)集成平臺。

半年以前，微軟就已經(jīng)推出了提供網(wǎng)絡(luò)移動硬盤服務(wù)的Windows Live SkyDrive Beta測試版。近期，EMC宣布加入 道里可信基礎(chǔ)架構(gòu)項(xiàng)目，致力于云計(jì)算環(huán)境下關(guān)于信任和可靠度保證的全球研究協(xié)作，IBM也將云計(jì)算標(biāo)準(zhǔn)作為全球備份中心的3億美元擴(kuò)展方案的一部分。

云存儲變得越來越熱，大家眾說紛”云”，而且各有各的說法，各有各的觀點(diǎn)，那么到底什么是云存儲?

云狀的網(wǎng)格結(jié)構(gòu)

云存儲在云計(jì)算 (cloud computing)概念上延伸和發(fā)展出來的一個(gè)新的概念。云計(jì)算是是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展，是透過網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動分拆成無數(shù)個(gè)較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算分析之后將處理結(jié)果回傳給用戶。通過云計(jì)算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，處理數(shù)以千萬計(jì)甚至億計(jì)的信息，達(dá)到和”超級計(jì)算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。

云存儲的概念與云計(jì)算類似，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。如果這樣解釋還是難以理解，那我們可以借用廣域網(wǎng)和互聯(lián)網(wǎng)的結(jié)構(gòu)來解釋云存儲。

相信大家對局域網(wǎng)、廣域網(wǎng)和互聯(lián)網(wǎng)都已經(jīng)非常了解了。在常見的局域網(wǎng)系統(tǒng)中，我們?yōu)榱四芨玫厥褂镁钟蚓W(wǎng)，一般來講，使用者需要非常清楚地知道網(wǎng)絡(luò)中每一個(gè)軟硬件的型號和配置，比如采用什么型號交換機(jī)，有多少個(gè)端口，采用了什么路由器和防火墻，分別是如何設(shè)置的。系統(tǒng)中有多少個(gè)服務(wù)器，分別安裝了什么操作系統(tǒng)和軟件。各設(shè)備之間采用什么類型的連接線纜，分配了什么 xml:lang=IP地址和子網(wǎng)掩碼。

但當(dāng)我們使用廣域網(wǎng)和互聯(lián)網(wǎng)時(shí)，我們只需要知道是什么樣的接入網(wǎng)和用戶名、密碼就可以連接到廣域網(wǎng)和互聯(lián)網(wǎng)，并不需要知道廣域網(wǎng)和互聯(lián)網(wǎng)中到底有多少臺交換機(jī)、路由器、防火墻和服務(wù)器，不需要知道數(shù)據(jù)是通過什么樣的路由到達(dá)我們的電腦，也不需要知道網(wǎng)絡(luò)中的服務(wù)器分別安裝了什么軟件，更不需要知道網(wǎng)絡(luò)中各設(shè)備之間采用了什么樣的連接線纜和端口。

廣域網(wǎng)和互聯(lián)網(wǎng)對于具體的使用者是完全透明的，我們經(jīng)常用一個(gè)云狀的圖形來表示廣域網(wǎng)和互聯(lián)網(wǎng)。

雖然云狀的圖形中包含了許許多多的交換機(jī)、路由器、防火墻和服務(wù)器，但對具體的廣域網(wǎng)、互聯(lián)網(wǎng)用戶來講，這些都是不需要知道的。這個(gè)云狀圖形代表的是廣域網(wǎng)和互聯(lián)網(wǎng)帶給大家的互聯(lián)互通的網(wǎng)絡(luò)服務(wù)，無論我們在任何地方，都可以通過一個(gè)網(wǎng)絡(luò)接入線纜和一個(gè)用戶、密碼，就可以接入廣域網(wǎng)和互聯(lián)網(wǎng)，享受網(wǎng)絡(luò)帶給我們的服務(wù)。

參考云狀的網(wǎng)絡(luò)結(jié)構(gòu)，創(chuàng)建一個(gè)新型的云狀結(jié)構(gòu)的存儲系統(tǒng)系統(tǒng)，這個(gè)存儲系統(tǒng)由多個(gè)存儲設(shè)備組成，通過集群功能、分布式文件系統(tǒng)或類似網(wǎng)格計(jì)算等功能聯(lián)合起來協(xié)同工作，并通過一定的應(yīng)用軟件或應(yīng)用接口，對用戶提供一定類型的存儲服務(wù)和訪問服務(wù)。

當(dāng)我們使用某一個(gè)獨(dú)立的存儲設(shè)備時(shí)，我們必須非常清楚這個(gè)存儲設(shè)備是什么型號，什么接口和傳輸協(xié)議，必須清楚地知道存儲系統(tǒng)中有多少塊磁盤，分別是什么型號、多大容量，必須清楚存儲設(shè)備和服務(wù)器之間采用什么樣的連接線纜。為了保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)性，我們還需要建立相應(yīng)的數(shù)據(jù)備份系統(tǒng)和容災(zāi)系統(tǒng)。除此之外，對存儲設(shè)備進(jìn)行定期地狀態(tài)監(jiān)控、維護(hù)、軟硬件更新和升級也是必須的。

如果采用云存儲，那么上面所提到的一切對使用者來講都不需要了。云狀存儲系統(tǒng)中的所有設(shè)備對使用者來講都是完全透明的，任何地方的任何一個(gè)經(jīng)過授權(quán)的使用者都可以通過一根接入線纜與云存儲連接，對云存儲進(jìn)行數(shù)據(jù)訪問。

云存儲簡易架構(gòu)圖

經(jīng)?？吹饺藗冊谡?wù)撛拼鎯?，但是沒看過實(shí)際的圖，人們很難想象到底云存儲是什么模樣，下面就是一個(gè)云存儲的簡易架構(gòu)圖

橘色的存儲節(jié)點(diǎn)(storage node)負(fù)責(zé)存放文件，藍(lán)色的控制節(jié)點(diǎn)(control node)則是作為文件索引，并負(fù)責(zé)監(jiān)控存儲節(jié)點(diǎn)間容量及負(fù)載的均衡，這2個(gè)部分合起來便組成一個(gè)云存儲。存儲節(jié)點(diǎn)與控制節(jié)點(diǎn)都是單純的服務(wù)器，只是存儲節(jié)點(diǎn)的硬盤多一些，存儲節(jié)點(diǎn)服務(wù)器不需要具備 RAID 的功能，只要能安裝 Linux 即可，控制節(jié)點(diǎn)為了保護(hù)數(shù)據(jù)，需要有簡單的 RAID level 01的功能。每個(gè)存儲節(jié)點(diǎn)與控制節(jié)點(diǎn)至少有2片網(wǎng)卡(千兆、萬兆卡都可以，有些也支持 infiniband)，一片網(wǎng)卡 internal 負(fù)責(zé)內(nèi)部存儲節(jié)點(diǎn)與控制節(jié)點(diǎn)的溝通、數(shù)據(jù)遷移，一片 external 負(fù)責(zé)對外應(yīng)用端的數(shù)據(jù)讀寫，一片千兆卡，讀可以達(dá)到100MB，寫可以達(dá)到70MB，如果你覺得對外一片網(wǎng)卡不夠，也可以多裝幾片。

上面灰色的方塊(NFS、HTTP、FTP、WebDav)是應(yīng)用端，左上角的灰色方塊(mgmt console)是一臺PC，負(fù)責(zé)云存儲中存儲節(jié)點(diǎn)的管理。對應(yīng)用端看來，云存儲只是個(gè)文件系統(tǒng)，而且一般來說支持標(biāo)準(zhǔn)的協(xié)議，例如 NFS、HTTP、FTP、WebDav等等，所以很容易把舊有的系統(tǒng)與云存儲結(jié)合，應(yīng)用端不需要作什么改變。

云存儲不是要取代現(xiàn)有的盤陣，而是為了應(yīng)付高速成長的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲系統(tǒng)，因此云存儲在設(shè)計(jì)時(shí)通常會考慮以下三點(diǎn)

1. 容量、帶寬的擴(kuò)容是否簡便

擴(kuò)容是不能停機(jī)，會自動將新的存儲節(jié)點(diǎn)容量納入原來的存儲池，不需要做繁復(fù)的設(shè)定

2. 帶寬是否線形增長

使用云存儲的客戶，很多是考慮未來帶寬的增長，因此云存儲產(chǎn)品設(shè)計(jì)的好壞會產(chǎn)生很大的差異，有些十幾個(gè)節(jié)點(diǎn)便達(dá)到飽和，這樣對未來帶寬的擴(kuò)容就有不利的影響，這一點(diǎn)要事先弄清楚，否則等到發(fā)現(xiàn)不符合需求時(shí)，已經(jīng)買了幾百TB，后悔就來不及了

3. 管理是否容易

不說 google 有五萬臺存儲服務(wù)器，即使國內(nèi)也有很多客戶有超過500臺存儲的，若不使用云存儲來統(tǒng)一管理，管理500臺存儲是一個(gè)巨大的工作，一不小心就可能導(dǎo)致某些應(yīng)用的崩潰，因此云存儲的應(yīng)用是一個(gè)必然的趨勢，當(dāng)用戶把應(yīng)用遷移到云存儲，他管理的就是一臺存儲，而不是 500臺甚至五萬臺存儲。管理一臺存儲不容易出錯(cuò)，分別管理五萬臺要不出錯(cuò)就很難了

上面我介紹的是一個(gè)純軟件的云存儲解決方案，有的產(chǎn)品是硬件的解決方案，他們把橘色的存儲節(jié)點(diǎn)和藍(lán)色的控制節(jié)點(diǎn)，放在一臺設(shè)備上，這樣做的缺點(diǎn)是成本比較高，客戶也不能夠按照自己的需求，任意選擇適合自己規(guī)格的硬件，例如讀寫性能、網(wǎng)卡、硬盤容量等等，因此我個(gè)人觀點(diǎn)覺得軟件的解決方案會成為最后的贏家，因?yàn)橐栽拼鎯κ褂谜叩慕嵌葋砜?，他們對成本的要求很高、也不希望放棄他們原有的硬件投入，這些都是硬件的解決方案無法滿足的。

云存儲的結(jié)構(gòu)模型

與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個(gè)硬件，而是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。

云存儲系統(tǒng)的結(jié)構(gòu)模型由 4層組成。

一、存儲層

存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備，可以是NAS和 iSCSI等IP存儲設(shè)備，也可以是 SCSI或SAS等 DAS存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布多不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者 FC光纖通道網(wǎng)絡(luò)連接在一起。

存儲設(shè)備之上是一個(gè)統(tǒng)一存儲設(shè)備管理系統(tǒng)，可以實(shí)現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。

二、基礎(chǔ)管理層：

基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實(shí)現(xiàn)的部分。基礎(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲中多個(gè)存儲設(shè)備之間的協(xié)同工作，使多個(gè)的存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。

CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時(shí)，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)和措施可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。

三、應(yīng)用接口層：

應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運(yùn)營單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點(diǎn)播應(yīng)用平臺、網(wǎng)絡(luò)硬盤引用平臺，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺等。

四、訪問層：

任何一個(gè)授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運(yùn)營單位不同，云存儲提供的訪問類型和訪問手段也不同。