一種基于網(wǎng)絡(luò)磁盤陣列的高性能海量存儲系統(tǒng)
摘要:網(wǎng)絡(luò)磁盤陣列將傳統(tǒng)的以服務(wù)器為中心的存儲轉(zhuǎn)發(fā)改變?yōu)橐詳?shù)據(jù)為中心的直接傳輸, 從而消除了傳統(tǒng)模式下的服務(wù)器I/O瓶頸。本文基于網(wǎng)絡(luò)磁盤陣列構(gòu)建出一種高性能的海量存儲系統(tǒng), 其文件集中管理和數(shù)據(jù)分布存儲的體系結(jié)構(gòu)不僅加快了數(shù)據(jù)傳輸速度、降低了存儲管理開銷, 同時也實現(xiàn)了命令與數(shù)據(jù)分流、擴容與增速同步的目標, 從而大大提高的整個存儲系統(tǒng)的性能。
關(guān)鍵詞:網(wǎng)絡(luò)磁盤陣列;海量存儲;文件集中管理;數(shù)據(jù)分布存儲
引 言
現(xiàn)代信息技術(shù)的飛速發(fā)展, 導(dǎo)致了用戶對存儲產(chǎn)品和存儲服務(wù)需求的爆炸性增長。目前計算機存儲系統(tǒng)的性能遠遠不能滿足許多實際應(yīng)用的需求, 因而如何建立高性能的存儲系統(tǒng)成為人們關(guān)注的焦點, 海量信息存儲技術(shù)旨在研究大容量數(shù)據(jù)存儲的策略和方法, 其追求的目標在于擴大存儲容量、提高存取速度、保證數(shù)據(jù)的完整性和可靠性、加強對數(shù)據(jù)(文件) 的管理和組織等。
網(wǎng)絡(luò)磁盤陣列系統(tǒng)(Net-RAID) 采用存儲設(shè)備直接聯(lián)網(wǎng)的體系結(jié)構(gòu), 改變了傳統(tǒng)的以服務(wù)器為中心的迂回傳輸模式,使所有網(wǎng)絡(luò)請求由服務(wù)器統(tǒng)一管理, 而數(shù)據(jù)則由磁盤陣列直接通過網(wǎng)絡(luò)接收和發(fā)送, 從而避免了數(shù)據(jù)流在服務(wù)器與存儲設(shè)備之間的往返傳送和存儲轉(zhuǎn)發(fā), 消除了服務(wù)器中CPU、內(nèi)存以及I/O 總線所存在的潛在瓶頸, 極大的提高了系統(tǒng)帶寬和服務(wù)器的平均響應(yīng)速度。
以此網(wǎng)絡(luò)磁盤陣列作為基本單元, 本文構(gòu)建出一種高性能的海量存儲系統(tǒng), 其文件集中管理和數(shù)據(jù)分布存儲的體系結(jié)構(gòu)不僅加快了數(shù)據(jù)傳輸速度、降低了存儲管理開銷, 同時也實現(xiàn)了命令與數(shù)據(jù)分流、擴容與增速同步的目標, 從而大大提高了整個存儲系統(tǒng)的性能。
CMDS海量存儲系統(tǒng)總體設(shè)計
傳統(tǒng)的集中式存儲體系結(jié)構(gòu)下, 網(wǎng)絡(luò)用戶訪問文件服務(wù)器上的數(shù)據(jù)資源時, 數(shù)據(jù)必須在存儲設(shè)備和文件服務(wù)器之間進行多次的存儲轉(zhuǎn)發(fā)。因此, 服務(wù)器的CPU、主存、存儲設(shè)備、主從通道都有可能成為系統(tǒng)的瓶頸。而且, 無法實現(xiàn)共享存儲, 系統(tǒng)的可擴展性也受到很大的限制。采用具有新型I/O通道體系結(jié)構(gòu)的存儲系統(tǒng)可以極大地提高性能, 但一味地依靠擴展系統(tǒng)的硬件性能終究會有上限。因此, 傳統(tǒng)存儲系統(tǒng)體系結(jié)構(gòu)雖可提供大的存儲容量, 但不適合于構(gòu)造海量存儲系統(tǒng)。構(gòu)造一個高性能的海量存儲系統(tǒng)不僅需要極大的存儲容量和高I/O帶寬, 還必須具有高可擴展性、高可用性、可管理性以及低的價格。
采用分布式存儲系統(tǒng)結(jié)構(gòu)是實現(xiàn)海量信息存儲的最好選擇。將數(shù)據(jù)分割(比如說塊)分別存放在不同的存儲設(shè)備上, 利用對不同存儲設(shè)備的并行操作來提高系統(tǒng)的性能。但分布式系統(tǒng)的存儲管理存在很大的難度, 統(tǒng)計數(shù)據(jù)表明, 在分布環(huán)境下, 存儲管理大約要消耗存儲成本總額的55%。集中式的存儲則能減少管理開銷和提高管理質(zhì)量。可見, 如果采用集中式的存儲管理, 特別是對于海量存儲系統(tǒng)中大量的存儲資源的管理, 將可以極大地降低存儲管理的開銷。
顯然, 要想解決海量信息的有效存儲和管理, 必須構(gòu)造一種全新的存儲系統(tǒng)體系結(jié)構(gòu), 從根本上解決現(xiàn)有存儲系統(tǒng)體系結(jié)構(gòu)所存在的問題。
針對這種情況, 本文提出了一種文件集中管理、數(shù)據(jù)分布存儲的高性能海量存儲系統(tǒng)(centralized file Managementand Dist ributed data StorageMass Storage System ) CMDSMSS, 其體系結(jié)構(gòu)如圖1所示, 它同時具備集中式存儲系統(tǒng)和圖1CDMS海量存儲系統(tǒng)體系結(jié)構(gòu)圖分布式存儲系統(tǒng)兩者的優(yōu)點。該系統(tǒng)由文件服務(wù)器和多臺網(wǎng)絡(luò)磁盤陣列(Net-RAID) 構(gòu)成, 所有的N et-RAID按傳統(tǒng)的DAS方式通過外設(shè)通道(SCSI或FC, 也可以采用網(wǎng)絡(luò)通道)掛接在文件服務(wù)器上, 然后再通過網(wǎng)絡(luò)連接掛接在包交換網(wǎng)絡(luò)上。 通過建立磁盤陣列與網(wǎng)絡(luò)用戶間的直接聯(lián)系, 使得磁盤陣列的命令與數(shù)據(jù)分流, 免除了數(shù)據(jù)流在文件服務(wù)器與磁盤陣列之間的存儲轉(zhuǎn)發(fā), 克服了原有系統(tǒng)的文件服務(wù)器瓶頸。如果在文件服務(wù)器上接入多臺(理論上可多達90臺)Net-RAID, 則每接入一臺Net-RAID 便擴展了一個網(wǎng)絡(luò)通道, 多個網(wǎng)絡(luò)通道可以并行傳輸以提高系統(tǒng)的I/O帶寬, 實現(xiàn)了容量和速度同步擴展。種體系結(jié)構(gòu)充分體現(xiàn)了多通道、并行處理的原則, 它不僅在很大程度上解除了I/O操作對文件服務(wù)器性能的束縛, 也極大地提高了存儲系統(tǒng)的整體性能。 同時,它的集中數(shù)據(jù)管理方式能節(jié)約大量的管理費用。
CMDS海量存儲系統(tǒng)的文件組織可以分成兩種形式:
(1)Net-RAID作為獨立的存儲單元, 每臺Net-RAID在文件服務(wù)器上具有單獨的目錄節(jié)點, 每個節(jié)點上可以建立不同的文件系統(tǒng), 存儲不同類型的文件(如視聽、文本等), 并各自處理用戶數(shù)據(jù)的存取和網(wǎng)絡(luò)傳輸。當網(wǎng)絡(luò)用戶對不同的目錄結(jié)點發(fā)出請求時, 多個請求可以在多個陣列上并行服務(wù)。
(2) 多個Net-RAID節(jié)點上的存儲空間被虛擬成一個存儲空間的單一邏輯視圖, 數(shù)據(jù)分塊存放在多個存儲節(jié)點上。隨著存儲節(jié)點的增加, 不僅系統(tǒng)的存儲容量得到了擴大, 而且有助于提高系統(tǒng)的性能。具體來講, 多個小數(shù)據(jù)量的請求, 可以由多個存儲節(jié)點并行地獨立完成, 從而提高系統(tǒng)的吞吐量。一個大數(shù)據(jù)量的請求, 數(shù)據(jù)分布在多個存儲節(jié)點上, 多個存儲節(jié)點并行操作, 可以提高單個請求的數(shù)傳率。靈活的使用方式可以滿足不同的使用環(huán)境, 既可以滿足事務(wù)處理等多個小數(shù)據(jù)量的突發(fā)請求, 也可以滿足大數(shù)據(jù)量的連續(xù)請求(如媒體流)。我們主要研究第二種文件組織形式, 它具有以下特點(如圖2所示)。
(1) 獨立的文件組織管理器
文件組織管理器負責監(jiān)視文件組織系統(tǒng)中的所有操作,并為網(wǎng)絡(luò)用戶提供數(shù)據(jù)描述。當一個網(wǎng)絡(luò)用戶試圖存取數(shù)據(jù)時, 它通過數(shù)據(jù)表示向文件組織管理器發(fā)出請求, 文件組織管理器啟動它的存取控制機制判斷該網(wǎng)絡(luò)用戶是否有存儲這一數(shù)據(jù)的權(quán)限, 然后再檢查是否有其他用戶鎖定這一數(shù)據(jù)。如果網(wǎng)絡(luò)用戶不能存取數(shù)據(jù), 文件組織管理器就會向網(wǎng)絡(luò)用戶發(fā)出拒絕或錯誤信息。如果網(wǎng)絡(luò)用戶擁有存取權(quán)限并沒有被文件鎖定拒絕, 文件組織管理器就通過數(shù)據(jù)結(jié)構(gòu)判斷數(shù)據(jù)的網(wǎng)絡(luò)地址(即數(shù)據(jù)所在的存儲節(jié)點在CMDS海量存儲系統(tǒng)中的位置, 因為數(shù)據(jù)位置不僅僅是邏輯塊地址, 還包括附加的網(wǎng)絡(luò)地址或存儲節(jié)點的名稱) 和存儲位置, 然后將其傳送到網(wǎng)絡(luò)用戶。網(wǎng)絡(luò)用戶接收到位置信息后重新組織數(shù)據(jù)結(jié)構(gòu), 然后通過網(wǎng)絡(luò)通道直接與存儲子系統(tǒng)交互并存取數(shù)據(jù)。此時既可以采用基于NFS或CIFS的文件I/O進行交互, 也可以采用基于SCSI協(xié)議或FC協(xié)議的塊I/O進行交互。獨立的文件組織管理器體現(xiàn)的就是一種集中管理的思想, 以便于降低管理開銷提高管理質(zhì)量。
(2) 分布式的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)存儲
在網(wǎng)絡(luò)存儲系統(tǒng)的文件組織系統(tǒng)中, 尋址模式?jīng)Q定了網(wǎng)絡(luò)地址及存儲地址的存儲位置。CMDS海量存儲系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分布存儲在存儲系統(tǒng)中的多個存儲節(jié)點上, 所有使用該系統(tǒng)的網(wǎng)絡(luò)用戶都使用同一個文件組織系統(tǒng)映像。該系統(tǒng)通過使用數(shù)據(jù)結(jié)構(gòu)來實現(xiàn)這種映像, 其數(shù)據(jù)結(jié)構(gòu)將所有存儲節(jié)點的網(wǎng)絡(luò)地址作為數(shù)據(jù)尋址運算法則的一部分。由于采用分布式的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)存儲, 該系統(tǒng)可以使用RAID算法在存儲系統(tǒng)中處理文件組織和數(shù)據(jù)冗余。 因此,它采用分塊技術(shù)將目錄數(shù)據(jù)、文件數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)跨越存放在多個存儲節(jié)點上。由于文件數(shù)據(jù)分塊冗余存放在多個存儲節(jié)點上, 使得存儲系統(tǒng)中的某一個存儲節(jié)點發(fā)生錯誤時仍然可以繼續(xù)操作。 同時, 通過增加存儲節(jié)點的數(shù)量, 可以在系統(tǒng)結(jié)構(gòu)上增加物理數(shù)據(jù)通道的并行度來提高系統(tǒng)的性能。
文件I/O與塊I/O
圖3 表示來自網(wǎng)絡(luò)用戶的文件I/O與塊I/O在目標設(shè)備上的數(shù)據(jù)流向。 對于文件I/O的目標設(shè)備而言,Linux中的虛擬文件系統(tǒng)(VFS)分別管理向網(wǎng)絡(luò)用戶提供文件共享的網(wǎng)絡(luò)文件系統(tǒng)和控制本地存儲設(shè)備上的數(shù)據(jù)組織的本地磁盤文件系統(tǒng)。當用戶空間的應(yīng)用程序接收到來自網(wǎng)絡(luò)用戶的文件I/O請求時, 會將其交給VFS, 并由VFS 找到相應(yīng)的磁盤文件系統(tǒng), 然后由磁盤文件系統(tǒng)通過查找索引結(jié)點信息將文件I/O請求轉(zhuǎn)換成塊I/O, 最后通過卷管理器和塊設(shè)備驅(qū)動程序來訪問相應(yīng)的數(shù)據(jù)。對于塊I/O的目標設(shè)備, 可以不需要任何文件系統(tǒng), 因為來自網(wǎng)絡(luò)用戶的塊I/O請求本身就包含了請求數(shù)據(jù)在目標設(shè)備上的塊地址信息(此即文件組織系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)) , 因此, 當該設(shè)備通過TCP/IP協(xié)議棧接收到網(wǎng)絡(luò)用戶的I/O請求后, 可以直接將該I/O請求轉(zhuǎn)交給卷管理器, 然后通過磁盤的設(shè)備驅(qū)動程序就可以訪問相應(yīng)的數(shù)據(jù)。
由上面的分析以及圖3可知, 塊I/O相對于文件I/O避免了用戶空間和系統(tǒng)空間的切換, 避免了所有的I/O請求及其數(shù)據(jù)穿越網(wǎng)絡(luò)文件系統(tǒng)、虛擬文件系統(tǒng)以及本地磁盤文件系統(tǒng)的開銷, 同時還避免了磁盤文件系統(tǒng)將文件I/O轉(zhuǎn)換成塊I/O時查詢索引結(jié)點的開銷。因此, CMDS海量存儲系統(tǒng)圖4CMDS海量存儲系統(tǒng)軟件結(jié)構(gòu)采用塊級I/O, 直接通過數(shù)據(jù)的物理地址信息來訪問存儲設(shè)備(Net-RAID群) , 使數(shù)據(jù)檢索與訪問的速度優(yōu)于采用文件I/O時的速度。
CMDS海量存儲系統(tǒng)的軟件結(jié)構(gòu)與工作流程
CMDS海量存儲系統(tǒng)軟件結(jié)構(gòu)如圖4所示。它的主要功能是實現(xiàn)服務(wù)器、海量存儲系統(tǒng)和客戶端三者之間的通信和協(xié)同。CMDS軟件可以分為三個層次:通道控制層、命令控制層和網(wǎng)絡(luò)通訊層。
分為駐留服務(wù)器的和駐留在Net-RAID群底層的通道控制器。這一層負責服務(wù)器與Net-RAID群間的命令和控制信息的傳遞。
服務(wù)器中的通道控制器用于建立服務(wù)器與Net-RAID群的命令通道。在傳統(tǒng)的存儲服務(wù)模式下, 它將上層系統(tǒng)解析后的所有I/O命令發(fā)至存儲設(shè)備, 并接受存儲設(shè)備執(zhí)行后的返回結(jié)果。而對于CMDS海量存儲系統(tǒng), 駐留在服務(wù)器中的通道控制器只執(zhí)行其中涉及控制文件系統(tǒng)結(jié)構(gòu)和文件屬性的I/O任務(wù); 并且, 服務(wù)器端的通道控制器直接利用服務(wù)器現(xiàn)有的SCSI通道驅(qū)動程序。Net-RAID群中的通道控制器, 負責接收來自服務(wù)器主從外設(shè)通道的所有I/O命令和消息, 將執(zhí)行結(jié)果回送給服務(wù)器。
命令控制層
這一控制層是該海量存儲系統(tǒng)的核心層。它分為服務(wù)器中的命令解析器和Net-RAID 群中的命令執(zhí)行器兩部分。主要用于解析網(wǎng)絡(luò)用戶的I/O請求, 獲得文件所在磁盤陣列的位置信息和文件數(shù)據(jù)的存儲地址組, 實現(xiàn)請求服務(wù)。駐留在服務(wù)器端的命令解析器由用戶請求處理、地址解析、訪問控制等模塊組成, 它根據(jù)記載的用戶信息, 對用戶請求進行認證, 判定其合法性和請求權(quán)限, 依據(jù)請求的類型分別處理。對于用戶的文件讀寫請求, 經(jīng)地址解析后生成相應(yīng)的存儲地址信息。地址解析完成后, 將用戶授權(quán)通過通道控制層通知Net-RAID群, 將授權(quán)字、Net-RAID 群地址和數(shù)據(jù)存儲地址組通過網(wǎng)絡(luò)通訊層通知客戶端。
駐留在Net-RAID群中的命令執(zhí)行器由I/O調(diào)度、命令分解/合并、Buffer管理等模塊組成, 按照一定的優(yōu)化策略, 動態(tài)的對來自外設(shè)通道和網(wǎng)絡(luò)通道的I/O命令進行分解、合并和調(diào)度, 執(zhí)行實際的磁盤I/O操作。操作完成后, 依據(jù)不同的情況分別經(jīng)由網(wǎng)絡(luò)通信層與客戶交換文件數(shù)據(jù), 或者經(jīng)由通道控制層給服務(wù)器回送執(zhí)行結(jié)果。
網(wǎng)絡(luò)通訊層
此層用以處理多個節(jié)點的命令和數(shù)據(jù)的網(wǎng)絡(luò)傳輸。服務(wù)器端的網(wǎng)絡(luò)通訊層接受客戶的服務(wù)請求, 傳送給命令控制層并將命令控制層的分析結(jié)果反饋給客戶端; 客戶端的網(wǎng)絡(luò)通訊層負責向服務(wù)器提交請求并接收服務(wù)器返回的結(jié)果, 它還負責建立與Net-RAID 群的網(wǎng)絡(luò)連接;Net-RAID 群的網(wǎng)絡(luò)通訊層與客戶端一起, 完成Net-RAID 群與客戶端之間直接傳送數(shù)據(jù)的任務(wù)。
由于命令與數(shù)據(jù)分流, CMDS海量存儲系統(tǒng)采用定制的三方協(xié)議, 其文件請求服務(wù)的工作流程有別于傳統(tǒng)的工作模式。圖5所示為讀文件請求的工作流程, 寫文件請求的工作流程與此類似, 此處略。
為了獲得CMDS海量存儲系統(tǒng)的性能參數(shù), 我們構(gòu)造了一個系統(tǒng)原型, 由文件服務(wù)器和兩臺EIDE磁盤陣列組成, 系統(tǒng)配置如表1所示。每臺磁盤陣列配2塊磁盤, 分別掛接在兩個IDE接口上。網(wǎng)絡(luò)環(huán)境為
網(wǎng)絡(luò)用戶采用三臺PC機, 配置均為:CPU:Celeron 2GHZ,MEM:128MB, 硬盤:ST
表2表示三個用戶, 每個用戶一個進程, 測試文件大小為124MB時系統(tǒng)的平均數(shù)傳率比較。圖6為多用戶系統(tǒng)的集合I/O帶寬比較。可見, CMDS海量存儲系統(tǒng)的平均數(shù)傳率和集合I/O帶寬均高于傳統(tǒng)的存儲系統(tǒng), 而且, 用戶數(shù)越多, 性能提高越明顯。最好情況下, 系統(tǒng)的讀寫集合I/O帶寬分別提高82%和107%。由于CMDS海量存儲系統(tǒng)的兩個存儲結(jié)點提供了兩個
CMDS海量存儲系統(tǒng)中, 文件服務(wù)器上CPU和內(nèi)存的開銷也明顯要低于傳統(tǒng)系統(tǒng), 主要是由于CMDS海量存儲系統(tǒng)實行了命令與數(shù)據(jù)分流, 避免了大量的數(shù)據(jù)在存儲結(jié)點和文件服務(wù)器之間的往返拷貝, 將高性能的存儲設(shè)備和網(wǎng)絡(luò)帶寬充分提供給網(wǎng)絡(luò)用戶, 而不被傳統(tǒng)文件服務(wù)器瓶頸所限制。
從表2可以發(fā)現(xiàn), 兩個系統(tǒng)的內(nèi)存的利用率幾乎都在80%以上, 這主要是由于Linux系統(tǒng)的內(nèi)存管理采用貪婪調(diào)度算法, 它盡量將內(nèi)存分配給系統(tǒng)使用, 不夠時再進行調(diào)度和再分配。因此, 即使傳統(tǒng)系統(tǒng)中內(nèi)存的利用率一直在97%左右, 在當前的負載情況下, 內(nèi)存也不會成為系統(tǒng)的瓶頸。傳統(tǒng)系統(tǒng)中網(wǎng)絡(luò)的集合帶寬幾乎達到峰值, 很明顯, 網(wǎng)絡(luò)通道成為整個系統(tǒng)的瓶頸, 如果提高網(wǎng)絡(luò)通道的帶寬, 文件服務(wù)器上的內(nèi)存就很有可能成為系統(tǒng)的瓶頸。CMDS海量存儲系統(tǒng)中由于采用了兩個網(wǎng)絡(luò)通道, 在當前的負載情況下, 應(yīng)該還有提升的空間, 而且其內(nèi)存的利用率也還沒有達到飽和。
隨著體系結(jié)構(gòu)和系統(tǒng)硬件的改變, 系統(tǒng)的瓶頸總是在不斷轉(zhuǎn)移。我們曾做過這樣的試驗, 服務(wù)器采用PIII500MHZ的CPU, 64MB內(nèi)存, SYM
當使用峰值帶寬為40MB/s的SYM
表3表示三個用戶, 每個用戶兩個進程, 測試文件大小為124MB時系統(tǒng)的平均數(shù)傳率比較。圖7表示同等測試環(huán)境下系統(tǒng)的集合I/O帶寬。在兩個進程和四個進程的情況下,CMDS海量存儲系統(tǒng)的集合帶寬比傳統(tǒng)系統(tǒng)要略差, 主要是由于網(wǎng)絡(luò)用戶和多個存儲節(jié)點之間直接進行數(shù)據(jù)交換, 必須要在網(wǎng)絡(luò)用戶端進行數(shù)據(jù)的整合和分配, 因此存在一定的開銷。在網(wǎng)絡(luò)用戶端單進程的情況下, 該影響還不明顯, 但多個進程之后, 會導(dǎo)致系統(tǒng)性能的下降。當三個用戶六個進程時,傳統(tǒng)系統(tǒng)由于受文件服務(wù)器上網(wǎng)絡(luò)通道帶寬的限制, 其性能又明顯低于CMDS海量存儲系統(tǒng)。如果對網(wǎng)絡(luò)用戶端的軟件進行優(yōu)化(比如減少內(nèi)存拷貝的開銷), 則可以降低其影響。
總 結(jié)
CMDS海量存儲系統(tǒng)使文件服務(wù)器與存儲設(shè)備的關(guān)系由原來的主從關(guān)系轉(zhuǎn)變?yōu)橄嗷ヒ来娴膶Φ汝P(guān)系, 并且存儲設(shè)備具有了新的自主功能。其文件集中管理、數(shù)據(jù)分布存儲的體系結(jié)構(gòu)同時具有集中式存儲和分布式存儲兩者的優(yōu)點, 不僅易于管理, 而且高性能、高可擴展。它還具有存儲空間的單一邏輯視圖、流水命令響應(yīng)與并行數(shù)據(jù)I/O、負載動態(tài)遷移和高可用性等特點。
另一方面, CMDS海量存儲系統(tǒng)也是一個全新的、不斷完善的系統(tǒng);今后研究的重點包括以下幾個方面的內(nèi)容:首先,設(shè)法屏蔽上層各種不同的應(yīng)用, 實現(xiàn)該系統(tǒng)與現(xiàn)有存儲系統(tǒng)的無縫連接;其次, 實現(xiàn)存儲空間的在線動態(tài)擴容、數(shù)據(jù)的動態(tài)遷移等是今后需要研究的課題;另外, 如何保證在傳輸過程中的數(shù)據(jù)安全以及數(shù)據(jù)的一致性也是一個待解決的問題。
下載文檔
