北京2022年10月19日 /美通社/ -- 作為一種軟硬一體化的基礎設施架構,超融合具備易運維、易部署等優(yōu)勢,在多種行業(yè)與場景中得到了廣泛應用。在金融、醫(yī)療等行業(yè)的部署中,面向數(shù)據(jù)庫等場景的超融合一體機面臨著巨大的存儲性能挑戰(zhàn),用戶需要提升數(shù)據(jù)吞吐能力并降低時延,以支撐關鍵型業(yè)務的高效運行。
為提升存儲子系統(tǒng)的性能,浪潮使用了存儲性能開發(fā)套件(SPDK),并通過NVMe over Fabrics(NVMe-oF)協(xié)議進行加速。NVMe-oF協(xié)議作為iSCSI協(xié)議的替代者,可以讓主機以使用本機 NVMe協(xié)議方式訪問分布式存儲,提供低延時、高吞吐的塊存儲設備,解決了內(nèi)核態(tài)驅動讀寫NVMe磁盤時可能會出現(xiàn)的內(nèi)核上下文切換和CPU中斷問題。優(yōu)化后的方案能夠為客戶虛擬機提供高性能的分布式存儲,降低總體時延和減少時延差異。
金融與醫(yī)療行業(yè)面臨存儲性能瓶頸
近年來,越來越多的金融與醫(yī)療機構開始擁抱超融合,希望通過部署超融合一體機等方式,對硬件加以重構,以軟件定義的方式打造靈活高效的IT基礎設施。在擁抱超融合的同時,金融與醫(yī)療機構也非常關注超融合能否提供強大的存儲能力。
如今NVMe SSD的IOPS已經(jīng)遠遠高出HDD磁盤,時延從毫秒壓縮到微秒,系統(tǒng)的性能瓶頸也由存儲硬件本身逐漸轉移到網(wǎng)絡及處理器上。傳統(tǒng)文件系統(tǒng)和調(diào)度器等方法由于無法充分發(fā)揮新存儲介質(zhì)的性能,成為存儲系統(tǒng)的新瓶頸,具體包括:
- 利用常規(guī)的NVMe內(nèi)核驅動讀寫NVMe磁盤時,會遇到內(nèi)核上下文切換和CPU中斷問題。在高性能的全閃存儲中,中斷意味著時延的不確定,會導致較大時延和性能開銷。
- 在傳統(tǒng)的I/O模型中,應用程序提交讀寫請求后進入睡眠狀態(tài)。待I/O完成后,中斷會將其喚醒,中斷開銷成為了整個I/O時間中非常重要的一部分。
浪潮云海超融合一體機 InCloud Rail實現(xiàn)多維創(chuàng)新
作為新一代超融合解決方案,浪潮云海超融合一體機InCloud Rail通過軟件定義的計算、存儲和網(wǎng)絡技術實現(xiàn)了服務器的資源池化,使整個IT環(huán)境比單獨的物理硬件具有更高的可用性、安全性和擴展性,能夠有效滿足企業(yè)對于降低成本、簡化管理、提高安全性和擴展性的需求,助力企業(yè)向云計算遷移核心業(yè)務、構建企業(yè)云數(shù)據(jù)中心。
InCloud Rail實現(xiàn)了存儲資源的池化和統(tǒng)一管理,并通過全閃存架構的軟件定義存儲SmartONE支持異構算力的融合。SmartONE采用etcd組件作為集群管理,負責分布式存儲的節(jié)點的關系、節(jié)點之間的元數(shù)據(jù)傳遞及一致性等。在資源管理方面SmartONE提供了qemu、iSCSI和NVMe-oF的服務入口,對接VDI卷管理入口,對外提供存儲資源。在對象存儲方面,SmartONE主要接收VDI的IO請求,根據(jù)數(shù)據(jù)分布算法調(diào)度到相關節(jié)點,根據(jù)副本策略和EC規(guī)則調(diào)用Gateway分發(fā)到分布式存儲的存儲節(jié)點。
圖1. 浪潮云海超融合一體機InCloud Rail架構
圖2. 浪潮SmartONE軟件架構
為了滿足數(shù)據(jù)庫等實時讀寫、隨機訪問超大規(guī)模數(shù)據(jù)集等場景對于存儲性能的嚴苛要求, InCloud Rail除了探索使用新一代存儲介質(zhì)之外,在SmartONE分布式存儲的單機存儲引擎、NVMe-oF存儲服務等模塊中,采用了SPDK進行優(yōu)化。
單機存儲引擎方面,浪潮SmartONE分布式存儲基于SPDK的NVMe驅動實現(xiàn)了高性能底座,支持和NVMe磁盤設備直接交互,同時采用無鎖設計,并行處理IO命令。此外,NVMe上層實現(xiàn)了專屬NVMe的單機存儲引擎系統(tǒng),該引擎系統(tǒng)通過基于內(nèi)存的元數(shù)據(jù)和日志管理系統(tǒng),有效避免了傳統(tǒng)文件系統(tǒng)的雙寫問題。測試數(shù)據(jù)顯示,浪潮SmartONE分布式存儲的單機存儲引擎幾乎達到了NVMe物理硬盤支持的性能上限。
圖3 專屬 NVMe 的單機存儲引擎系統(tǒng)
NVMe-oF 分布式存儲服務方面,NVMe-oF分布式存儲服務為超融合平臺提供兩種塊服務解決方案,其一是采用vhost-user技術方案,可以為虛擬機提供更短的IO路徑;其二是作為存儲服務,為服務器提供NVMe-oF的TCP/RDMA的塊服務。SmartONE利用SPDK vhost-user技術,直接消除Guest虛擬機通過PCIE方式訪問NVMe設備,避免內(nèi)核更新PCI配置空間;同時直接在用戶態(tài)捕獲QEMU虛擬IO,以零拷貝方式將數(shù)據(jù)傳輸?shù)酱鎯ο到y(tǒng)中。
SmartONE支持以NVMe-oF存儲協(xié)議方式提供塊存儲服務,它可以提供TCP和RDMA兩種形式的外部訪問。NVMe-oF存儲協(xié)議作為iSCSI協(xié)議的替代者,可以讓主機以使用本機NVMe協(xié)議的方式訪問分布式存儲,提供低延時、高吞吐的塊存儲設備。
圖4 SmartONE NVMe-oF分布式存儲服務
消除性能瓶頸,打造高性能存儲
浪潮SmartONE分布式存儲系統(tǒng)能夠充分發(fā)揮NVMe固態(tài)盤的性能潛力,應對在IOPS和時延方面有著較高要求的數(shù)據(jù)庫應用場景。
- 顯著提升存儲系統(tǒng)的性能,并降低數(shù)據(jù)時延,能夠滿足有著苛刻要求的數(shù)據(jù)庫應用場景,同時有效控制分布式存儲系統(tǒng)的總體擁有成本(TCO);
- 集成于超融合一體機中,能夠通過一體機所預置的虛擬化平臺、云管理平臺、快速部署工具以及相關的工作流程,顯著簡化部署、管理和運維工作的復雜性。
未來,浪潮還將堅持以用戶為中心,緊密結合前沿技術發(fā)展趨勢與市場需求,持續(xù)創(chuàng)新引領、迭代優(yōu)化,打造集融合至簡、性能不凡、強大可靠、開放生態(tài)特性于一身的超融合一體機,持續(xù)為用戶業(yè)務上云、數(shù)字化轉型升級貢獻力量。