圖解：什么是高并發(fā)利器NoSQL？

5. NoSQL明星項(xiàng)目

開(kāi)源的NoSQL非常多，大白按照層次挑幾個(gè)典型的代表來(lái)和大家分享一下。

NoSQL可以是單機(jī)的，也可以是分布式的，可以根據(jù)自己的目的來(lái)使用。

今天要介紹的幾款數(shù)據(jù)庫(kù)：Redis、Pika、SSDB、RocksDB、LevelDB。

其中LevelDB是谷歌開(kāi)發(fā)的，RocksDB是Facebook在LevelDB的基礎(chǔ)上增加新特性開(kāi)發(fā)的，Redis則不用多說(shuō)，SSDB和Pika則是國(guó)內(nèi)開(kāi)源的類(lèi)Redis的數(shù)據(jù)庫(kù)，也非常棒。

接下來(lái)看看這幾款數(shù)據(jù)庫(kù)的特點(diǎn)、聯(lián)系、底層原理等有趣的東西。

5.1 谷歌出品LevelDB

LevelDB是谷歌的Sanjay Ghemawat和Jeff Dean使用C++開(kāi)發(fā)的單進(jìn)程/單機(jī)版持久化的key-value數(shù)據(jù)庫(kù)，于2011年7月開(kāi)源，可以說(shuō)是重磅產(chǎn)品。

LevelDB支持了最基礎(chǔ)的key-value操作：Get/Put/Delete，但是并沒(méi)有封裝其他的東西，嚴(yán)格意義上來(lái)說(shuō)只是NoSQL存儲(chǔ)引擎。

一般來(lái)說(shuō)，機(jī)械磁盤(pán)最害怕的就是隨機(jī)讀寫(xiě)，磁盤(pán)呼嚕嚕轉(zhuǎn)起來(lái)就意味著讀寫(xiě)效率在下降。

LevelDB具有很高的隨機(jī)寫(xiě)，順序讀/寫(xiě)性能，因此LevelDB很適合應(yīng)用在寫(xiě)多讀少的場(chǎng)景，真讓人好奇高性能的隨機(jī)寫(xiě)怎么做到的。

5.1.1 LSM樹(shù)

很多數(shù)據(jù)在邏輯上相近，但是在物理存儲(chǔ)上卻可能相隔很遠(yuǎn)，這樣就會(huì)造成大量的隨機(jī)讀寫(xiě)問(wèn)題，從而降低性能。

LevelDB實(shí)現(xiàn)高性能隨機(jī)寫(xiě)的秘密武器在于使用LSM樹(shù)存儲(chǔ)結(jié)構(gòu)，LSM樹(shù)又稱為日志結(jié)構(gòu)合并樹(shù)(Log-Structured Merge-Tree)，它并不是具體的數(shù)據(jù)結(jié)構(gòu)，而是一種設(shè)計(jì)思想。

LSM樹(shù)對(duì)于每次寫(xiě)入操作，并不是直接將最新的數(shù)據(jù)駐留在磁盤(pán)中，而是將數(shù)據(jù)先放在內(nèi)存。

當(dāng)內(nèi)存數(shù)據(jù)達(dá)到一定的閾值，再將這部分?jǐn)?shù)據(jù)真正刷新到磁盤(pán)文件中，從而將磁盤(pán)隨機(jī)寫(xiě)轉(zhuǎn)換為內(nèi)存順序?qū)?，因而獲得了極高的寫(xiě)性能，但是這種機(jī)制會(huì)降低讀的性能，總體來(lái)說(shuō)降低部分讀性能來(lái)大幅提升寫(xiě)性能是值得的。

5.1.2 LevelDB整體架構(gòu)

LevelDB 存儲(chǔ)結(jié)構(gòu)主要由六個(gè)部分組成：

• MemTable：內(nèi)存數(shù)據(jù)結(jié)構(gòu)，使用SkipList實(shí)現(xiàn)，新的數(shù)據(jù)修改會(huì)首先在這里寫(xiě)入，并且有容量限制。
• Immutable MemTable：待落盤(pán)的數(shù)據(jù)庫(kù)內(nèi)存結(jié)構(gòu)，當(dāng) MemTable的大小達(dá)到設(shè)定的閾值時(shí)，會(huì)變成 Immutable MemTable，只接受讀操作，不再接受寫(xiě)操作，后續(xù)會(huì)Flush到磁盤(pán)上。
• SST Files：Sorted String Table Files，磁盤(pán)數(shù)據(jù)存儲(chǔ)文件，分為 Level0 到 LevelN 多層，每一層包含多個(gè) SST 文件，文件內(nèi)數(shù)據(jù)有序。
• Manifest Files：leveldb元信息清單文件。Manifest記錄 SST 文件在不同 Level 的分布，相當(dāng)于SST文件的索引。
• Current File：當(dāng)前正在使用的文件清單文件。

LevelDB的讀寫(xiě)過(guò)程和上述的整體架構(gòu)關(guān)系密切，也是先內(nèi)存后磁盤(pán)，一層層讀取搜索數(shù)據(jù)的。

5.2 臉書(shū)出品RocksDB

青出于藍(lán)而勝于藍(lán)。

RocksDB在LevelDB的基礎(chǔ)上進(jìn)行了改進(jìn)和優(yōu)化，也成為后續(xù)很多NoSQL所選擇的存儲(chǔ)引擎。

RocksDB仍然是采用C++開(kāi)發(fā)的，并且完全向后兼容了LevelDB的接口，可以說(shuō)是個(gè)平滑升級(jí)。

5.2.1 RocksDB提升點(diǎn)

來(lái)看看RocksDB做了哪些優(yōu)化和提升：

• RocksDB支持一次 獲取多個(gè)Key，還支持Key范圍查找，LevelDB只能獲取單個(gè)Key。
• RocksDB支持 多線程合并，而LevelDB是單線程合并的，多核時(shí)代前者效率更高。
• RocksDB增加了 合并時(shí)過(guò)濾器，對(duì)不符合條件的Key進(jìn)行丟棄。
• RocksDB可采用 多種壓縮算法，除了LevelDB用的snappy，還有zlib、bzip2。
• RocksDB支持 增量備份和全量備份。
• RocksDB支持管道式的Memtable，使用 多個(gè)Memtable，LevelDB只有一個(gè)Memtable。

5.2.2 RocksDB整體架構(gòu)

Rocksdb中引入了Column Family(列族的概念，所謂列族也就是一系列kv組成的數(shù)據(jù)集，所有的讀寫(xiě)操作都需要先指定列族。

每個(gè)ColumnFamily有自己的Memtable， SST文件，所有ColumnFamily共享WAL、Current、Manifest文件。

如果說(shuō)LevelDB是個(gè)平民版的NoSQL存儲(chǔ)引擎，那么RocksDB絕對(duì)是尊享版，所以很多優(yōu)秀的NoSQL成品都是基于RocksDB來(lái)封裝上層協(xié)議和代理支持完成的。