Redis 6.0 新特性-多線程連環(huán)13問！

來自：碼大叔

導(dǎo)讀：支持多線程的Redis6.0版本于2020-05-02終于發(fā)布了，為什么Redis忽然要支持多線程？如何開啟多線程？開啟后性能提升效果如何？線程數(shù)量該如何設(shè)置？開啟多線程后會不會有線程安全問題？多線程的實現(xiàn)原理是怎樣的？帶著這些疑問，我們來開啟Redis新特性-多線程連環(huán)13問。

    在全國一片祥和IT民工歡度五一節(jié)假日的時候，Redis 6.0不聲不響地于5 月 2 日正式發(fā)布了，嚇得我趕緊從床上爬起來，學(xué)無止境！學(xué)無止境！

    對于6.0版本，Redis之父Antirez在RC1版本發(fā)布時（2019-12-19）在他的博客上連續(xù)用了幾個“EST”詞語來評價： 

the most “enterprise” Redis version to date // 最”企業(yè)級”的

the largest release of Redis ever as far as I can tell // 最大的

the one where the biggest amount of people participated // 參與人數(shù)最多的

這個版本提供了諸多令人心動的新特性及功能改進(jìn)，比如新網(wǎng)絡(luò)協(xié)議RESP3，新的集群代理，ACL等，其中關(guān)注度最高的應(yīng)該是“多線程”了，筆者也第一時間體驗了一下，帶著眾多疑問，我們來一起開始“Redis 6.0 新特性-多線程連環(huán)13問”。

Redis 6.0 多線程連環(huán)13問

—

1.Redis6.0之前的版本真的是單線程嗎？

     Redis在處理客戶端的請求時，包括獲取 (socket 讀)、解析、執(zhí)行、內(nèi)容返回 (socket 寫) 等都由一個順序串行的主線程處理，這就是所謂的“單線程”。但如果嚴(yán)格來講從Redis4.0之后并不是單線程，除了主線程外，它也有后臺線程在處理一些較為緩慢的操作，例如清理臟數(shù)據(jù)、無用連接的釋放、大 key 的刪除等等。

2.Redis6.0之前為什么一直不使用多線程？

3.Redis6.0為什么要引入多線程呢？

    Redis將所有數(shù)據(jù)放在內(nèi)存中，內(nèi)存的響應(yīng)時長大約為100納秒，對于小數(shù)據(jù)包，Redis服務(wù)器可以處理80,000到100,000 QPS，這也是Redis處理的極限了，對于80%的公司來說，單線程的Redis已經(jīng)足夠使用了。

    但隨著越來越復(fù)雜的業(yè)務(wù)場景，有些公司動不動就上億的交易量，因此需要更大的QPS。常見的解決方案是在分布式架構(gòu)中對數(shù)據(jù)進(jìn)行分區(qū)并采用多個服務(wù)器，但該方案有非常大的缺點，例如要管理的Redis服務(wù)器太多，維護(hù)代價大；某些適用于單個Redis服務(wù)器的命令不適用于數(shù)據(jù)分區(qū)；數(shù)據(jù)分區(qū)無法解決熱點讀/寫問題；數(shù)據(jù)偏斜，重新分配和放大/縮小變得更加復(fù)雜等等。

    從Redis自身角度來說，因為讀寫網(wǎng)絡(luò)的read/write系統(tǒng)調(diào)用占用了Redis執(zhí)行期間大部分CPU時間，瓶頸主要在于網(wǎng)絡(luò)的 IO 消耗, 優(yōu)化主要有兩個方向:

    ? 提高網(wǎng)絡(luò) IO 性能，典型的實現(xiàn)比如使用 DPDK 來替代內(nèi)核網(wǎng)絡(luò)棧的方式

    ? 使用多線程充分利用多核，典型的實現(xiàn)比如 Memcached。

 協(xié)議棧優(yōu)化的這種方式跟 Redis 關(guān)系不大，支持多線程是一種最有效最便捷的操作方式。所以總結(jié)起來，redis支持多線程主要就是兩個原因：

    ? 可以充分利用服務(wù)器 CPU 資源，目前主線程只能利用一個核

    ? 多線程任務(wù)可以分?jǐn)?Redis 同步 IO 讀寫負(fù)荷

4.Redis6.0默認(rèn)是否開啟了多線程？ 

    Redis6.0的多線程默認(rèn)是禁用的，只使用主線程。如需開啟需要修改redis.conf配置文件：io-threads-do-reads yes

5.Redis6.0多線程開啟時，線程數(shù)如何設(shè)置？

    開啟多線程后，還需要設(shè)置線程數(shù)，否則是不生效的。同樣修改redis.conf配置文件

    關(guān)于線程數(shù)的設(shè)置，官方有一個建議：4核的機(jī)器建議設(shè)置為2或3個線程，8核的建議設(shè)置為6個線程，線程數(shù)一定要小于機(jī)器核數(shù)。還需要注意的是，線程數(shù)并不是越大越好，官方認(rèn)為超過了8個基本就沒什么意義了。

6.Redis6.0采用多線程后，性能的提升效果如何？

    Redis 作者 antirez 在 RedisConf 2019分享時曾提到：Redis 6 引入的多線程 IO 特性對性能提升至少是一倍以上。國內(nèi)也有大牛曾使用unstable版本在阿里云esc進(jìn)行過測試，GET/SET 命令在4線程 IO時性能相比單線程是幾乎是翻倍了。

測試環(huán)境：

Redis Server: 阿里云 Ubuntu 18.04，8 CPU 2.5 GHZ, 8G 內(nèi)存，主機(jī)型號 ecs.ic5.2xlarge

Redis Benchmark Client: 阿里云 Ubuntu 18.04，8 2.5 GHZ CPU, 8G 內(nèi)存，主機(jī)型號 ecs.ic5.2xlarge

測試結(jié)果：

詳見：https://zhuanlan.zhihu.com/p/76788470

說明1：這些性能驗證的測試并沒有針對嚴(yán)謹(jǐn)?shù)难訒r控制和不同并發(fā)的場景進(jìn)行壓測。數(shù)據(jù)僅供驗證參考而不能作為線上指標(biāo)。

說明2：如果開啟多線程，至少要4核的機(jī)器，且Redis實例已經(jīng)占用相當(dāng)大的CPU耗時的時候才建議采用，否則使用多線程沒有意義。所以估計80%的公司開發(fā)人員看看就好。

7.Redis6.0多線程的實現(xiàn)機(jī)制？ 

流程簡述如下：

1、主線程負(fù)責(zé)接收建立連接請求，獲取 socket 放入全局等待讀處理隊列

2、主線程處理完讀事件之后，通過 RR(Round Robin) 將這些連接分配給這些 IO 線程

3、主線程阻塞等待 IO 線程讀取 socket 完畢

4、主線程通過單線程的方式執(zhí)行請求命令，請求數(shù)據(jù)讀取并解析完成，但并不執(zhí)行

5、主線程阻塞等待 IO 線程將數(shù)據(jù)回寫 socket 完畢

6、解除綁定，清空等待隊列

（圖片來源：https://ruby-china.org/topics/38957）

該設(shè)計有如下特點：

1、IO 線程要么同時在讀 socket，要么同時在寫，不會同時讀或?qū)?/span>

2、IO 線程只負(fù)責(zé)讀寫 socket 解析命令，不負(fù)責(zé)命令處理

8.開啟多線程后，是否會存在線程并發(fā)安全問題？ 

9.Linux環(huán)境上如何安裝Redis6.0.1（6.0的正式版是6.0.1）？ 

[root@centos7.5 ~]# lscpuArchitecture: x86_64CPU op-mode(s): 32-bit, 64-bitByte Order: Little EndianCPU(s): 4On-line CPU(s) list: 0-3

10.Redis6.0的多線程和Memcached多線程模型進(jìn)行對比

如上圖所示：Memcached 服務(wù)器采用 master-woker 模式進(jìn)行工作，服務(wù)端采用 socket 與客戶端通訊。主線程、工作線程 采用 pipe管道進(jìn)行通訊。主線程采用 libevent 監(jiān)聽 listen、accept 的讀事件，事件響應(yīng)后將連接信息的數(shù)據(jù)結(jié)構(gòu)封裝起來，根據(jù)算法選擇合適的工作線程，將連接任務(wù)攜帶連接信息分發(fā)出去，相應(yīng)的線程利用連接描述符建立與客戶端的socket連接 并進(jìn)行后續(xù)的存取數(shù)據(jù)操作。

Redis6.0與Memcached多線程模型對比：

相同點：都采用了 master線程-worker 線程的模型

不同點：Memcached 執(zhí)行主邏輯也是在 worker 線程里，模型更加簡單，實現(xiàn)了真正的線程隔離，符合我們對線程隔離的常規(guī)理解。而 Redis 把處理邏輯交還給 master 線程，雖然一定程度上增加了模型復(fù)雜度，但也解決了線程并發(fā)安全等問題。

11.Redis作者是如何點評 “多線程”這個新特性的？

經(jīng)過深思熟慮，Redis不會采用“I/O threading”，redis在運行時主要受制于網(wǎng)絡(luò)和內(nèi)存，所以提升redis性能主要是通過在多個redis實例，特別是redis集群。接下來我們主要會考慮改進(jìn)兩個方面：

1. Redis集群的多個實例通過編排能夠合理地使用本地實例的磁盤，避免同時重寫AOF。

2.提供一個Redis集群代理，便于用戶在沒有較好的集群協(xié)議客戶端時抽象出一個集群。

補(bǔ)充說明一下，Redis和memcached一樣是一個內(nèi)存系統(tǒng)，但不同于Memcached。多線程是復(fù)雜的，必須考慮使用簡單的數(shù)據(jù)模型，執(zhí)行LPUSH的線程需要服務(wù)其他執(zhí)行LPOP的線程。

我真正期望的實際是“slow operations threading”，在redis6或redis7中，將提供“key-level locking”，使得線程可以完全獲得對鍵的控制以處理緩慢的操作。

詳見：http://antirez.com/news/126

12.Redis線程中經(jīng)常提到IO多路復(fù)用，如何理解？

多路指的是多個socket連接，復(fù)用指的是復(fù)用一個線程。多路復(fù)用主要有三種技術(shù)：select，poll，epoll。epoll是最新的也是目前最好的多路復(fù)用技術(shù)。采用多路 I/O 復(fù)用技術(shù)可以讓單個線程高效的處理多個連接請求（盡量減少網(wǎng)絡(luò)IO的時間消耗），且Redis在內(nèi)存中操作數(shù)據(jù)的速度非?？欤▋?nèi)存內(nèi)的操作不會成為這里的性能瓶頸），主要以上兩點造就了Redis具有很高的吞吐量。

13.你知道Redis的彩蛋LOLWUT嗎？

| 參考、致謝

Rdis作者Antirez的博客：http://antirez.com

https://www.zhihu.com/question/26943938/answer/68773398

https://zhuanlan.zhihu.com/p/76788470

http://www.web-lovers.com/redis-source-6-rc-mult-thread.html

https://ruby-china.org/topics/38957

https://redis.io/topics/faq#redis-is-single-threaded-how-can-i-exploit-multiple-cpu--cores

https://juejin.im/post/5e9ae485f265da47b04d95d2

https://www.cnblogs.com/gattaca/p/6929361.html

本文圖片來自互聯(lián)網(wǎng)，版權(quán)歸原作者所有

< END >

特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：
長按訂閱更多精彩▼
如有收獲，點個在看，誠摯感謝