突然掛了！Redis緩存都在內(nèi)存中，這下完了

我是Redis，一個叫Antirez的男人把我?guī)У搅诉@個世界上。

“快醒醒！快醒醒！”，隱隱約約，我聽到有人在叫我。

慢慢睜開眼睛，原來旁邊是MySQL大哥。

“我怎么睡著了？”

“嗨，你剛才是不是出現(xiàn)了錯誤，整個進程都崩潰了！害得一大堆查詢請求都給我懟過來了！”，MySQL說到。

剛剛醒來，腦子還有點懵，MySQL大哥扶我起來繼續(xù)工作。

“糟了！我之前緩存的數(shù)據(jù)全都不見了！”

“WTF？你沒有做持久化嗎？”，MySQL大哥一聽臉色都變了。

我尷尬的搖了搖頭，“我都是保存在內(nèi)存中的，所以才那么快啊”

“那也可以在硬盤上保存一下啊，遇到這種情況全部從頭再來建立緩存，這不浪費時間嘛！”

我點了點頭，“讓我琢磨一下，看看怎么做這個持久化”。

RDB持久化

沒幾天，我就拿出了一套方案：RDB

既然我的數(shù)據(jù)都在內(nèi)存中存放著，最簡單的就是遍歷一遍把它們?nèi)紝懭胛募小?

為了節(jié)約空間，我定義了一個二進制的格式，把數(shù)據(jù)一條一條碼在一起，生成了一個RDB文件。

不過我的數(shù)據(jù)量有點大，要是全部備份一次得花不少時間，所以不能太頻繁的去做這事，要不然我不用干正事了，光花時間去備份了。

還有啊，要是一直沒有寫入操作，都是讀取操作，那我也不用重復備份，浪費時間。

思來想去，我決定提供一個配置參數(shù)，既可以支持周期性備份，也可以避免做無用功。

就像這樣：

• save 900 1 ? ? # 900秒（15分鐘）內(nèi)有1個寫入
• save 300 10 ? ?# 300秒（5分鐘）內(nèi)有10個寫入
• save 60 10000 ?# 60秒（1分鐘）內(nèi)有10000個寫入

多個條件可以組合使用，只要上面一個條件滿足，我就會去進行備份。

后來我又想了一下，這樣還是不行，我得fork出一個子進程去做這件事，不能浪費我的時間。

有了備份文件，下次我再遇到崩潰退出，甚至服務器斷電罷工了，只要我的備份文件還在，我就能在啟動的時候讀取，快速恢復之前的狀態(tài)啦！

MySQL:binlog

我?guī)е@套方案，興沖沖的拿給了MySQL大哥看了，期待他給我一些鼓勵。

“老弟，你這個方案有點問題啊”，沒想到，他竟給我澆了一盆冷水。

“問題？有什么問題？”

“你看啊，你這個周期性去備份，周期還是分鐘級別的，你可知道咱們這服務每秒鐘都要響應多少請求，像你這樣不得丟失多少數(shù)據(jù)？”，MySQL語重心長的說到。

我一下有些氣短了，“可是，這個備份一次要遍歷全部數(shù)據(jù)，開銷還是挺大的，不適合高頻執(zhí)行啊”

“誰叫你一次遍歷全部數(shù)據(jù)了？來來來，我給你看個東西”，MySQL大哥把我?guī)У搅艘粋€文件目錄下：

• mysql-bin.000001
• mysql-bin.000002
• mysql-bin.000003
• ···

“看，這些是我的二進制日志binlog，你猜猜看里面都裝了些什么？”，MySQL大哥指著這一堆文件說到。

我看了一眼，全是一堆二進制數(shù)據(jù)，這哪看得懂，我搖了搖頭。

“這里面呀記錄了我對數(shù)據(jù)執(zhí)行更改的所有操作，像是INSERT，UPDATE、DELETE等等動作，等我要進行數(shù)據(jù)恢復的時候就可以派上大用場了”

聽他這么一說，我一下來了靈感！告別了MySQL大哥，回去研究起新的方案來了。

AOF持久化

你們也知道，我也是基于命令式的，每天的工作就是響應業(yè)務程序發(fā)來的命令請求。

回來以后，我決定照葫蘆畫瓢，學著MySQL大哥的樣子，把我執(zhí)行的所有寫入命令都記錄下來，專門寫入了一個文件，并給這種持久化方式也取了一個名字：AOF（Append Only File）。

不過我遇到了RDB方案同樣的問題，我該多久寫一次文件呢？

我肯定不能每執(zhí)行一條寫入命令就記錄到文件中，那會嚴重拖垮我的性能！我決定準備一個緩沖區(qū)，然后把要記錄的命令先臨時保存在這里，然后再擇機寫入文件，我把這個臨時緩沖區(qū)叫做aof_buf。

說干就干，我試了一下，竟然發(fā)現(xiàn)數(shù)據(jù)沒有寫入到文件中去。多方打聽才知道，原來操作系統(tǒng)也有個緩存區(qū)，我寫的數(shù)據(jù)被他緩存起來了，沒有給我寫入到文件中去，這不是坑爹呢嘛！

看來，我寫完了還得要去刷新一下，把數(shù)據(jù)真正給寫下去，思來想去，我還是提供一個參數(shù)，讓業(yè)務程序去設(shè)置什么時候刷新吧。

appendfsync參數(shù)，三個取值：

• always: 每個事件周期都同步刷新一次
• everysec: 每一秒都同步刷新一次
• no: 我只管寫，讓操作系統(tǒng)自己決定什么時候真正寫入吧

AOF重寫

這一次我不像之前那么沖動，我決定先試運行一段時間再去告訴MySQL大哥，免得又被他戳到軟肋。

試用了一段時間，各方面都運行良好，不過我發(fā)現(xiàn)隨著時間的推移，我寫的這個AOF備份文件越來越大，越來越大！不僅非常占硬盤空間，復制移動，加載分析都非常的麻煩耗時。

我得想個辦法把文件給壓縮一下，我把這個過程叫做AOF重寫。

一開始，我打算去分析原來的AOF文件，然后將其中的冗余指令去掉，來給AOF文件瘦瘦身，不過我很快放棄了這個想法，這工作量實在太大了，分析起來也頗為麻煩，浪費很多精力跟時間。

原來的一條條記錄這種方式實在是太笨了，數(shù)據(jù)改來改去，有很多中間狀態(tài)都沒用，我何不就把最終都數(shù)據(jù)狀態(tài)記錄下來就好了？

比如：

• RPUSH name_list '編程技術(shù)宇宙'
• RPUSH name_list '帥地玩編程'
• RPUSH name_list '后端技術(shù)學堂'

可以合并成一條搞定：

• RPUSH name_list '編程技術(shù)宇宙' '帥地玩編程' '后端技術(shù)學堂'

AOF文件重寫的思路我是有了，不過這件事干起來還是很耗時間，我決定和RDB方式一樣，fork出一個子進程來做這件事情。

謹慎如我，發(fā)現(xiàn)這樣做之后，子進程在重寫期間，我要是修改了數(shù)據(jù)，就會出現(xiàn)和重寫的內(nèi)容不一致的情況！MySQL大哥肯定會挑刺兒，我還得把這個漏洞給補上。

于是，我在之前的aof_buf之外，又準備了一個緩沖區(qū)：AOF重寫緩沖區(qū)。

從創(chuàng)建重寫子進程開始的那一刻起，我把后面來的寫入命令也copy一份寫到這個重寫緩沖區(qū)中，等到子進程重寫AOF文件結(jié)束之后，我再把這個緩沖區(qū)中的命令寫入到新的AOF文件中。

最后再重命名新的AOF文件，替換掉原來的那個臃腫不堪的大文件，終于大功告成！

再三確定我的思路沒有問題之后，我?guī)е碌姆桨冈俅握业搅薓ySQL大哥，我都做到這份兒上了，這一次，想必他應該無話可說了吧？

MySQL大哥看了我的方案露出了滿意的笑容，只是問了一個問題：

這AOF方案這么好了，RDB方案是不是可以不要了呢？

萬萬沒想到，他居然問我這個問題，我竟陷入了沉思，你覺得我該怎么回答好呢？

彩蛋

“你怎么又崩潰了？”

“不好意思，又遇到bug了，不過不用擔心，我現(xiàn)在可以快速恢復了！”

“那老崩潰也不是事兒啊，你只有一個實例太不可靠了，去找?guī)讉€幫手吧！”

預知詳情，請關(guān)注后續(xù)精彩···