淺談分布式系統(tǒng)一致性問題(一)
0.寫在前面
前幾天在pyq發(fā)起了約稿,分布式一致性問題的選題呼聲最高,分布式系統(tǒng)的內(nèi)容是非常龐雜的,所以我們從其中幾個(gè)重點(diǎn)的部分切入,慢慢展開。
今天重點(diǎn)來一起學(xué)習(xí)分布式系統(tǒng)一致性問題,不過內(nèi)容比較多需要分幾次寫完。
1.為什么要學(xué)分布式
作為后端從業(yè)人員,我們?cè)谡夜ぷ鲗懞?jiǎn)歷的時(shí)候除了高并發(fā)經(jīng)驗(yàn),一般還會(huì)寫上自己熟悉|了解|掌握|精通分布式系統(tǒng),所以高并發(fā)和分布式大多是成對(duì)出現(xiàn)的。
在拉勾上搜了個(gè)后端崗位:
分布式系統(tǒng)是個(gè)多金的知識(shí)點(diǎn),那還不抓緊行動(dòng)!
2. 熵增的分布式系統(tǒng)
關(guān)于什么是分布式系統(tǒng),有很多文章介紹,其實(shí)這個(gè)并不難理解,大白話講就是:工廠活多了一個(gè)人撐不住,那就多找些工人一起干,要讓這么多人為了一個(gè)目標(biāo)干得快干得好,就需要一些規(guī)矩和套路,否則就亂了。
從實(shí)踐來看分布式系統(tǒng)屬于重要的架構(gòu)模式,對(duì)于互聯(lián)網(wǎng)工程架構(gòu)的演進(jìn),簡(jiǎn)單提一下為什么會(huì)出現(xiàn)分布式系統(tǒng)以及什么是分布式系統(tǒng):
業(yè)務(wù)量的迅速增大,普通的單機(jī)系統(tǒng)無法滿足要求,要么垂直擴(kuò)展升級(jí)機(jī)器硬件,要么水平擴(kuò)展堆廉價(jià)服務(wù)器,這也是主流可以想到的解決方法,目前來看互聯(lián)網(wǎng)領(lǐng)域選擇了后者-水平擴(kuò)展。
水平擴(kuò)展機(jī)器多機(jī)房部署升級(jí)服務(wù)集群規(guī)模來應(yīng)對(duì)業(yè)務(wù)的增長(zhǎng),也就出現(xiàn)了分布式系統(tǒng),這些分布式系統(tǒng)中的物理節(jié)點(diǎn)可能是多機(jī)房多網(wǎng)絡(luò)場(chǎng)景部署的,相互之間通過網(wǎng)絡(luò)進(jìn)行通信和協(xié)作。
分布式系統(tǒng)就是為了解決巨大業(yè)務(wù)量和數(shù)據(jù)量而生的,但是龐大數(shù)量的節(jié)點(diǎn)來一起正確有序的完成共同的目標(biāo)是需要理論和實(shí)踐來錘打的,這也是分布式系統(tǒng)的重點(diǎn)內(nèi)容。
熵是描述一個(gè)系統(tǒng)內(nèi)在混亂程度的物理量,對(duì)于一個(gè)宏觀熵看孤立的系統(tǒng)來說,在沒有外力干預(yù)做功的前提下,系統(tǒng)內(nèi)在混亂程度是會(huì)不斷增加的,也就是熵是增加的。
為了讓系統(tǒng)保持有序就必須對(duì)其進(jìn)行外力干涉,對(duì)于分布式系統(tǒng)而言,我們必須使用相應(yīng)的策略和算法使整個(gè)系統(tǒng)保持有序和正確,所以認(rèn)為分布式系統(tǒng)是個(gè)熵增過程。
這個(gè)并不難理解,就像我們?yōu)榱吮3址课菡麧?,定期必須打掃,要不然就亂成一鍋粥了。
3.分布式一致性問題的理解
分布式一致性到底是什么一致?
分布式的一致性可以表現(xiàn)在很多方面,這些都是個(gè)性問題,然而無論這些個(gè)性問題有多少,任何行為和狀態(tài)的展示必然是以數(shù)據(jù)為基礎(chǔ)的,所以這些個(gè)性的一致性問題最終都會(huì)映射到一個(gè)共性問題--分布式數(shù)據(jù)的一致性。
分布式系統(tǒng)中擁有很多獨(dú)立的節(jié)點(diǎn),這些節(jié)點(diǎn)一般來說可以獨(dú)立進(jìn)行存儲(chǔ)和計(jì)算任務(wù),這兩項(xiàng)是最主要的任務(wù)類型,本質(zhì)上計(jì)算和存儲(chǔ)的過程仍然是圍繞數(shù)據(jù)展開的,所以最終還是數(shù)據(jù)一致性。
在中心化結(jié)構(gòu)中,存在管理節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)的區(qū)別,也就是每個(gè)節(jié)點(diǎn)的權(quán)利和義務(wù)是不一樣的,管理節(jié)點(diǎn)可能負(fù)責(zé)分配任務(wù)給下屬節(jié)點(diǎn)和收集計(jì)算結(jié)果等,總體承擔(dān)協(xié)調(diào)者的角色,任務(wù)節(jié)點(diǎn)主要是承接任務(wù),這樣容易出現(xiàn)管理節(jié)點(diǎn)的單點(diǎn)問題。
在去中心化的結(jié)構(gòu)中,各個(gè)節(jié)點(diǎn)的權(quán)利和義務(wù)是相同的,盡管沒有單獨(dú)指定領(lǐng)導(dǎo)者,在實(shí)際的運(yùn)行中仍然會(huì)選舉出領(lǐng)導(dǎo)者和failover動(dòng)態(tài)更新領(lǐng)導(dǎo)者的問題,完全的去中心化系統(tǒng)并不多,相比中心化系統(tǒng)來說,去中心系統(tǒng)更加扁平也更加穩(wěn)定,像Redis官方集群就是去中心化的實(shí)現(xiàn),任何一個(gè)節(jié)點(diǎn)的故障都不會(huì)帶來特別大的問題,因?yàn)楣?jié)點(diǎn)是平等的。
無論在中心化還是去中心化的分布式系統(tǒng)中,任何一個(gè)節(jié)點(diǎn)的計(jì)算和存儲(chǔ)結(jié)果都會(huì)對(duì)其他節(jié)點(diǎn)產(chǎn)生影響,這些獨(dú)立的節(jié)點(diǎn)通過基礎(chǔ)和特定的網(wǎng)絡(luò)協(xié)議進(jìn)行協(xié)作,從而形成一個(gè)整體。
4. 嚴(yán)格意義的數(shù)據(jù)一致性
經(jīng)過前面的一些鋪墊,我們開始重點(diǎn)部分的學(xué)習(xí)-分布式系統(tǒng)數(shù)據(jù)一致性問題。
我們必須要有個(gè)共識(shí):嚴(yán)格意義上的分布式數(shù)據(jù)一致性是不存在的。
為啥不存在呢?
在分布式系統(tǒng)中數(shù)據(jù)存儲(chǔ)是多節(jié)點(diǎn)主從備份的,一般做成讀寫分離,當(dāng)客戶端將數(shù)據(jù)通過主庫的代理寫入之后,在極其短暫的瞬間,主節(jié)點(diǎn)的數(shù)據(jù)是無法復(fù)制到從節(jié)點(diǎn)的,這個(gè)瞬間其他客戶端讀取到的從庫數(shù)據(jù)都是舊數(shù)據(jù)。
聰明的讀者盆友們可以體會(huì)一下瞬間這個(gè)詞,當(dāng)然你可以認(rèn)為這是相對(duì)論的范疇,從物理角度去看可能更能體會(huì)。
我們以redis主從節(jié)點(diǎn)之間的數(shù)據(jù)復(fù)制來看同步復(fù)制和異步復(fù)制場(chǎng)景下的數(shù)據(jù)一致性問題:
一般來說,為了保證服務(wù)的高可用,主從節(jié)點(diǎn)的數(shù)據(jù)復(fù)制是異步的,因?yàn)?strong>同步復(fù)制延時(shí)無法保證,當(dāng)然有的場(chǎng)景也是同步復(fù)制的,這樣整體延時(shí)是無法保證的,假如是一主多從就更無法保證了同步復(fù)制的延時(shí)了。
所以我們不討論嚴(yán)苛意義上的數(shù)據(jù)一致性,而是研究在我們認(rèn)為可以接受的時(shí)間長(zhǎng)度下的數(shù)據(jù)一致性問題,也就是在自身環(huán)境約束下的數(shù)據(jù)一致性。
單機(jī)系統(tǒng)的一致性和事務(wù)都是比較容易達(dá)到的,在分布式系統(tǒng)中由于所有節(jié)點(diǎn)的交互都要通過網(wǎng)絡(luò)來實(shí)現(xiàn),網(wǎng)絡(luò)必然存在不穩(wěn)定并且龐大系統(tǒng)中的單節(jié)點(diǎn)穩(wěn)定性也是需要考慮的。
前面這段話,讀起來云里霧里,我想表達(dá)的意思是:不要過分把對(duì)單機(jī)系統(tǒng)中的數(shù)據(jù)一致性要求照搬到分布式系統(tǒng)中,因?yàn)?strong>兩者的約束不一樣,我們要合理分析從而讓分布式系統(tǒng)的一致性盡量接近單機(jī)系統(tǒng)。
solo和團(tuán)戰(zhàn)畢竟是不一樣的,典型的《倚天屠龍記》中張無忌要去少林寺救謝遜,但是遇上的少林三位神僧渡厄、渡難、渡劫已經(jīng)坐禪幾十年,三人合一登峰造極,實(shí)在太難了,這也是優(yōu)秀分布式系統(tǒng)的頂峰吧...
5.CAP理論和PACELC理論
我們知道cap理論描述了一致性、可用性、分區(qū)容忍性的關(guān)系。
在分布式系統(tǒng)中,由于節(jié)點(diǎn)物理分布和網(wǎng)絡(luò)穩(wěn)定性等原因,分區(qū)容忍性P是必然存在的,因此分布式系統(tǒng)必然要建立在分布式網(wǎng)絡(luò)存在分區(qū)P的前提下。
在P的基礎(chǔ)上我們對(duì)于C和A進(jìn)行選擇,當(dāng)然并不是說在任何時(shí)刻我們都必須C和A二選一,在網(wǎng)絡(luò)正常的情況下C和A我們也是可以都有的,并且每個(gè)系統(tǒng)設(shè)計(jì)目標(biāo)也不一樣,需要更加實(shí)際要求來進(jìn)行選擇。
分布式系統(tǒng)中P是必然存在的,我們?cè)谠O(shè)計(jì)系統(tǒng)之初就要對(duì)C和A做平衡和選擇,在正常的情況下跑出正確的結(jié)果是基本要求,在異常情況下仍然可以正常運(yùn)行是設(shè)計(jì)重點(diǎn)。
在分布式系統(tǒng)中,我們使用PACELC理論比CAP理論更加合適,因?yàn)镻ACELC理論是CAP理論的擴(kuò)展,簡(jiǎn)單來說PACELC理論的表述是這樣的:
如果分區(qū)partition (P)存在,分布式系統(tǒng)就必須在availability (A) 和consistency (C)之間取得平衡作出選擇,否則else (E) 當(dāng)系統(tǒng)運(yùn)行在無分區(qū)P情況下,系統(tǒng)需要在 latency (L) 和 consistency (C)之間取得平衡。
PACELC理論比CAP理論更適合分布式系統(tǒng),它完全展現(xiàn)了出現(xiàn)網(wǎng)絡(luò)分區(qū)和正常情況下的取舍平衡問題,特別地引入了L時(shí)延因素,來對(duì)一致性C進(jìn)行說明,也就是我們常說的強(qiáng)一致性和弱一致性。
強(qiáng)一致性不必多說,對(duì)主從數(shù)據(jù)的一致性要求很高,一般會(huì)犧牲可用性來保證,弱一致性又可以分為最終一致性/會(huì)話一致性/單調(diào)讀一致性/單調(diào)寫一致性等情況,從實(shí)用的角度來說我們重點(diǎn)關(guān)注弱一致性的最終一致性情況即可。
6.分布式和BASE理論
我們知道由于網(wǎng)絡(luò)穩(wěn)定性原因,分布式系統(tǒng)出現(xiàn)網(wǎng)絡(luò)分區(qū)是必須要考慮的問題,在一般的互聯(lián)網(wǎng)場(chǎng)景中我們選擇最終一致性來保證服務(wù)的高可用,也就是允許一段時(shí)間L的數(shù)據(jù)不一致,經(jīng)過數(shù)據(jù)復(fù)制和同步后最終達(dá)到一致。
我們看下BASE理論,這是我們理解分布式系統(tǒng)一致性的重要理論基礎(chǔ):
BASE是基本可用(Basically Available)、軟狀態(tài)(Soft state)和最終一致性(Eventually consistent)三個(gè)短語的縮寫。
BA基本可用是指:系統(tǒng)在絕大部分時(shí)間應(yīng)處于可用狀態(tài),允許出現(xiàn)故障損失部分可用性,但保證核心可用。
S軟狀態(tài)是指:數(shù)據(jù)狀態(tài)不要求在任何時(shí)刻都保持一致,允許存在中間狀態(tài),而該狀態(tài)不影響系統(tǒng)可用性。
E最終一致性是指:軟狀態(tài)前提下,經(jīng)過一定時(shí)間后,這些數(shù)據(jù)最終能達(dá)到一致性狀態(tài)。
7.CAP&BASE&ACID的關(guān)系
CAP理論說明了分布式系統(tǒng)中一致性C 、可用性A、分區(qū)容錯(cuò)性P之間的制約關(guān)系。
BASE理論和ACID理論可以看做是對(duì)CAP理論中三要素進(jìn)行取舍后的某種情況,也是在單機(jī)系統(tǒng)和分布式系統(tǒng)中適用的情況,三者的關(guān)系如圖:
8.小結(jié)
本文還是偏理論,在下一篇文章中會(huì)重點(diǎn)介紹2PC/3PC、Paoxs、Raft協(xié)議、拜占庭將軍問題等,敬請(qǐng)期待,感謝諸位本次的閱讀。
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問題,請(qǐng)聯(lián)系我們,謝謝!