當前位置:首頁 > 公眾號精選 > 后端技術(shù)指南針
[導讀]0.寫在前面 前幾天在pyq發(fā)起了約稿,分布式一致性問題的選題呼聲最高,分布式系統(tǒng)的內(nèi)容是非常龐雜的,所以我們從其中幾個重點的部分切入,慢慢展開。 今天重點來一起學習分布式系統(tǒng)一致性問題,不過內(nèi)容比較多需要分幾次寫完。 1.為什么要學分布式 作為后端

0.寫在前面

前幾天在pyq發(fā)起了約稿,分布式一致性問題的選題呼聲最高,分布式系統(tǒng)的內(nèi)容是非常龐雜的,所以我們從其中幾個重點的部分切入,慢慢展開。

今天重點來一起學習分布式系統(tǒng)一致性問題,不過內(nèi)容比較多需要分幾次寫完。

1.為什么要學分布式

作為后端從業(yè)人員,我們在找工作寫簡歷的時候除了高并發(fā)經(jīng)驗,一般還會寫上自己熟悉|了解|掌握|精通分布式系統(tǒng),所以高并發(fā)和分布式大多是成對出現(xiàn)的。

在拉勾上搜了個后端崗位:

分布式系統(tǒng)是個多金的知識點,那還不抓緊行動!

2. 熵增的分布式系統(tǒng)

關(guān)于什么是分布式系統(tǒng),有很多文章介紹,其實這個并不難理解,大白話講就是:工廠活多了一個人撐不住,那就多找些工人一起干,要讓這么多人為了一個目標干得快干得好,就需要一些規(guī)矩和套路,否則就亂了。

從實踐來看分布式系統(tǒng)屬于重要的架構(gòu)模式,對于互聯(lián)網(wǎng)工程架構(gòu)的演進,簡單提一下為什么會出現(xiàn)分布式系統(tǒng)以及什么是分布式系統(tǒng):

業(yè)務量的迅速增大,普通的單機系統(tǒng)無法滿足要求,要么垂直擴展升級機器硬件,要么水平擴展堆廉價服務器,這也是主流可以想到的解決方法,目前來看互聯(lián)網(wǎng)領(lǐng)域選擇了后者-水平擴展。

水平擴展機器多機房部署升級服務集群規(guī)模來應對業(yè)務的增長,也就出現(xiàn)了分布式系統(tǒng),這些分布式系統(tǒng)中的物理節(jié)點可能是多機房多網(wǎng)絡場景部署的,相互之間通過網(wǎng)絡進行通信和協(xié)作。

分布式系統(tǒng)就是為了解決巨大業(yè)務量和數(shù)據(jù)量而生的,但是龐大數(shù)量的節(jié)點來一起正確有序的完成共同的目標是需要理論和實踐來錘打的,這也是分布式系統(tǒng)的重點內(nèi)容。

一般我們常接觸的分布式系統(tǒng)包括兩大類: 分布式存儲和 分布式計算。

分布式系統(tǒng)那么多機器要一起協(xié)調(diào)去完成任務也不是一件容易的事情,所以我們通常認為分布式系統(tǒng)是個 增過程。

是描述一個系統(tǒng)內(nèi)在混亂程度的物理量,對于一個宏觀熵看孤立的系統(tǒng)來說,在沒有外力干預做功的前提下,系統(tǒng)內(nèi)在混亂程度是會不斷增加的,也就是熵是增加的。

為了讓系統(tǒng)保持有序就必須對其進行外力干涉,對于分布式系統(tǒng)而言,我們必須使用相應的策略和算法使整個系統(tǒng)保持有序和正確,所以認為分布式系統(tǒng)是個熵增過程。

這個并不難理解,就像我們?yōu)榱吮3址课菡麧?,定期必須打掃,要不然就亂成一鍋粥了。

如果對于系統(tǒng)不加以控制和干預,系統(tǒng)將自主走向 混亂和無序。

3.分布式一致性問題的理解

分布式一致性到底是什么一致?

分布式的一致性可以表現(xiàn)在很多方面,這些都是個性問題,然而無論這些個性問題有多少,任何行為和狀態(tài)的展示必然是以數(shù)據(jù)為基礎(chǔ)的,所以這些個性的一致性問題最終都會映射到一個共性問題--分布式數(shù)據(jù)的一致性。

分布式系統(tǒng)中擁有很多獨立的節(jié)點,這些節(jié)點一般來說可以獨立進行存儲和計算任務,這兩項是最主要的任務類型,本質(zhì)上計算和存儲的過程仍然是圍繞數(shù)據(jù)展開的,所以最終還是數(shù)據(jù)一致性。

中心化結(jié)構(gòu)中,存在管理節(jié)點和任務節(jié)點的區(qū)別,也就是每個節(jié)點的權(quán)利和義務是不一樣的,管理節(jié)點可能負責分配任務給下屬節(jié)點和收集計算結(jié)果等,總體承擔協(xié)調(diào)者的角色,任務節(jié)點主要是承接任務,這樣容易出現(xiàn)管理節(jié)點的單點問題。

去中心化的結(jié)構(gòu)中,各個節(jié)點的權(quán)利和義務是相同的,盡管沒有單獨指定領(lǐng)導者,在實際的運行中仍然會選舉出領(lǐng)導者和failover動態(tài)更新領(lǐng)導者的問題,完全的去中心化系統(tǒng)并不多,相比中心化系統(tǒng)來說,去中心系統(tǒng)更加扁平也更加穩(wěn)定,像Redis官方集群就是去中心化的實現(xiàn),任何一個節(jié)點的故障都不會帶來特別大的問題,因為節(jié)點是平等的。

無論在中心化還是去中心化的分布式系統(tǒng)中,任何一個節(jié)點的計算和存儲結(jié)果都會對其他節(jié)點產(chǎn)生影響,這些獨立的節(jié)點通過基礎(chǔ)和特定的網(wǎng)絡協(xié)議進行協(xié)作,從而形成一個整體。

4. 嚴格意義的數(shù)據(jù)一致性

經(jīng)過前面的一些鋪墊,我們開始重點部分的學習-分布式系統(tǒng)數(shù)據(jù)一致性問題。

我們必須要有個共識:嚴格意義上的分布式數(shù)據(jù)一致性是不存在的。

為啥不存在呢?

在分布式系統(tǒng)中數(shù)據(jù)存儲是多節(jié)點主從備份的,一般做成讀寫分離,當客戶端將數(shù)據(jù)通過主庫的代理寫入之后,在極其短暫的瞬間,主節(jié)點的數(shù)據(jù)是無法復制到從節(jié)點的,這個瞬間其他客戶端讀取到的從庫數(shù)據(jù)都是舊數(shù)據(jù)。

聰明的讀者盆友們可以體會一下瞬間這個詞,當然你可以認為這是相對論的范疇,從物理角度去看可能更能體會。

我們以redis主從節(jié)點之間的數(shù)據(jù)復制來看同步復制異步復制場景下的數(shù)據(jù)一致性問題:

一般來說,為了保證服務的高可用,主從節(jié)點的數(shù)據(jù)復制是異步的,因為同步復制延時無法保證,當然有的場景也是同步復制的,這樣整體延時是無法保證的,假如是一主多從就更無法保證了同步復制的延時了。

所以我們不討論嚴苛意義上的數(shù)據(jù)一致性,而是研究在我們認為可以接受的時間長度下的數(shù)據(jù)一致性問題,也就是在自身環(huán)境約束下的數(shù)據(jù)一致性。

單機系統(tǒng)的一致性和事務都是比較容易達到的,在分布式系統(tǒng)中由于所有節(jié)點的交互都要通過網(wǎng)絡來實現(xiàn),網(wǎng)絡必然存在不穩(wěn)定并且龐大系統(tǒng)中的單節(jié)點穩(wěn)定性也是需要考慮的。

前面這段話,讀起來云里霧里,我想表達的意思是:不要過分把對單機系統(tǒng)中的數(shù)據(jù)一致性要求照搬到分布式系統(tǒng)中,因為兩者的約束不一樣,我們要合理分析從而讓分布式系統(tǒng)的一致性盡量接近單機系統(tǒng)。

solo和團戰(zhàn)畢竟是不一樣的,典型的《倚天屠龍記》中張無忌要去少林寺救謝遜,但是遇上的少林三位神僧渡厄、渡難、渡劫已經(jīng)坐禪幾十年,三人合一登峰造極,實在太難了,這也是優(yōu)秀分布式系統(tǒng)的頂峰吧...

5.CAP理論和PACELC理論

我們知道cap理論描述了一致性、可用性、分區(qū)容忍性的關(guān)系。

在分布式系統(tǒng)中,由于節(jié)點物理分布和網(wǎng)絡穩(wěn)定性等原因,分區(qū)容忍性P是必然存在的,因此分布式系統(tǒng)必然要建立在分布式網(wǎng)絡存在分區(qū)P的前提下。

P的基礎(chǔ)上我們對于C和A進行選擇,當然并不是說在任何時刻我們都必須C和A二選一,在網(wǎng)絡正常的情況下C和A我們也是可以都有的,并且每個系統(tǒng)設計目標也不一樣,需要更加實際要求來進行選擇。

分布式系統(tǒng)中P是必然存在的,我們在設計系統(tǒng)之初就要對C和A做平衡和選擇,在正常的情況下跑出正確的結(jié)果是基本要求,在異常情況下仍然可以正常運行是設計重點。

在分布式系統(tǒng)中,我們使用PACELC理論比CAP理論更加合適,因為PACELC理論是CAP理論的擴展,簡單來說PACELC理論的表述是這樣的:

如果分區(qū)partition (P)存在,分布式系統(tǒng)就必須在availability (A) 和consistency (C)之間取得平衡作出選擇,否則else (E) 當系統(tǒng)運行在無分區(qū)P情況下,系統(tǒng)需要在 latency (L) 和 consistency (C)之間取得平衡。

PACELC理論比CAP理論更適合分布式系統(tǒng),它完全展現(xiàn)了出現(xiàn)網(wǎng)絡分區(qū)和正常情況下的取舍平衡問題,特別地引入了L時延因素,來對一致性C進行說明,也就是我們常說的強一致性和弱一致性

強一致性不必多說,對主從數(shù)據(jù)的一致性要求很高,一般會犧牲可用性來保證,弱一致性又可以分為最終一致性/會話一致性/單調(diào)讀一致性/單調(diào)寫一致性等情況,從實用的角度來說我們重點關(guān)注弱一致性的最終一致性情況即可。

6.分布式和BASE理論

我們知道由于網(wǎng)絡穩(wěn)定性原因,分布式系統(tǒng)出現(xiàn)網(wǎng)絡分區(qū)是必須要考慮的問題,在一般的互聯(lián)網(wǎng)場景中我們選擇最終一致性來保證服務的高可用,也就是允許一段時間L的數(shù)據(jù)不一致,經(jīng)過數(shù)據(jù)復制和同步后最終達到一致。

我們看下BASE理論,這是我們理解分布式系統(tǒng)一致性的重要理論基礎(chǔ):

BASE是基本可用(Basically Available)、軟狀態(tài)(Soft state)和最終一致性(Eventually consistent)三個短語的縮寫。 

BA基本可用是指:系統(tǒng)在絕大部分時間應處于可用狀態(tài),允許出現(xiàn)故障損失部分可用性,但保證核心可用。

S軟狀態(tài)是指:數(shù)據(jù)狀態(tài)不要求在任何時刻都保持一致,允許存在中間狀態(tài),而該狀態(tài)不影響系統(tǒng)可用性。

E最終一致性是指:軟狀態(tài)前提下,經(jīng)過一定時間后,這些數(shù)據(jù)最終能達到一致性狀態(tài)。

7.CAP&BASE&ACID的關(guān)系

CAP理論說明了分布式系統(tǒng)中一致性C 、可用性A、分區(qū)容錯性P之間的制約關(guān)系。

BASE理論和ACID理論可以看做是對CAP理論中三要素進行取舍后的某種情況,也是在單機系統(tǒng)和分布式系統(tǒng)中適用的情況,三者的關(guān)系如圖:

8.小結(jié)

本文還是偏理論,在下一篇文章中會重點介紹2PC/3PC、Paoxs、Raft協(xié)議、拜占庭將軍問題等,敬請期待,感謝諸位本次的閱讀。

免責聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉