如何設(shè)計(jì)事件流,第 2 部分
模式和數(shù)據(jù)契約
模式對于定義事件至關(guān)重要。模式提供了有關(guān)事件中應(yīng)該出現(xiàn)什么和不應(yīng)該出現(xiàn)什么的所有信息,包括名稱、類型、可選性和內(nèi)聯(lián)文檔,僅舉幾個(gè)功能。流行的模式技術(shù)包括Avro、Protobuf和JSON Schema。
如果您嘗試在沒有模式的情況下流式傳輸數(shù)據(jù),那么您就做錯(cuò)了。但如果您只想要簡短的形式,這里是:
1. 使用模式:模式可以防止生產(chǎn)者在寫入數(shù)據(jù)時(shí)犯錯(cuò)誤,因?yàn)槟梢灾苯訌哪J奖旧砩缮a(chǎn)者代碼。同樣,消費(fèi)者不再需要解釋數(shù)據(jù) - 只需按照模式上的方式讀取數(shù)據(jù),并相應(yīng)地使用它。模式還提供演化功能,您可以根據(jù)不斷變化的業(yè)務(wù)需求安全地(在某種程度上)修改模式。
1. 構(gòu)建數(shù)據(jù)契約:它們將事件的內(nèi)容和流本身形式化。它類似于服務(wù) API,不僅指定如何使用事件流,還指定如何訪問它、安全要求和所有權(quán)。
但現(xiàn)在我們已經(jīng)確定我們正在使用一個(gè)模式……讓我們看看事件設(shè)計(jì)的第一個(gè)主要因素。
因素 1:狀態(tài)(事實(shí))與增量(變化)
狀態(tài)事件(也稱為事實(shí)事件)詳細(xì)說明了特定時(shí)間點(diǎn)實(shí)體狀態(tài)的整個(gè)范圍。它包含履行公共數(shù)據(jù)合同所需的所有字段和值。您可以將狀態(tài)事件視為關(guān)系數(shù)據(jù)庫中的一行,其中所需字段由表的架構(gòu)定義表示。
相反,增量事件記錄兩個(gè)狀態(tài)之間的變化。它包括有關(guān)哪些字段已更改及其新值的數(shù)據(jù),但不包括有關(guān)未更改字段的信息。
我們來看一下購物車的例子:
狀態(tài)(事實(shí))事件與item_added_to_cart增量事件
在左側(cè),我們有代表購物車在某個(gè)時(shí)間點(diǎn)的狀態(tài)的狀態(tài)事件,盡管它本身并不能準(zhǔn)確指示發(fā)生了什么變化。為此,您需要訪問之前的購物車信息。
右側(cè)的增量描述了完全相同的業(yè)務(wù)發(fā)生,特別是添加到購物車的 item:521 的 1 個(gè)實(shí)例。但是,它不會顯示購物車的當(dāng)前狀態(tài) - 為此,您需要訪問之前的所有增量事件。
事實(shí)和增量各有其權(quán)衡:所以讓我們直接討論何時(shí)使用哪個(gè)。
事實(shí)事件對于溝通狀態(tài)來說是優(yōu)越的
事實(shí)為其消費(fèi)者提供了預(yù)先計(jì)算的狀態(tài),使他們無需計(jì)算任何狀態(tài)。他們只是簡單地消費(fèi)事實(shí)并根據(jù)其業(yè)務(wù)邏輯處理狀態(tài)。
如果您嘗試與增量通信狀態(tài),則必須從主題的最開始重新創(chuàng)建狀態(tài)。您還必須確保使用正確的業(yè)務(wù)邏輯來處理每個(gè)狀態(tài)更改。大多數(shù)域比簡單地在購物車中添加/刪除商品更復(fù)雜,并且嘗試在源系統(tǒng)外部重新計(jì)算狀態(tài)是非常危險(xiǎn)的。相反,只依賴事實(shí)事件。
考慮計(jì)算的復(fù)雜性:
· 客戶公司銀行賬戶的賬戶余額
· 電子商務(wù)零售商的當(dāng)前庫存
· 欠政府的稅款
雖然其中每一個(gè)都可以由關(guān)心它的每個(gè)消費(fèi)者來計(jì)算,但設(shè)置和維護(hù)起來卻極其復(fù)雜。除了稍微減少網(wǎng)絡(luò)數(shù)據(jù)使用量之外,它沒有任何實(shí)際好處。簡而言之,最好使用事實(shí)事件來傳達(dá)狀態(tài)。
事實(shí)讓您推斷出三角洲
一對事實(shí)事件可讓您推斷自己的更改:您可以看到從第一個(gè)事件到第二個(gè)事件發(fā)生的所有更改。
推斷更改的一個(gè)選項(xiàng):將最后一個(gè)事實(shí)保留在您的服務(wù)或作業(yè)的狀態(tài)存儲中。
您在服務(wù)或作業(yè)的狀態(tài)存儲中保留最后使用狀態(tài)的副本。請注意,您只需保留您關(guān)心的狀態(tài),其余的都可以扔掉。您也可以選擇保留多個(gè)先前的狀態(tài)(例如,最近 3 個(gè)或最后 10 個(gè)狀態(tài)更新),以便您可以隨著時(shí)間的推移推斷更復(fù)雜的更改。
作為權(quán)衡,您需要提供狀態(tài)存儲。您還需要編寫代碼來推斷狀態(tài)之間的任何變化,其復(fù)雜性將根據(jù)您的要求而有所不同。在某些情況下,邏輯只需要檢測邊緣過渡,如下圖所示,其中 adiscount_code應(yīng)用于購物車。在其他情況下,狀態(tài)計(jì)算可能更復(fù)雜,需要來自多個(gè)事件或流的數(shù)據(jù)與內(nèi)部狀態(tài)交叉引用。
推斷更改的第二個(gè)選項(xiàng):使用事件中的before和after字段。
您可以在單個(gè)事件中提供兩種狀態(tài)。正如您可能已經(jīng)猜到的,before 字段保存更改之前的狀態(tài),而 after 字段保存更改后的狀態(tài)。它通常用作變更數(shù)據(jù)捕獲 (CDC) 服務(wù)的一部分,使您能夠查看兩個(gè)狀態(tài)之間的整個(gè)更新,并自行推斷單個(gè)事件中發(fā)生了什么變化。請注意,這會使活動規(guī)模增加一倍,并可能導(dǎo)致額外費(fèi)用。
帶有前后小節(jié)的購物車事實(shí)
事實(shí)事件本質(zhì)上比增量事件更大。如果數(shù)據(jù)非常大或者更新非常頻繁,那么維護(hù)成本可能會很高。