當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]來源:https://juejin.cn/post/6860252224930070536|?背景日志是?mysql?數(shù)據(jù)庫的重要組成部分,記錄著數(shù)據(jù)庫運行期間各種狀態(tài)信息。mysql日志主要包括錯誤日志、查詢?nèi)罩尽⒙樵內(nèi)罩?、事?wù)日志、二進(jìn)制日志幾大類。作為開發(fā),我們重點需要關(guān)...

| 背景


日志是mysql數(shù)據(jù)庫的重要組成部分,記錄著數(shù)據(jù)庫運行期間各種狀態(tài)信息。mysql日志主要包括錯誤日志、查詢?nèi)罩?、慢查詢?nèi)罩尽⑹聞?wù)日志、二進(jìn)制日志幾大類。


作為開發(fā),我們重點需要關(guān)注的是二進(jìn)制日志(binlog)和事務(wù)日志(包括redo log和undo log),本文接下來會詳細(xì)介紹這三種日志。


| binlog

binlog用于記錄數(shù)據(jù)庫執(zhí)行的寫入性操作(不包括查詢)信息,以二進(jìn)制的形式保存在磁盤中。binlog是mysql的邏輯日志,并且由Server層進(jìn)行記錄,使用任何存儲引擎的mysql數(shù)據(jù)庫都會記錄binlog日志。
  • 邏輯日志:可以簡單理解為記錄的就是sql語句 。
  • 物理日志:mysql數(shù)據(jù)最終是保存在數(shù)據(jù)頁中的,物理日志記錄的就是數(shù)據(jù)頁變更 。
binlog是通過追加的方式進(jìn)行寫入的,可以通過max_binlog_size參數(shù)設(shè)置每個binlog文件的大小,當(dāng)文件大小達(dá)到給定值之后,會生成新的文件來保存日志。

binlog使用場景

在實際應(yīng)用中,binlog的主要使用場景有兩個,分別是 主從復(fù)制 和 數(shù)據(jù)恢復(fù) 。
  1. 主從復(fù)制 :在Master端開啟binlog,然后將binlog發(fā)送到各個Slave端,Slave端重放binlog從而達(dá)到主從數(shù)據(jù)一致。
  2. 數(shù)據(jù)恢復(fù) :通過使用mysqlbinlog工具來恢復(fù)數(shù)據(jù)。

binlog刷盤時機(jī)

對于InnoDB存儲引擎而言,只有在事務(wù)提交時才會記錄biglog,此時記錄還在內(nèi)存中,那么biglog是什么時候刷到磁盤中的呢?mysql通過sync_binlog參數(shù)控制biglog的刷盤時機(jī),取值范圍是0-N:
  • 0:不去強(qiáng)制要求,由系統(tǒng)自行判斷何時寫入磁盤;
  • 1:每次commit的時候都要將binlog寫入磁盤;
  • N:每N個事務(wù),才會將binlog寫入磁盤。
從上面可以看出,sync_binlog最安全的是設(shè)置是1,這也是MySQL 5.7.7之后版本的默認(rèn)值。但是設(shè)置一個大一些的值可以提升數(shù)據(jù)庫性能,因此實際情況下也可以將值適當(dāng)調(diào)大,犧牲一定的一致性來獲取更好的性能。

binlog日志格式

binlog日志有三種格式,分別為STATMENT、ROW和MIXED。
在MySQL 5.7.7之前,默認(rèn)的格式是STATEMENT,MySQL 5.7.7之后,默認(rèn)值是ROW。日志格式通過binlog-format指定。
  • STATMENT:基于SQL語句的復(fù)制(statement-based replication, SBR),每一條會修改數(shù)據(jù)的sql語句會記錄到binlog中  。

    • 優(yōu)點:不需要記錄每一行的變化,減少了 binlog 日志量,節(jié)約了 IO  , 從而提高了性能;
    • 缺點:在某些情況下會導(dǎo)致主從數(shù)據(jù)不一致,比如執(zhí)行sysdate() 、  slepp()  等 。
  • ROW:基于行的復(fù)制(row-based replication, RBR),不記錄每條sql語句的上下文信息,僅需記錄哪條數(shù)據(jù)被修改了 。

    • 優(yōu)點:不會出現(xiàn)某些特定情況下的存儲過程、或function、或trigger的調(diào)用和觸發(fā)無法被正確復(fù)制的問題 ;
    • 缺點:會產(chǎn)生大量的日志,尤其是alter table的時候會讓日志暴漲
  • MIXED:基于STATMENT和ROW兩種模式的混合復(fù)制(mixed-based replication, MBR),一般的復(fù)制使用STATEMENT模式保存binlog,對于STATEMENT模式無法復(fù)制的操作使用ROW模式保存binlog

| redo log

為什么需要redo log

我們都知道,事務(wù)的四大特性里面有一個是 持久性 ,具體來說就是只要事務(wù)提交成功,那么對數(shù)據(jù)庫做的修改就被永久保存下來了,不可能因為任何原因再回到原來的狀態(tài) 。那么mysql是如何保證一致性的呢?最簡單的做法是在每次事務(wù)提交的時候,將該事務(wù)涉及修改的數(shù)據(jù)頁全部刷新到磁盤中。但是這么做會有嚴(yán)重的性能問題,主要體現(xiàn)在兩個方面:
  1. 因為Innodb是以頁為單位進(jìn)行磁盤交互的,而一個事務(wù)很可能只修改一個數(shù)據(jù)頁里面的幾個字節(jié),這個時候?qū)⑼暾臄?shù)據(jù)頁刷到磁盤的話,太浪費資源了!
  2. 一個事務(wù)可能涉及修改多個數(shù)據(jù)頁,并且這些數(shù)據(jù)頁在物理上并不連續(xù),使用隨機(jī)IO寫入性能太差!
因此mysql設(shè)計了redo log, 具體來說就是只記錄事務(wù)對數(shù)據(jù)頁做了哪些修改,這樣就能完美地解決性能問題了(相對而言文件更小并且是順序IO)。

redo log基本概念

redo log包括兩部分:一個是內(nèi)存中的日志緩沖(redo log buffer),另一個是磁盤上的日志文件(redo logfile)。mysql每執(zhí)行一條DML語句,先將記錄寫入redo log buffer,后續(xù)某個時間點再一次性將多個操作記錄寫到redo log file。這種 先寫日志,再寫磁盤 的技術(shù)就是MySQL里經(jīng)常說到的WAL(Write-Ahead Logging)技術(shù)。在計算機(jī)操作系統(tǒng)中,用戶空間(user space)下的緩沖區(qū)數(shù)據(jù)一般情況下是無法直接寫入磁盤的,中間必須經(jīng)過操作系統(tǒng)內(nèi)核空間(kernel space)緩沖區(qū)(OS Buffer)。因此,redo log buffer寫入redo logfile實際上是先寫入OS Buffer,然后再通過系統(tǒng)調(diào)用fsync()將其刷到redo log file中,過程如下:必須了解的mysql三大日志-binlog、redo?log和undo?log


mysql支持三種將redo log buffer寫入redo log file的時機(jī),可以通過innodb_flush_log_at_trx_commit參數(shù)配置,各參數(shù)值含義如下:
必須了解的mysql三大日志-binlog、redo?log和undo?log必須了解的mysql三大日志-binlog、redo?log和undo?log

redo log記錄形式

前面說過,redo log實際上記錄數(shù)據(jù)頁的變更,而這種變更記錄是沒必要全部保存,因此redo log實現(xiàn)上采用了大小固定,循環(huán)寫入的方式,當(dāng)寫到結(jié)尾時,會回到開頭循環(huán)寫日志。如下圖:必須了解的mysql三大日志-binlog、redo?log和undo?log


同時我們很容易得知, 在innodb中,既有redo log需要刷盤,還有數(shù)據(jù)頁也需要刷盤,redo log存在的意義主要就是降低對數(shù)據(jù)頁刷盤的要求。
在上圖中,write pos表示redo log當(dāng)前記錄的LSN(邏輯序列號)位置,check point表示 數(shù)據(jù)頁更改記錄 刷盤后對應(yīng)redo log所處的LSN(邏輯序列號)位置。write pos到check point之間的部分是redo log空著的部分,用于記錄新的記錄;check point到write pos之間是redo log待落盤的數(shù)據(jù)頁更改記錄。當(dāng)write pos追上check point時,會先推動check point向前移動,空出位置再記錄新的日志。啟動innodb的時候,不管上次是正常關(guān)閉還是異常關(guān)閉,總是會進(jìn)行恢復(fù)操作。因為redo log記錄的是數(shù)據(jù)頁的物理變化,因此恢復(fù)的時候速度比邏輯日志(如binlog)要快很多。重啟innodb時,首先會檢查磁盤中數(shù)據(jù)頁的LSN,如果數(shù)據(jù)頁的LSN小于日志中的LSN,則會從checkpoint開始恢復(fù)。還有一種情況,在宕機(jī)前正處于checkpoint的刷盤過程,且數(shù)據(jù)頁的刷盤進(jìn)度超過了日志頁的刷盤進(jìn)度,此時會出現(xiàn)數(shù)據(jù)頁中記錄的LSN大于日志中的LSN,這時超出日志進(jìn)度的部分將不會重做,因為這本身就表示已經(jīng)做過的事情,無需再重做。

redo log與binlog區(qū)別

必須了解的mysql三大日志-binlog、redo?log和undo?log


由binlog和redo log的區(qū)別可知:binlog日志只用于歸檔,只依靠binlog是沒有crash-safe能力的。
但只有redo log也不行,因為redo log是InnoDB特有的,且日志上的記錄落盤后會被覆蓋掉。因此需要binlog和redo log二者同時記錄,才能保證當(dāng)數(shù)據(jù)庫發(fā)生宕機(jī)重啟時,數(shù)據(jù)不會丟失。

| undo log

數(shù)據(jù)庫事務(wù)四大特性中有一個是 原子性 ,具體來說就是 原子性是指對數(shù)據(jù)庫的一系列操作,要么全部成功,要么全部失敗,不可能出現(xiàn)部分成功的情況。實際上, 原子性 底層就是通過undo log實現(xiàn)的。undo log主要記錄了數(shù)據(jù)的邏輯變化,比如一條INSERT語句,對應(yīng)一條DELETE的undo log,對于每個UPDATE語句,對應(yīng)一條相反的UPDATE的undo log,這樣在發(fā)生錯誤時,就能回滾到事務(wù)之前的數(shù)據(jù)狀態(tài)。同時,undo log也是MVCC(多版本并發(fā)控制)實現(xiàn)的關(guān)鍵。


本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉