當前位置:首頁 > 公眾號精選 > 程序員小灰
[導讀]mysql的一行記錄,最終肯定是存儲在磁盤上,也就是肉眼可見的文件上,今天我們的目標很簡單,就是看看它到底是怎么存的。當然還有一個更重要的目標,就是以這個為引子,帶大家完全通過一手資料,來揭秘這個問題的答案。所以大家閱讀時,不要完全奔著尋找這個答案去,如果很少通過一手資料去研究問...

mysql一行記錄,最終肯定是存儲在磁盤上,也就是肉眼可見的文件上,今天我們的目標很簡單,就是看看它到底是怎么存的。當然還有一個更重要的目標,就是以這個為引子,帶大家完全通過一手資料,來揭秘這個問題的答案。所以大家閱讀時,不要完全奔著尋找這個答案去,如果很少通過一手資料去研究問題,那么相信完整讀過本文,你會有收獲和啟發(fā)的。我們先準備好三樣東西。1. 準備好一個 mysql 5.7 并將其啟動。2. 準備好 mysql 的官方文檔放在旁邊:
????https://dev.mysql.com
3. 準備好 mysql 的源碼,萬一要用呢,別怕:
????https://dev.mysql.com/downloads/mysql/5.7.html
一手資料,就是官方文檔 ?源碼 ?二進制文件,其中二進制文件是我們自己去磁盤中找的,一會就知道了。Let's Go!mysql 會把文件存在哪里呢?先找到他。mysql>?SHOW?VARIABLES?LIKE?'datadir';
--------------- ---------------------------------------------
|?Variable_name?|?Value???????????????????????????????????????|
--------------- ---------------------------------------------
|?datadir???????|?C:\ProgramData\MySQL\MySQL?Server?5.7\Data\?|
--------------- ---------------------------------------------
1?row?in?set,?1?warning?(0.00?sec)
我是 windows,就在這里了,進入這個目錄。這些是啥先不管,盯著它看就好了,我們繼續(xù)。


第一步:創(chuàng)建數據庫





mysql>?create?database?flash;盯著剛剛的文件夾看,此時會多出一個文件夾同時這個文件夾里會多出一個文件,叫:|-- flash
? ? |--
db.opt
|--?flash
|--?performance_schema

看一眼它里面的內容,就知道他是干嘛的了。default-character-set=latin1
default-collation=latin1_swedish_ci
default-character-set 是默認字符集,default-collation 是默認字符序。字符集大家都了解,就不展開了。字符序就是字符的排序和比較規(guī)則,一般以 _ci 結尾的表示大小寫不敏感,_cs 結尾的表示大小寫敏感,_bin 結尾的表示用編碼值進行比較。含義知道了,那我們重新設置它應該會有所變化,我們把這個數據庫設置為開發(fā)時常用的 utf8mb4 格式。ALTER?SCHEMA?`flash`?DEFAULT?CHARACTER?SET?utf8mb4;
再看 db.opt 文件,內容已經發(fā)生了變化。default-character-set=utf8mb4
default-collation=utf8mb4_general_ci
OK,那我們現(xiàn)在對這個文件有了個初步認識,創(chuàng)建一個新的數據庫時,首先會多出一個以數據庫名為名稱的文件夾,然后文件夾里面會多出一個描述數據庫配置的 db.opt 文件,我們繼續(xù)!


第二步:創(chuàng)建表





創(chuàng)建一張 student 表,三列,其中 id 是主鍵。CREATE?TABLE?`flash`.`student`?(
??`id`?INT?NOT?NULL,
??`name`?VARCHAR(10)?NOT?NULL,
??`age`?INT?NULL,
??PRIMARY?KEY?(`id`)
ENGINE?=?InnoDB
DEFAULT?CHARACTER?SET?=?utf8mb4;

此時 flash 文件夾中,多出了兩個文件|-- flash
? ? |--?db.opt? ??
? ? |--?student.frm
? ? |--?student.ibd
|--?flash
|--?performance_schema
為了嚴謹,我們先看下 db.opt 文件有沒有變化,發(fā)現(xiàn)沒有任何變化,說明創(chuàng)建表對這個 db.opt 配置信息文件,沒有影響。

再點開 student.frm,壞了,亂碼了。說明這個文件不是文本文件,用二進制方式打開它。我把一些關鍵的地方都標上了含義,那這個文件的作用大家就一目了然了,就是記錄表結構嘛,具體的格式可以看 frm 文件結構的官方文檔(寫得太復雜了...我反正是沒看):https://dev.mysql.com/doc/internals/en/frm-file-format.htmldb.opt 記錄了數據庫信息,student.frm 記錄了表結構信息,那重頭戲自然就在那個 student.ibd 文件了,這里一定存著具體的數據呀,索引呀等信息吧。打開它!果不其然還是亂碼,那還是二進制打開它!截取了中間信息較為豐富的某部分。發(fā)現(xiàn)一點也看不懂。
第三步:插入數據





我們加幾條數據看看。INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('1',?'dibingfa2',?'2');
INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('2',?'dibingfa2',?'2');
INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('3',?'dibingfa3',?'2');
INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('4',?'dibingfa4',?'2');
INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('5',?'dibingfa5',?'2');
INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('6',?'dibingfa6',?'2');
INSERT?INTO?`flash`.`student`?(`id`,?`name`,?`age`)?VALUES?('7',?'dibingfa7',?'2');
再二進制打開它!發(fā)現(xiàn)有些東西我們可以看出點端倪了!猜測下這部分就是每一行的記錄信息吧。我們插入了七條數據,我發(fā)現(xiàn)這些二進制串有一段可以分割成七對,我把他單獨拿出來,并且按行分割。我們將第一行記錄拆解,第一行記錄的表數據是這樣的。1 dibingfa 2在 ibd 文件中是這樣的。08 00 00 00 10 00 24 80 00 00 01 00 00 00 00 0A 07 A7 00 00 01 1B 01 10 64 69 62 69 6E 67 66 61 80 00 00 02這串數據代表啥意思呢?由于本文只能參考官方文檔,我們看這里,即 Innodb 行格式。https://dev.mysql.com/doc/refman/5.7/en/innodb-row-format.html看這部分(我們的行格式是 DYNAMIC 類型,不過參考 COMPACT 類型描述也行,因為幾乎一樣,之后再說):不要看這么一大長串就害怕,我們一點點來,別著急。這個文檔,我可能沒資格評價,但我個人覺得寫的很爛,一大堆廢話也沒說明白格式是什么樣子,每個字節(jié)表示什么。不過也可能作用并非如此。好的官方文檔應該是能把每個字節(jié)和每一位都解釋清楚的,無奈這個文檔不行,那我們就去找更接近一手資料的源碼。我找到了源碼,還是很清晰的,注釋上就寫明了每一行記錄的磁盤數據格式,太好了,不用看代碼了。再貼上剛剛的第一行記錄。08 00 00 00 10 00 24 80 00 00 01 00 00 00 00 0A 07 A7 00 00 01 1B 01 10 64 69 62 69 6E 67 66 61 80 00 00 02來一點點看,第一部分。|?length?of?the?last?non-null?variable-length?field?of?data ... ...|

...

|?length?of?first?variable-length?field?of?data?|

這部分是變長字段長度列表,就是依次記錄所有變長字段的長度,由于我們只有一個變長字段 varchar(10) 的 name,所以就是 08,我們存儲的 "dibingfa" 剛好是 8 個字節(jié),對上了。那如果是多個,很顯然,就這樣存。錯!應該是這樣存,也就是逆序存放,具體為啥后面說。OK,這就是第一個字節(jié) 08 所表示的含義。再往下。|?SQL-null?flags?(1?bit?per?nullable?field),?padded?to?full?bytes?|第二個結構叫 NUll 值列表,用 1 位表示一個 NULL 值,要填充滿一個字節(jié),那往下的一個字節(jié)是 00,一看我們的記錄中也確實沒有 NULL 值,對上了。具體來說,同樣也是逆序存放的。
繼續(xù)。|?4?bits?used?to?delete?mark?a?record,?and?mark?a?predefined

??minimum?record?in?alphabetical?order?|

|?4?bits?giving?the?number?of?records?owned?by?this?record

??(this?term?is?explained?in?page0page.h)?|

|?13?bits?giving?the?order?number?of?this?record?in?the

??heap?of?the?index?page?|

|?3?bits?record?type:?000=conventional,?001=node?pointer?(inside?B-tree),

??010=infimum,?011=supremum,?1xx=reserved?|

|?two?bytes?giving?a?relative?pointer?to?the?next?record?in?the?page?|

ORIGIN?of?the?record

這五個字節(jié)很亂,放在一塊叫記錄頭信息,00 00 10 00 24,其表示刪除狀態(tài),記錄類型,下一條記錄的相對位置等。這一大坨先放一放,因為涉及到好多額外的知識。繼續(xù)往下看。|?first?field?of?data?|

...

|?last?field?of?data?|

剩下全都是具體的列數據了,從第一列到最后一列。第一列是 ID 列,是 INT 類型的 1,占四個字節(jié) 80 00 00 01。開頭的 80 是因為,正數要以 1 開頭,這是 mysql 規(guī)定的,0x80 的二進制就是 1000 0000,所以這也對上了。第二列是 name 列,是?"dibingfa" 這樣一個 varchar 類型的字符串。可是與后面怎么也對應不上,這是咋回事呢?還記不記得,mysql 每行記錄會有幾個隱藏列,rowid,事務 ID,回滾指針?沒錯,就是他們。其中,因為有主鍵,所以 rowid 就不存在了,也可以說第一列要么是 mysql 為我們生成的 6 字節(jié)的 rowid,要么是用戶定義的主鍵或其他 Unique 鍵,優(yōu)先以用戶定義的鍵為準。下面我們一塊看一下這五個列。(三個隱藏列,兩個我們定義的列)主鍵 ID:80 00 00 01

事務 ID:00 00 00 00 0A 07

回滾指針:A7 00 00 01 1B 01 10

name 列(dibingfa):64 69 62 69 6E 67 66 61

age 列(2):80 00 00 02

其中 age 列同剛剛說的一樣,mysql 會為正數的前面,加一個 1,所以 age 為 2,在磁盤上存儲的就是 80 00 00 02。事務 ID 和回滾指針就涉及到事務、隔離級別和 MVCC 這一大坨八股文的知識點,這里不做展開。
行記錄格式整體結構





總結下,整個一行記錄的格式,叫做 mysql 的行記錄格式,ROW_FORMAT這個 ROW_FORMAT 可以有不同的值,代表存儲這一行記錄的不同數據結構,其枚舉記錄在 remOtypes.h 文件中。/**?Innodb?row?types?are?a?subset?of?the?MySQL?global?enum?row_type.
They?are?made?into?their?own?enum?so?that?switch?statements?can?account
for?each?of?them.?*/

enum?rec_format_enum?{
?REC_FORMAT_REDUNDANT?=?0,?/*!
?REC_FORMAT_COMPACT?=?1,?/*!
?REC_FORMAT_COMPRESSED?=?2,?/*!
?REC_FORMAT_DYNAMIC?=?3?/*!
};
我電腦上用的是 mysql 5.7,其默認的行記錄格式是?DYNAMIC,這個在源碼中也可以找到答案,在 ha_innodb.cc 中。static?ulong?innodb_default_row_format?=?DEFAULT_ROW_FORMAT_DYNAMIC;當然,可以用如下命令查詢你的行格式。show table status from flash like 'student';所以我們今天以上講述的格式,都是 DYNAMIC 格式的結構,總結起來如下:
記錄源信息變長字段列表

NULL 值列表

記錄頭信息

具體記錄的各列信息rowid 或?主鍵(隱藏列)
事務 ID隱藏列
回滾指針隱藏列列 1
列 2...列 n剛剛那七條記錄,整體分析下,就如下圖。

然后多個行,一次緊密地排列,通過記錄頭中的下一條記錄的相對位置指針信息,可以快速找到下一條記錄的起始位置。再宏觀一點看,整個 ibd 文件,劃分了很多個塊,每個塊 16 KB,我們這幾行記錄信息,在第四個塊的某個區(qū)域內。
具體為什么是這個區(qū)域呢?因為這里是用戶記錄部分,前面還有文件頭、頁面頭等信息,共占用 120 個字節(jié),咱們今天講的行記錄部分,就從第 121 個字節(jié)開始。慢慢的,我再和大家一起把其他部分搞清楚,那 mysql 這塊我們就從最原始的磁盤數據入手,將 data 文件夾下的所有文件都搞清楚了。
最原始的數據都搞清楚了,原理還擔心么?
再聊幾句





其實,不要被行記錄格式這種名詞嚇到,它只是個協(xié)議規(guī)定罷了。就是 mysql 規(guī)定了一種將一行記錄存儲在磁盤中的格式,以便于 mysql 自己的程序可以根據這個結構認識這一行記錄。
所以這種協(xié)議,首先要滿足讓 mysql?知道全部想知道的信息,比如 mysql 現(xiàn)在能僅僅通過 ibd 文件里的這些二進制數,知道每個字段的值都是什么嗎?不能,因為它不知道表結構是什么樣子,也就沒法知道兩個字段值之間的界限在哪里。
所以不難想到,它一定利用了 frm 文件中存儲的表結構信息。
其次,要讓 mysql 在知道這些信息的同時,還能更方便地利用這個結構,占用更少的存儲空間,以及提升程序的便利性。
拿占用更少存儲空間這塊來講,NULL 值完全可以當做普通列,也存儲在后面,然后規(guī)定一個 NULL 值的二進制標識符即可。但 DYNAMIC 行記錄格式規(guī)定前面放一個 NULL 值列表的結構,并且僅僅用 1 位來表示一個 NULL 值記錄,這樣就極大節(jié)省了空間再說便利性這塊,上面說了變長字段長度列表和 NULL 值列表,都是逆序存儲的,看似很別扭,其實就是為了程序的便利性,這里留給大家自己探索吧。順便提一下,記得很久之前還是用 sqlyog 去連 mysql 的,其實 mysql 下載并安裝后,自帶的 workbench 就很好用了。
所以非常方便本機做實驗。大家方便的時候也自己玩一玩哦,我們下期見。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉