當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]“ Insert into select 請慎用,同事因為使用了 Insert into select 語句引發(fā)了重大生產(chǎn)事故,最后被開除。 作者:不一樣的科技宅 https://juejin.im/post/5e670f0151882549274a65ef 某天 xxx 接到一個需求,需要將表 A 的數(shù)據(jù)遷移到表 B 中去做一個備份。他

<section style="box-sizing: border-box;font-size: 16px;">

Insert into select 請慎用,同事因為使用了 Insert into select 語句引發(fā)了重大生產(chǎn)事故,最后被開除。


因用了Insert into select語句,同事被開除了!

作者:不一樣的科技宅

https://juejin.im/post/5e670f0151882549274a65ef


某天 xxx 接到一個需求,需要將表 A 的數(shù)據(jù)遷移到表 B 中去做一個備份。他本想通過程序先查詢查出來然后批量插入,但 xxx 覺得這樣有點慢,需要耗費大量的網(wǎng)絡(luò) I/O,決定采取別的方法進行實現(xiàn)。


通過在某度的海洋里遨游,他發(fā)現(xiàn)了可以使用 insert into select 實現(xiàn),這樣就可以避免使用網(wǎng)絡(luò) I/O,直接使用 SQL 依靠數(shù)據(jù)庫 I/O 完成,這樣簡直不要太棒,然后他就被開除了。


事故發(fā)生的經(jīng)過


由于數(shù)據(jù)數(shù)據(jù)庫中 order_today 數(shù)據(jù)量過大,當(dāng)時好像有 700W 了,并且每天在以 30W 的速度增加。


所以上司命令 xxx 將 order_today 內(nèi)的部分數(shù)據(jù)遷移到 order_record 中,并將 order_today 中的數(shù)據(jù)刪除,這樣來降低 order_today 表中的數(shù)據(jù)量。


由于考慮到會占用數(shù)據(jù)庫 I/O,為了不影響業(yè)務(wù),計劃是 9:00 以后開始遷移,但是 xxx 在 8:00 的時候,嘗試遷移了少部分數(shù)據(jù)(1000 條),覺得沒啥問題,就開始考慮大批量遷移。

因用了Insert into select語句,同事被開除了!
在遷移的過程中,應(yīng)急群是先反應(yīng)有小部分用戶出現(xiàn)支付失敗,隨后反應(yīng)大批用戶出現(xiàn)支付失敗的情況,以及初始化訂單失敗的情況,同時騰訊也開始報警。

因用了Insert into select語句,同事被開除了!

然后 xxx 就慌了,立即停止了遷移。 本以為停止遷移就就可以恢復(fù)了,但是并沒有。


后面發(fā)生的你們可以腦補一下,當(dāng)時整個支付系統(tǒng)癱瘓了快一個小時,客服電話都被打爆。

事故還原


在本地建立一個精簡版的數(shù)據(jù)庫,并生成了 100w 的數(shù)據(jù)。模擬線上發(fā)生的情況。


建立表結(jié)構(gòu)


訂單表如下:
CREATE TABLE `order_today` (
`id` varchar(32NOT NULL COMMENT '主鍵',
`merchant_id` varchar(32CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '商戶編號',
`amount` decimal(15,2NOT NULL COMMENT '訂單金額',
`pay_success_time` datetime NOT NULL COMMENT '支付成功時間',
`order_status` varchar(10CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '支付狀態(tài)  S:支付成功、F:訂單支付失敗',
`remark` varchar(100CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '備注',
`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時間',
`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改時間 -- 修改時自動更新',
  PRIMARY KEY (`id`USING BTREE,
KEY `idx_merchant_id` (`merchant_id`USING BTREE COMMENT '商戶編號'
ENGINE=InnoDB DEFAULT CHARSET=utf8;

訂單記錄表如下:
CREATE TABLE order_record like order_today;

今日訂單表數(shù)據(jù)如下:

因用了Insert into select語句,同事被開除了!

模擬遷移


把 8 號之前的數(shù)據(jù)都遷移到 order_record 表中去:
INSERT INTO order_record SELECT
    * 
FROM
    order_today 
WHERE
    pay_success_time < '2020-03-08 00:00:00';

在 Navicat 中運行遷移的 SQL,同時開另個一個窗口插入數(shù)據(jù),模擬下單:
因用了Insert into select語句,同事被開除了!

因用了Insert into select語句,同事被開除了!

從上面可以發(fā)現(xiàn)一開始能正常插入,但是后面突然就卡住了,并且耗費了 23s 才成功,然后才能繼續(xù)插入。這個時候已經(jīng)遷移成功了,所以能正常插入了。


出現(xiàn)的原因


在默認的事務(wù)隔離級別下:insert into order_record select * from order_today 加鎖規(guī)則是:order_record 表鎖,order_today 逐步鎖(掃描一個鎖一個)。


分析執(zhí)行過程:

因用了Insert into select語句,同事被開除了!

通過觀察遷移 SQL 的執(zhí)行情況你會發(fā)現(xiàn) order_today 是全表掃描,也就意味著在執(zhí)行 insert into select from 語句時,MySQL 會從上到下掃描 order_today 內(nèi)的記錄并且加鎖,這樣一來不就和直接鎖表是一樣了。


這也就可以解釋,為什么一開始只有少量用戶出現(xiàn)支付失敗,后續(xù)大量用戶出現(xiàn)支付失敗,初始化訂單失敗等情況,因為一開始只鎖定了少部分數(shù)據(jù),沒有被鎖定的數(shù)據(jù)還是可以正常被修改為正常狀態(tài)。


由于鎖定的數(shù)據(jù)越來越多,就導(dǎo)致出現(xiàn)了大量支付失敗。最后全部鎖住,導(dǎo)致無法插入訂單,而出現(xiàn)初始化訂單失敗。


解決方案


由于查詢條件會導(dǎo)致 order_today 全表掃描,什么能避免全表掃描呢,很簡單嘛,給 pay_success_time 字段添加一個 idx_pay_suc_time 索引就可以了。


由于走索引查詢,就不會出現(xiàn)掃描全表的情況而鎖表了,只會鎖定符合條件的記錄。


最終的 SQL:

INSERT INTO order_record SELECT
    * 
FROM
    order_today FORCE INDEX (idx_pay_suc_time)
WHERE
    pay_success_time <= '2020-03-08 00:00:00';

執(zhí)行過程如下:

因用了Insert into select語句,同事被開除了!

總結(jié)


使用 insert into tablA select * from tableB 語句時,一定要確保 tableB 后面的 where,order 或者其他條件,都需要有對應(yīng)的索引,來避免出現(xiàn) tableB 全部記錄被鎖定的情況。


特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容,還沒關(guān)注的小伙伴,可以長按關(guān)注一下:

因用了Insert into select語句,同事被開除了!

長按訂閱更多精彩▼

因用了Insert into select語句,同事被開除了!

serif;letter-spacing: 0.544px;white-space: normal;text-align: right;line-height: 2em;box-sizing: border-box !important;word-wrap: break-word !important;">如有收獲,點個在看,誠摯感謝

免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉