當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]在眾多的SQL審核產(chǎn)品中,幾乎都會提到一個審核規(guī)則,即select *,規(guī)則描述幾乎一致:禁止使用select *,必須明確選擇所需的列。而這個規(guī)則其實有著很多真實的生產(chǎn)故障案例。



作者介紹

蔣健,薄冰科技創(chuàng)始人,Oracle ACE,11g OCM,多年Oracle設(shè)計、管理及實施經(jīng)驗,精通數(shù)據(jù)庫優(yōu)化。

在眾多的SQL審核產(chǎn)品中,幾乎都會提到一個審核規(guī)則,即select *,規(guī)則描述幾乎一致:禁止使用select *,必須明確選擇所需的列。而這個規(guī)則其實有著很多真實的生產(chǎn)故障案例,下面介紹幾個比較常見的案例:

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧? 案例 1 由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


用戶反饋生產(chǎn)環(huán)境有兩條SQL語句,可以確認(rèn)區(qū)別只有表名的不同(實際參數(shù)相同),但性能上卻有10倍以上的差距。

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


通過生成的監(jiān)視報告可發(fā)現(xiàn)SQL1執(zhí)行時間8s,IO 403MB,如下圖:

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


SQL2 執(zhí)行時間2.1m,IO則有15GB,如下圖:

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


根據(jù)業(yè)務(wù)反饋,SQL1中表是影子表,數(shù)據(jù)量,表結(jié)構(gòu)跟對應(yīng)表幾乎相同,那么為什么執(zhí)行時間差距這么大呢?


DBA在此之前已經(jīng)在準(zhǔn)生產(chǎn)環(huán)境多次通過DBMS_SHARED_POOL.PURGE刪除對應(yīng)的執(zhí)行計劃,換參數(shù)多次重復(fù)解析,均沒獲得正確的執(zhí)行計劃。


通過分析對比監(jiān)視報告發(fā)現(xiàn),SQL1中with語句正常物化,執(zhí)行計劃中存在臨時表轉(zhuǎn)化操作,即TEMP TABLE TRANSFORMATION,而SQL2中由于沒做臨時表轉(zhuǎn)化操作,IM_HISMESSAGE表被訪問多次,效率低下。

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


通過再次觀察整個SQL運行期間的等待事件,我們可以快速發(fā)現(xiàn),其實SQL慢了10倍的原因并非是執(zhí)行計劃引起的(主要等待事件為直接路徑讀,讀寫臨時表比例很低,而且并沒有出現(xiàn)經(jīng)典的大表作為NL被驅(qū)動表的情況),對比運行數(shù)據(jù),可以發(fā)現(xiàn)IO的增量主要來源于對IM_HISMESSAGE表的掃描。

影子表的差異


通過逐行對比號返回列的詳細(xì)信息,我們終于發(fā)現(xiàn)了謎底:


原始表是有LOB字段的,影子表沒有LOB字段,IO量小了很多。同時由于存在LOB字段,with語句無法進(jìn)行臨時表轉(zhuǎn)化。


而SQL文本中經(jīng)典的 select 則完美的掩蓋了這一差異,開發(fā)人員圖方便寫出來的 select * 查詢了根本不需要的LOB字段,導(dǎo)致了性能的急劇下降。

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧? 案例 2 由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


客戶生產(chǎn)環(huán)境的AWR報告上有一條夸張的TOPSQL,占全天DBTIME的84%

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


原始SQL不展示了,SQL本身其實比較簡單,模擬下來如下:


select * from test_a where object_id =11;


執(zhí)行計劃也很簡單,所以很快也能發(fā)現(xiàn)問題,TABLE ACCESS BY INDEX ROWID的COST相對異常的高,排查下表的統(tǒng)計信息時,驚奇的發(fā)現(xiàn),這是張寬表,有400+列,當(dāng)寬表遇上select *時,性能就急劇下降了。

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


問題定位雖然很快,但處理起來卻并不方便,畢竟需要找到開發(fā)改SQL,這快不了。當(dāng)然沒什么疑問的是,系統(tǒng)的性能問題出在SQL代碼的質(zhì)量。

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧? 案例 3 由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


準(zhǔn)備環(huán)境如下:從dba_objects中復(fù)制兩張表t1,t2作為測試環(huán)境表。


由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


準(zhǔn)備了兩個查詢,相同的條件,區(qū)別主要在于一個只查單列,另外一個查詢?nèi)小?/span>


通過模擬,可以發(fā)現(xiàn),use_merge這種表連接方式情況下,排序操作的內(nèi)存消耗有較大的差距,這種差距會在有索引情況下,且指定查詢列也能命中索引走索引快速全掃描時被大幅放大。

查詢?nèi)校?/span>SORT JOIN內(nèi)存消耗 1810K:


由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


查詢id,SORT JOIN內(nèi)存消耗 424K:

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?

如果是HASH JOIN的話,join操作影響相對較小,可以換hint再測試看看。

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧? 案例 4 由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


有些場景,SQL查詢的表數(shù)據(jù)量較大,查詢字段也較多(無法全部走索引)的時候,這里暫時不考慮*增加的不需要使用的列在數(shù)據(jù)庫返回數(shù)據(jù)到應(yīng)用時網(wǎng)絡(luò)層的消耗。


如果你的機(jī)器剛好是EXADATA,那么smart scan也會讓select *與指定列的查詢有明顯的性能差異。


這個限于篇幅推薦直接參考Oracle官方技術(shù)博客:

https://blogs.oracle.com/exadatacn/exadata-v5

由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧? 總結(jié) 由SELECT *引發(fā)的多個生產(chǎn)故障,問題藏太深了吧?


通過這些案例,select *這個規(guī)則,變得立體了許多。


select *寫法方便快捷,但帶來的問題卻藏得很深,這種問題在上線后,隨著系統(tǒng)的維護(hù),都將變成修復(fù)成本極高的隱患。




免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉