最近我們組自己開發(fā)了一個過載保護服務(wù),用來解決服務(wù)或者站點過載導(dǎo)致系統(tǒng)雪崩的問題,最近看了下底層實現(xiàn),還是很有參考意義的,接下來介紹下過載保護的功能和原理。
一.過載保護的作用
我們這里開發(fā)的過載保護的主要目的是:避免服務(wù)中的某個接口調(diào)用堆積導(dǎo)致的整個服務(wù)不可用,這里調(diào)用堆積的原因可能有兩個
1.某個接口的訪問量突然增大,達到了平時高峰調(diào)用量的幾倍乃至幾十倍。產(chǎn)生的原因可能為產(chǎn)品加了個類似于秒殺活動的需求,在秒殺的一瞬間接口調(diào)用量激增。
2.由于某次上線對接口進行了改動,導(dǎo)致接口的執(zhí)行時間從之前的10ms變成了50ms,雖然50ms的執(zhí)行時間也算正常,但是如果某個調(diào)用方訪問當(dāng)前接口的量達到50次/秒,就會導(dǎo)致請求的堆積,因為當(dāng)前服務(wù)接口只能支持20次/秒的調(diào)用。
我們知道,接口的每次調(diào)用一般都會是一個線程來處理,如果某個接口的調(diào)用激增或者因耗時較長導(dǎo)致阻塞,就會產(chǎn)生堆積,導(dǎo)致其他接口的請求也會隨著堆積,影響了其他接口的正常調(diào)用,最后導(dǎo)致整個服務(wù)掛掉,這種情況是不可接受的。
舉個例子,現(xiàn)在有一個接口A在調(diào)用別人的服務(wù)A,這個服務(wù)A由于自身原因訪問全部超時了,那么這個接口A就會響應(yīng)超時,如果調(diào)用方大量調(diào)用這個接口A,就會產(chǎn)生請求堆積,這時即使我們接口B(調(diào)用了服務(wù)B)的狀態(tài)是正常的,也會受接口A超時的影響,最后導(dǎo)致整個服務(wù)不可用。
綜上,我們的過載保護系統(tǒng)就是為了防止某個服務(wù)掛掉或者大量超時產(chǎn)生請求堆積,影響整個系統(tǒng)的產(chǎn)物。這在我們的代理服務(wù)(封裝了大量別人的服務(wù))里顯得格外重要,因為代理服務(wù)里封裝了大量別人的服務(wù),不能因為某一個服務(wù)異常導(dǎo)致整個代理服務(wù)掛掉,影響了我們整個系統(tǒng)。
二.過載保護的實現(xiàn)原理
實現(xiàn)一個過載保護,主要是限制下當(dāng)前接口的調(diào)用次數(shù),即同一時刻,當(dāng)前接口最大調(diào)用次數(shù)為N(N為我們自己設(shè)置的值),保證接口在同一時刻最大調(diào)用次數(shù)不超過N來實現(xiàn)過載保護。比如接口A大量超時導(dǎo)致請求堆積,但是由于我們加了過載保護,那么同一時刻最多只會有N個請求調(diào)用接口A,其他的請求我們將它拋棄掉,從而達到保護整個系統(tǒng)的作用。下面簡單介紹下過載保護的實現(xiàn)原理
我們對加上了過載保護的接口都使用一個唯一標(biāo)識作為key,可以簡單理解為類名+方法名作為key(重載的先不考慮),這樣每個接口都有一個唯一的標(biāo)識,我們使用一個變量count記錄每個接口當(dāng)前調(diào)用次數(shù),和方法的唯一標(biāo)識存到Map中。每次調(diào)用這個接口的時候,我們執(zhí)行count+1,接口執(zhí)行完之后執(zhí)行count-1操作,以此來限制同一時刻當(dāng)前接口的最大調(diào)用次數(shù)。這里我們可以使用一個代理或者攔截器來實現(xiàn)過載保護的功能,我們組開發(fā)的過載保護使用的是攔截器方式(并不一定是最好的),在每個需要過載保護的接口調(diào)用前后加上一個攔截器,前置攔截器負(fù)責(zé)對當(dāng)前接口key的count+1,后置攔截器對count-1,實現(xiàn)原理其實就這么簡單。
如果當(dāng)前接口的調(diào)用次數(shù)超過最大調(diào)用次數(shù)(擴容之后的),那么在前置攔截器里直接拋出異常,超過過載保護限制,請求被拒絕。
具體實現(xiàn)上,我們使用了一個隊列來實現(xiàn)過載保護,每次前置攔截的時候,我們?nèi)腙犚粋€對象,對象包括當(dāng)前時間(用來做一些超時判斷),線程id等數(shù)據(jù),后置攔截的時候執(zhí)行出隊操作,以此來實現(xiàn)count+1,-1的功能。
三.需要關(guān)注的問題
1.需要支持自動擴容,加入當(dāng)前系統(tǒng)負(fù)載正常,各方面指標(biāo)也正常,由于重啟服務(wù)導(dǎo)致小量接口請求的堆積,而不是大量出現(xiàn)超時堆積的時候,我們應(yīng)該支持這部分小量堆積的調(diào)用,而不是超過一點就拋棄,這里可以使用自動擴容機制,當(dāng)發(fā)現(xiàn)請求數(shù)量達到最大限制N時,我們對N進行擴容,例如N*2,就可以處理那小部分對接的請求了,但是擴容需要有個上線,我們開發(fā)的是不能超過初始設(shè)置N的4倍,目前來看沒有攔截掉正常堆積的請求,當(dāng)出現(xiàn)大量超時時仍能起到過載保護的限制作用。
2.需要保證每個接口調(diào)用前"接口調(diào)用次數(shù)"+1,接口調(diào)用后"接口調(diào)用次數(shù)"-1的操作正確執(zhí)行,否則會導(dǎo)致資源被浪費,即當(dāng)前系統(tǒng)狀態(tài)應(yīng)該允許接口被執(zhí)行卻誤觸了過載保護機制,同時還要在丟棄前對count進行校驗,比如當(dāng)前count是否準(zhǔn)確,是否存在接口已經(jīng)執(zhí)行結(jié)束,但是count沒有-1的情況。
這就是我們?yōu)槭裁词褂藐犃械囊粋€原因之一,我們在每次丟棄請求之前,會校驗下隊列的頭節(jié)點是否有效,是否超時等操作,如果頭結(jié)點有異常,我們會丟棄頭結(jié)點,請求繼續(xù)入隊,這樣解決了如果有接口執(zhí)行完,卻沒有執(zhí)行出隊時候的問題。
3.此外,我們還做了一些系統(tǒng)監(jiān)控方面的工作,如果某個接口請求時間過長,我們會從隊里獲取線程id,打印出線程的信息到日志中。同時我們還監(jiān)控了CPU,內(nèi)存等核心數(shù)據(jù),當(dāng)發(fā)現(xiàn)CPU,內(nèi)存等資源緊張的時候,我們不允許自動擴容,從而保護我們的系統(tǒng)。
四.過載保護可能帶來的問題
性能消耗,前置后置攔截器,計數(shù),擴容等等系列操作,都會對系統(tǒng)性能有一定影響,目前我們壓測系統(tǒng)性能的時候發(fā)現(xiàn)過載保護會降低我們系統(tǒng)的性能瓶頸,去掉過載保護,qps還能增高不少。
總結(jié):過載保護在系統(tǒng)中扮演著重要的角色,過載保護并不能提升我們的系統(tǒng)性能,只是為我們系統(tǒng)做了一個保障,避免因為異常導(dǎo)致系統(tǒng)整體不可用,當(dāng)系統(tǒng)達到性能瓶頸時,拒絕一些請求從而保護我們的系統(tǒng)整體可用,是十分有必要的。