最近我們組自己開發(fā)了一個過載保護服務(wù)，用來解決服務(wù)或者站點過載導(dǎo)致系統(tǒng)雪崩的問題，最近看了下底層實現(xiàn)，還是很有參考意義的，接下來介紹下過載保護的功能和原理。
一.過載保護的作用
我們這里開發(fā)的過載保護的主要目的是：避免服務(wù)中的某個接口調(diào)用堆積導(dǎo)致的整個服務(wù)不可用，這里調(diào)用堆積的原因可能有兩個
1.某個接口的訪問量突然增大，達到了平時高峰調(diào)用量的幾倍乃至幾十倍。產(chǎn)生的原因可能為產(chǎn)品加了個類似于秒殺活動的需求，在秒殺的一瞬間接口調(diào)用量激增。
2.由于某次上線對接口進行了改動，導(dǎo)致接口的執(zhí)行時間從之前的10ms變成了50ms,雖然50ms的執(zhí)行時間也算正常，但是如果某個調(diào)用方訪問當(dāng)前接口的量達到50次/秒，就會導(dǎo)致請求的堆積，因為當(dāng)前服務(wù)接口只能支持20次/秒的調(diào)用。
我們知道，接口的每次調(diào)用一般都會是一個線程來處理，如果某個接口的調(diào)用激增或者因耗時較長導(dǎo)致阻塞，就會產(chǎn)生堆積，導(dǎo)致其他接口的請求也會隨著堆積，影響了其他接口的正常調(diào)用，最后導(dǎo)致整個服務(wù)掛掉，這種情況是不可接受的。
舉個例子，現(xiàn)在有一個接口A在調(diào)用別人的服務(wù)A，這個服務(wù)A由于自身原因訪問全部超時了，那么這個接口A就會響應(yīng)超時，如果調(diào)用方大量調(diào)用這個接口A，就會產(chǎn)生請求堆積，這時即使我們接口B(調(diào)用了服務(wù)B)的狀態(tài)是正常的，也會受接口A超時的影響，最后導(dǎo)致整個服務(wù)不可用。
綜上，我們的過載保護系統(tǒng)就是為了防止某個服務(wù)掛掉或者大量超時產(chǎn)生請求堆積，影響整個系統(tǒng)的產(chǎn)物。這在我們的代理服務(wù)(封裝了大量別人的服務(wù))里顯得格外重要，因為代理服務(wù)里封裝了大量別人的服務(wù)，不能因為某一個服務(wù)異常導(dǎo)致整個代理服務(wù)掛掉，影響了我們整個系統(tǒng)。
二.過載保護的實現(xiàn)原理
實現(xiàn)一個過載保護，主要是限制下當(dāng)前接口的調(diào)用次數(shù)，即同一時刻，當(dāng)前接口最大調(diào)用次數(shù)為N(N為我們自己設(shè)置的值)，保證接口在同一時刻最大調(diào)用次數(shù)不超過N來實現(xiàn)過載保護。比如接口A大量超時導(dǎo)致請求堆積，但是由于我們加了過載保護，那么同一時刻最多只會有N個請求調(diào)用接口A，其他的請求我們將它拋棄掉，從而達到保護整個系統(tǒng)的作用。下面簡單介紹下過載保護的實現(xiàn)原理
我們對加上了過載保護的接口都使用一個唯一標(biāo)識作為key，可以簡單理解為類名+方法名作為key(重載的先不考慮)，這樣每個接口都有一個唯一的標(biāo)識，我們使用一個變量count記錄每個接口當(dāng)前調(diào)用次數(shù)，和方法的唯一標(biāo)識存到Map中。每次調(diào)用這個接口的時候，我們執(zhí)行count+1,接口執(zhí)行完之后執(zhí)行count-1操作，以此來限制同一時刻當(dāng)前接口的最大調(diào)用次數(shù)。這里我們可以使用一個代理或者攔截器來實現(xiàn)過載保護的功能，我們組開發(fā)的過載保護使用的是攔截器方式(并不一定是最好的)，在每個需要過載保護的接口調(diào)用前后加上一個攔截器，前置攔截器負(fù)責(zé)對當(dāng)前接口key的count+1,后置攔截器對count-1,實現(xiàn)原理其實就這么簡單。
如果當(dāng)前接口的調(diào)用次數(shù)超過最大調(diào)用次數(shù)(擴容之后的)，那么在前置攔截器里直接拋出異常，超過過載保護限制，請求被拒絕。
具體實現(xiàn)上，我們使用了一個隊列來實現(xiàn)過載保護，每次前置攔截的時候，我們?nèi)腙犚粋€對象，對象包括當(dāng)前時間(用來做一些超時判斷)，線程id等數(shù)據(jù)，后置攔截的時候執(zhí)行出隊操作，以此來實現(xiàn)count+1,-1的功能。
三.需要關(guān)注的問題
1.需要支持自動擴容，加入當(dāng)前系統(tǒng)負(fù)載正常，各方面指標(biāo)也正常，由于重啟服務(wù)導(dǎo)致小量接口請求的堆積，而不是大量出現(xiàn)超時堆積的時候，我們應(yīng)該支持這部分小量堆積的調(diào)用，而不是超過一點就拋棄，這里可以使用自動擴容機制，當(dāng)發(fā)現(xiàn)請求數(shù)量達到最大限制N時，我們對N進行擴容，例如N*2，就可以處理那小部分對接的請求了，但是擴容需要有個上線，我們開發(fā)的是不能超過初始設(shè)置N的4倍，目前來看沒有攔截掉正常堆積的請求，當(dāng)出現(xiàn)大量超時時仍能起到過載保護的限制作用。
2.需要保證每個接口調(diào)用前"接口調(diào)用次數(shù)"+1，接口調(diào)用后"接口調(diào)用次數(shù)"-1的操作正確執(zhí)行，否則會導(dǎo)致資源被浪費，即當(dāng)前系統(tǒng)狀態(tài)應(yīng)該允許接口被執(zhí)行卻誤觸了過載保護機制，同時還要在丟棄前對count進行校驗，比如當(dāng)前count是否準(zhǔn)確，是否存在接口已經(jīng)執(zhí)行結(jié)束，但是count沒有-1的情況。
這就是我們?yōu)槭裁词褂藐犃械囊粋€原因之一，我們在每次丟棄請求之前，會校驗下隊列的頭節(jié)點是否有效，是否超時等操作，如果頭結(jié)點有異常，我們會丟棄頭結(jié)點，請求繼續(xù)入隊，這樣解決了如果有接口執(zhí)行完，卻沒有執(zhí)行出隊時候的問題。
3.此外，我們還做了一些系統(tǒng)監(jiān)控方面的工作，如果某個接口請求時間過長，我們會從隊里獲取線程id，打印出線程的信息到日志中。同時我們還監(jiān)控了CPU,內(nèi)存等核心數(shù)據(jù)，當(dāng)發(fā)現(xiàn)CPU，內(nèi)存等資源緊張的時候，我們不允許自動擴容，從而保護我們的系統(tǒng)。
四.過載保護可能帶來的問題
性能消耗，前置后置攔截器，計數(shù)，擴容等等系列操作，都會對系統(tǒng)性能有一定影響，目前我們壓測系統(tǒng)性能的時候發(fā)現(xiàn)過載保護會降低我們系統(tǒng)的性能瓶頸，去掉過載保護，qps還能增高不少。
總結(jié)：過載保護在系統(tǒng)中扮演著重要的角色，過載保護并不能提升我們的系統(tǒng)性能，只是為我們系統(tǒng)做了一個保障，避免因為異常導(dǎo)致系統(tǒng)整體不可用，當(dāng)系統(tǒng)達到性能瓶頸時，拒絕一些請求從而保護我們的系統(tǒng)整體可用，是十分有必要的。
下載文檔
