過載保護器原理

最近我們組自己開發(fā)了一個過載保護服務，用來解決服務或者站點過載導致系統(tǒng)雪崩的問題，最近看了下底層實現(xiàn)，還是很有參考意義的，接下來介紹下過載保護的功能和原理。

一.過載保護的作用

我們這里開發(fā)的過載保護的主要目的是：避免服務中的某個接口調用堆積導致的整個服務不可用，這里調用堆積的原因可能有兩個

1.某個接口的訪問量突然增大，達到了平時高峰調用量的幾倍乃至幾十倍。產生的原因可能為產品加了個類似于秒殺活動的需求，在秒殺的一瞬間接口調用量激增。

2.由于某次上線對接口進行了改動，導致接口的執(zhí)行時間從之前的10ms變成了50ms,雖然50ms的執(zhí)行時間也算正常，但是如果某個調用方訪問當前接口的量達到50次/秒，就會導致請求的堆積，因為當前服務接口只能支持20次/秒的調用。

我們知道，接口的每次調用一般都會是一個線程來處理，如果某個接口的調用激增或者因耗時較長導致阻塞，就會產生堆積，導致其他接口的請求也會隨著堆積，影響了其他接口的正常調用，最后導致整個服務掛掉，這種情況是不可接受的。

舉個例子，現(xiàn)在有一個接口A在調用別人的服務A，這個服務A由于自身原因訪問全部超時了，那么這個接口A就會響應超時，如果調用方大量調用這個接口A，就會產生請求堆積，這時即使我們接口B(調用了服務B)的狀態(tài)是正常的，也會受接口A超時的影響，最后導致整個服務不可用。

綜上，我們的過載保護系統(tǒng)就是為了防止某個服務掛掉或者大量超時產生請求堆積，影響整個系統(tǒng)的產物。這在我們的代理服務(封裝了大量別人的服務)里顯得格外重要，因為代理服務里封裝了大量別人的服務，不能因為某一個服務異常導致整個代理服務掛掉，影響了我們整個系統(tǒng)。

二.過載保護的實現(xiàn)原理

實現(xiàn)一個過載保護，主要是限制下當前接口的調用次數(shù)，即同一時刻，當前接口最大調用次數(shù)為N(N為我們自己設置的值)，保證接口在同一時刻最大調用次數(shù)不超過N來實現(xiàn)過載保護。比如接口A大量超時導致請求堆積，但是由于我們加了過載保護，那么同一時刻最多只會有N個請求調用接口A，其他的請求我們將它拋棄掉，從而達到保護整個系統(tǒng)的作用。下面簡單介紹下過載保護的實現(xiàn)原理

我們對加上了過載保護的接口都使用一個唯一標識作為key，可以簡單理解為類名+方法名作為key(重載的先不考慮)，這樣每個接口都有一個唯一的標識，我們使用一個變量count記錄每個接口當前調用次數(shù)，和方法的唯一標識存到Map中。每次調用這個接口的時候，我們執(zhí)行count+1,接口執(zhí)行完之后執(zhí)行count-1操作，以此來限制同一時刻當前接口的最大調用次數(shù)。這里我們可以使用一個代理或者攔截器來實現(xiàn)過載保護的功能，我們組開發(fā)的過載保護使用的是攔截器方式(并不一定是最好的)，在每個需要過載保護的接口調用前后加上一個攔截器，前置攔截器負責對當前接口key的count+1,后置攔截器對count-1,實現(xiàn)原理其實就這么簡單。

如果當前接口的調用次數(shù)超過最大調用次數(shù)(擴容之后的)，那么在前置攔截器里直接拋出異常，超過過載保護限制，請求被拒絕。

具體實現(xiàn)上，我們使用了一個隊列來實現(xiàn)過載保護，每次前置攔截的時候，我們入隊一個對象，對象包括當前時間(用來做一些超時判斷)，線程id等數(shù)據，后置攔截的時候執(zhí)行出隊操作，以此來實現(xiàn)count+1,-1的功能。

三.需要關注的問題

1.需要支持自動擴容，加入當前系統(tǒng)負載正常，各方面指標也正常，由于重啟服務導致小量接口請求的堆積，而不是大量出現(xiàn)超時堆積的時候，我們應該支持這部分小量堆積的調用，而不是超過一點就拋棄，這里可以使用自動擴容機制，當發(fā)現(xiàn)請求數(shù)量達到最大限制N時，我們對N進行擴容，例如N*2，就可以處理那小部分對接的請求了，但是擴容需要有個上線，我們開發(fā)的是不能超過初始設置N的4倍，目前來看沒有攔截掉正常堆積的請求，當出現(xiàn)大量超時時仍能起到過載保護的限制作用。

2.需要保證每個接口調用前"接口調用次數(shù)"+1，接口調用后"接口調用次數(shù)"-1的操作正確執(zhí)行，否則會導致資源被浪費，即當前系統(tǒng)狀態(tài)應該允許接口被執(zhí)行卻誤觸了過載保護機制，同時還要在丟棄前對count進行校驗，比如當前count是否準確，是否存在接口已經執(zhí)行結束，但是count沒有-1的情況。

這就是我們?yōu)槭裁词褂藐犃械囊粋€原因之一，我們在每次丟棄請求之前，會校驗下隊列的頭節(jié)點是否有效，是否超時等操作，如果頭結點有異常，我們會丟棄頭結點，請求繼續(xù)入隊，這樣解決了如果有接口執(zhí)行完，卻沒有執(zhí)行出隊時候的問題。

3.此外，我們還做了一些系統(tǒng)監(jiān)控方面的工作，如果某個接口請求時間過長，我們會從隊里獲取線程id，打印出線程的信息到日志中。同時我們還監(jiān)控了CPU,內存等核心數(shù)據，當發(fā)現(xiàn)CPU，內存等資源緊張的時候，我們不允許自動擴容，從而保護我們的系統(tǒng)。

四.過載保護可能帶來的問題

性能消耗，前置后置攔截器，計數(shù)，擴容等等系列操作，都會對系統(tǒng)性能有一定影響，目前我們壓測系統(tǒng)性能的時候發(fā)現(xiàn)過載保護會降低我們系統(tǒng)的性能瓶頸，去掉過載保護，qps還能增高不少。

總結：過載保護在系統(tǒng)中扮演著重要的角色，過載保護并不能提升我們的系統(tǒng)性能，只是為我們系統(tǒng)做了一個保障，避免因為異常導致系統(tǒng)整體不可用，當系統(tǒng)達到性能瓶頸時，拒絕一些請求從而保護我們的系統(tǒng)整體可用，是十分有必要的。