【高并發(fā)】在高并發(fā)環(huán)境下該如何構(gòu)建應(yīng)用級緩存？

寫在前面

隨著我們的系統(tǒng)負載越來越高，系統(tǒng)的性能就會有所下降，此時，我們可以很自然地想到使用緩存來解決數(shù)據(jù)讀寫性能低下的問題。但是，立志成為資深架構(gòu)師的你，是否能夠在高并發(fā)環(huán)境下合理并且高效的構(gòu)建應(yīng)用級緩存呢？

緩存命中率

緩存命中率是從緩存中讀取數(shù)據(jù)的次數(shù)與總讀取次數(shù)的比率，命中率越高越好。緩存命中率=從緩存中讀取次數(shù) / (總讀取次數(shù) (從緩存中讀取次數(shù) + 從慢速設(shè)備上讀取次數(shù)))。這是一個非常重要的監(jiān)控指標，如果做緩存，則應(yīng)通過監(jiān)控這個指標來看緩存是否工作良好。

緩存回收策略

1.基于空間

基于空間指緩存設(shè)置了存儲空間，如設(shè)置為10MB，當達到存儲空間上限時，按照一定的策略移除數(shù)據(jù)。

2.基于容量

基于容量指緩存設(shè)置了最大大小，當緩存的條目超過最大大小時，按照一定的策略移除舊數(shù)據(jù)。

3.基于時間

TTL(Time To Live):存活期，即緩存數(shù)據(jù)從創(chuàng)建開始直到到期的一個時間段（不管在這個時間段內(nèi)有沒有被訪問，緩存數(shù)據(jù)都將過期）。
TTI(Time To Idle)：空閑期，即緩存數(shù)據(jù)多久沒被訪問后移除緩存的時間。

4.基于對象引用

軟引用：如果一個對象是軟引用，則當JVM堆內(nèi)存不足時，垃圾回收器可以回收這些對象。軟引用適合用來做緩存，從而當JVM堆內(nèi)存不足時，可以回收這些對象騰出一些空間供強引用對象使用，從而避免OOM。
弱引用：當垃圾回收器回收內(nèi)存時，如果發(fā)現(xiàn)弱引用，則將它立即回收。相對于軟引用，弱引用有更短的生命周期。

注意：只有在沒有其他強引用對象引用弱引用/軟引用對象時，垃圾回收時才回收該引用。即如果有一個對象（不是弱引用/軟引用對象）引用了弱引用/軟引用對象，那么垃圾回收時不會回收該弱引用/軟引用對象。

5.回收算法

使用基于空間和基于容量的緩存會使用一定的策略移除舊數(shù)據(jù)，常見的如下。

• FIFO(First In First Out)：先進先出算法，即先放入緩存的先被移除。

• LRU(Least Recently Used)：最近最少使用算法，時間時間距離現(xiàn)在最久的那個被移除。

• LFU(Least Frequently Used)：最不常用算法，一定時間段內(nèi)使用次數(shù)（頻率）最少的那個被移除。

實際應(yīng)用中基于LRU的緩存居多。

緩存類型

堆內(nèi)存： 使用Java堆內(nèi)存來存儲對象。使用堆緩存的好處是沒有序列化/反序列化，是最快的緩存。缺點也很明顯，當緩存的數(shù)據(jù)量很大時，GC（垃圾回收）暫停時間會變長，存儲容量受限于堆空間大小。一般通過軟引用/弱引用來存儲緩存對象。即當堆內(nèi)存不足時，可以強制回收這部分內(nèi)存釋放堆內(nèi)存空間。一般使用堆緩存存儲較熱的數(shù)據(jù)?？梢允褂肎uava Cache、Ehcache 3.x、 MapDB實現(xiàn)。

堆外內(nèi)存： 即緩存數(shù)據(jù)存儲在堆外內(nèi)存，可以減少GC暫停時間（堆對象轉(zhuǎn)移到堆外，GC掃描和移動的對象變少了），可以支持更多的緩存空間（只受機器內(nèi)存大小限制，不受堆空間的影響）。但是，讀取數(shù)據(jù)時需要序列化/反序列化。因此，會比堆緩存慢很多?？梢允褂肊hcache 3.x、 MapDB實現(xiàn)。

磁盤緩存： 即緩存數(shù)據(jù)存儲在磁盤上，在JVM重啟時數(shù)據(jù)還存在，而堆/堆外緩存數(shù)據(jù)會丟失，需要重新加載?？梢允褂肊hcache 3.x、MapDB實現(xiàn)。

分布式緩存： 分布式緩存可以使用ehcache-clustered(配合Terracotta server)實現(xiàn)Java進程間分布式緩存。也可以使用Memcached、Redis實現(xiàn)。

緩存模式

單機模式： 存儲最熱的數(shù)據(jù)到堆緩存，相對熱的數(shù)據(jù)到堆外緩存，不熱的數(shù)據(jù)到磁盤緩存。

集群模式： 存儲最熱的數(shù)據(jù)到堆緩存，相對熱的數(shù)據(jù)到對外緩存，全量數(shù)據(jù)到分布式緩存。

寫在最后

最后，附上并發(fā)編程需要掌握的核心技能知識圖，祝大家在學(xué)習(xí)并發(fā)編程時，少走彎路。