互聯(lián)網(wǎng)大廠有哪些分庫分表的思路和技巧？

分庫分表

分庫分表是隨著業(yè)務的不斷發(fā)展，單庫單表無法承載整體的數(shù)據(jù)存儲時，采取的一種將整體數(shù)據(jù)分散存儲到不同服務器上的不同數(shù)據(jù)庫中的不同數(shù)據(jù)表的存儲方案。分庫分表能夠有效的緩解數(shù)據(jù)的存儲壓力，分庫分表是數(shù)據(jù)存儲達到一定規(guī)模時必然會遇到的問題。掌握分庫分表的思路和技巧有助于小伙伴們更好的解決實際工作中，有關數(shù)據(jù)拆分的問題。

接下來，我們就分別對分表和分庫來談談一些使用的思路和技巧。

分表

分表，最直白的意思，就是將一個表結構分為多個表，然后，可以在同一個庫里，也可以放到不同的庫。當然，首先要知道什么情況下，才需要分表。個人覺得單表記錄條數(shù)達到百萬到千萬級別時就要使用分表了。

分表的分類

1.縱向分表

將本來可以在同一個表的內容，人為劃分為多個表。（所謂的本來，是指按照關系型數(shù)據(jù)庫的第三范式要求，是應該在同一個表的。）

分表技巧： 根據(jù)數(shù)據(jù)的活躍度進行分離，（因為不同活躍的數(shù)據(jù)，處理方式是不同的）

案例：

對于一個博客系統(tǒng)，文章標題，作者，分類，創(chuàng)建時間等，是變化頻率慢，查詢次數(shù)多，而且最好有很好的實時性的數(shù)據(jù)，我們把它叫做冷數(shù)據(jù)。而博客的瀏覽量，回復數(shù)等，類似的統(tǒng)計信息，或者別的變化頻率比較高的數(shù)據(jù)，我們把它叫做活躍數(shù)據(jù)。所以，在進行數(shù)據(jù)庫結構設計的時候，就應該考慮分表，首先是縱向分表的處理。

這樣縱向分表后：

（1）首先，存儲引擎的使用不同，冷數(shù)據(jù)使用MyIsam 可以有更好的查詢數(shù)據(jù)?；钴S數(shù)據(jù)，可以使用Innodb ,可以有更好的更新速度。

（2）其次，對冷數(shù)據(jù)進行更多的從庫配置，因為更多的操作是查詢，這樣來加快查詢速度。對熱數(shù)據(jù)，可以相對有更多的主庫的橫向分表處理。

其實，對于一些特殊的活躍數(shù)據(jù)，也可以考慮使用memcache ,redis之類的緩存，等累計到一定量再去更新數(shù)據(jù)庫。或者mongodb 一類的nosql 數(shù)據(jù)庫，這里只是舉例，就先不說這個。

2.橫向分表

字面意思，就可以看出來，是把大的表結構，橫向切割為同樣結構的不同表，如，用戶信息表，user_1,user_2 等。表結構是完全一樣，但是，根據(jù)某些特定的規(guī)則來劃分的表，如根據(jù)用戶ID來取模劃分。

分表技巧： 根據(jù)數(shù)據(jù)量的規(guī)模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。

案例：

同上面的例子，博客系統(tǒng)。當博客的量達到很大的時候，就應該采取橫向分割來降低每個單表的壓力，來提升性能。例如博客的冷數(shù)據(jù)表，假如分為100個表，當同時有100萬個用戶在瀏覽時，如果是單表的話，會進行100萬次請求，而現(xiàn)在分表后，就可能是每個表進行1萬個數(shù)據(jù)的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多。

注意：數(shù)據(jù)庫的復制能解決訪問問題，并不能解決大規(guī)模的并發(fā)寫入問題，要解決這個問題就要考慮MySQL數(shù)據(jù)切分了。

數(shù)據(jù)切分

顧名思義，就是數(shù)據(jù)分散，將一臺主機上的數(shù)據(jù)分攤到多臺，減輕單臺主機的負載壓力，有兩種切分方式，一種是分庫，即按照業(yè)務模塊分多個庫，每個庫中的表不一樣，還有一種就是分表，按照一定的業(yè)務規(guī)則或者邏輯將數(shù)據(jù)拆分到不同的主機上，每個主機上的表是一樣的，這個有點類似于Oracle的表分區(qū)。

分區(qū)

分庫又叫垂直分區(qū)，這種方式實現(xiàn)起來比較簡單，重要的是對業(yè)務要細化，分庫時候要想清楚各個模塊業(yè)務之間的交互情況，避免將來寫程序時出現(xiàn)過多的跨庫讀寫操作。

分表又叫水平分區(qū)，這種方式實現(xiàn)起來就比垂直分區(qū)復雜些，但是它能解決垂直分區(qū)所不能解決的問題，即單張表的訪問及寫入很頻繁，這時候就可以根據(jù)一定的業(yè)務規(guī)則（PS：如互聯(lián)網(wǎng)BBS論壇的會員等級概念，根據(jù)會員等級來分表）來分表，這樣就能減輕單表壓力，并且還能解決各個模塊的之間的頻繁交互問題。

分庫的優(yōu)點是： 實現(xiàn)簡單，庫與庫之間界限分明，便于維護，缺點是不利于頻繁跨庫操作，不能解決單表數(shù)據(jù)量大的問題。

分表的優(yōu)點是： 能解決分庫的不足點，但是缺點卻恰恰是分庫的優(yōu)點，分表實現(xiàn)起來比較復雜，特別是分表規(guī)則的劃分，程序的編寫，以及后期的數(shù)據(jù)庫拆分移植維護。

實際應用

實際應用中，一般互聯(lián)網(wǎng)企業(yè)的路線都是先分庫再分表，兩者結合使用，取長補短，這樣發(fā)揮了MySQL擴展的最大優(yōu)勢，但是缺點是架構很大，很復雜，應用程序的編寫也比較復雜。

以上是MySQL的數(shù)據(jù)切分的一些概念，數(shù)據(jù)切完了，現(xiàn)在要做的是怎么樣在整合起來以便于外界訪問，因為程序訪問的入口永遠只有一個，現(xiàn)在比較常用的解決方案是通過中間代理層來統(tǒng)一管控所有數(shù)據(jù)源。例如，可以使用冰河深度參與開發(fā)的Mycat中間件，也可以使用亮總開源的ShardingSphere中間件。