30 張圖解 | 高頻面試知識點總結(jié)：面試官問我高并發(fā)服務(wù)模型哪家強？

面試中經(jīng)常會被問到高性能服務(wù)模型選擇對比，以及如何提高服務(wù)性能和處理能力，這其中涉及操作系統(tǒng)軟件和計算機硬件知識，其實都是在考察候選人的基礎(chǔ)知識掌握程度，但如果沒準(zhǔn)備的話容易一頭霧水，這次帶大家從頭到尾學(xué)習(xí)一遍，學(xué)完這一篇再也不怕面試官刨根問底了！

任務(wù)類型

談高并發(fā)服務(wù)模型選擇之前，我們先來看下程序的的任務(wù)類型，程序任務(wù)類型一般分為 CPU 密集型任務(wù)和 IO 密集型任務(wù)，這兩種任務(wù)有各自的特點，對程序的要求是不一樣的需要分開對待。

CPU密集型任務(wù)

一個程序任務(wù)大部分是計算類的，比如邏輯處理、數(shù)值比較和計算，我們就稱它是 CPU 密集型任務(wù)或計算密集型任務(wù)。CPU 密集型任務(wù)的特點是要進行大量的計算，消耗 CPU 資源，比如計算圓周率、視頻編解碼這些靠的是 CPU 的運算能力。

CPU 密集型任務(wù)雖然也可以用多任務(wù)完成，但是任務(wù)越多，任務(wù)之間切換的時間就越多，CPU 執(zhí)行效率反而更低，所以要最高效地利用 CPU，任務(wù)并行數(shù)應(yīng)當(dāng)?shù)扔?CPU 的核心數(shù)，避免任務(wù)在 CPU 核之間頻繁切換。

IO密集型任務(wù)

一個程序涉及到大量網(wǎng)絡(luò)、磁盤等比較耗時的輸入輸出任務(wù)，就稱它是 IO 密集型任務(wù)，這類任務(wù)的特點是 CPU 消耗很少，任務(wù)的大部分時間都在等待 IO 操作完成（因為 IO 的速度遠遠低于 CPU 和內(nèi)存的速度，不是一個數(shù)量級的）。

對于 IO 密集型任務(wù)，任務(wù)越多 CPU 效率越高，但也不是無限的開啟多任務(wù)，如果任務(wù)過多頻繁切換的開銷也不可忽視。常見的大部分程序都是執(zhí)行 IO 密集型任務(wù)，比如互聯(lián)網(wǎng)業(yè)務(wù)的 Web 服務(wù)，數(shù)據(jù)庫操作等。

服務(wù)模型

不管是 CPU 密集型任務(wù)還是 IO 密集型任務(wù)，要提高服務(wù)器處理能力，可以從軟件和硬件兩個層面來做文章。

先說軟件層面，單個任務(wù)處理能力有限，可以通過啟動多個功能完全相同的服務(wù)實例，借此來提高服務(wù)整體處理性能，多服務(wù)實例的實現(xiàn)主流的技術(shù)有三種：多進程、多線程、多協(xié)程。當(dāng)然除了用多實例的方式，還有 IO 多路復(fù)用、異步 IO 等技術(shù)，為了文章主題明確，不在本文展開討論。

服務(wù)模型哪家強

既然有三種技術(shù)實現(xiàn)，那么你可能會問，在三個模型里選一個最好的來實現(xiàn)服務(wù)，該如何選擇一個適合的服務(wù)模型呢？

抱歉，小孩子才做選擇我全都要！哈哈，開個玩笑。

答案是沒有最好，服務(wù)模型選擇要結(jié)合自身服務(wù)處理的任務(wù)類型。任務(wù)類型就是我們上面說的 CPU 密集型和 IO 密集型，只有清楚的知道所處理業(yè)務(wù)的任務(wù)類型，才能在上述服務(wù)模型中選擇其一或多種模型組合，來搭建適合你的高性能服務(wù)框架。

多進程服務(wù)模型

進程概念

程序是一些保存在磁盤上的指令的有序集合，是靜態(tài)的。進程是程序執(zhí)行的過程，包括了動態(tài)創(chuàng)建、調(diào)度和消亡的整個過程，進程是程序資源管理的最小單位。

多進程模型

多進程模型是啟動多個服務(wù)進程。原來由一個進程做的事，當(dāng)一個進程忙不過來，創(chuàng)建幾個功能一樣的進程來幫它一起干活，人多力量大。

由于多進程地址空間不同，數(shù)據(jù)不能共享，一個進程內(nèi)創(chuàng)建的變量在另一個進程是無法訪問。操作系統(tǒng)看不下去了，憑什么同在一臺機器，彼此相愛的兩個進程不能說說話呢？

于是操作系統(tǒng)提供了各種系統(tǒng)調(diào)用，搭建起各個進程間通信的橋梁，這些方法統(tǒng)稱為進程間通信 IPC (IPC InterProcess Communication)

常見進程間通信方式

管道 Pipe

管道的實質(zhì)是一個內(nèi)核緩沖區(qū)，進程以先進先出 FIFO 的方式從緩沖區(qū)存取數(shù)據(jù)。是一種半雙工的通信方式，數(shù)據(jù)只能單向流動，而且只能在具有親緣關(guān)系（父子進程間）的進程間通信。

管道工作原理

1. 管道一端的進程順序的將數(shù)據(jù)寫入緩沖區(qū)，另一端的進程則順序的讀出數(shù)據(jù)。

2. 緩沖區(qū)可以看做是一個循環(huán)隊列，一個數(shù)據(jù)只能被讀一次，讀出來后在緩沖區(qū)就不復(fù)存在了。

3. 當(dāng)緩沖區(qū)為讀空或?qū)憹M，讀數(shù)據(jù)的進程或?qū)憯?shù)據(jù)進程進入等待隊列。

4. 空的緩沖區(qū)有新數(shù)據(jù)寫入，或者滿的緩沖區(qū)有數(shù)據(jù)讀出時，喚醒等待隊列中的進程繼續(xù)讀寫。

命名管道 FIFO

上面介紹的管道也稱為匿名管道，只能用于親緣關(guān)系的進程間通信。為了克服這個缺點，出現(xiàn)了有名管道 FIFO 。有名管道提供了一個路徑名與之關(guān)聯(lián)，以文件形式存在于文件系統(tǒng)中，這樣即使不存在親緣關(guān)系的進程，只要可以訪問該路徑也能相互通信。

命名管道支持同一臺計算機的不同進程之間，可靠的、單向或雙向的數(shù)據(jù)通信。

信號 Signal

信號是Linux系統(tǒng)中用于進程間互相通信或者操作的一種機制，信號可以在任何時候發(fā)給某一進程，無需知道該進程的狀態(tài)。如果該進程當(dāng)前不是執(zhí)行態(tài)，內(nèi)核會暫時保存信號，當(dāng)進程恢復(fù)執(zhí)行后傳遞給它。

如果一個信號被進程設(shè)置為阻塞，則該信號的傳遞被延遲，直到其阻塞被取消時才被傳遞給進程。

信號在用戶空間進程和內(nèi)核之間直接交互，內(nèi)核可以利用信號來通知用戶空間的進程發(fā)生了哪些系統(tǒng)事件，信號事件主要有兩個來源：

• 硬件來源：用戶按鍵輸入 Ctrl+C退出、硬件異常如無效的存儲訪問等。
• 軟件終止：終止進程信號、其他進程調(diào)用 kill 函數(shù)、軟件異常產(chǎn)生信號。

消息隊列  Message Queue

消息隊列是存放在內(nèi)核中的消息鏈表，每個消息隊列由消息隊列標(biāo)識符表示， 只有在內(nèi)核重啟或主動刪除時，該消息隊列才會被刪除。

消息隊列是由消息的鏈表，存放在內(nèi)核中并由消息隊列標(biāo)識符標(biāo)識。消息隊列克服了信號傳遞信息少、管道只能承載無格式字節(jié)流以及緩沖區(qū)大小受限等缺點。另外，某個進程往一個消息隊列寫入消息之前，并不需要另外讀進程在該隊列上等待消息的到達。

共享內(nèi)存 Shared memory

共享內(nèi)存是一個進程把地址空間的一段，映射到能被其他進程所訪問的內(nèi)存，一個進程創(chuàng)建、多個進程可訪問，進程就可以直接讀寫這一塊內(nèi)存而不需要進行數(shù)據(jù)的拷貝，從而大大提高效率。

共享內(nèi)存使得多個進程可以可以直接讀寫同一塊內(nèi)存空間，是最快的可用 IPC 形式，是針對其他通信機制運行效率較低而設(shè)計的。共享內(nèi)存往往與其他通信機制，如信號量配合使用，來實現(xiàn)進程間的同步和互斥通信。

套接字 Socket

套接字你可能沒聽過這個名字，但絕對是接觸的最多的一種進程間通信方式。因為我們熟悉的 TCP/IP 協(xié)議棧，也是建立在 socket 通信之上，TCP/IP 構(gòu)建起了當(dāng)前的互聯(lián)網(wǎng)通信網(wǎng)絡(luò)。

它是一種通信機制，憑借這種機制，既可以在本機進程間通信，也可以跨網(wǎng)絡(luò)通過，因為，套接字通過網(wǎng)絡(luò)接口將數(shù)據(jù)發(fā)送到本機的不同進程或遠程計算機的進程。

多線程服務(wù)模型

線程概念

線程是操作操作系統(tǒng)能夠進行運算調(diào)度的最小單位。線程被包含在進程之中，是進程中的實際運作單位，一個進程內(nèi)可以包含多個線程，線程是資源調(diào)度的最小單位。

多線程模型

啟動多個相同功能的進程能提高服務(wù)處理能力，但由于各個進程的地址空間相互隔離，通信不便。

于是，多線程服務(wù)模型出場。通過前面的學(xué)習(xí)我們知道，一個進程內(nèi)的多個線程可以共享進程的全部系統(tǒng)資源。進程內(nèi)創(chuàng)建的多個線程都可以訪問進程內(nèi)的全局變量。

當(dāng)然沒有免費的午餐，線程雖然能方便的訪問進程資源，但也帶來了額外的問題。比如多線程訪公共資源帶來的同步與互斥問題，不同線程訪問資源的先后順序會相互影響，如果不做好同步和互斥會產(chǎn)生預(yù)期之外的結(jié)果，甚至死鎖。

什么是多線程同步

多線程同步是線程之間的一種直接制約關(guān)系，一個線程的執(zhí)行依賴另一個線程的通知，當(dāng)它沒有得到另一個線程的通知時必須等待，直到消息到達時才被喚醒，即有很強的執(zhí)行先后關(guān)系。

比如你搭建了一個商城服務(wù)。這個服務(wù)的下單流程是這樣的：第一步必須要先挑選商品加入購物車，第二步才能結(jié)賬計算訂單金額，假設(shè)這兩個步驟的操作分別由兩個線程去完成，則這兩個線程的操作順序很重要，必須是先下單再結(jié)賬，這就是線程同步。                            購物車||圖片來源：www.hippopx.com License CC0

什么是多線程互斥

多線程互斥指的是多線程對資源訪問的排他性。所謂排他性，就是當(dāng)有多個線程都要使用某一共享資源時，任何時刻最多只允許一個線程獲得對這個共享資源的使用權(quán)，當(dāng)共享資源被其中一個線程占有時，其他未獲得資源的線程必須等待，直到占用資源的線程釋放資源。

打個比方，你們班只有一臺投影儀，當(dāng)一個同學(xué)在上面放電影的時候，如果老師進來上課要用這個投影儀，那就只能由這個同學(xué)放棄投影儀的使用權(quán)，交給老師上課投影使用，對，教室里唯一的投影儀是共享資源，具有排他性，老師和學(xué)生比作是兩個線程的話，那這兩個線程是互斥的訪問共享資源（投影儀）。

多線程同步和互斥方法

Linux 系統(tǒng)提供以下幾種方法來解決多線程的同步和互斥問題，分別是：互斥鎖、條件變量、讀寫鎖、自旋鎖、條件變量。

互斥鎖

互斥鎖的作用是對臨界區(qū)加以保護，以使任意時刻只有一個線程能夠執(zhí)行臨界區(qū)的代碼，實現(xiàn)了多線程對臨界資源的互斥訪問。

互斥鎖接口函數(shù)：

條件變量

條件變量是用來等待而不是用來上鎖的。條件變量用來自動阻塞一個線程，直到某特殊情況發(fā)生為止。適合多個線程等待某個條件的發(fā)生，不使用條件變量，那么每個線程就不斷嘗試互斥鎖并檢測條件是否發(fā)生，浪費系統(tǒng)資源。

通常條件變量和互斥鎖同時使用。條件的檢測是在互斥鎖的保護下進行的。如果一個條件為假，一個線程自動阻塞，并釋放等待狀態(tài)改變的互斥鎖。如果另一個線程改變了條件，它發(fā)信號給關(guān)聯(lián)的條件變量，喚醒一個或多個等待它的線程，重新獲得互斥鎖，重新評價條件，可以用來實現(xiàn)線程間的同步。

條件變量系統(tǒng) API 如下：

讀寫鎖

互斥量要么是加鎖狀態(tài)，要么是不加鎖狀態(tài)，而且一次只有一個線程對其進行加鎖。讀寫鎖可以有3種狀態(tài)：讀加鎖狀態(tài)、寫加鎖狀態(tài)和不加鎖狀態(tài)。

一次只有一個線程可以占有寫模式讀寫鎖，但是可以有多個線程同時占有讀模式的讀寫鎖。因此，讀寫鎖適合于對數(shù)據(jù)結(jié)構(gòu)的讀次數(shù)比寫次數(shù)多得多的情況，且讀寫鎖比互斥量具有更高的并行性。

讀寫鎖加鎖規(guī)則

1：如果某線程申請了讀鎖，其它線程可以再申請讀鎖，但不能申請寫鎖；

2：如果某線程申請了寫鎖，其它線程不能申請讀鎖，也不能申請寫鎖。

讀寫鎖系統(tǒng) API

自旋鎖

互斥鎖得不到鎖時，線程會進入休眠，引發(fā)任務(wù)上下文切換，任務(wù)切換涉及一系列耗時的操作，因此用互斥鎖一旦遇到阻塞切換代價是十分昂貴的。

而自旋鎖阻塞后不會引發(fā)上下文切換，當(dāng)鎖被其他線程占有時，獲取鎖的線程便會進入自旋，不斷檢測自旋鎖的狀態(tài)，直到得到鎖，所謂的自旋就是循環(huán)等待的意思。

自旋鎖在用戶態(tài)使用的比較少，在內(nèi)核使用的比較多。自旋鎖適用于臨界區(qū)代碼比較短，鎖的持有時間比較短的場景，否則會讓其他線程一直等待造成饑餓現(xiàn)象。

自旋鎖 API 接口

信號量

信號量本質(zhì)上是一個非負的整數(shù)計數(shù)器，它被用來控制對公共資源的訪問。

信號量是一個特殊類型的變量，它可以被增加或者減少?？筛鶕?jù)操作信號量值的結(jié)果判斷是否對公共資源具有訪問的權(quán)限，當(dāng)信號量值大于 0 時，則可以訪問，否則將阻塞。但對其的訪問被保證是原子操作，即使在一個多線程程序中也是如此。

信號量類型：

• 二進制信號量，它只有0和1兩種取值。適用于臨界代碼每次只能被一個執(zhí)行線程運行，就要用到二進制信號量。

• 計數(shù)信號量。它可以有更大的取值范圍，適用于臨界代碼允許有限數(shù)目的線程執(zhí)行，就需要用到計數(shù)信號量。

信號量 API

協(xié)程服務(wù)模型

什么是協(xié)程

什么是協(xié)程呢？協(xié)程 Coroutines 是一種比線程更加輕量級的微線程。類比一個進程可以擁有多個線程，一個線程也可以擁有多個協(xié)程，因此協(xié)程又稱微線程和纖程。

可以粗略的把協(xié)程理解成子程序調(diào)用，每個子程序都可以在一個單獨的協(xié)程內(nèi)執(zhí)行。

協(xié)程服務(wù)模型

為了說明什么是協(xié)程模型，先用多線程下的生產(chǎn)者消費者模型舉個栗子。

啟動兩個線程分別執(zhí)行兩個函數(shù)  Do_some_IO 和 Do_some_process ，第一個做耗時的 IO 處理操作，第二個對 IO 操作結(jié)果做快速的處理計算工作。偽代碼如下：

多線程執(zhí)行過程是這樣的：

1. 生產(chǎn)者線程先調(diào)用函數(shù) Do_some_IO 做比較耗時的 IO 操作，比如從網(wǎng)絡(luò)套接字中讀取數(shù)據(jù)這類操作。

2. 在生產(chǎn)者線程執(zhí)行 Do_some_IO 完成數(shù)據(jù)讀取之前，消費者線程要阻塞等待。

3. 在消費者線程執(zhí)行 Do_some_process 完成數(shù)據(jù)處理完成之前，生產(chǎn)者線程要阻塞等待。

4. 在消費者線程執(zhí)行 Do_some_process 完成數(shù)據(jù)處理完成之后，要通知生成者線程繼續(xù) Do_some_IO
                                             線程執(zhí)行時間線

可以看到，多線程模型為了保證各個線程并行工作，需要額外做很多線程間的同步和通知工作，而且線程頻繁的在阻塞和喚醒間切換，我們知道 Linux 下線程是輕量級線程 LWP ，每次線程切換涉及用戶態(tài)和內(nèi)核態(tài)的切換，還是很消耗性能的。

同樣的場景在協(xié)程模型里是怎么處理的呢？還是用前面的例子，說明協(xié)程模型的執(zhí)行流程。

Do_some_IO()       // IO處理協(xié)程
Do_some_process()  // 計算處理協(xié)程

1. 分配生產(chǎn)者協(xié)程執(zhí)行 Do_some_IO 做 IO 處理操作，分配消費者協(xié)程執(zhí)行 Do_some_process 計算處理操作。
2. 在生產(chǎn)者協(xié)程工作期間，消費者協(xié)程保持等待。
3. 當(dāng)生產(chǎn)者協(xié)程完成 IO 處理，返回處理結(jié)果給消費者，并把程序執(zhí)行權(quán)限交給消費者協(xié)程向下執(zhí)行。

協(xié)程優(yōu)勢

• 由于協(xié)程在線程內(nèi)實現(xiàn)，因此始終都是一個線程操作共享資源，所以不存在多線程搶占資源和資源同步問題。

• 生產(chǎn)者協(xié)程和消費者協(xié)程，互相配合協(xié)作完成工作，而不是相互搶占，而且協(xié)程創(chuàng)建和切換的開銷比線程小得多。

硬件提升性能

前面講的多線程、多進程、協(xié)程都還只是軟件層面的提高服務(wù)處理能力。真正硬核的是從硬件層面提高處理能力，增加 CPU 物理核心數(shù)目，當(dāng)然硬件都是有成本的，所以只有軟件層面已經(jīng)充分榨干性能才會考慮增加硬件。

不過，老板有錢買最好最貴的服務(wù)器另說，這是人民幣玩家和窮逼玩家的區(qū)別了，軟件工程師留下了貧困的淚水。

增加機器核心數(shù)

CPU領(lǐng)域有一條摩爾定律：大概 18 個月會將芯片的性能提高一倍?，F(xiàn)在這個定律變的越來越難以突破，CPU 晶體管密度工作頻率很難再提高，轉(zhuǎn)而通過增加 CPU 核心數(shù)目的方式提高處理器性能。

目前商用服務(wù)器架構(gòu)基本都是多核處理器，多核的處理器能夠真正做到程序并行運行，處理效率大幅度提升，那該如何查看 CPU 核心數(shù)目呢？

對于 Windows 操作系統(tǒng)，打開任務(wù)管理器，通過界面的「內(nèi)核」和「邏輯處理器」能看到。

查看 cpu 核心數(shù)

對于 Linux 操作系統(tǒng)，通過下面 2 種方式查看 CPU 核心相關(guān)信息。

1. 通過cpuinfo文件查看

使用cat /proc/cpuinfo查看 cpu 核心信息，如下兩個信息：

• processor，指明第幾個cpu處理器
• cpu cores，指明每個處理器的核心數(shù)

cpuinfo 輸出示例：

2. 通過編程接口查看

除了上面以文件的形式查看 cpu 核心信息之外，系統(tǒng)還提供了編程接口可以查詢，系統(tǒng) API 如下。

CPU親和性

CPU 親和性是綁定某一進程或線程到特定的 CPU 或 CPU 集合，從而使得該進程或線程只能被調(diào)度運行在綁定的 CPU或 CPU 集合上。

為什么要設(shè)置 CPU 親和性綁定 CPU 呢？理論上進程上一次運行后的上下文信息會保留在 CPU 的緩存中，如果下一次仍然將該進程調(diào)度到同一個 CPU 上，就能避免緩存未命中對 CPU 處理性能的影響，從而使得進程的運行更加高效。

假如某些進程或線程是 CPU 密集型的，不希望被頻繁調(diào)度，又或者你有其他特殊需求，不希望進程或線程被調(diào)度在不同 CPU 之間頻繁切換，則可以將該進程或線程綁定到特定的 CPU 上 ，可以在特定場景下優(yōu)化程序性能。

綁定進程

在多進程模型中，綁定進程到特定的核心，下面是綁定進程的系統(tǒng) API

綁定線程

在多線程模型中，綁定線程到特定的核心，下面是綁定線程的系統(tǒng) API

總總結(jié)結(jié)

本文從程序任務(wù)類型出發(fā)，區(qū)分任務(wù)為 CPU 密集型和 IO 密集型兩大類。接著分別說明提高基于這兩類任務(wù)的服務(wù)性能方法，分為軟件層面的方法和硬件層面的方法。

其中軟件層面主要講述利用多進程、多線程以及協(xié)程模型，當(dāng)然現(xiàn)有的技術(shù)還有 IO 多路復(fù)用、異步 IO 、池化技術(shù)等方案，講到多線程和多進程，順勢說明了進程間通信和線程間同步互斥技術(shù)。

第二部分，講解了從硬件層面提高服務(wù)性能：提高機器核心數(shù)，并教你如何查看 CPU 核心數(shù)的方法。最后，還可以通過軟硬結(jié)合的方式，把硬件核心綁定到指定進程或者線程執(zhí)行，最大程度的利用 CPU 性能。

希望通過本文的學(xué)習(xí)，讀者對高性能服務(wù)模型有個初步的了解，并能對服務(wù)優(yōu)化的方法和利弊舉例一二，就是本文的價值所在。

特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：
長按訂閱更多精彩▼
如有收獲，點個在看，誠摯感謝