“網(wǎng)絡(luò)IO套路”小藍說當時就靠它追到的女神

一周至少一篇到今天已經(jīng)持續(xù)30周了，希望每一篇多多少少能給大家?guī)睃c干貨。同樣的，今天分享的基本上一面試就會被問的網(wǎng)絡(luò)IO。文中涉及的代碼部分不太重要，重要的是對這概念的理解。在看文章之前大家也可通過下面的思維導(dǎo)圖看看自己是否能回答出來。

1 阻塞與非阻塞--開胃菜

• 阻塞

我們知道在調(diào)用某個函數(shù)的時候無非就是兩種情況，要么馬上返回，然后根據(jù)返回值進行接下來的業(yè)務(wù)處理。當在使用阻塞IO的時候，應(yīng)用程序會被無情的掛起，等待內(nèi)核完成操作，因為此時的內(nèi)核可能將CPU時間切換到了其他需要的進程中，在我們的應(yīng)用程序看來感覺被卡主(阻塞)了。

傳統(tǒng)阻塞IO模型

特點：

• 通過阻塞式IO獲取輸入的數(shù)據(jù)

• 其中每個連接都采用獨立的線程完成數(shù)據(jù)輸入，業(yè)務(wù)處理以及數(shù)據(jù)返回的操作

這種方案有什么問題？

首先當并發(fā)較大的時候，需要創(chuàng)建大量的線程來處理連接，需要占用大量的系統(tǒng)資源。

連接建立完成以后，如果當前線程沒有數(shù)據(jù)可讀，將會阻塞在read操作上造成線程資源的浪費

鑒于上面的兩個問題，通常是解決方案是啥呢？

第一種是采用IO復(fù)用的模型，所謂IO復(fù)用模型即多個連接共享一個阻塞對象，應(yīng)用程序只會在一個阻塞對象上等待。當某個連接有新的數(shù)據(jù)處理，操作系統(tǒng)直接通知應(yīng)用程序，線程從阻塞狀態(tài)返回并開始業(yè)務(wù)處理

第二種方案即采用線程池復(fù)用的方式。將連接完成后的業(yè)務(wù)處理任務(wù)分配給線程，一個線程處理多個連接的業(yè)務(wù)。IO復(fù)用結(jié)合線程池的方案即Reactor模式。

從上圖我們可以發(fā)現(xiàn)，通過一個或者多個請求傳遞給服務(wù)器，通過統(tǒng)一的事件管理機制進行請求分發(fā)，這種模式即事件驅(qū)動處理模式。

通常一個服務(wù)端處理網(wǎng)絡(luò)請求的過程是啥樣的？

服務(wù)端將這些請求分別同步分派給多個處理線程，即IO多路復(fù)用統(tǒng)一監(jiān)聽事件，收到事件再進行分發(fā)。那么圖中重要的兩個關(guān)鍵字是啥意思？

Reactor

在一個單獨的線程運行，主要負責(zé)監(jiān)聽和分發(fā)事件。就仿佛我們手機設(shè)置的轉(zhuǎn)接，將來自前任的電話轉(zhuǎn)接給適當?shù)穆?lián)系人

Handlers

主要負責(zé)處理執(zhí)行IO實際的事情。

根據(jù)Reactor的數(shù)量和處理的資源大小通常又分為單Reactor線程，單Reactor多線程，主從Reactor多線程。這部分將在文章后面進行詳細闡述，先和大家一起復(fù)習(xí)幾個基本概念

• 非阻塞

當使用非阻塞函數(shù)的時候，和阻塞IO類比，內(nèi)核會立即返回，返回后獲得足夠的CPU時間繼續(xù)做其他的事情。

這樣說可能有點不太好理解，試試一個例子來

小藍經(jīng)常去樓下的小賣部買煙，因為那小姐姐確實好看，即使不買去看看也飽了那種。有一天去買煙，讓我等下，他去倉庫看看，就一直在那里等著小姐姐回復(fù)，就仿佛阻塞在了小姐姐的店。

那么阻塞IO是個啥樣子嘞？

小姐姐，今天有黃鶴樓煙沒，小姐姐看看了柜臺，沒有，到處找也沒有了，然后告訴我這周沒有了，下周應(yīng)該會有貨，好嘛，我寂寞的小手顫抖了，其實我就是想去小姐姐家買東西，于是下周我又去問小姐姐，小姐姐果然有心，就知道我回去她家店買，直接給我留了兩包黃鶴樓，就這樣反反復(fù)復(fù)，和小姐姐的感情越來越好，這樣就是阻塞IO的輪詢，我沒有被阻塞而是不斷地咨詢小姐姐(輪詢)。

抽煙的人，經(jīng)常一句話就是“這一根抽了就不抽了”，怎么能忍住一周？看來輪詢效率太低，直接給小姐姐打電話：“小姐姐，煙到了麻煩通知一聲，我來你家拿”，這就是IO多路復(fù)用。

感情嘛，最激烈的時期不外乎是最開始的那么兩個月，不，渣男，怎么可能就兩個月，感情真是越來越好，然后我就給小姐姐說：“小姐姐，我給你個地址，還有微信，到時候到貨了麻煩給我寄過來”，這尼瑪，不僅加了微信，還給我送到了家，這就是異步IO，至于后續(xù)的故事是怎么樣的想知道？

好勒，就是寫IO模型，配上線程/進程所向披靡(網(wǎng)絡(luò)編程的核心)

非阻塞IO之讀(繼續(xù)查閱資料)

咱們知道套接字有個緩沖區(qū)，如果緩沖區(qū)沒有數(shù)據(jù)可讀，那么在非阻塞的情況下調(diào)用read就會立即返回，返回自然會有個狀態(tài)，不然我們一臉懵逼，無法進行下一步。返回可能是EWOULDBLOCK或者EAGAIN出錯信息。

非阻塞IO之寫

剛才我們說了，有個叫做緩沖區(qū)的概念，當然也有發(fā)送緩沖區(qū)，如果發(fā)送緩沖區(qū)滿了，不能容納更多的字節(jié)，這個時候操作系統(tǒng)內(nèi)核就會盡全力從應(yīng)用程序拷貝數(shù)據(jù)到發(fā)送緩沖區(qū)并立即從write調(diào)用返回。在拷貝的過程中，可能全部拷貝了，也可能一字節(jié)也沒拷貝，所以使用返回值來告訴應(yīng)用程序到底有多少數(shù)據(jù)拷貝到了發(fā)送發(fā)送緩沖區(qū)，方便再次調(diào)用write，輸出未完成的字節(jié)。

總結(jié)下兩種方式:

阻塞IO是：拷貝-知道所有數(shù)據(jù)拷貝到發(fā)送緩沖區(qū)。

非阻塞IO是拷貝-返回-再拷貝-再返回。ok，read和write的騷操作如下圖

說了這么多，當面試官問你的時候，能不能對答如流嘞，總結(jié)如下：

• read總是在接受緩存區(qū)有數(shù)據(jù)的時候直接返回，而不是等到應(yīng)用程序哥頂?shù)臄?shù)據(jù)充滿才返回。如果此時緩沖區(qū)是空的，那么阻塞模式會等待，非阻塞則會返回-1并有EWOULDBLOCK或EAGAIN錯誤

• 和read不太一樣的是，在阻塞模式下，write只有在發(fā)送緩沖區(qū)足矣容納應(yīng)用程序的輸出字節(jié)時才會返回。在非阻塞的模式下，能寫入多少則寫入多少，并返回實際寫入的字節(jié)數(shù) ? ? ?

當使用fgets等待標準輸入的時候，如果此時套接字有數(shù)據(jù)但不能讀出。IO多路復(fù)用意味著可以將標準輸入、套接字等都當做IO的一路，任何一路IO有事件發(fā)生，都將通知相應(yīng)的應(yīng)用程序去處理相應(yīng)的IO事件，在我們看來就反復(fù)同時可以處理多個事情。這就是IO復(fù)用。

2 select

當使用select函數(shù)的時候，先通知內(nèi)核掛起進程，一旦一個或者多個IO事情發(fā)生，控制權(quán)將返回給應(yīng)用程序，然后由應(yīng)用程序進行IO處理。

那么IO事件都包含哪些

• 標準輸入文件描述符可以讀

• 已連接套接字準備好可以寫

• 如果一個IO事件等待超過10秒，發(fā)生超時

select使用方法

int?select(int?maxfdp,?fd_set?*readset,?fd_set?*writeset,?fd_set?*exceptset,struct?timeval?*timeout);

• maxfdp 表示待測試描述符基數(shù)，它的值為待測試最大描述符加1.假設(shè)當前的select的測試描述符集合為{0,1,3}，那么這個時候maxfd為4，

• 隨后為三個描述符集合，分別為讀集合readset，寫集合writeset和異常集合exceptset。它們會通知內(nèi)核，當有可讀可寫發(fā)生的時候記得通知它們

如何設(shè)置這些描述符

int?FD_ZERO(int?fd,?fd_set?*fdset);???//一個?fd_set類型變量的所有位都設(shè)為?0
int?FD_CLR(int?fd,?fd_set?*fdset);??//清除某個位時可以使用
int?FD_SET(int?fd,?fd_set?*fd_set);???//設(shè)置變量的某個位置位
int?FD_ISSET(int?fd,?fd_set?*fdset);?//測試某個位是否被置位

最后一個參數(shù)是時間

struct?timeval
{??????
????long?tv_sec;???/*秒?*/
????long?tv_usec;??/*微秒?*/???
};

• 設(shè)置為NULL，select會一直等待下去

• 設(shè)置非零值，等待固定時間后返回

• 將tv_sec和tv_usec均設(shè)置為0，表示不等待，檢測完畢就返回

程序案例

#include?
#include?
#include?
#include?
#include?
#include?

const?static?int?MAXLINE?=?1024;
const?static?int?SERV_PORT?=?10001;

int?main()
{
????int?i?,?maxi?,?maxfd,?listenfd?,?connfd?,?sockfd?;
????/*nready?描述字的數(shù)量*/
????int?nready?,client[FD_SETSIZE];
????int?n?;
????/*創(chuàng)建描述字集合，由于select函數(shù)會把未有事件發(fā)生的描述字清零，所以我們設(shè)置兩個集合*/
????fd_set?rset?,?allset;
????char?buf[MAXLINE];
????socklen_t?clilen;
????struct?sockaddr_in?cliaddr?,?servaddr;
????/*創(chuàng)建socket*/
????listenfd?=?socket(AF_INET?,?SOCK_STREAM?,?0);
????/*定義sockaddr_in*/
????memset(&servaddr?,?0?,sizeof(servaddr));
????servaddr.sin_family?=?AF_INET;
????servaddr.sin_port?=?htons(SERV_PORT);
????servaddr.sin_addr.s_addr?=?htonl(INADDR_ANY);

????bind(listenfd,?(struct?sockaddr?*)?&?servaddr?,?sizeof(servaddr));
????listen(listenfd?,?100);
????/*listenfd?是第一個描述字*/
????/*最大的描述字，用于select函數(shù)的第一個參數(shù)*/
????maxfd?=?listenfd;
????/*client的數(shù)量，用于輪詢*/
????maxi?=?-1;
????/*init*/
????for(i=0?;i????????client[i]?=?-1;
????FD_ZERO(&allset);
????FD_SET(listenfd,?&allset);

????for?(;;)
????{
????????rset?=?allset;
????????/*只select出用于讀的描述字，阻塞無timeout*/
????????nready?=?select(maxfd+1?,?&rset?,?NULL?,?NULL?,?NULL);
????????if(FD_ISSET(listenfd,&rset))
????????{
????????????clilen?=?sizeof(cliaddr);
????????????connfd?=?accept(listenfd?,?(struct?sockaddr?*)?&?cliaddr?,?&clilen);
????????????/*尋找第一個能放置新的描述字的位置*/
????????????for?(i=0;i????????????{
????????????????if(client[i]<0)
????????????????{
????????????????????client[i]?=?connfd;
????????????????????break;
????????????????}
????????????}
????????????/*找不到，說明client已經(jīng)滿了*/
????????????if(i==FD_SETSIZE)
????????????{
????????????????printf("Too?many?clients?,?over?stack?.\n");
????????????????return?-1;
????????????}
????????????FD_SET(connfd,&allset);//設(shè)置fd
????????????/*更新相關(guān)參數(shù)*/
????????????if(connfd?>?maxfd)?maxfd?=?connfd;
????????????if(i>maxi)?maxi?=?i;
????????????if(nready<=1)?continue;
????????????else?nready?--;
????????}

????????for(i=0?;?i<=maxi?;?i++)
????????{
????????????if?(client[i]<0)?continue;
????????????sockfd?=?client[i];
????????????if(FD_ISSET(sockfd,&rset))
????????????{
????????????????n?=?read(sockfd?,?buf?,?MAXLINE);
????????????????if?(n==0)
????????????????{
????????????????????/*當對方關(guān)閉的時候，server關(guān)閉描述字，并將set的sockfd清空*/
????????????????????close(sockfd);
????????????????????FD_CLR(sockfd,&allset);
????????????????????client[i]?=?-1;
????????????????}
????????????????else
????????????????{
????????????????????buf[n]='\0';
????????????????????printf("Socket?%d?said?:?%s\n",sockfd,buf);
????????????????????write(sockfd,buf,n);?//Write?back?to?client
????????????????}
????????????????nready?--;
????????????????if(nready<=0)?break;
????????????}
????????}

????}
????return?0;
}

但是他有個比較明顯的特點就是所支持文件描述符有限，默認為1024個，隨機出現(xiàn)poll

3 poll

鑒于select所支持的描述符有限，隨后提出poll解決這個問題

還是先看聲明

int?poll(struct?pollfd?*fds,?nfds_t?nfds,?int?timeout);

再看pollfd結(jié)構(gòu)

struct?pollfd?{
????int???fd;?????????/*?文件描述符?*/
????short?events;?????/*?描述符待檢測的事件?*/
????short?revents;????/*?returned?events?*/
};

注意下這個結(jié)構(gòu)體，分別包含了文件描述符和描述符對應(yīng)的事件，這事件和文件描述符緊密相結(jié)合，其中事件使用二進制掩碼表示，如POLLIN代表讀事件，POLLOUT代表寫事件。

#define?POLLIN?0x0001?/*?any?readable?data?available?*/
#define?POLLPRI?0x0002?/*?OOB/Urgent?readable?data?*/
#define?POLLOUT?0x0004?/*?file?descriptor?is?writeable?*/

從結(jié)構(gòu)中可以看見還有個參數(shù)是revents，從字面意思可知事件備份。對的，相當于將poll每次檢測的結(jié)果保留在revents，這樣就不需要每次都重置描述符和事件。那到底有哪些事件

• 可讀事件---系統(tǒng)內(nèi)核會通知應(yīng)用程序數(shù)據(jù)可讀

#define?POLLIN?0x0001?/*?any?readable?data?available?*/
#define?POLLPRI?0x0002?/*?OOB/Urgent?readable?data?*/
#define?POLLRDNORM?0x0040?/*?non-OOB/URG?data?available?*/
#define?POLLRDBAND?0x0080?/*?OOB/Urgent?readable?data?*/

• 可寫事件---系統(tǒng)內(nèi)核會通知套接字緩沖區(qū)已經(jīng)可以安排，隨后使用write函數(shù)不會被堵塞

#define?POLLOUT?0x0004?/*?file?descriptor?is?writeable?*/
#define?POLLWRNORM?POLLOUT?/*?no?write?type?differentiation?*/
#define?POLLWRBAND?0x0100?/*?OOB/Urgent?data?can?be?written?*/

了解函數(shù)返回值

• 小于0----表示事件發(fā)生前永遠等待

• -1---發(fā)生錯誤

• 0--在指定的而時間沒有任何事件發(fā)生

poll和select不同之處在于，在select中，文件描述符個數(shù)隨著fd_set的實現(xiàn)而固定，而在poll函數(shù)中，我們可以通過控制pollfd數(shù)組的大小來改變描述符的個數(shù)

案例

#include?
#include?
#include?
#include?
#include?
#include?

#define?INFTIM?-1
#define?POLLRDNORM??0x040???????/*?Normal?data?may?be?read.??*/
#define?POLLRDBAND??0x080???????/*?Priority?data?may?be?read.??*/
#define?POLLWRNORM??0x100???????/*?Writing?now?will?not?block.??*/
#define?POLLWRBAND??0x200???????/*?Priority?data?may?be?written.??*/

#define?MAXLINE??1024
#define?OPEN_MAX??16?//一些系統(tǒng)會定義這些宏
#define?SERV_PORT??10001

int?main()
{
????int?i?,?maxi?,listenfd?,?connfd?,?sockfd?;
????int?nready;
????int?n;
????char?buf[MAXLINE];
????socklen_t?clilen;
????struct?pollfd?client[OPEN_MAX];

????struct?sockaddr_in?cliaddr?,?servaddr;
????listenfd?=?socket(AF_INET?,?SOCK_STREAM?,?0);
????memset(&servaddr,0,sizeof(servaddr));
????servaddr.sin_family?=?AF_INET;
????servaddr.sin_port?=?htons(SERV_PORT);
????servaddr.sin_addr.s_addr?=?htonl(INADDR_ANY);

????bind(listenfd?,?(struct?sockaddr?*)?&?servaddr,?sizeof(servaddr));
????listen(listenfd,10);
????client[0].fd?=?listenfd;
????client[0].events?=?POLLRDNORM;
????for(i=1;i????{
????????client[i].fd?=?-1;
????}
????maxi?=?0;

????for(;;)
????{
????????nready?=?poll(client,maxi+1,INFTIM);
????????if?(client[0].revents?&?POLLRDNORM)
????????{
????????????clilen?=?sizeof(cliaddr);
????????????connfd?=?accept(listenfd?,?(struct?sockaddr?*)&cliaddr,?&clilen);
????????????for(i=1;i????????????{
????????????????if(client[i].fd<0)
????????????????{
????????????????????client[i].fd?=?connfd;
????????????????????client[i].events?=?POLLRDNORM;
????????????????????break;
????????????????}
????????????}
????????????if(i==OPEN_MAX)
????????????{
????????????????printf("too?many?clients!?\n");
????????????}
????????????if(i>maxi)?maxi?=?i;
????????????nready--;
????????????if(nready<=0)?continue;
????????}

????????for(i=1;i<=maxi;i++)
????????{
????????????if(client[i].fd<0)?continue;
????????????sockfd?=?client[i].fd;
????????????if(client[i].revents?&?(POLLRDNORM|POLLERR))
????????????{
????????????????n?=?read(client[i].fd,buf,MAXLINE);
????????????????if(n<=0)
????????????????{
????????????????????close(client[i].fd);
????????????????????client[i].fd?=?-1;
????????????????}
????????????????else
????????????????{
????????????????????buf[n]='\0';
????????????????????printf("Socket?%d?said?:?%s\n",sockfd,buf);
????????????????????write(sockfd,buf,n);?//Write?back?to?client
????????????????}
????????????????nready--;
????????????????if(nready<=0)?break;?//no?more?readable?descriptors
????????????}
????????}
????}
????return?0;
}

5 epoll

epoll 通過監(jiān)控注冊的多個描述字，來進行 I/O 事件的分發(fā)處理。不同于 poll 的是，epoll 不僅提供了默認的 level-triggered（條件觸發(fā)）機制，還提供了性能更為強勁的edge triggered（邊緣觸發(fā)）機制

在The Linux Programming Interface有張圖展示三種IO復(fù)用技術(shù)在面對不同文件描述符時的差異

從上圖咱們知道即使10000個描述符的時候，常規(guī)的select和poll性能下降明顯，而epoll變化不大

那么epoll是什么操作這么6？

epoll通過監(jiān)控注冊多個描述字進行IO事件的分發(fā)。不同poll的是，epoll不僅提供默認的level-trigger機制還提供了邊緣觸發(fā)機制，這里可以先思考下兩者有什么區(qū)別

編程三步驟

int?epoll_create(int?size);

就是通過它來創(chuàng)造實例，這個返回的值將用于后續(xù)的技能解鎖，如果不需要了這個實例，則需要使用close方法來釋放示例，不要占著坑不拉屎，這樣很不道德。

那這個size是干撒子的嘞？它告訴內(nèi)核期望監(jiān)控多少個描述符，然后使用這部分的信息來初始化內(nèi)核底層的數(shù)據(jù)結(jié)構(gòu)，不過時代在變化，在現(xiàn)在高版本的實現(xiàn)中，不在需要這個參數(shù)，自動動態(tài)化了，高級了吧。

int?epoll_ctl(int?epfd,?int?op,?int?fd,?struct?epoll_event?*event);

創(chuàng)建了實例，并有了返回值來標識這個示例，是時候添加事件了，此時就是使用epoll_ctl。第一個參數(shù)epfd即是上面的返回值。第二個參數(shù)表示是準備刪除事件還是監(jiān)控事件，哪都有哪些選項呢

第三個參數(shù)為注冊事件的文件描述符比如一個監(jiān)聽字

第四個參數(shù)表示注冊的事件類型，可以在這個結(jié)構(gòu)體中自定義數(shù)據(jù)。

int?epoll_wait(int?epfd,?struct?epoll_event?*events,?int?maxevents,?int?timeout);
//返回值:?成功返回的是一個大于?0?的數(shù)，表示事件的個數(shù)；返回?0?表示的是超時時間到；若出錯返回?-1

epoll_wait函數(shù)和之前的select等類似，等待內(nèi)核IO事件的分發(fā)。第一個參數(shù)為create返回值句柄。第二個參數(shù)回給用戶空間需要處理的 I/O 事件。第三個參數(shù)為一個大于0的整數(shù)，表示epoll_wait可以返回的最大事件值。第四個參數(shù)是epoll_wait阻塞時的超時值，如果設(shè)置為-1表示不超時，如果設(shè)置為0則立即返回。

6 epoll的底層實現(xiàn)

這部分內(nèi)容，我在之前的文章中提過且給大家分享過一篇源碼筆記，大家需要的話也可以微信找我拿。

• 當我們使用epoll_fd增加一個fd的時候，內(nèi)核會為我們創(chuàng)建一個epitem實例，講這個實例作為紅黑樹的節(jié)點，此時你就可以BB一些紅黑樹的性質(zhì)，當然你如果遇到讓你手撕紅黑樹的大哥，在最后的提問環(huán)節(jié)就讓他寫寫吧

• 隨后查找的每一個fd是否有事件發(fā)生就是通過紅黑樹的epitem來操作

• epoll維護一個鏈表來記錄就緒事件，內(nèi)核會當每個文件有事件發(fā)生的時候?qū)⒆约旱怯浀竭@個就緒列表，然后通過內(nèi)核自身的文件file-eventpoll之間的回調(diào)和喚醒機制，減少對內(nèi)核描述字的遍歷，大俗事件通知和檢測的效率

7 C10K問題

這里的C代表并發(fā)，10K=10000。雖然現(xiàn)在通過現(xiàn)成的框架libevent/Netty可以輕松完成這個目標，但是在二十多年前，突破這個并發(fā)量還是非常困難的。那么要同時支撐這么多用戶，需要從哪些方面考慮呢

• 文件句柄

我們知道每個連接代表一個文件描述符，如果不夠用，新的鏈接將會被丟棄并產(chǎn)生錯誤

在Linux中默認為1024，但是如果你是root，你可以通過/etc/sysctl.cong來修改，使得支持1w個描述符

• 系統(tǒng)內(nèi)存

每個連接不是只占用鏈接套接字那么簡單，每個鏈接都需要占用發(fā)送緩沖區(qū)和接收緩沖區(qū)，不信我們看看

上面三個值分別代表的是最小分配值、默認分配至和最大分配至，這樣如果1w個連接需要消耗

此時假設(shè)一個連接需要128K緩沖區(qū)，那么 1w 個連接大約需要 1.2G 應(yīng)用層緩沖，所以支持w的連接不是內(nèi)存的問題。

• 網(wǎng)絡(luò)帶寬

假設(shè)當前10個連接，其中每個鏈接傳輸大約1KB的數(shù)據(jù)，那么帶寬需要10 * 10000 * 1KB/s * 8=80MBPS。在現(xiàn)在看來也是很一般了

那么如何解決C10K問題？

• 一方面需要考慮到IO，也就是上面說的阻塞IO和非阻塞IO

• 如何分配進程，線程的資源服務(wù)上w的連接

阻塞IO與進程

這個好理解，來個連接我就分配個進程(fork)去處理，這個進程處理此鏈接的所有IO，不管是阻塞還是非阻塞IO，多個連接也不會產(chǎn)生影響，畢竟進程之間有著各自的進程空間

進程是程序執(zhí)行的最小單位，一個進程有著完整的地址空間，程序計數(shù)器，想要創(chuàng)建一個進程，使用fork即可，fork后會在父子進程中各返回一次，如果返回值為0則是子進程，隨后父子進程處理各自的邏輯

創(chuàng)建完進程執(zhí)行了任務(wù)，當要離開的時候需要清理干凈資源，如果退出了還將進程的相關(guān)信息留下，不回收就會變?yōu)?strong style="font-size: inherit;line-height: inherit;color: rgb(255, 69, 0);">僵尸進程。這些僵尸進程不是沒人管了，會交給一個叫做 init 的進程，如果僵尸進程太多，勢必會占用太多的內(nèi)存空間甚至耗盡我們的系統(tǒng)資源。

那如果想主動的回收這些資源，怎么辦呢？

處理子進程退出一般是注冊一個信號處理函數(shù)，然后捕捉信號SIGCHILD信號，在信號處理函數(shù)中調(diào)用waitpid函數(shù)完成資源的回收即可。

假設(shè)此時服務(wù)端開始監(jiān)聽，兩個客戶端AB分別連接服務(wù)端，客戶端A發(fā)起請求后，連接成立返回新的套接字叫做連接套接字，此時父進程派生子進程，在子進程中使用連接套接字和客戶端通信，所以這個時候子進程不關(guān)心監(jiān)聽套接字。父進程則相反，服務(wù)交給子進程后，不再關(guān)心連接套接字，而是關(guān)心監(jiān)聽套接字，如下圖所示

缺點：效率不高，擴展性較差且資源占用率高

此時客戶端B發(fā)來新的請求，accept返回新的已連接套接字，父進程又派生子進程

部分實現(xiàn)

while?(1)
????{
????????if?((conn?=?accept(listenfd,?(struct?sockaddr?*)&peeraddr,?&peerlen))?0)?//3次握手完成的序列
????????????ERR_EXIT("accept?error");
????????printf("recv?connect?ip=%s?port=%d\n",?inet_ntoa(peeraddr.sin_addr),
???????????????ntohs(peeraddr.sin_port));

????????pid?=?fork();
????????if?(pid?==?-1)
????????????ERR_EXIT("fork?error");
????????if?(pid?==?0)
????????{
????????????//?子進程
????????????close(listenfd);
????????????do_service(conn);
????????????exit(EXIT_SUCCESS);
????????}
????????else
????????????close(conn);?//父進程
????}

缺點：效率不高，擴展性較差且資源占用率高，注意事項

• 對套接字的關(guān)閉

• 子進程的回收

阻塞IO+線程

剛才不是說進程占用資源多么，那么就是用線程唄。單進程中可以有多個線程，每個線程都有自己的上下文，包括唯一標識的線程ID 程序計數(shù)器等，同一個進程的多個線程共享整個虛擬地址空間，其中包含了代碼、數(shù)據(jù)、堆。

為什么線程的上下文的開銷比進程少呢

我們的代碼是交給CPU執(zhí)行的，程序計數(shù)器會告訴CPU代碼執(zhí)行到哪兒了，寄存器呢會存儲當前計算的中間值，內(nèi)存存放當前使用的變量，當切換到另外的計算場景的時候，需要重新載入新的值，這個時候就出現(xiàn)了上下文的切換

現(xiàn)在每個連接由一個線程處理

do{
????accept?connections
????pthread_create?for?conneced?connection?fd
????thread_run(fd)
}while(true)

主線程負責(zé)監(jiān)聽連接請求

while?(1)
????{
????//服務(wù)一直在運行，直到被某個操作或命令終止該進程
????int?recvbytes;
????socklen_t?length?=?sizeof(cliaddr);

????//accept()函數(shù)讓服務(wù)器接收客戶的連接請求
????int?clientfd?=?accept(servfd,(struct?sockaddr*)&cliaddr,&length);

????if?(clientfd?0)
????{
????????printf("error?comes?when?call?accept!\n");
????????break;
????}

????//?創(chuàng)建用于處理新連接的子線程
????pthread_t?recv_id?;
????pthread_create(&recv_id,?NULL,?recv_msg_from_client,?&clientfd);
????}

每個客戶連接的線程函數(shù)

void*?recv_msg_from_client(void*?arg)
{
????//?分離線程，使主線程不必等待此線程
????pthread_detach(pthread_self());

????int?clientfd?=?*(int*)arg;

????int?recvBytes?=?0;
????char*?recvBuf?=?new?char[BUFFER_SIZE];
????memset(recvBuf,?0,?BUFFER_SIZE);

????while(1)
????{
????????if?((recvBytes=recv(clientfd,?recvBuf,?BUFFER_SIZE,0))?<=?0)?
????????{
????????????perror("recv出錯！\n");
????????????return?NULL;
????????}
????????recvBuf[recvBytes]='\0';
????????printf("recvBuf:%s\n",?recvBuf);
????}

????close(clientfd);
????return?NULL;
}

可是頻繁的創(chuàng)建線程也還是比較耗資源，這樣子是不是可以使用線程池提前創(chuàng)建一波線程，多個連接復(fù)用它即可

上面程序雖然可以較好地處理連接，但是如果并發(fā)較多，就會引起線程的頻繁切換和銷毀，怎們優(yōu)化？

我們在服務(wù)端啟動的時候，預(yù)先分配固定大小的多個線程，當新連接建立的時候，從連接隊列中取出這個連接描述字進程處理

細心地同學(xué)可能發(fā)現(xiàn)，既要從隊列取數(shù)據(jù)，也會從隊列寫數(shù)據(jù)，會不會有混亂。是的，所以通常還會使用mutex和條件變量進行加持。

但是不是每個鏈接都是需要時刻服務(wù)，每次創(chuàng)建線程還是比較消耗資源，那就提前創(chuàng)建一批線程，所謂線程池，復(fù)用線程池來獲取某種效率的提升

非阻塞 I/O + readiness notification + 單線程

我們的程序可以通過輪詢的方式對套接字進行挨個訪問，從而找出進行IO處理的套接字。

描述符少還行，如果太多，每次的循環(huán)將消耗大量的CPU時間，而且可能循環(huán)完了都沒發(fā)現(xiàn)一個套接字可以讀寫。既然這樣，我們直接交給操作系統(tǒng)，讓它告訴我們哪些套接字可以讀寫。程序就變?yōu)檫@樣

我們每次dispatch就相當于對所有的套接字進行排查，這樣顯然效率不是很高。如果dispatch之后只提供有IO事件或者IO變化的套接字就好了，這就是epoll的設(shè)計

非阻塞 I/O + readiness notification + 多線程

上述幾種方案都是在一個線程分發(fā)，顯然沒有利用當今的多核技術(shù)，我們完全可以讓每個核作為一個IO分發(fā)器進行事件的分發(fā)，這其實就是reactor模式，也是后續(xù)將談到的事件驅(qū)動。

8 事件驅(qū)動

事件驅(qū)動也叫做反應(yīng)堆模型或者Event loop模型，重要的是兩點

• 通過poll、epoll等IO分發(fā)技術(shù)實現(xiàn)一個無限循環(huán)的事件分發(fā)線程

• 將所有的IO事件抽象為事件，每個事件設(shè)置回調(diào)函數(shù)

在處理大部分網(wǎng)絡(luò)程序的時候，無外乎處理一下幾個事兒

• 從套接字讀取數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

• 對收到的數(shù)據(jù)進行解析

• 根據(jù)解析的內(nèi)容進行計算處理

• 處理后的結(jié)果按照約定的格式編碼

• 通過套接字發(fā)送出去

那么之前我們說了使用fork子進程的方式實現(xiàn)通信，隨著客戶端的增多，處理效率不高，因為fork的開銷太大

為什么說事件驅(qū)動是一種高性能，高并發(fā)的模式？

既然這么牛皮，當然有它的特點。舉個例子，來成都一個月，印象特別深刻卻是到處都是咖啡館，點一杯咖啡坐著一邊喝一邊看妹子，服務(wù)員小姐姐也不會找我，只有當我去續(xù)杯的時候，再找小姐姐勾搭(觸發(fā)事件了)，小姐姐滿足了我的需求，我就接著邊喝咖啡邊看其他小姐姐，這就是事件驅(qū)動。看個圖

為了模式整體的效率，不能因為處理業(yè)務(wù)邏輯導(dǎo)致IO事件處理的效率下降，所以我們決定將注入XML文件的解析，數(shù)據(jù)庫的查找等工作放在其他線程中，所謂將這些工作和反應(yīng)堆線程解耦。讓這個反應(yīng)堆只處理IO相關(guān)任務(wù)，業(yè)務(wù)邏輯這些操作分成小任務(wù)放在線程池中讓其他空閑的線程處理。處理完后再交給反應(yīng)堆，然后發(fā)送出去

主從Reactor

ok，咱們已經(jīng)知道使用Reactor反應(yīng)堆的方式同時分發(fā)Acceptor上的連接建立事件，但是我們還是沒有完全實現(xiàn)解耦，這個Reactor線程既要分發(fā)連接建立，還要分發(fā)已經(jīng)建立連接的IO，如果太多的客戶請求是不是會處理不過來，那么能不能讓其分離嘞

我們看看主從reactor的方式，思路很清晰，主reactor主負責(zé)分發(fā)Acceptor連接建立，然后已經(jīng)聯(lián)機的IO事件交給sub-reactor，這個sub-reactor的數(shù)量可以根據(jù)CPU的核數(shù)來定。

假設(shè)咱們是一個四核的CPU，設(shè)置sub-reactor為4.這個時候4個反應(yīng)堆同時干活，是不是增強了IO分發(fā)處理的效率，因為多核操作，也大大的減少并發(fā)處理的鎖開銷。

epoll

上面說了poll的reactor反應(yīng)堆模式，和poll相比，epoll可謂更加高效的事件機制。

如何切換到epoll呢

在lib/event_loop.c中的event_loop_init_with_name中，可以發(fā)現(xiàn)通過宏EPOLL_ENABEL來決定使用哪一個

然后我們在根目錄中查看CMakeLists.txt文件，如果系統(tǒng)中有epoll_create就會自動開啟EPOLL_ENALE，如果沒有則采用默認的poll作為事件分發(fā)機制。

這還沒完，我們需要讓編譯器知道這個宏，所以需要讓CMake往config.h文件寫入這個宏的最終值。

那么，為啥epoll的性能就比poll更好呢

• 首先poll和select，在使用之前需要一個感興趣的事件集合，系統(tǒng)內(nèi)核通過它構(gòu)建相應(yīng)的數(shù)據(jù)結(jié)構(gòu)并注冊，epoll卻不是，它會維護一個全局的事件集合，通過epoll的句柄操作這個集合，操作系統(tǒng)內(nèi)核不需要每次重新掃描整個集合

• 使用poll或者select的時候，應(yīng)用程序需要掃描整個感興趣的事件集合并找出活動的事件，如果請求量過大，掃描一次花費的時間就太長。而epoll不是，epoll直接返回活動的事件，減少大量的掃描時間。

那么邊緣觸發(fā)與條件觸發(fā)到底是啥意思

• 如果某個套接字有1000個字節(jié)需要讀，兩個方案都會產(chǎn)生read ready notification，如果應(yīng)用程序只讀了500字節(jié)，就會陷入等待，對于條件觸發(fā)就不一樣，它會因為還有500字節(jié)而不斷地產(chǎn)生read ready notification

異步IO

用程序告知內(nèi)核啟動某個操作，并讓內(nèi)核在整個操作（包括將數(shù)據(jù)從內(nèi)核拷貝到應(yīng)用程序的緩沖區(qū)）完成后通知應(yīng)用程序。那么和信號驅(qū)動有啥不一樣?

信號驅(qū)動IO試內(nèi)核通知應(yīng)用程序什么時候啟動一個IO操作。而異步IO模型是由內(nèi)核通知應(yīng)用程序啥時候完成。

異步IO的主要優(yōu)點是充分的利用DMA特性。缺點是，如果要完成真正的異步IO，對于操作系統(tǒng)的壓力較大，需要做大量的工作。

現(xiàn)在我們已經(jīng)知道了阻塞IO 非阻塞IO，以及通過select epoll poll等IO多路復(fù)用并結(jié)合線程池的方案實現(xiàn)高性能的網(wǎng)絡(luò)框架。但是還有個與之相對應(yīng)叫做proactor的網(wǎng)絡(luò)驅(qū)動模式，兩者有什么區(qū)別？

在windows中這一套完整的支持套接字的異步編程接口叫做IOCP，和Reactor模式一樣之處在于，也存在一個無限循環(huán)的event loop線程的，但是不同于Reactor模式，這個線程不負責(zé)處理IO調(diào)用，只是負責(zé)在對應(yīng)的read，write操作完成的情況下，分發(fā)完成事件道不同的處理函數(shù)。簡單的一句話總結(jié)即Reactor模式基于待完成的IO事件，而Proactor模式基于已完成的IO事件。

嘮嗑

謝謝大家的查看，如果有點幫助，不凡給小弟在下方點個贊和在看，這對我非常重要，另外，因為這樣，你也可以第一時間收到干貨的推送啦。see you…