25 張圖，一萬字，拆解 Linux 網(wǎng)絡(luò)包發(fā)送過程

在開始今天的文章之前，我先來請大家思考幾個(gè)小問題。

• 問1：我們在查看內(nèi)核發(fā)送數(shù)據(jù)消耗的 CPU 時(shí)，是應(yīng)該看 sy 還是 si ？
• 問2：為什么你服務(wù)器上的 /proc/softirqs 里 NET_RX 要比 NET_TX 大的多的多？
• 問3：發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的時(shí)候都涉及到哪些內(nèi)存拷貝操作？

這些問題雖然在線上經(jīng)?？吹?，但我們似乎很少去深究。如果真的能透徹地把這些問題理解到位，我們對性能的掌控能力將會變得更強(qiáng)。

帶著這三個(gè)問題，我們開始今天對 Linux 內(nèi)核網(wǎng)絡(luò)發(fā)送過程的深度剖析。還是按照我們之前的傳統(tǒng)，先從一段簡單的代碼作為切入。如下代碼是一個(gè)典型服務(wù)器程序的典型的縮微代碼：

int?main(){
?fd?=?socket(AF_INET,?SOCK_STREAM,?0);
?bind(fd,?...);
?listen(fd,?...);

?cfd?=?accept(fd,?...);

?//?接收用戶請求
?read(cfd,?...);

?//?用戶請求處理
?dosometing();?

?//?給用戶返回結(jié)果
?send(cfd,?buf,?sizeof(buf),?0);
}
今天我們來討論上述代碼中，調(diào)用 send 之后內(nèi)核是怎么樣把數(shù)據(jù)包發(fā)送出去的。本文基于Linux 3.10，網(wǎng)卡驅(qū)動采用Intel的igb網(wǎng)卡舉例。

預(yù)警：本文共有一萬多字，25 張圖，長文慎入！

一、Linux 網(wǎng)絡(luò)發(fā)送過程總覽

我覺得看 Linux 源碼最重要的是得有整體上的把握，而不是一開始就陷入各種細(xì)節(jié)。

我這里先給大家準(zhǔn)備了一個(gè)總的流程圖，簡單闡述下 send 發(fā)送了的數(shù)據(jù)是如何一步一步被發(fā)送到網(wǎng)卡的。

在這幅圖中，我們看到用戶數(shù)據(jù)被拷貝到內(nèi)核態(tài)，然后經(jīng)過協(xié)議棧處理后進(jìn)入到了 RingBuffer 中。隨后網(wǎng)卡驅(qū)動真正將數(shù)據(jù)發(fā)送了出去。當(dāng)發(fā)送完成的時(shí)候，是通過硬中斷來通知 CPU，然后清理 RingBuffer。

因?yàn)槲恼潞竺嬉M(jìn)入源碼，所以我們再從源碼的角度給出一個(gè)流程圖。

雖然數(shù)據(jù)這時(shí)已經(jīng)發(fā)送完畢，但是其實(shí)還有一件重要的事情沒有做，那就是釋放緩存隊(duì)列等內(nèi)存。

那內(nèi)核是如何知道什么時(shí)候才能釋放內(nèi)存的呢，當(dāng)然是等網(wǎng)絡(luò)發(fā)送完畢之后。網(wǎng)卡在發(fā)送完畢的時(shí)候，會給 CPU 發(fā)送一個(gè)硬中斷來通知 CPU。更完整的流程看圖：

注意，我們今天的主題雖然是發(fā)送數(shù)據(jù)，但是硬中斷最終觸發(fā)的軟中斷卻是 NET_RX_SOFTIRQ，而并不是 NET_TX_SOFTIRQ ！?。。═ 是 transmit 的縮寫，R 表示 receive）

意不意外，驚不驚喜？？？

所以這就是開篇問題 1 的一部分的原因（注意，這只是一部分原因）。

問1：在服務(wù)器上查看 /proc/softirqs，為什么 NET_RX 要比 NET_TX 大的多的多？

傳輸完成最終會觸發(fā) NET_RX，而不是 NET_TX。所以自然你觀測 /proc/softirqs 也就能看到 NET_RX 更多了。

好，現(xiàn)在你已經(jīng)對內(nèi)核是怎么發(fā)送網(wǎng)絡(luò)包的有一個(gè)全局上的把握了。不要得意，我們需要了解的細(xì)節(jié)才是更有價(jià)值的地方，讓我們繼續(xù)??！

二、網(wǎng)卡啟動準(zhǔn)備

現(xiàn)在的服務(wù)器上的網(wǎng)卡一般都是支持多隊(duì)列的。每一個(gè)隊(duì)列上都是由一個(gè) RingBuffer 表示的，開啟了多隊(duì)列以后的的網(wǎng)卡就會對應(yīng)有多個(gè) RingBuffer。

網(wǎng)卡在啟動時(shí)最重要的任務(wù)之一就是分配和初始化 RingBuffer，理解了 RingBuffer 將會非常有助于后面我們掌握發(fā)送。因?yàn)榻裉斓闹黝}是發(fā)送，所以就以傳輸隊(duì)列為例，我們來看下網(wǎng)卡啟動時(shí)分配 RingBuffer 的實(shí)際過程。

在網(wǎng)卡啟動的時(shí)候，會調(diào)用到 __igb_open 函數(shù)，RingBuffer 就是在這里分配的。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
static?int?__igb_open(struct?net_device?*netdev,?bool?resuming)
{
?struct?igb_adapter?*adapter?=?netdev_priv(netdev);

?//分配傳輸描述符數(shù)組
?err?=?igb_setup_all_tx_resources(adapter);

?//分配接收描述符數(shù)組
?err?=?igb_setup_all_rx_resources(adapter);

?//開啟全部隊(duì)列
?netif_tx_start_all_queues(netdev);
}
在上面 __igb_open 函數(shù)調(diào)用 igb_setup_all_tx_resources 分配所有的傳輸 RingBuffer, 調(diào)用 igb_setup_all_rx_resources 創(chuàng)建所有的接收 RingBuffer。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
static?int?igb_setup_all_tx_resources(struct?igb_adapter?*adapter)
{
?//有幾個(gè)隊(duì)列就構(gòu)造幾個(gè)?RingBuffer
?for?(i?=?0;?i?num_tx_queues;?i )?{
??igb_setup_tx_resources(adapter->tx_ring[i]);
?}
}
真正的 RingBuffer 構(gòu)造過程是在 igb_setup_tx_resources 中完成的。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
int?igb_setup_tx_resources(struct?igb_ring?*tx_ring)
{
?//1.申請?igb_tx_buffer?數(shù)組內(nèi)存
?size?=?sizeof(struct?igb_tx_buffer)?*?tx_ring->count;
?tx_ring->tx_buffer_info?=?vzalloc(size);

?//2.申請?e1000_adv_tx_desc?DMA?數(shù)組內(nèi)存
?tx_ring->size?=?tx_ring->count?*?sizeof(union?e1000_adv_tx_desc);
?tx_ring->size?=?ALIGN(tx_ring->size,?4096);
?tx_ring->desc?=?dma_alloc_coherent(dev,?tx_ring->size,
????????