當(dāng)前位置:首頁 > 公眾號精選 > CPP開發(fā)者
[導(dǎo)讀]在開始今天的文章之前,我先來請大家思考幾個小問題。問1:我們在查看內(nèi)核發(fā)送數(shù)據(jù)消耗的CPU時,是應(yīng)該看sy還是si?問2:為什么你服務(wù)器上的/proc/softirqs里NET_RX要比NET_TX大的多的多?問3:發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的時候都涉及到哪些內(nèi)存拷貝操作?這些問題雖然在線上經(jīng)...


在開始今天的文章之前,我先來請大家思考幾個小問題。

  • 問1:我們在查看內(nèi)核發(fā)送數(shù)據(jù)消耗的 CPU 時,是應(yīng)該看 sy 還是 si ?
  • 問2:為什么你服務(wù)器上的 /proc/softirqs 里 NET_RX 要比 NET_TX 大的多的多?
  • 問3:發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的時候都涉及到哪些內(nèi)存拷貝操作?
這些問題雖然在線上經(jīng)常看到,但我們似乎很少去深究。如果真的能透徹地把這些問題理解到位,我們對性能的掌控能力將會變得更強。

帶著這三個問題,我們開始今天對 Linux 內(nèi)核網(wǎng)絡(luò)發(fā)送過程的深度剖析。還是按照我們之前的傳統(tǒng),先從一段簡單的代碼作為切入。如下代碼是一個典型服務(wù)器程序的典型的縮微代碼:

int?main(){
?fd?=?socket(AF_INET,?SOCK_STREAM,?0);
?bind(fd,?...);
?listen(fd,?...);

?cfd?=?accept(fd,?...);

?//?接收用戶請求
?read(cfd,?...);

?//?用戶請求處理
?dosometing();?

?//?給用戶返回結(jié)果
?send(cfd,?buf,?sizeof(buf),?0);
}
今天我們來討論上述代碼中,調(diào)用 send 之后內(nèi)核是怎么樣把數(shù)據(jù)包發(fā)送出去的。本文基于Linux 3.10,網(wǎng)卡驅(qū)動采用Intel的igb網(wǎng)卡舉例。

預(yù)警:本文共有一萬多字,25 張圖,長文慎入!

一、Linux 網(wǎng)絡(luò)發(fā)送過程總覽

我覺得看 Linux 源碼最重要的是得有整體上的把握,而不是一開始就陷入各種細(xì)節(jié)。

我這里先給大家準(zhǔn)備了一個總的流程圖,簡單闡述下 send 發(fā)送了的數(shù)據(jù)是如何一步一步被發(fā)送到網(wǎng)卡的。

在這幅圖中,我們看到用戶數(shù)據(jù)被拷貝到內(nèi)核態(tài),然后經(jīng)過協(xié)議棧處理后進入到了 RingBuffer 中。隨后網(wǎng)卡驅(qū)動真正將數(shù)據(jù)發(fā)送了出去。當(dāng)發(fā)送完成的時候,是通過硬中斷來通知 CPU,然后清理 RingBuffer。

因為文章后面要進入源碼,所以我們再從源碼的角度給出一個流程圖。

雖然數(shù)據(jù)這時已經(jīng)發(fā)送完畢,但是其實還有一件重要的事情沒有做,那就是釋放緩存隊列等內(nèi)存。

那內(nèi)核是如何知道什么時候才能釋放內(nèi)存的呢,當(dāng)然是等網(wǎng)絡(luò)發(fā)送完畢之后。網(wǎng)卡在發(fā)送完畢的時候,會給 CPU 發(fā)送一個硬中斷來通知 CPU。更完整的流程看圖:

注意,我們今天的主題雖然是發(fā)送數(shù)據(jù),但是硬中斷最終觸發(fā)的軟中斷卻是 NET_RX_SOFTIRQ,而并不是 NET_TX_SOFTIRQ ?。。。═ 是 transmit 的縮寫,R 表示 receive)

意不意外,驚不驚喜???

所以這就是開篇問題 1 的一部分的原因(注意,這只是一部分原因)。

問1:在服務(wù)器上查看 /proc/softirqs,為什么 NET_RX 要比 NET_TX 大的多的多?

傳輸完成最終會觸發(fā) NET_RX,而不是 NET_TX。所以自然你觀測 /proc/softirqs 也就能看到 NET_RX 更多了。

好,現(xiàn)在你已經(jīng)對內(nèi)核是怎么發(fā)送網(wǎng)絡(luò)包的有一個全局上的把握了。不要得意,我們需要了解的細(xì)節(jié)才是更有價值的地方,讓我們繼續(xù)?。?/p>

二、網(wǎng)卡啟動準(zhǔn)備

現(xiàn)在的服務(wù)器上的網(wǎng)卡一般都是支持多隊列的。每一個隊列上都是由一個 RingBuffer 表示的,開啟了多隊列以后的的網(wǎng)卡就會對應(yīng)有多個 RingBuffer。

網(wǎng)卡在啟動時最重要的任務(wù)之一就是分配和初始化 RingBuffer,理解了 RingBuffer 將會非常有助于后面我們掌握發(fā)送。因為今天的主題是發(fā)送,所以就以傳輸隊列為例,我們來看下網(wǎng)卡啟動時分配 RingBuffer 的實際過程。

在網(wǎng)卡啟動的時候,會調(diào)用到 __igb_open 函數(shù),RingBuffer 就是在這里分配的。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
static?int?__igb_open(struct?net_device?*netdev,?bool?resuming)
{
?struct?igb_adapter?*adapter?=?netdev_priv(netdev);

?//分配傳輸描述符數(shù)組
?err?=?igb_setup_all_tx_resources(adapter);

?//分配接收描述符數(shù)組
?err?=?igb_setup_all_rx_resources(adapter);

?//開啟全部隊列
?netif_tx_start_all_queues(netdev);
}
在上面 __igb_open 函數(shù)調(diào)用 igb_setup_all_tx_resources 分配所有的傳輸 RingBuffer, 調(diào)用 igb_setup_all_rx_resources 創(chuàng)建所有的接收 RingBuffer。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
static?int?igb_setup_all_tx_resources(struct?igb_adapter?*adapter)
{
?//有幾個隊列就構(gòu)造幾個?RingBuffer
?for?(i?=?0;?i?num_tx_queues;?i )?{
??igb_setup_tx_resources(adapter->tx_ring[i]);
?}
}
真正的 RingBuffer 構(gòu)造過程是在 igb_setup_tx_resources 中完成的。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
int?igb_setup_tx_resources(struct?igb_ring?*tx_ring)
{
?//1.申請?igb_tx_buffer?數(shù)組內(nèi)存
?size?=?sizeof(struct?igb_tx_buffer)?*?tx_ring->count;
?tx_ring->tx_buffer_info?=?vzalloc(size);

?//2.申請?e1000_adv_tx_desc?DMA?數(shù)組內(nèi)存
?tx_ring->size?=?tx_ring->count?*?sizeof(union?e1000_adv_tx_desc);
?tx_ring->size?=?ALIGN(tx_ring->size,?4096);
?tx_ring->desc?=?dma_alloc_coherent(dev,?tx_ring->size,
????????
本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉