LINUX網(wǎng)絡(luò)子系統(tǒng)中DMA機制的實現(xiàn)

本文由西郵陳莉君教授研一學(xué)生進行解析，由白嘉慶整理，薛曉雯編輯，崔鵬程校對.

我們先從計算機組成原理的層面介紹DMA，再簡單介紹Linux網(wǎng)絡(luò)子系統(tǒng)的DMA機制是如何實現(xiàn)的。

一、計算機組成原理中的DMA

以往的I/O設(shè)備和主存交換信息都要經(jīng)過CPU的操作。不論是最早的輪詢方式，還是我們學(xué)過的中斷方式。雖然中斷方式相比輪詢方式已經(jīng)節(jié)省了大量的CPU資源。但是在處理大量的數(shù)據(jù)時，DMA相比中斷方式進一步解放了CPU。

DMA就是Direct Memory Access，意思是I/O設(shè)備直接存儲器訪問，幾乎不消耗CPU的資源。在I/O設(shè)備和主存?zhèn)鬟f數(shù)據(jù)的時候，CPU可以處理其他事。

1. I/O設(shè)備與主存信息傳送的控制方式

I/O設(shè)備與主存信息傳送的控制方式分為程序輪詢、中斷、DMA、RDMA等。

先用“圖1”大體上說明幾種控制方式的區(qū)別，其中黃線代表程序輪詢方式，綠線代表中斷方式，紅線代表DMA方式，黑線代表RDMA方式，藍線代表公用的線。可以看出DMA方式與程序輪詢方式還有中斷方式的區(qū)別是傳輸數(shù)據(jù)跳過了CPU，直接和主存交流。

“圖1”中的“接口”既包括實現(xiàn)某一功能的硬件電路，也包括相應(yīng)的控制軟件，如 “DMA接口” 就是一些實現(xiàn)DMA機制的硬件電路和相應(yīng)的控制軟件。

“DMA接口”有時也叫做“DMA控制器”（DMAC）。

圖1 

上周分享“圖1”時，劉老師說在DMA方式下， DMA控制器（即DMA接口）也是需要和CPU交流的，但是圖中沒有顯示DMA控制器與CPU交流信息。但是這張圖我是按照哈工大劉宏偉老師的《計算機組成原理》第五章的內(nèi)容畫出的，應(yīng)該是不會有問題的。查找了相關(guān)資料，覺得兩個劉老師都沒有錯，因為這張圖強調(diào)的是數(shù)據(jù)的走向，即這里的線僅是數(shù)據(jù)線。如果要嚴格一點，把控制線和地址線也畫出來，將是“圖2”這個樣子：

圖2 

這里新增了中斷方式的地址線和控制線、DMA方式的地址線和控制線。（“圖2”也是自己繪制，其理論依據(jù)參考“圖3”，這里不對“圖3”進行具體分析，因為涉及底層的硬件知識）

“圖2”對“圖1”的數(shù)據(jù)線加粗，新增細實線表示地址線，細虛線表示控制線。可以看出在中斷方式下，無論是傳輸數(shù)據(jù)、地址還是控制信息，都要經(jīng)過CPU，即都要在CPU的寄存器中暫存一下，都要浪費CPU的資源；但是在DMA方式下，傳輸數(shù)據(jù)和地址時，I/O設(shè)備可以通過“DMA接口”直接與主存交流，只有傳輸控制信息時，才需要用到CPU。而傳輸控制信息占用的時間是極小的，可以忽略不計，所以可以認為DMA方式完全沒有占用CPU資源，這等價于I/O設(shè)備和CPU可以實現(xiàn)真正的并行工作，這比中斷方式下的并行程度要更高很多。

圖3 

2. 三種方式的CPU工作效率比較

在I/O準備階段，程序輪詢方式的CPU一直在查詢等待，而中斷方式的CPU可以繼續(xù)執(zhí)行現(xiàn)行程序，但是當(dāng)I/O準備就緒，設(shè)備向CPU發(fā)出中斷請求，CPU響應(yīng)以實現(xiàn)數(shù)據(jù)的傳輸，這個過程會占用CPU一段時間，而且這段時間比使用程序輪詢方式的CPU傳輸數(shù)據(jù)的時間還要長，因為CPU除了傳輸數(shù)據(jù)還要做一些準備工作，如把CPU寄存器中的數(shù)據(jù)都轉(zhuǎn)移到棧中。

但是DMA方式不一樣，當(dāng)I/O準備就緒，設(shè)備向CPU發(fā)出DMA請求，CPU響應(yīng)請求，關(guān)閉對主存的控制器，只關(guān)閉一個或者幾個存取周期，在這一小段時間內(nèi)，主存和設(shè)備完成數(shù)據(jù)交換。而且在這一小段時間內(nèi)，CPU并不是什么都不能做，雖然CPU不能訪問主存，即不能取指令，但是CPU的cache中已經(jīng)保存了一些指令，CPU可以先執(zhí)行這些指令，只要這些指令不涉及訪存，CPU和設(shè)備還是并行執(zhí)行。數(shù)據(jù)傳輸完成后，DMA接口向CPU發(fā)出中斷請求，讓CPU做后續(xù)處理。大家可能會奇怪DMA接口為什么也能發(fā)出中斷請求，其實DMA接口內(nèi)有一個中斷機構(gòu)，見“圖3”,DMA技術(shù)其實是建立在中斷技術(shù)之上的，它包含了中斷技術(shù)。

總之，在同樣的時間內(nèi)，DMA方式下CPU執(zhí)行現(xiàn)行程序的時間最長，即CPU的效率最高。

二、Linux網(wǎng)絡(luò)子系統(tǒng)中DMA機制的實現(xiàn)

1. DMA機制在TCP/IP協(xié)議模型中的位置

網(wǎng)卡明顯是一個數(shù)據(jù)流量特別大的地方，所以特別需要DMA方式和主存交換數(shù)據(jù)。

主存的內(nèi)核空間中為接收和發(fā)送數(shù)據(jù)分別建立了兩個環(huán)形緩沖區(qū)（Ring Buffer）。分別叫接受環(huán)形緩沖區(qū)（Receive Ring Buffer）和發(fā)送環(huán)形緩沖區(qū)（Send Ring Buffer），通常也叫DMA環(huán)形緩沖區(qū)。

下圖可以看到DMA機制位于TCP/IP協(xié)議模型中的位置數(shù)據(jù)鏈路層。

網(wǎng)卡通過DMA方式將數(shù)據(jù)發(fā)送到Receive Ring Buffer,然后Receive Ring Buffer把數(shù)據(jù)包傳給IP協(xié)議所在的網(wǎng)絡(luò)層，然后再由路由機制傳給TCP協(xié)議所在的傳輸層，最終傳給用戶進程所在的應(yīng)用層。下一節(jié)在數(shù)據(jù)鏈路層上分析具體分析網(wǎng)卡是如何處理數(shù)據(jù)包的。

2. 數(shù)據(jù)鏈路層上網(wǎng)卡對數(shù)據(jù)包的處理

DMA 環(huán)形緩沖區(qū)建立在與處理器共享的內(nèi)存中。每一個輸入數(shù)據(jù)包被放置在環(huán)形緩沖區(qū)中下一個可用緩沖區(qū)，然后發(fā)出中斷。接著驅(qū)動程序?qū)⒕W(wǎng)絡(luò)數(shù)據(jù)包傳給內(nèi)核的其它部分處理，并在環(huán)形緩沖區(qū)中放置一個新的 DMA 緩沖區(qū)。

驅(qū)動程序在初始化時分配DMA緩沖區(qū)，并使用驅(qū)動程序直到停止運行。

準備工作：

系統(tǒng)啟動時網(wǎng)卡（NIC）進行初始化，在內(nèi)存中騰出空間給 Ring Buffer 。Ring Buffer 隊列每個中的每個元素 Packet Descriptor指向一個sk_buff ，狀態(tài)均為ready。

上圖中虛線步驟的解釋：

• 1.DMA 接口將網(wǎng)卡（NIC）接收的數(shù)據(jù)包（packet）逐個寫入 sk_buff ，被寫入數(shù)據(jù)的 sk_buff 變?yōu)?used 狀態(tài)。一個數(shù)據(jù)包可能占用多個 sk_buff , sk_buff讀寫順序遵循先入先出（FIFO）原則。

• 2.DMA 寫完數(shù)據(jù)之后，網(wǎng)卡（NIC）向網(wǎng)卡中斷控制器（NIC Interrupt Handler）觸發(fā)硬件中斷請求。

• 3.NIC driver 注冊 poll 函數(shù)。

• 4.poll 函數(shù)對數(shù)據(jù)進行檢查，例如將幾個 sk_buff 合并，因為可能同一個數(shù)據(jù)可能被分散放在多個 sk_buff 中。

• 5.poll 函數(shù)將 sk_buff 交付上層網(wǎng)絡(luò)棧處理。

后續(xù)處理：

poll 函數(shù)清理 sk_buff，清理 Ring Buffer 上的 Descriptor 將其指向新分配的 sk_buff 并將狀態(tài)設(shè)置為 ready。

3.源碼分析具體網(wǎng)卡（4.19內(nèi)核）

Intel的千兆以太網(wǎng)卡e1000使用非常廣泛，我虛擬機上的網(wǎng)卡就是它。

這里就以該網(wǎng)卡的驅(qū)動程序為例，初步分析它是怎么建立DMA機制的。

源碼目錄及文件：

內(nèi)核模塊插入函數(shù)在e1000_main.c文件中，它是加載驅(qū)動程序時調(diào)用的第一個函數(shù)。

該函數(shù)所做的只是向PCI子系統(tǒng)注冊，這樣CPU就可以訪問網(wǎng)卡了，因為CPU和網(wǎng)卡是通過PCI總線相連的。

具體做法是，在第230行，通過pci_register_driver()函數(shù)將e1000_driver這個驅(qū)動程序注冊到PCI子系統(tǒng)。

e1000_driver是struct pci_driver類型的結(jié)構(gòu)體，

e1000_driver```里面初始化了設(shè)備的名字為“e1000”，

還定義了一些操作，如插入新設(shè)備、移除設(shè)備等，還包括電源管理相關(guān)的暫停操作和喚醒操作。下面是struct pci_driver一些主要的域。

對該驅(qū)動程序稍微了解后，先跳過其他部分，直接看DMA相關(guān)代碼。在e1000_probe函數(shù)，即“插入新設(shè)備”函數(shù)中，下面這段代碼先對DMA緩沖區(qū)的大小進行檢查

如果是64位DMA地址，則把pci_using_dac標記為1，表示可以使用64位硬件，掛起32位的硬件；如果是32位DMA地址，則使用32位硬件；若不是64位也不是32位，則報錯“沒有可用的DMA配置，中止程序”。

其中的函數(shù)dma_set_mask_and_coherent()用于對dma_mask和coherent_dma_mask賦值。

dma_mask表示的是該設(shè)備通過DMA方式可尋址的物理地址范圍，coherent_dma_mask表示所有設(shè)備通過DMA方式可尋址的公共的物理地址范圍，

因為不是所有的硬件設(shè)備都能夠支持64bit的地址寬度。

/include/linux/dma-mapping.h

rc==0表示該設(shè)備的dma_mask賦值成功，所以可以接著對coherent_dma_mask賦同樣的值。

繼續(xù)閱讀e1000_probe函數(shù)，

如果pci_using_dac標記為1，則當(dāng)前網(wǎng)絡(luò)設(shè)備的features域（表示當(dāng)前活動的設(shè)備功能）和vlan_features域（表示VLAN設(shè)備可繼承的功能）都賦值為NETIF_F_HIGHDMA，NETIF_F_HIGHDMA表示當(dāng)前設(shè)備可以通過DMA通道訪問到高地址的內(nèi)存。

因為前面分析過，pci_using_dac標記為1時，當(dāng)前設(shè)備是64位的。 e1000_probe函數(shù)完成了對設(shè)備的基本初始化，接下來看如何初始化接收環(huán)形緩沖區(qū)。

這里dma_alloc_coherent()的作用是申請一塊DMA可使用的內(nèi)存，它的返回值是這塊內(nèi)存的虛擬地址，賦值給rxdr->desc。 其實這個函數(shù)還隱式的返回了物理地址，物理地址存在第三個參數(shù)中。 指針rxdr指向的是struct e1000_rx_ring這個結(jié)構(gòu)體，該結(jié)構(gòu)體就是接收環(huán)形緩沖區(qū)。

若成功申請到DMA內(nèi)存，則用memset()函數(shù)把申請的內(nèi)存清零，rxdr的其他域也清零。

對于現(xiàn)在的多核CPU，每個CPU都有自己的接收環(huán)形緩沖區(qū)，e1000_setup_all_rx_resources()中調(diào)用e1000_setup_rx_resources()，初始化所有的接收環(huán)形緩沖區(qū)。

e1000_setup_all_rx_resources()由e1000_open()調(diào)用，也就是說只要打開該網(wǎng)絡(luò)設(shè)備，接收和發(fā)送環(huán)形緩沖區(qū)就會建立好。

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點，不代表本平臺立場，如有問題，請聯(lián)系我們，謝謝！