當(dāng)前位置:首頁(yè) > 公眾號(hào)精選 > Linux閱碼場(chǎng)
[導(dǎo)讀]本文從計(jì)算機(jī)組成原理的層面詳細(xì)介紹了DMA,以及Linux網(wǎng)絡(luò)子系統(tǒng)的DMA機(jī)制是如何實(shí)現(xiàn)的。

本文由西郵陳莉君教授研一學(xué)生進(jìn)行解析,由白嘉慶整理,薛曉雯編輯,崔鵬程校對(duì).

我們先從計(jì)算機(jī)組成原理的層面介紹DMA,再簡(jiǎn)單介紹Linux網(wǎng)絡(luò)子系統(tǒng)的DMA機(jī)制是如何實(shí)現(xiàn)的。

一、計(jì)算機(jī)組成原理中的DMA

以往的I/O設(shè)備和主存交換信息都要經(jīng)過(guò)CPU的操作。不論是最早的輪詢方式,還是我們學(xué)過(guò)的中斷方式。雖然中斷方式相比輪詢方式已經(jīng)節(jié)省了大量的CPU資源。但是在處理大量的數(shù)據(jù)時(shí),DMA相比中斷方式進(jìn)一步解放了CPU。

DMA就是Direct Memory Access,意思是I/O設(shè)備直接存儲(chǔ)器訪問(wèn),幾乎不消耗CPU的資源。在I/O設(shè)備和主存?zhèn)鬟f數(shù)據(jù)的時(shí)候,CPU可以處理其他事。

1. I/O設(shè)備與主存信息傳送的控制方式

I/O設(shè)備與主存信息傳送的控制方式分為程序輪詢、中斷、DMA、RDMA等。

先用“圖1”大體上說(shuō)明幾種控制方式的區(qū)別,其中黃線代表程序輪詢方式,綠線代表中斷方式,紅線代表DMA方式,黑線代表RDMA方式,藍(lán)線代表公用的線??梢钥闯鯠MA方式與程序輪詢方式還有中斷方式的區(qū)別是傳輸數(shù)據(jù)跳過(guò)了CPU,直接和主存交流。

“圖1”中的“接口”既包括實(shí)現(xiàn)某一功能的硬件電路,也包括相應(yīng)的控制軟件,如 “DMA接口” 就是一些實(shí)現(xiàn)DMA機(jī)制的硬件電路和相應(yīng)的控制軟件。

“DMA接口”有時(shí)也叫做“DMA控制器”(DMAC)。

圖1 

上周分享“圖1”時(shí),劉老師說(shuō)在DMA方式下, DMA控制器(即DMA接口)也是需要和CPU交流的,但是圖中沒(méi)有顯示DMA控制器與CPU交流信息。但是這張圖我是按照哈工大劉宏偉老師的《計(jì)算機(jī)組成原理》第五章的內(nèi)容畫(huà)出的,應(yīng)該是不會(huì)有問(wèn)題的。查找了相關(guān)資料,覺(jué)得兩個(gè)劉老師都沒(méi)有錯(cuò),因?yàn)檫@張圖強(qiáng)調(diào)的是數(shù)據(jù)的走向,即這里的線僅是數(shù)據(jù)線。如果要嚴(yán)格一點(diǎn),把控制線和地址線也畫(huà)出來(lái),將是“圖2”這個(gè)樣子:

圖2 

這里新增了中斷方式的地址線和控制線、DMA方式的地址線和控制線。(“圖2”也是自己繪制,其理論依據(jù)參考“圖3”,這里不對(duì)“圖3”進(jìn)行具體分析,因?yàn)樯婕暗讓拥挠布R(shí))

“圖2”對(duì)“圖1”的數(shù)據(jù)線加粗,新增細(xì)實(shí)線表示地址線,細(xì)虛線表示控制線。可以看出在中斷方式下,無(wú)論是傳輸數(shù)據(jù)、地址還是控制信息,都要經(jīng)過(guò)CPU,即都要在CPU的寄存器中暫存一下,都要浪費(fèi)CPU的資源;但是在DMA方式下,傳輸數(shù)據(jù)和地址時(shí),I/O設(shè)備可以通過(guò)“DMA接口”直接與主存交流,只有傳輸控制信息時(shí),才需要用到CPU。而傳輸控制信息占用的時(shí)間是極小的,可以忽略不計(jì),所以可以認(rèn)為DMA方式完全沒(méi)有占用CPU資源,這等價(jià)于I/O設(shè)備和CPU可以實(shí)現(xiàn)真正的并行工作,這比中斷方式下的并行程度要更高很多。

圖3 
2. 三種方式的CPU工作效率比較

在I/O準(zhǔn)備階段,程序輪詢方式的CPU一直在查詢等待,而中斷方式的CPU可以繼續(xù)執(zhí)行現(xiàn)行程序,但是當(dāng)I/O準(zhǔn)備就緒,設(shè)備向CPU發(fā)出中斷請(qǐng)求,CPU響應(yīng)以實(shí)現(xiàn)數(shù)據(jù)的傳輸,這個(gè)過(guò)程會(huì)占用CPU一段時(shí)間,而且這段時(shí)間比使用程序輪詢方式的CPU傳輸數(shù)據(jù)的時(shí)間還要長(zhǎng),因?yàn)镃PU除了傳輸數(shù)據(jù)還要做一些準(zhǔn)備工作,如把CPU寄存器中的數(shù)據(jù)都轉(zhuǎn)移到棧中。

但是DMA方式不一樣,當(dāng)I/O準(zhǔn)備就緒,設(shè)備向CPU發(fā)出DMA請(qǐng)求,CPU響應(yīng)請(qǐng)求,關(guān)閉對(duì)主存的控制器,只關(guān)閉一個(gè)或者幾個(gè)存取周期,在這一小段時(shí)間內(nèi),主存和設(shè)備完成數(shù)據(jù)交換。而且在這一小段時(shí)間內(nèi),CPU并不是什么都不能做,雖然CPU不能訪問(wèn)主存,即不能取指令,但是CPU的cache中已經(jīng)保存了一些指令,CPU可以先執(zhí)行這些指令,只要這些指令不涉及訪存,CPU和設(shè)備還是并行執(zhí)行。數(shù)據(jù)傳輸完成后,DMA接口向CPU發(fā)出中斷請(qǐng)求,讓CPU做后續(xù)處理。大家可能會(huì)奇怪DMA接口為什么也能發(fā)出中斷請(qǐng)求,其實(shí)DMA接口內(nèi)有一個(gè)中斷機(jī)構(gòu),見(jiàn)“圖3”,DMA技術(shù)其實(shí)是建立在中斷技術(shù)之上的,它包含了中斷技術(shù)。

總之,在同樣的時(shí)間內(nèi),DMA方式下CPU執(zhí)行現(xiàn)行程序的時(shí)間最長(zhǎng),即CPU的效率最高。


二、Linux網(wǎng)絡(luò)子系統(tǒng)中DMA機(jī)制的實(shí)現(xiàn)
1. DMA機(jī)制在TCP/IP協(xié)議模型中的位置

網(wǎng)卡明顯是一個(gè)數(shù)據(jù)流量特別大的地方,所以特別需要DMA方式和主存交換數(shù)據(jù)。

主存的內(nèi)核空間中為接收和發(fā)送數(shù)據(jù)分別建立了兩個(gè)環(huán)形緩沖區(qū)(Ring Buffer)。分別叫接受環(huán)形緩沖區(qū)(Receive Ring Buffer)和發(fā)送環(huán)形緩沖區(qū)(Send Ring Buffer),通常也叫DMA環(huán)形緩沖區(qū)。

下圖可以看到DMA機(jī)制位于TCP/IP協(xié)議模型中的位置數(shù)據(jù)鏈路層。

網(wǎng)卡通過(guò)DMA方式將數(shù)據(jù)發(fā)送到Receive Ring Buffer,然后Receive Ring Buffer把數(shù)據(jù)包傳給IP協(xié)議所在的網(wǎng)絡(luò)層,然后再由路由機(jī)制傳給TCP協(xié)議所在的傳輸層,最終傳給用戶進(jìn)程所在的應(yīng)用層。下一節(jié)在數(shù)據(jù)鏈路層上分析具體分析網(wǎng)卡是如何處理數(shù)據(jù)包的。

2. 數(shù)據(jù)鏈路層上網(wǎng)卡對(duì)數(shù)據(jù)包的處理

DMA 環(huán)形緩沖區(qū)建立在與處理器共享的內(nèi)存中。每一個(gè)輸入數(shù)據(jù)包被放置在環(huán)形緩沖區(qū)中下一個(gè)可用緩沖區(qū),然后發(fā)出中斷。接著驅(qū)動(dòng)程序?qū)⒕W(wǎng)絡(luò)數(shù)據(jù)包傳給內(nèi)核的其它部分處理,并在環(huán)形緩沖區(qū)中放置一個(gè)新的 DMA 緩沖區(qū)。

驅(qū)動(dòng)程序在初始化時(shí)分配DMA緩沖區(qū),并使用驅(qū)動(dòng)程序直到停止運(yùn)行。

準(zhǔn)備工作:

系統(tǒng)啟動(dòng)時(shí)網(wǎng)卡(NIC)進(jìn)行初始化,在內(nèi)存中騰出空間給 Ring Buffer 。Ring Buffer 隊(duì)列每個(gè)中的每個(gè)元素 Packet Descriptor指向一個(gè)sk_buff ,狀態(tài)均為ready。

上圖中虛線步驟的解釋:

  • 1.DMA 接口將網(wǎng)卡(NIC)接收的數(shù)據(jù)包(packet)逐個(gè)寫(xiě)入 sk_buff ,被寫(xiě)入數(shù)據(jù)的 sk_buff 變?yōu)?used 狀態(tài)。一個(gè)數(shù)據(jù)包可能占用多個(gè) sk_buff , sk_buff讀寫(xiě)順序遵循先入先出(FIFO)原則。

  • 2.DMA 寫(xiě)完數(shù)據(jù)之后,網(wǎng)卡(NIC)向網(wǎng)卡中斷控制器(NIC Interrupt Handler)觸發(fā)硬件中斷請(qǐng)求。

  • 3.NIC driver 注冊(cè) poll 函數(shù)。

  • 4.poll 函數(shù)對(duì)數(shù)據(jù)進(jìn)行檢查,例如將幾個(gè) sk_buff 合并,因?yàn)榭赡芡粋€(gè)數(shù)據(jù)可能被分散放在多個(gè) sk_buff 中。

  • 5.poll 函數(shù)將 sk_buff 交付上層網(wǎng)絡(luò)棧處理。

后續(xù)處理:

poll 函數(shù)清理 sk_buff,清理 Ring Buffer 上的 Descriptor 將其指向新分配的 sk_buff 并將狀態(tài)設(shè)置為 ready。

3.源碼分析具體網(wǎng)卡(4.19內(nèi)核)

Intel的千兆以太網(wǎng)卡e1000使用非常廣泛,我虛擬機(jī)上的網(wǎng)卡就是它。

這里就以該網(wǎng)卡的驅(qū)動(dòng)程序?yàn)槔醪椒治鏊窃趺唇MA機(jī)制的。

源碼目錄及文件:

內(nèi)核模塊插入函數(shù)在e1000_main.c文件中,它是加載驅(qū)動(dòng)程序時(shí)調(diào)用的第一個(gè)函數(shù)。

 

該函數(shù)所做的只是向PCI子系統(tǒng)注冊(cè),這樣CPU就可以訪問(wèn)網(wǎng)卡了,因?yàn)镃PU和網(wǎng)卡是通過(guò)PCI總線相連的。

具體做法是,在第230行,通過(guò)pci_register_driver()函數(shù)將e1000_driver這個(gè)驅(qū)動(dòng)程序注冊(cè)到PCI子系統(tǒng)。

e1000_driverstruct pci_driver類型的結(jié)構(gòu)體,

 

e1000_driver```里面初始化了設(shè)備的名字為“e1000”,

還定義了一些操作,如插入新設(shè)備、移除設(shè)備等,還包括電源管理相關(guān)的暫停操作和喚醒操作。下面是struct pci_driver一些主要的域。

對(duì)該驅(qū)動(dòng)程序稍微了解后,先跳過(guò)其他部分,直接看DMA相關(guān)代碼。e1000_probe函數(shù),即“插入新設(shè)備”函數(shù)中,下面這段代碼先對(duì)DMA緩沖區(qū)的大小進(jìn)行檢查

如果是64位DMA地址,則把pci_using_dac標(biāo)記為1,表示可以使用64位硬件,掛起32位的硬件;如果是32位DMA地址,則使用32位硬件;若不是64位也不是32位,則報(bào)錯(cuò)“沒(méi)有可用的DMA配置,中止程序”。

 

其中的函數(shù)dma_set_mask_and_coherent()用于對(duì)dma_maskcoherent_dma_mask賦值。

dma_mask表示的是該設(shè)備通過(guò)DMA方式可尋址的物理地址范圍,coherent_dma_mask表示所有設(shè)備通過(guò)DMA方式可尋址的公共的物理地址范圍,

因?yàn)椴皇撬械挠布O(shè)備都能夠支持64bit的地址寬度。

/include/linux/dma-mapping.h

 

rc==0表示該設(shè)備的dma_mask賦值成功,所以可以接著對(duì)coherent_dma_mask賦同樣的值。

繼續(xù)閱讀e1000_probe函數(shù),

 

如果pci_using_dac標(biāo)記為1,則當(dāng)前網(wǎng)絡(luò)設(shè)備的features域(表示當(dāng)前活動(dòng)的設(shè)備功能)和vlan_features域(表示VLAN設(shè)備可繼承的功能)都賦值為NETIF_F_HIGHDMANETIF_F_HIGHDMA表示當(dāng)前設(shè)備可以通過(guò)DMA通道訪問(wèn)到高地址的內(nèi)存。

因?yàn)榍懊娣治鲞^(guò),pci_using_dac標(biāo)記為1時(shí),當(dāng)前設(shè)備是64位的。 e1000_probe函數(shù)完成了對(duì)設(shè)備的基本初始化,接下來(lái)看如何初始化接收環(huán)形緩沖區(qū)。

 

這里dma_alloc_coherent()的作用是申請(qǐng)一塊DMA可使用的內(nèi)存,它的返回值是這塊內(nèi)存的虛擬地址,賦值給rxdr->desc 其實(shí)這個(gè)函數(shù)還隱式的返回了物理地址,物理地址存在第三個(gè)參數(shù)中。 指針rxdr指向的是struct e1000_rx_ring這個(gè)結(jié)構(gòu)體,該結(jié)構(gòu)體就是接收環(huán)形緩沖區(qū)。

若成功申請(qǐng)到DMA內(nèi)存,則用memset()函數(shù)把申請(qǐng)的內(nèi)存清零,rxdr的其他域也清零。

對(duì)于現(xiàn)在的多核CPU,每個(gè)CPU都有自己的接收環(huán)形緩沖區(qū),e1000_setup_all_rx_resources()中調(diào)用e1000_setup_rx_resources(),初始化所有的接收環(huán)形緩沖區(qū)。

 
e1000_setup_all_rx_resources()e1000_open()調(diào)用,也就是說(shuō)只要打開(kāi)該網(wǎng)絡(luò)設(shè)備,接收和發(fā)送環(huán)形緩沖區(qū)就會(huì)建立好。
 


免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問(wèn)題,請(qǐng)聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉