Intel IOMMU Introduction

時(shí)間：2020-06-03 13:55:44

關(guān)鍵字： Intel Linux 代碼

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]對(duì)于Intel的硬件輔助虛擬化方案而言，核心的兩大技術(shù)分別是VT-x和VT-d。

對(duì)于Intel的硬件輔助虛擬化方案而言，核心的兩大技術(shù)分別是VT-x和VT-d。其中VT-x中主要引入了non-root模式(VMCS)以及EPT頁(yè)表等技術(shù)，主要關(guān)注于vCPU的虛擬化和內(nèi)存虛擬化。而VT-d的引入則是重點(diǎn)關(guān)注設(shè)備直通(passthrough)方面（即IO虛擬化）。

VT-x中在non-root模式下，MMU直接使用EPT page table來(lái)完成GPA->HVA->HPA的兩級(jí)翻譯， VT-d中在non-root模式下，則由IOMMU來(lái)使用Context Table和IOMMU page table完成設(shè)備DMA請(qǐng)求過(guò)程中的HPA->HVA->GPA的翻譯．二者極為相似，唯一的不同之處在于CPU訪問(wèn)內(nèi)存（直通設(shè)備IO Memory）是通過(guò)MMU查找EPT頁(yè)表完成地址翻譯，而直通設(shè)備訪問(wèn)內(nèi)存的請(qǐng)求則是通過(guò)IOMMU查找IOMMU頁(yè)表來(lái)完成地址翻譯的。本文重點(diǎn)來(lái)探索一下Intel IOMMU的工作機(jī)制。

硬件結(jié)構(gòu)

先看下一個(gè)典型的X86物理服務(wù)器視圖：

在多路服務(wù)器上我們可以有多個(gè)DMAR Unit（這里可以直接理解為多個(gè)IOMMU硬件），每個(gè)DMAR會(huì)負(fù)責(zé)處理其下掛載設(shè)備的DMA請(qǐng)求進(jìn)行地址翻譯。例如上圖中， PCIE Root Port (dev:fun) (14:0)下面掛載的所有設(shè)備的DMA請(qǐng)求由DMAR #1負(fù)責(zé)處理， PCIE Root Port (dev:fun) (14:1)下面掛載的所有設(shè)備的DMA請(qǐng)求由DMAR #2負(fù)責(zé)處理，而DMAR #3下掛載的是一個(gè)Root-Complex集成設(shè)備[29:0]，這個(gè)設(shè)備的DMA請(qǐng)求被DMAR #3承包， DMAR #4的情況比較復(fù)雜，它負(fù)責(zé)處理Root-Complex集成設(shè)備[30:0]以及I/OxAPIC設(shè)備的DMA請(qǐng)求。這些和IOMMU相關(guān)的硬件拓?fù)湫畔⑿枰狟IOS通過(guò)ACPI表呈現(xiàn)給OS，這樣OS才能正確驅(qū)動(dòng)IOMMU硬件工作。

關(guān)于硬件拓?fù)湫畔⒊尸F(xiàn)，這里有幾個(gè)概念需要了解一下：

DRHD: DMA Remapping Hardware Unit Definition 用來(lái)描述DMAR Unit(IOMMU)的基本信息
RMRR: Reserved Memory Region Reporting 用來(lái)描述那些保留的物理地址，這段地址空間不被重映射
ATSR: Root Port ATS Capability 僅限于有Device-TLB的情形，Root Port需要向OS報(bào)告支持ATS的能力
RHSA: Remapping Hardware Static Affinity Remapping親和性，在有NUMA的系統(tǒng)下可以提升DMA Remapping的性能

BIOS通過(guò)在ACPI表中提供一套DMA Remapping Reporting Structure 信息來(lái)表述物理服務(wù)器上的IOMMU拓?fù)湫畔ⅲ?這樣OS在加載IOMMU驅(qū)動(dòng)的時(shí)候就知道如何建立映射關(guān)系了。

附：我們可以使用一些工具將ACPI表相關(guān)信息Dump出來(lái)查看

數(shù)據(jù)結(jié)構(gòu)

Intel IOMMU Driver的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)可以描述為（點(diǎn)擊鏈接查看原圖）：

按照自上而下的視圖來(lái)看，首先是IOMMU硬件層面， struct dmar_drhd_unit數(shù)據(jù)結(jié)構(gòu)從系統(tǒng)BIOS角度去描述了一個(gè)IOMMU硬件：

list 用來(lái)把所有的DRHD串在一個(gè)鏈表中便于維護(hù)
acpi_dmar_head *hdr 指向IOMMU設(shè)備的ACPI表信息
device_cnt 表示當(dāng)前IOMMU管理的設(shè)備數(shù)量
include_all 表示該IOMMU是否管理平臺(tái)上所有的設(shè)備（單IOMMU的物理物理服務(wù)器）
reg_base_addr 表示IOMMU的寄存器基地址
intel_iommu *iommu 指針指向struct intel_iommu數(shù)據(jù)結(jié)構(gòu)
struct intel_iommu 進(jìn)一步詳細(xì)描述了IOMMU的所以相關(guān)信息
cap和ecap 記錄IOMMU硬件的Capability和Extended Capability信息
root_entry 指向了此IOMMU的Root Entry Table
ir_table 指向了IOMMU的Interrupt Remapping Table（中斷重映射表）
struct iommu_device iommu 從linux設(shè)備驅(qū)動(dòng)的角度描述這個(gè)IOMMU并用來(lái)綁定sysfs
struct dmar_domain ***domains 比較關(guān)鍵，它記錄了這個(gè)IOMMU下面管理的所有dmar_domain信息

在虛擬化場(chǎng)景下多個(gè)設(shè)備可以直通給同一個(gè)虛擬機(jī)，他們共享一個(gè)IOMMU Page Table，這種映射關(guān)系就是通過(guò)DMAR Domain來(lái)表述的，也就是說(shuō)多個(gè)直通設(shè)備可以加入到一個(gè)DMAR Domain中，他們之間使用同一套頁(yè)表完成地址DMA 請(qǐng)求的地址翻譯。那我們接著往下走，來(lái)看DMAR Domain：

struct dmar_domain 數(shù)據(jù)結(jié)構(gòu)用來(lái)描述DMAR Domain這種映射關(guān)系的
struct list_head devices 鏈表記錄了這個(gè)Domain中的所有設(shè)備
struct iova_domain iovad 數(shù)據(jù)結(jié)構(gòu)用一個(gè)紅黑樹來(lái)記錄iova->hpa的地址翻譯關(guān)系
struct dma_pte *pgd 這個(gè)指針指向了IOMMU頁(yè)表的基地址是IOMMU頁(yè)表的入口
bool has_iotlb_device 表示這個(gè)Domain里是否有具備IO-TLB的設(shè)備
struct iommu_domain domain 主要包含了iommu_ops *ops指針，記錄了一堆與domain相關(guān)的操作

Intel IOMMU初始化

首先探測(cè)平臺(tái)環(huán)境上是否有IOMMU硬件：IOMMU_INIT_POST(detect_intel_iommu)， detect_intel_iommu函數(shù)中調(diào)用dmar_table_detect函數(shù)從ACPI表中查詢DMAR相關(guān)內(nèi)容：

如果查詢到信息就validate_drhd_cb驗(yàn)證DRHD的有效性設(shè)置iommu_detected = 1，如果查詢不到DMAR信息那么認(rèn)為沒(méi)有IOMMU硬件，跳過(guò)后續(xù)初始化流程。

接著pci_iommu_init中調(diào)用x86_init.iommu.iommu_init()來(lái)初始化Intel IOMMU，主要的流程為：

在dmar_table_init函數(shù)中我們完成了DMA Remapping相關(guān)的ACPI表解析流程，這個(gè)parse_dmar_table的函數(shù)實(shí)現(xiàn)非常精妙，不禁讓人感嘆！它將每種Remapping Structure Types的解析函數(shù)封裝成dmar_res_callback，然后調(diào)用dmar_walk_dmar_table通過(guò)一個(gè)for循環(huán)擼一遍就完成了全部的解析，代碼精簡(jiǎn)思路清晰、一氣呵成。

dmar_dev_scope_init函數(shù)負(fù)責(zé)完成IOMMU的Device Scope解析。dmar_acpi_insert_dev_scope中多層的遍歷，建立了IOMMU和設(shè)備之間的映射關(guān)系。

init_dmars函數(shù)最后再對(duì)描述IOMMU的intel_iommu結(jié)構(gòu)進(jìn)行初始化，主要的流程包括：

這里不再展開，但每個(gè)點(diǎn)都值得探索一下，例如：

IOMMU中斷是用來(lái)做什么的？
iommu_prepare_identity_map 是在做什么？
一個(gè)IOMMU最多支持多少個(gè)DMAR Domain？
qeueue invalidation是用來(lái)做什么的？

可以多問(wèn)自己一些問(wèn)題帶著問(wèn)題去看代碼，從代碼中找到答案，從更深層次去分析問(wèn)題，理解特性。

參考文獻(xiàn)

https://software.intel.com/sites/default/files/managed/c5/15/vt-directed-io-spec.pdf
https://elixir.bootlin.com/linux/v4.16.12/source/drivers/iommu/intel-iommu.c

本文轉(zhuǎn)載自：

https://kernelgo.org/intel_iommu.html

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！