Linux的內(nèi)存初始化

看了很多關(guān)于linux內(nèi)存管理的文章還是云里霧里，聽了很多關(guān)于linux內(nèi)存管理的課程還是一頭霧水。其實(shí)很多時(shí)候造成不懂的原因不是資料太少，恰恰是資料太多，而且各個(gè)內(nèi)核版本的差異，32位64位的不同，文章的胡編亂造等都給讀者帶來疑惑。本著對內(nèi)存深度剖析的態(tài)度，希望以版本kernel-4.14，架構(gòu)AARCH64為專題做個(gè)內(nèi)存管理的架構(gòu)性整理。

這篇文章我們先來看下linux在啟動(dòng)過程中的初始化。

在匯編代碼階段的head.S文件中，負(fù)責(zé)創(chuàng)建映射關(guān)系的函數(shù)是create_page_tables。create_page_tables函數(shù)負(fù)責(zé)identity mapping和kernel image mapping。

• identity map：是指把idmap_text區(qū)域的物理地址映射到相等的虛擬地址上，這種映射完成后，其虛擬地址等于物理地址。idmap_text區(qū)域都是一些打開MMU相關(guān)的代碼。

• kernel image map：將kernel運(yùn)行需要的地址（kernel txt、rodata、data、bss等等）進(jìn)行映射。

arch/arm64/kernel/head.S:ENTRY(stext) bl preserve_boot_args bl el2_setup // Drop to EL1, w0=cpu_boot_mode adrp x23, __PHYS_OFFSET and x23, x23, MIN_KIMG_ALIGN - 1 // KASLR offset, defaults to 0 bl set_cpu_boot_mode_flag bl __create_page_tables /* * The following calls CPU setup code, see arch/arm64/mm/proc.S for * details. * On return, the CPU will be ready for the MMU to be turned on and * the TCR will have been set. */ bl __cpu_setup // initialise processor b __primary_switchENDPROC(stext)

__create_page_tables主要執(zhí)行的就是identity map和kernel image map：

 __create_page_tables:...... create_pgd_entry x0, x3, x5, x6 mov x5, x3 // __pa(__idmap_text_start) adr_l x6, __idmap_text_end // __pa(__idmap_text_end) create_block_map x0, x7, x3, x5, x6
 /* * Map the kernel image (starting with PHYS_OFFSET). */ adrp x0, swapper_pg_dir mov_q x5, KIMAGE_VADDR + TEXT_OFFSET // compile time __va(_text) add x5, x5, x23 // add KASLR displacement create_pgd_entry x0, x5, x3, x6 adrp x6, _end // runtime __pa(_end) adrp x3, _text // runtime __pa(_text) sub x6, x6, x3 // _end - _text add x6, x6, x5 // runtime __va(_end) create_block_map x0, x7, x3, x5, x6 ......

其中調(diào)用create_pgd_entry進(jìn)行PGD及所有中間level(PUD, PMD)頁表的創(chuàng)建，調(diào)用create_block_map進(jìn)行PTE頁表的映射。關(guān)于四級頁表的關(guān)系如下圖所示，這里就不進(jìn)一步解釋了。

匯編結(jié)束后的內(nèi)存映射關(guān)系如下圖所示：

當(dāng)執(zhí)行完上面的map之后，MMU就已經(jīng)打開了并且開始進(jìn)入C代碼運(yùn)行階段，那么下一步就要對dtb進(jìn)行映射了。

在執(zhí)行setup_arch中，會最先進(jìn)行early_fixmap_init()，這個(gè)函數(shù)就是用來map dtb的，但是它只會建立dtb對應(yīng)的這段物理地址中間level的頁表entry，而最后一個(gè)level的頁表映射則通過setup_machine_fdt函數(shù)里的fixmap_remap_fdt來創(chuàng)建。

void *__init fixmap_remap_fdt(phys_addr_t dt_phys){ void *dt_virt; int size;
 dt_virt = __fixmap_remap_fdt(dt_phys, &size, PAGE_KERNEL_RO); if (!dt_virt) return NULL;
 memblock_reserve(dt_phys, size); return dt_virt; }

fixmap_remap_fdt主要是為fdt建立地址映射，在該函數(shù)的最后，順便就調(diào)用memblock_reserve保留了該段內(nèi)存。

可以看出dtb的映射采用的是fixmap，所謂fixmap就是固定映射，它需要我們明確的知道想要映射的物理地址，并把這段地址映射到想要映射的虛擬地址上。當(dāng)然這里固定映射還有些片面，因?yàn)樵趂ixmap機(jī)制實(shí)現(xiàn)上，也有支持動(dòng)態(tài)分配虛擬地址的功能，這個(gè)功能主要用于臨時(shí)fixmap映射（這個(gè)臨時(shí)映射就是用來執(zhí)行early ioremap使用的。），而dtb的映射屬于永久映射。

對于一些硬件需要在內(nèi)存管理系統(tǒng)起來之前就要工作的，我們就可以使用這種機(jī)制來映射內(nèi)存給這些硬件driver使用。各個(gè)模塊在使用完early ioremap的地址后，需要盡快把這段映射的虛擬地址釋放掉，這樣才能反復(fù)被其他模塊繼續(xù)申請使用。

early_ioremap_init會調(diào)用early_ioremap_setup：

可見它的實(shí)現(xiàn)是依賴fixmap的，所以它必須要在early_fixmap_init之后才能運(yùn)行。

注意：如果想要在伙伴系統(tǒng)初始化之前進(jìn)行設(shè)備寄存器的訪問，那么可以考慮early IO remap機(jī)制。

至此我們已經(jīng)知道dtb和early ioremap都是在fixmap區(qū)的，如下圖：

完成dtb的map之后，內(nèi)核可以訪問這一段的內(nèi)存了，通過解析dtb中的內(nèi)容，內(nèi)核可以勾勒出整個(gè)內(nèi)存布局的情況，為后續(xù)內(nèi)存管理初始化奠定基礎(chǔ)。這一步主要在setup_machine_fdt中完成。這里就不看代碼了，其調(diào)用流程是：setup_machine_fdt->early_init_dt_scan->early_init_dt_scan_nodes

就像注釋中所示內(nèi)核根據(jù)dtb的不同node勾勒出choosen node，root node，memory node相應(yīng)內(nèi)存區(qū)域。

除了這3個(gè)node，還有一個(gè)reserved-memory node，它是在上面講到dtb map的時(shí)候fixmap_remap_fdt函數(shù)做的。下面我們看下這4個(gè)node的具體實(shí)現(xiàn)。

• choosen node

該節(jié)點(diǎn)有一個(gè)bootargs屬性，該屬性定義了內(nèi)核的啟動(dòng)參數(shù)，比如mem= xx，此外，還處理initrd相關(guān)的property，并保存在initrd_start和initrd_end這兩個(gè)全局變量中。

• root node

與內(nèi)存無關(guān)，暫時(shí)不詳述，以后有機(jī)會講到device tree系列再詳述。

• memory node

通過memblock_add加入到memblock.memory對應(yīng)的memblock_type鏈表中進(jìn)行管理。

接下來到arm64_memblock_init函數(shù)：

void __init arm64_memblock_init(void){...... memblock_reserve(__pa_symbol(_text), _end - _text); 1.kernel image保留區(qū) #ifdef CONFIG_BLK_DEV_INITRD if (initrd_start) { memblock_reserve(initrd_start, initrd_end - initrd_start); 2.initrd保留區(qū) /* the generic initrd code expects virtual addresses */ initrd_start = __phys_to_virt(initrd_start); initrd_end = __phys_to_virt(initrd_end); } #endif early_init_fdt_scan_reserved_mem(); 3.dts中配置為保留的區(qū)域......}

1. reserve內(nèi)核代碼、數(shù)據(jù)區(qū)等（_text到_end那一段，具體的內(nèi)容可以參考內(nèi)核鏈接腳本）

2. 保留initital ramdisk image區(qū)域（從initrd_start到initrd_end區(qū)域）

3. reserved-memory node 如下所示：

通過上面的一系列操作，需要?jiǎng)討B(tài)管理的內(nèi)存已經(jīng)被放到了memory type和reserved type這兩個(gè)region中了，現(xiàn)在內(nèi)存已經(jīng)被memblock模塊所管理了，這只是啟動(dòng)后的第一步，后續(xù)內(nèi)存才會加入到伙伴系統(tǒng)去管理。