嵌入式操作系統(tǒng)的內(nèi)存,你了解多少?
來源:EDN電子技術(shù)設(shè)計(jì)
一、走進(jìn) linux 內(nèi)存
二、 linux 內(nèi)存地址空間
-
用戶態(tài):Ring3 運(yùn)行于用戶態(tài)的代碼則要受到處理器的諸多 -
內(nèi)核態(tài):Ring0 在處理器的存儲(chǔ)保護(hù)中,核心態(tài) -
用戶態(tài)切換到內(nèi)核態(tài)的 3 種方式:系統(tǒng)調(diào)用、異常、外設(shè)中斷 -
區(qū)別:每個(gè)進(jìn)程都有完全屬于自己的,獨(dú)立的,不被干擾的內(nèi)存空間;用戶態(tài)的程序就不能隨意操作內(nèi)核地址空間,具有一定的安全保護(hù)作用;內(nèi)核態(tài)線程共享內(nèi)核地址空間;
-
MMU 是一種硬件電路,它包含兩個(gè)部件,一個(gè)是分段部件,一個(gè)是分頁部件 -
分段機(jī)制把一個(gè)邏輯地址轉(zhuǎn)換為線性地址 -
分頁機(jī)制把一個(gè)線性地址轉(zhuǎn)換為物理地址
-
為了方便快速檢索段選擇符,處理器提供了 6 個(gè)分段寄存器來緩存段選擇符,它們是:cs,ss,ds,es,fs 和 gs -
段的基地址(Base Address):在線性地址空間中段的起始地址 -
段的界限(Limit):在虛擬地址空間中,段內(nèi)可以使用的最大偏移量
-
邏輯地址的段寄存器中的值提供段描述符,然后從段描述符中得到段基址和段界限,然后加上邏輯地址的偏移量,就得到了線性地址
-
分頁機(jī)制是在分段機(jī)制之后進(jìn)行的,它進(jìn)一步將線性地址轉(zhuǎn)換為物理地址 -
10 位頁目錄,10 位頁表項(xiàng), 12 位頁偏移地址 -
單頁的大小為 4KB
-
TEXT:代碼段可執(zhí)行代碼、字符串字面值、只讀變量 -
DATA:數(shù)據(jù)段,映射程序中已經(jīng)初始化的全局變量 -
BSS 段:存放程序中未初始化的全局變量 -
HEAP:運(yùn)行時(shí)的堆,在程序運(yùn)行中使用 malloc 申請(qǐng)的內(nèi)存區(qū)域 -
MMAP:共享庫及匿名文件的映射區(qū)域 -
STACK:用戶進(jìn)程棧
-
直接映射區(qū):線性空間中從 3G 開始最大 896M 的區(qū)間,為直接內(nèi)存映射區(qū) -
動(dòng)態(tài)內(nèi)存映射區(qū):該區(qū)域由內(nèi)核函數(shù) vmalloc 來分配 -
永久內(nèi)存映射區(qū):該區(qū)域可訪問高端內(nèi)存 -
固定映射區(qū):該區(qū)域和 4G 的頂端只有 4k 的隔離帶,其每個(gè)地址項(xiàng)都服務(wù)于特定的用途,如:ACPI_BASE 等
-
用戶進(jìn)程通常情況只能訪問用戶空間的虛擬地址,不能訪問內(nèi)核空間虛擬地址 -
內(nèi)核空間是由內(nèi)核負(fù)責(zé)映射,不會(huì)跟著進(jìn)程變化;內(nèi)核空間地址有自己對(duì)應(yīng)的頁表,用戶進(jìn)程各自有不同額頁表
三、 Linux 內(nèi)存分配算法
-
產(chǎn)生原因:內(nèi)存分配較小,并且分配的這些小的內(nèi)存生存周期又較長,反復(fù)申請(qǐng)后將產(chǎn)生內(nèi)存碎片的出現(xiàn) -
優(yōu)點(diǎn):提高分配速度,便于內(nèi)存管理,防止內(nèi)存泄露 -
缺點(diǎn):大量的內(nèi)存碎片會(huì)使系統(tǒng)緩慢,內(nèi)存使用率低,浪費(fèi)大
-
少用動(dòng)態(tài)內(nèi)存分配的函數(shù)(盡量使用棧空間) -
分配內(nèi)存和釋放的內(nèi)存盡量在同一個(gè)函數(shù)中 -
盡量一次性申請(qǐng)較大的內(nèi)存,而不要反復(fù)申請(qǐng)小內(nèi)存 -
盡可能申請(qǐng)大塊的 2 的指數(shù)冪大小的內(nèi)存空間 -
外部碎片避免——伙伴系統(tǒng)算法 -
內(nèi)部碎片避免——slab 算法 -
自己進(jìn)行內(nèi)存管理工作,設(shè)計(jì)內(nèi)存池
-
為內(nèi)核提供了一種用于分配一組連續(xù)的頁而建立的一種高效的分配策略,并有效的解決了外碎片問題 -
分配的內(nèi)存區(qū)是以頁框?yàn)榛締挝坏?/span>
-
外部碎片指的是還沒有被分配出去(不屬于任何進(jìn)程),但由于太小了無法分配給申請(qǐng)內(nèi)存空間的新進(jìn)程的內(nèi)存空閑區(qū)域3) 組織結(jié)構(gòu) -
把所有的空閑頁分組為 11 個(gè)塊鏈表,每個(gè)塊鏈表分別包含大小為 1,2,4,8,16,32,64,128,256,512 和 1024 個(gè)連續(xù)頁框的頁塊。最大可以申請(qǐng) 1024 個(gè)連續(xù)頁,對(duì)應(yīng) 4MB 大小的連續(xù)內(nèi)存
-
申請(qǐng) 2^i 個(gè)頁塊存儲(chǔ)空間,如果 2^i 對(duì)應(yīng)的塊鏈表有空閑頁塊,則分配給應(yīng)用 -
如果沒有空閑頁塊,則查找 2^(i 1) 對(duì)應(yīng)的塊鏈表是否有空閑頁塊,如果有,則分配 2^i 塊鏈表節(jié)點(diǎn)給應(yīng)用,另外 2^i 塊鏈表節(jié)點(diǎn)插入到 2^i 對(duì)應(yīng)的塊鏈表中 -
如果 2^(i 1) 塊鏈表中沒有空閑頁塊,則重復(fù)步驟 2,直到找到有空閑頁塊的塊鏈表 -
如果仍然沒有,則返回內(nèi)存分配失敗
-
釋放 2^i 個(gè)頁塊存儲(chǔ)空間,查找 2^i 個(gè)頁塊對(duì)應(yīng)的塊鏈表,是否有與其物理地址是連續(xù)的頁塊,如果沒有,則無需合并 -
如果有,則合并成 2^(i 1)的頁塊,以此類推,繼續(xù)查找下一級(jí)塊鏈接,直到不能合并為止
-
兩個(gè)塊具有相同的大小 -
它們的物理地址是連續(xù)的 -
頁塊大小相同
-
分配的內(nèi)存越大, 失敗的可能性越大 -
大塊內(nèi)存使用場(chǎng)景少
-
修改 MAX_ORDER, 重新編譯內(nèi)核 -
內(nèi)核啟動(dòng)選型傳遞"mem="參數(shù), 如"mem=80M,預(yù)留部分內(nèi)存;然后通過 -
request_mem_region 和 ioremap_nocache 將預(yù)留的內(nèi)存映射到模塊中。需要修改內(nèi)核啟動(dòng)參數(shù), 無需重新編譯內(nèi)核. 但這種方法不支持 x86 架構(gòu), 只支持 ARM, PowerPC 等非 x86 架構(gòu) -
在 start_kernel 中 mem_init 函數(shù)之前調(diào)用 alloc_boot_mem 函數(shù)預(yù)分配大塊內(nèi)存, 需要重新編譯內(nèi)核 -
vmalloc 函數(shù),內(nèi)核代碼使用它來分配在虛擬內(nèi)存中連續(xù)但在物理內(nèi)存中不一定連續(xù)的內(nèi)存
-
這些頁在內(nèi)存中有固定的位置,不能夠移動(dòng),也不可回收 -
內(nèi)核代碼段,數(shù)據(jù)段,內(nèi)核 kmalloc() 出來的內(nèi)存,內(nèi)核線程占用的內(nèi)存等
-
這些頁不能移動(dòng),但可以刪除。內(nèi)核在回收頁占據(jù)了太多的內(nèi)存時(shí)或者內(nèi)存短缺時(shí)進(jìn)行頁面回收3) 可移動(dòng)頁 -
這些頁可以任意移動(dòng),用戶空間應(yīng)用程序使用的頁都屬于該類別。它們是通過頁表映射的 -
當(dāng)它們移動(dòng)到新的位置,頁表項(xiàng)也會(huì)相應(yīng)的更新
-
Linux 所使用的 slab 分配器的基礎(chǔ)是 Jeff Bonwick 為 SunOS 操作系統(tǒng)首次引入的一種算法 -
它的基本思想是將內(nèi)核中經(jīng)常使用的對(duì)象放到高速緩存中,并且由系統(tǒng)保持為初始的可利用狀態(tài)。比如進(jìn)程描述符,內(nèi)核中會(huì)頻繁對(duì)此數(shù)據(jù)進(jìn)行申請(qǐng)和釋放
-
已經(jīng)被分配出去的的內(nèi)存空間大于請(qǐng)求所需的內(nèi)存空間3) 基本目標(biāo) -
減少伙伴算法在分配小塊連續(xù)內(nèi)存時(shí)所產(chǎn)生的內(nèi)部碎片 -
將頻繁使用的對(duì)象緩存起來,減少分配、初始化和釋放對(duì)象的時(shí)間開銷 -
通過著色技術(shù)調(diào)整對(duì)象以更好的使用硬件高速緩存
-
由于對(duì)象是從 slab 中分配和釋放的,因此單個(gè) slab 可以在 slab 列表之間進(jìn)行移動(dòng) -
slabs_empty 列表中的 slab 是進(jìn)行回收(reaping)的主要備選對(duì)象 -
slab 還支持通用對(duì)象的初始化,從而避免了為同一目而對(duì)一個(gè)對(duì)象重復(fù)進(jìn)行初始化
-
slab 分配器所提供的小塊連續(xù)內(nèi)存的分配是通過通用高速緩存實(shí)現(xiàn)的 -
通用高速緩存所提供的對(duì)象具有幾何分布的大小,范圍為 32 到 131072 字節(jié)。 -
內(nèi)核中提供了 kmalloc() 和 kfree() 兩個(gè)接口分別進(jìn)行內(nèi)存的申請(qǐng)和釋放
-
內(nèi)核為專用高速緩存的申請(qǐng)和釋放提供了一套完整的接口,根據(jù)所傳入的參數(shù)為具體的對(duì)象分配 slab 緩存 -
kmem_cache_create() 用于對(duì)一個(gè)指定的對(duì)象創(chuàng)建高速緩存。它從 cache_cache 普通高速緩存中為新的專有緩存分配一個(gè)高速緩存描述符,并把這個(gè)描述符插入到高速緩存描述符形成的 cache_chain 鏈表中 -
kmem_cache_alloc() 在其參數(shù)所指定的高速緩存中分配一個(gè) slab。相反, kmem_cache_free() 在其參數(shù)所指定的高速緩存中釋放一個(gè) slab
-
先申請(qǐng)分配一定數(shù)量的、大小相等(一般情況下) 的內(nèi)存塊留作備用 -
當(dāng)有新的內(nèi)存需求時(shí),就從內(nèi)存池中分出一部分內(nèi)存塊,若內(nèi)存塊不夠再繼續(xù)申請(qǐng)新的內(nèi)存 -
這樣做的一個(gè)顯著優(yōu)點(diǎn)是盡量避免了內(nèi)存碎片,使得內(nèi)存分配效率得到提升
-
mempool_create 創(chuàng)建內(nèi)存池對(duì)象 -
mempool_alloc 分配函數(shù)獲得該對(duì)象 -
mempool_free 釋放一個(gè)對(duì)象 -
mempool_destroy 銷毀內(nèi)存池
-
直接內(nèi)存訪問是一種硬件機(jī)制,它允許外圍設(shè)備和主內(nèi)存之間直接傳輸它們的 I/O 數(shù)據(jù),而不需要系統(tǒng)處理器的參與2) DMA 控制器的功能 -
能向 CPU 發(fā)出系統(tǒng)保持(HOLD)信號(hào),提出總線接管請(qǐng)求 -
當(dāng) CPU 發(fā)出允許接管信號(hào)后,負(fù)責(zé)對(duì)總線的控制,進(jìn)入 DMA 方式 -
能對(duì)存儲(chǔ)器尋址及能修改地址指針,實(shí)現(xiàn)對(duì)內(nèi)存的讀寫操作 -
能決定本次 DMA 傳送的字節(jié)數(shù),判斷 DMA 傳送是否結(jié)束 -
發(fā)出 DMA 結(jié)束信號(hào),使 CPU 恢復(fù)正常工作狀態(tài)
-
DREQ:DMA 請(qǐng)求信號(hào)。是外設(shè)向 DMA 控制器提出要求,DMA 操作的申請(qǐng)信號(hào) -
DACK:DMA 響應(yīng)信號(hào)。是 DMA 控制器向提出 DMA 請(qǐng)求的外設(shè)表示已收到請(qǐng)求和正進(jìn)行處理的信號(hào) -
HRQ:DMA 控制器向 CPU 發(fā)出的信號(hào),要求接管總線的請(qǐng)求信號(hào)。 -
HLDA:CPU 向 DMA 控制器發(fā)出的信號(hào),允許接管總線的應(yīng)答信號(hào):
四、 內(nèi)存使用場(chǎng)景
-
page 管理 -
slab(kmalloc、內(nèi)存池) -
用戶態(tài)內(nèi)存使用(malloc、relloc 文件映射、共享內(nèi)存) -
程序的內(nèi)存 map(棧、堆、code、data) -
內(nèi)核和用戶態(tài)的數(shù)據(jù)傳遞(copy_from_user、copy_to_user) -
內(nèi)存映射(硬件寄存器、保留內(nèi)存) -
DMA 內(nèi)存
-
alloca 是向棧申請(qǐng)內(nèi)存,因此無需釋放 -
malloc 所分配的內(nèi)存空間未被初始化,使用 malloc() 函數(shù)的程序開始時(shí)(內(nèi)存空間還沒有被重新分配) 能正常運(yùn)行,但經(jīng)過一段時(shí)間后(內(nèi)存空間已被重新分配) 可能會(huì)出現(xiàn)問題 -
calloc 會(huì)將所分配的內(nèi)存空間中的每一位都初始化為零 -
realloc 擴(kuò)展現(xiàn)有內(nèi)存空間大小
-
調(diào)用 malloc 函數(shù)時(shí),它沿 free_chuck_list 連接表尋找一個(gè)大到足以滿足用戶請(qǐng)求所需要的內(nèi)存塊
-
free_chuck_list 連接表的主要工作是維護(hù)一個(gè)空閑的堆空間緩沖區(qū)鏈表 -
如果空間緩沖區(qū)鏈表沒有找到對(duì)應(yīng)的節(jié)點(diǎn),需要通過系統(tǒng)調(diào)用 sys_brk 延伸進(jìn)程的??臻g
-
通過 get_free_pages 申請(qǐng)一個(gè)或多個(gè)物理頁面 -
換算 addr 在進(jìn)程 pdg 映射中所在的 pte 地址 -
將 addr 對(duì)應(yīng)的 pte 設(shè)置為物理頁面的首地址 -
系統(tǒng)調(diào)用:Brk—申請(qǐng)內(nèi)存小于等于 128kb,do_map—申請(qǐng)內(nèi)存大于 128kb
-
用戶態(tài)進(jìn)程獨(dú)占虛擬地址空間,兩個(gè)進(jìn)程的虛擬地址可相同 -
在訪問用戶態(tài)虛擬地址空間時(shí),如果沒有映射物理地址,通過系統(tǒng)調(diào)用發(fā)出缺頁異常 -
缺頁異常陷入內(nèi)核,分配物理地址空間,與用戶態(tài)虛擬地址建立映射
-
它允許多個(gè)不相關(guān)的進(jìn)程去訪問同一部分邏輯內(nèi)存 -
兩個(gè)運(yùn)行中的進(jìn)程之間傳輸數(shù)據(jù),共享內(nèi)存將是一種效率極高的解決方案 -
兩個(gè)運(yùn)行中的進(jìn)程共享數(shù)據(jù),是進(jìn)程間通信的高效方法,可有效減少數(shù)據(jù)拷貝的次數(shù)
-
shmget 創(chuàng)建共享內(nèi)存 -
shmat 啟動(dòng)對(duì)該共享內(nèi)存的訪問,并把共享內(nèi)存連接到當(dāng)前進(jìn)程的地址空間 -
shmdt 將共享內(nèi)存從當(dāng)前進(jìn)程中分離
五、 內(nèi)存使用那些坑
-
在類的構(gòu)造函數(shù)和析構(gòu)函數(shù)中沒有匹配地調(diào)用 new 和 delete 函數(shù) -
沒有正確地清除嵌套的對(duì)象指針 -
沒有將基類的析構(gòu)函數(shù)定義為虛函數(shù) -
當(dāng)基類的指針指向子類對(duì)象時(shí),如果基類的析構(gòu)函數(shù)不是 virtual,那么子類的析構(gòu)函數(shù)將不會(huì)被調(diào)用,子類的資源沒有得到正確釋放,因此造成內(nèi)存泄露 -
缺少拷貝構(gòu)造函數(shù),按值傳遞會(huì)調(diào)用(拷貝)構(gòu)造函數(shù),引用傳遞不會(huì)調(diào)用 -
指向?qū)ο蟮闹羔様?shù)組不等同于對(duì)象數(shù)組,數(shù)組中存放的是指向?qū)ο蟮闹羔?,不僅要釋放每個(gè)對(duì)象的空間,還要釋放每個(gè)指針的空間 -
缺少重載賦值運(yùn)算符,也是逐個(gè)成員拷貝的方式復(fù)制對(duì)象,如果這個(gè)類的大小是可變的,那么結(jié)果就是造成內(nèi)存泄露
-
指針變量沒有初始化 -
指針被 free 或 delete 后,沒有設(shè)置為 NULL -
指針操作超越了變量的作用范圍,比如返回指向棧內(nèi)存的指針就是野指針 -
訪問空指針(需要做空判斷) -
sizeof 無法獲取數(shù)組的大小 -
試圖修改常量,如:char p="1234";p='1';
-
多線程共享變量沒有用 valotile 修飾 -
多線程訪問全局變量未加鎖 -
全局變量僅對(duì)單進(jìn)程有效 -
多進(jìn)程寫共享內(nèi)存數(shù)據(jù),未做同步處理 -
mmap 內(nèi)存映射,多進(jìn)程不安全
-
被刪除的迭代器失效 -
添加元素(insert/push_back 等)、刪除元素導(dǎo)致順序容器迭代器失效
-
auto_ptr 替換為 unique_ptr -
使用 make_shared 初始化一個(gè) shared_ptr
-
weak_ptr 智能指針助手(1)原理分析: (2)數(shù)據(jù)結(jié)構(gòu): (3)使用方法:a. lock() 獲取所管理的對(duì)象的強(qiáng)引用指針 b. expired() 檢測(cè)所管理的對(duì)象是否已經(jīng)釋放 c. get() 訪問智能指針對(duì)象
-
std::atomic 原子數(shù)據(jù)類型 多線程安全 -
std::array 定長數(shù)組開銷比 array 小和 std::vector 不同的是 array 的長度是固定的,不能動(dòng)態(tài)拓展 -
std::vector vector 瘦身 shrink_to_fit():將 capacity 減少為于 size() 相同的大小 -
td::forward_list
-
std::unordered_map、std::unordered_set用 hash 實(shí)現(xiàn)的無序的容器,插入、刪除和查找的時(shí)間復(fù)雜度都是 O(1),在不關(guān)注容器內(nèi)元素順序的場(chǎng)合,使用 unordered 的容器能獲得更高的性能六、 如何查看內(nèi)存 -
系統(tǒng)中內(nèi)存使用情況:/proc/meminfo
-
進(jìn)程的內(nèi)存使用情況:/proc/28040/status -
查詢內(nèi)存總使用率:free
-
查詢進(jìn)程 cpu 和內(nèi)存使用占比:top -
虛擬內(nèi)存統(tǒng)計(jì):vmstat
-
進(jìn)程消耗內(nèi)存占比和排序:ps aux –sort -rss -
釋放系統(tǒng)內(nèi)存緩存:/proc/sys/vm/drop_caches
長按前往圖中包含的公眾號(hào)關(guān)注
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問題,請(qǐng)聯(lián)系我們,謝謝!