深入理解?glibc?malloc：內(nèi)存分配器實(shí)現(xiàn)原理

前言
堆內(nèi)存（Heap Memory）是一個(gè)很有意思的領(lǐng)域。你可能和我一樣，也困惑于下述問題很久了：

• 如何從內(nèi)核申請(qǐng)堆內(nèi)存？
• 誰(shuí)管理它？?jī)?nèi)核、庫(kù)函數(shù)，還是應(yīng)用本身？
• 內(nèi)存管理效率怎么這么高？！
• 堆內(nèi)存的管理效率可以進(jìn)一步提高嗎？

最近，我終于有時(shí)間去深入了解這些問題。下面就讓我來(lái)談?wù)勎业恼{(diào)研成果。

開源社區(qū)公開了很多現(xiàn)成的內(nèi)存分配器（Memory Allocators，以下簡(jiǎn)稱為分配器）：

• dlmalloc – 第一個(gè)被廣泛使用的通用動(dòng)態(tài)內(nèi)存分配器；
• ptmalloc2 – glibc 內(nèi)置分配器的原型；
• jemalloc – FreeBSD ＆ Firefox 所用分配器；
• tcmalloc – Google 貢獻(xiàn)的分配器；
• libumem – Solaris 所用分配器；
• …

每一種分配器都宣稱自己快（fast）、可拓展（scalable）、效率高（memory efficient）！但是并非所有的分配器都適用于我們的應(yīng)用。內(nèi)存吞吐量大（memory hungry）的應(yīng)用程序，其性能很大程度上取決于分配器的性能。

在這篇文章中，我只談「glibc malloc」分配器。為了方便大家理解「glibc malloc」，我會(huì)聯(lián)系最新的源代碼。

歷史：ptmalloc2 基于 dlmalloc 開發(fā)，其引入了多線程支持，于 2006 年發(fā)布。發(fā)布之后，ptmalloc2 整合進(jìn)了 glibc 源碼，此后其所有修改都直接提交到了 glibc malloc 里。因此，ptmalloc2 的源碼和 glibc malloc 的源碼有很多不一致的地方。（譯者注：1996 年出現(xiàn)的 dlmalloc 只有一個(gè)主分配區(qū)，該分配區(qū)為所有線程所爭(zhēng)用，1997 年發(fā)布的 ptmalloc 在 dlmalloc 的基礎(chǔ)上引入了非主分配區(qū)的概念。）

1. 申請(qǐng)堆的系統(tǒng)調(diào)用

我在之前的文章中提到過，malloc內(nèi)部通過brk或mmap系統(tǒng)調(diào)用向內(nèi)核申請(qǐng)堆區(qū)。

譯者注：在內(nèi)存管理領(lǐng)域，我們一般用「堆」指代用于分配動(dòng)態(tài)內(nèi)存的虛擬地址空間，而用「棧」指代用于分配靜態(tài)內(nèi)存的虛擬地址空間。具體到虛擬內(nèi)存布局（Memory Layout），堆維護(hù)在通過brk系統(tǒng)調(diào)用申請(qǐng)的「Heap」及通過mmap系統(tǒng)調(diào)用申請(qǐng)的「Memory Mapping Segment」中；而棧維護(hù)在通過匯編棧指令動(dòng)態(tài)調(diào)整的「Stack」中。在 Glibc 里，「Heap」用于分配較小的內(nèi)存及主線程使用的內(nèi)存。

下圖為 Linux 內(nèi)核 v2.6.7 之后，32 位模式下的虛擬內(nèi)存布局方式。

2. 多線程支持

Linux 的早期版本采用 dlmalloc 作為它的默認(rèn)分配器，但是因?yàn)?ptmalloc2 提供了多線程支持，所以 后來(lái) Linux 就轉(zhuǎn)而采用 ptmalloc2 了。多線程支持可以提升分配器的性能，進(jìn)而間接提升應(yīng)用的性能。

在 dlmalloc 中，當(dāng)兩個(gè)線程同時(shí)malloc時(shí)，只有一個(gè)線程能夠訪問臨界區(qū)（critical section）——這是因?yàn)樗芯€程共享用以緩存已釋放內(nèi)存的「空閑列表數(shù)據(jù)結(jié)構(gòu)」（freelist data structure），所以使用 dlmalloc 的多線程應(yīng)用會(huì)在malloc上耗費(fèi)過多時(shí)間，從而導(dǎo)致整個(gè)應(yīng)用性能的下降。

在 ptmalloc2 中，當(dāng)兩個(gè)線程同時(shí)調(diào)用malloc時(shí)，內(nèi)存均會(huì)得以立即分配——每個(gè)線程都維護(hù)著單獨(dú)的堆，各個(gè)堆被獨(dú)立的空閑列表數(shù)據(jù)結(jié)構(gòu)管理，因此各個(gè)線程可以并發(fā)地從空閑列表數(shù)據(jù)結(jié)構(gòu)中申請(qǐng)內(nèi)存。這種為每個(gè)線程維護(hù)獨(dú)立堆與空閑列表數(shù)據(jù)結(jié)構(gòu)的行為就「per thread arena」。

2.1. 案例代碼

/* Per thread arena example. */
#include 
#include 
#include
#include 
#include 

void* threadFunc(void* arg) {
printf("Before malloc in thread 1\n");
getchar();
char* addr = (char*) malloc(1000);
printf("After malloc and before free in thread 1\n");
getchar();
free(addr);
printf("After free in thread 1\n");
getchar();
}

int main() {
pthread_t t1;
void* s;
int ret;
char* addr;

printf("Welcome to per thread arena example::%d\n",getpid());
printf("Before malloc in main thread\n");
getchar();
addr = (char*) malloc(1000);
printf("After malloc and before free in main thread\n");
getchar();
free(addr);
printf("After free in main thread\n");
getchar();
ret = pthread_create(