Linux性能挖潛的隱藏招數(shù)：內(nèi)核CPU親和性參數(shù)調(diào)整
作者：李彬，趙雪楓，金融科技工程師，架構(gòu)師社區(qū)特邀作者！
應(yīng)用服務(wù)性能調(diào)優(yōu)，是每個(gè)系統(tǒng)投產(chǎn)前都需要關(guān)注的問(wèn)題，系統(tǒng)及軟件層面的調(diào)優(yōu)方法均有大量文章介紹，但在所有招數(shù)使出后，是否就無(wú)潛可挖了？如果了解Linux內(nèi)核運(yùn)行特征，經(jīng)過(guò)簡(jiǎn)單的配置，仍存在不少可行的方案。本文將介紹的是基于Linux內(nèi)核CPU親和性參數(shù)調(diào)整，榨取最后一絲性能優(yōu)勢(shì)的方案。
一、背景知識(shí)
CPU是常規(guī)應(yīng)用運(yùn)行計(jì)算的核心，從性能角度至少需要了解物理CPU、邏輯CPU和超線程技術(shù)實(shí)現(xiàn)。
1. 物理CPU：機(jī)器上實(shí)際安裝的CPU個(gè)數(shù)。
2. 邏輯CPU：物理CPU會(huì)有多個(gè)邏輯運(yùn)算核心，基于Intel的超線程技術(shù)（Hyper-Threading），可以在此基礎(chǔ)上形成更多核心算力。
3. 超線程技術(shù)（Hyper-Threading）：就是利用特殊的硬件指令，把一個(gè)CPU核模擬成多個(gè)邏輯CPU，形成多核多線程CPU。
綜上所述，三者的邏輯關(guān)系如下：
邏輯CPU的數(shù)量=物理CPU的數(shù)量*CPU的核數(shù)*2（如果支持并開(kāi)啟了超線程的話）
二、CPU的親和性參數(shù)原理
CPU的親和性是一種調(diào)度屬性，它可以將一個(gè)進(jìn)程綁定到一個(gè)或者一組CPU上。CPU的親和性分為兩種：軟親和性和硬親和性。
1）軟CPU親和性就是進(jìn)程要在指定的CPU上盡量長(zhǎng)時(shí)間地運(yùn)行而不被遷移到其他處理器上運(yùn)行。Linux內(nèi)核的自身特性，意味著進(jìn)程通常不會(huì)在處理器之間頻繁遷移，以避免這種遷移對(duì)于計(jì)算能力的消耗，以達(dá)到最佳的平衡性。
2）Linux內(nèi)核中還包含了一種硬CPU親和性的機(jī)制，這個(gè)機(jī)制讓開(kāi)發(fā)人員可以實(shí)現(xiàn)硬CPU親和性。這意味著可以顯式指定進(jìn)程在哪個(gè)（或哪些）處理器上運(yùn)行。
在Linux內(nèi)核中進(jìn)程數(shù)據(jù)結(jié)構(gòu)為task_struct，其中與親和性相關(guān)的是cpus_allowed位掩碼。這個(gè)位掩碼由n位組成，與系統(tǒng)中的n個(gè)邏輯CPU一一對(duì)應(yīng)。如果為給定的進(jìn)程設(shè)置了給定的位，那么這個(gè)進(jìn)程就可以在相關(guān)的CPU上運(yùn)行了。
以32顆邏輯CPU服務(wù)器為例：
0x00000001 處理器0號(hào)邏輯CPU可運(yùn)行
0x00000003 處理器0-1號(hào)邏輯CPU可遷移運(yùn)行
0xFFFFFFFF 處理器0-31號(hào)邏輯CPU均可遷移運(yùn)行（Linux內(nèi)核缺省狀態(tài)）
通常Linux內(nèi)核都可以很好地對(duì)進(jìn)程進(jìn)行調(diào)度，在應(yīng)該運(yùn)行的地方運(yùn)行進(jìn)程，也就是說(shuō)，在可用的處理器上運(yùn)行并獲得很好的整體性能。Linux內(nèi)核中包含了一些用來(lái)檢測(cè)CPU之間任務(wù)負(fù)載遷移的算法，可以啟用進(jìn)程遷移來(lái)降低繁忙的處理器的壓力。
三、CPU的親和性設(shè)置
Linux提供了一些方法，可以讓用戶通過(guò)修改位掩碼來(lái)指定進(jìn)程只能在某個(gè)（或者某些）CPU上運(yùn)行。一般情況下，在應(yīng)用程序中只需要使用缺省的調(diào)度器行為。然而，有時(shí)候我們可能會(huì)希望修改這些缺省行為以實(shí)現(xiàn)性能的優(yōu)化。一般來(lái)說(shuō)，我們要使用硬CPU親和性有3個(gè)原因：有大量的計(jì)算要做；應(yīng)用程序復(fù)雜；正在運(yùn)行時(shí)間敏感的、決定性的進(jìn)程。
經(jīng)過(guò)對(duì)各種方式的總結(jié)，以下通過(guò)兩個(gè)清晰的事例，對(duì)CPU親和性的配置方式進(jìn)行說(shuō)明。
1）在應(yīng)用源碼中設(shè)置CPU親和性
硬CPU親和性的設(shè)置可以通過(guò)編程來(lái)實(shí)現(xiàn)，Linux內(nèi)核提供了一些系統(tǒng)API，如：sched_set_affinity()，sched_get_affinity()，CPU_ZERO()，CPU_SET()等。一個(gè)簡(jiǎn)單設(shè)置硬CPU親和性的例子如下：
#include
#include
#include
#include
int main(void)
{
int i, nrcpus;
cpu_set_t mask;
unsigned long bitmask = 0;
CPU_ZERO(&mask); //清空一個(gè)集合
CPU_SET(0, &mask); //將給定的CPU0加入集合
CPU_SET(2, &mask);//將給定的CPU2加入集合
if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)
{
perror("sched_setaffinity");
exit(-1);
}
return 0;
}
2）通過(guò)命令方式設(shè)置CPU親和性
硬CPU親和性的設(shè)置還可以通過(guò)taskset命令來(lái)設(shè)置。taskset的命令格式是：
taskset [options] mask command [arg]…
taskset [options] –p[mask] pid
mask是CPU親和性
command是可執(zhí)行程序
arg是command的參數(shù)
pid是進(jìn)程ID
第一個(gè)命令是用來(lái)設(shè)置可執(zhí)行程序的硬CPU親和性，第二個(gè)命令是用來(lái)設(shè)置已經(jīng)運(yùn)行的進(jìn)程的硬CPU親和性。
寫(xiě)在最后
最近在項(xiàng)目中，筆者碰到了系統(tǒng)CPU使用率不穩(wěn)定的情況，分析了良久，才排查到是CPU親和性相關(guān)的問(wèn)題。在壓力穩(wěn)定，運(yùn)算正常無(wú)外部瓶頸的情況下，形成一種無(wú)法解釋的CPU劇烈波動(dòng)。如下圖所示：
如果后續(xù)碰到類(lèi)似的問(wèn)題，可以參考從調(diào)整CPU親和性方面考慮，按圖索驥，嘗試調(diào)整該參數(shù)，看是否有奇效。
特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝
免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！
下載文檔
