[導(dǎo)讀]↓推薦關(guān)注↓本文是《C并發(fā)編程》一文的姊妹篇。將著重介紹C11標(biāo)準(zhǔn)引入的內(nèi)存模型。前言在《C并發(fā)編程》一文中,我們已經(jīng)介紹了C11到C17在并發(fā)編程方面的新增API。借助那篇文章中的知識(shí),你應(yīng)該已經(jīng)可以開(kāi)發(fā)一個(gè)完善的C并發(fā)系統(tǒng)。這對(duì)絕大部分人來(lái)說(shuō),是足夠的了。但在一些情況下,我們...
↓推薦關(guān)注↓
本文是《C 并發(fā)編程》一文的姊妹篇。將著重介紹C 11標(biāo)準(zhǔn)引入的內(nèi)存模型。
除了上面這些,還有更多關(guān)于整形類型的原子類型,詳見(jiàn):cppreference std::atomic[15]。“原子操作”正如其名稱所示:該操作要么是執(zhí)行完了,要么是沒(méi)有執(zhí)行,從任何一個(gè)線程中,都無(wú)法觀察到中間狀態(tài)。以原子讀操作為例:如果有其他線程進(jìn)行了原子寫操作,那么原子讀操作,要么獲取到的是修改前的值,要么是修改后的,不會(huì)是修改了一半的值。而非原子類型就不一樣了。如果嘗試修改非原子類型對(duì)象,其他線程可能看到的既不是修改前的值,也不是修改后的值。關(guān)于這一點(diǎn),在C 并發(fā)編程中,我們就看到了非原子類型所引起的問(wèn)題。需要注意的是,所有原子類型都不支持拷貝和賦值。因?yàn)樵摬僮魃婕傲藘蓚€(gè)原子對(duì)象:要先從另外一個(gè)原子對(duì)象上讀取值,然后再寫入另外一個(gè)原子對(duì)象。而對(duì)于兩個(gè)不同的原子對(duì)象上單一操作不可能是原子的。不同的原子類型包含了不同的原子操作,下表將原子類型分為四類,并列出了它們所支持的操作(為了簡(jiǎn)潔,列名上類名中的
本文是《C 并發(fā)編程》一文的姊妹篇。將著重介紹C 11標(biāo)準(zhǔn)引入的內(nèi)存模型。
前言
在《C 并發(fā)編程》一文中,我們已經(jīng)介紹了C 11到C 17在并發(fā)編程方面的新增API。借助那篇文章中的知識(shí),你應(yīng)該已經(jīng)可以開(kāi)發(fā)一個(gè)完善的C 并發(fā)系統(tǒng)。這對(duì)絕大部分人來(lái)說(shuō),是足夠的了。但在一些情況下,我們可能還需要走得更遠(yuǎn)。回顧一下,上文中提到的知識(shí)是以互斥體為中心的。為了避免競(jìng)爭(zhēng)條件,是保證任何時(shí)候只有一個(gè)線程可以進(jìn)入臨界區(qū)。這就存在兩個(gè)問(wèn)題:- 可能會(huì)出現(xiàn)死鎖
- 并發(fā)的效率不夠
關(guān)于C 內(nèi)存模型
2004年,Java 5.0引入了適用于多線程環(huán)境的內(nèi)存模型[2]:JSR-133[3]。但C 直到2011標(biāo)準(zhǔn)才引入了內(nèi)存模型。Java內(nèi)存模型在很大程度上影響了C 內(nèi)存模型,但后者走得更遠(yuǎn)。因?yàn)樗试S開(kāi)發(fā)者打破順序一致性(Sequential Consistency,我們會(huì)在下文中講解),以獲得更好的控制。之所以這么做是因?yàn)镃 是一門系統(tǒng)編程語(yǔ)言,它的設(shè)計(jì)意圖之一就是:不需要另外一個(gè)更底層的語(yǔ)言,而是直接提供給開(kāi)發(fā)者以”接近機(jī)器“的方式編程。即便大多數(shù)程序員不用在意內(nèi)存模型,但是當(dāng)你以“接近機(jī)器”的方式工作時(shí),了解這些原理就很重要了。內(nèi)存模型是多線程環(huán)境能夠可靠工作的基礎(chǔ),因?yàn)閮?nèi)存模型需要對(duì)多線程環(huán)境的運(yùn)作細(xì)節(jié)進(jìn)行完備的定義。簡(jiǎn)單來(lái)講,可以認(rèn)為內(nèi)存模型是一種契約。它定義一套操作手法以及這些操作手法背后的詳細(xì)含義。開(kāi)發(fā)者利用這套操作完成數(shù)據(jù)的同步以避免競(jìng)爭(zhēng)條件,而系統(tǒng)(包括:編譯器,操作系統(tǒng)和處理器)保證執(zhí)行的邏輯符合內(nèi)存模型對(duì)于相關(guān)操作的定義 – 即實(shí)現(xiàn)契約。內(nèi)存模型主要包含了下面三個(gè)部分:- 元子操作:顧名思義,這類操作一旦執(zhí)行就不會(huì)被打斷,你無(wú)法看到它的中間狀態(tài),它要么是執(zhí)行完成,要么沒(méi)有執(zhí)行。
- 操作的局部順序:一系列的操作不能被亂序。
- 操作的可見(jiàn)性:定義了對(duì)于共享變量的操作如何對(duì)其他線程可見(jiàn)。
為什么需要內(nèi)存模型?
在C 11標(biāo)準(zhǔn)出來(lái)之前,C 環(huán)境沒(méi)有多線程的概念。編譯器和處理器認(rèn)為系統(tǒng)中只有一個(gè)執(zhí)行流。引入了多線程之后,情況就會(huì)變得非常復(fù)雜。這是因?yàn)椋含F(xiàn)代計(jì)算機(jī)系統(tǒng)為了加快執(zhí)行效率,自動(dòng)的包含了很多的優(yōu)化。這些優(yōu)化雖然保證了在單線程環(huán)境下不破壞原來(lái)的邏輯。但是一旦到了多線程之后,情況就不一樣了。事實(shí)上,開(kāi)發(fā)者編寫的代碼和最終運(yùn)行的程序往往會(huì)存在較大的差異,而運(yùn)行結(jié)果與開(kāi)發(fā)者預(yù)想一致,只是一種“假象”罷了。之所以會(huì)產(chǎn)生差異,原因主要來(lái)自下面三個(gè)方面:- 編譯器優(yōu)化
- CPU out-of-order執(zhí)行
- CPU Cache不一致性
Memory Reorder
以下面這段偽代碼為例:X?=?0,?Y?=?0;
Thread?1:?
X?=?1;?//?①
r1?=?Y;?//?②
Thread?2:?
Y?=?1;
r2?=?X;
你可能會(huì)覺(jué)得,在這個(gè)程序執(zhí)行完成之后,r1
和r2
怎么都不可能同時(shí)為0。但事實(shí)并非如此[4]。這是因?yàn)椤癕emory Reorder”的存在,“Memory Reorder”包含了編譯器和處理器兩種類型的亂序。這就導(dǎo)致:線程1中事件發(fā)生的順序雖然是先①后②,但是對(duì)于線程2來(lái)說(shuō),它看到結(jié)果可能卻是先②后①。當(dāng)然,線程1看線程2也是一樣的。甚至,當(dāng)今的所有硬件平臺(tái),沒(méi)有任何一個(gè)會(huì)提供完全的順序一致(sequentially consistent)內(nèi)存模型,因?yàn)檫@樣做效率太低了。不同的編譯器和處理器對(duì)于Memory Reorder有不同的偏好,但它們都遵循一定的原則,那就是:不能修改單線程的行為(Thou shalt not modify the behavior of a single-threaded program.[5])。在這個(gè)基礎(chǔ)上,它們可以做各種類型的優(yōu)化。編譯器優(yōu)化
以gcc為例,該編譯器提供了-o
參數(shù)來(lái)控制非常多的優(yōu)化選項(xiàng)[6]。以下面這段代碼為例:int?A,?B;
void?foo()
{
????A?=?B? ?1;
????B?=?0;
}
在編譯優(yōu)化后,可能會(huì)變成下面這樣:int?A,?B;
void?foo()
{
????int?temp?=?B;
????B?=?0;
????A?=?temp? ?1;
}
請(qǐng)注意,編譯器只要保證:在單線程環(huán)境下,執(zhí)行的結(jié)果和原先一樣就可以了。所以,這樣做是可以的。對(duì)于編譯器來(lái)說(shuō),它知道的是:當(dāng)前線程中,數(shù)據(jù)的讀寫以及數(shù)據(jù)之間的依賴關(guān)系。但是,編譯器并不知道哪些數(shù)據(jù)是在線程間共享,而且是有可能會(huì)被修改的。這就需要開(kāi)發(fā)者在軟件層面做好控制。對(duì)于編譯器的亂序優(yōu)化來(lái)說(shuō),開(kāi)發(fā)者并非完全不能控制。編譯器會(huì)提供稱之為內(nèi)存柵欄(Memory Barrier)[7]的工具給開(kāi)發(fā)者,讓開(kāi)發(fā)者告訴編譯器:這部分代碼編譯的時(shí)候不能亂序。gcc的內(nèi)存柵欄寫法如下:int?A,?B;
void?foo()
{
????A?=?B? ?1;
????asm?volatile(""?:::?"memory");
????B?=?0;
}
Out-of-order執(zhí)行
不僅僅是編譯器,處理器也可能會(huì)亂序執(zhí)行指令。下面是維基上給出的一張表格,列出了不同類型的CPU可能會(huì)執(zhí)行的亂序類別。從這個(gè)表格中可以看出,不同架構(gòu)的CPU會(huì)有不同類型的Memory Reorder偏好。我們使用的臺(tái)式機(jī)和筆記本電腦基本上都是x86架構(gòu)的CPU,而手機(jī)或者平板之類的移動(dòng)設(shè)備一般用的是ARM架構(gòu)的CPU。相較而言,前者的亂序類型要比后者少很多。x86的內(nèi)存模型叫做x86-TSO(Total Store Order),這可能是目前處理器中最強(qiáng)的內(nèi)存模型之一。下面這幅圖是Preshing on Programming[8]一篇文章中給出的對(duì)比關(guān)系圖。由此我們可以推算,在多線程環(huán)境下,假設(shè)我們寫的代碼包含了未定義行為,那么這些問(wèn)題在手機(jī)上將比在電腦上更容易暴露出來(lái)。關(guān)于硬件的的內(nèi)存模型,有興趣的可以繼續(xù)看下面幾個(gè)鏈接:- Weak vs. Strong Memory Models[9]
- This Is Why They Call It a Weakly-Ordered CPU[10]
- A Tutorial Introduction to the ARM and POWER Relaxed Memory Models[11]
- x86-TSO: A Rigorous and Usable Programmer’s Model for x86 Multiprocessors[12]
fence
指令:lfence?(asm),?void?_mm_lfence(void)
sfence?(asm),?void?_mm_sfence(void)
mfence?(asm),?void?_mm_mfence(void)
由此提醒我們:如果我們只以單線程的思維來(lái)開(kāi)發(fā)并發(fā)系統(tǒng),一旦引入了Memory Reorder之后就可能會(huì)發(fā)生問(wèn)題。例如:以上面的A
,B
兩個(gè)變量為例,在編譯器將其亂序后,雖然對(duì)于當(dāng)前線程是沒(méi)問(wèn)題的。但是如果在此時(shí)剛好有另外一個(gè)線程使用這兩個(gè)變量,并且依賴于它們的更新順序,那么就會(huì)出現(xiàn)問(wèn)題。Cache Coherency
事情還不只這么簡(jiǎn)單?,F(xiàn)代的主流CPU幾乎都會(huì)包含多個(gè)核以及多級(jí)Cache,下圖是我的MacBook Pro上的CPU Cache信息。如果畫成結(jié)構(gòu)圖,結(jié)構(gòu)大概會(huì)像下面這樣:每個(gè)CPU核在運(yùn)行的時(shí)候,都會(huì)優(yōu)先考慮離自己最近的Cache,一旦命中就直接使用Cache中的數(shù)據(jù)。這是因?yàn)镃ache相較于主存(RAM)來(lái)說(shuō)要快很多。但是每個(gè)核之間的Cache,每一層之間的Cache,數(shù)據(jù)常常是不一致的。而同步這些數(shù)據(jù)是需要消耗時(shí)間的。這就會(huì)造成一個(gè)問(wèn)題,那就是:某個(gè)CPU核修改了一個(gè)數(shù)據(jù),沒(méi)有同步的讓其他核知道,于是就存在了數(shù)據(jù)不一致的情況。綜上這些原因讓我們知道,CPU所運(yùn)行的程序和我們編寫的代碼可能是不一致的。甚至,對(duì)于同一次執(zhí)行,不同線程感知到其他線程的執(zhí)行順序可能都是不一樣的。因此內(nèi)存模型需要考慮到所有這些細(xì)節(jié),以便讓開(kāi)發(fā)者可以精確控制。因?yàn)樗形炊x的行為都可能產(chǎn)生問(wèn)題。對(duì)象和內(nèi)存位置
C 內(nèi)存模型中的基本存儲(chǔ)單位是字節(jié)。一個(gè)字節(jié)至少足夠大,能夠包含基本執(zhí)行字符集的任何成員以及Unicode UTF-8編碼形式的八位代碼單元,并且由連續(xù)的位序列組成。C 中所有數(shù)據(jù)都是由對(duì)象組成的。這里的對(duì)象包括了簡(jiǎn)單基本類型(如int
和double
),也包括了指針類型(如my_class*
)。當(dāng)然,也包括各種class
定義的類的對(duì)象。無(wú)論是什么類型,一個(gè)對(duì)象均包含了一個(gè)或多個(gè)內(nèi)存位置。每個(gè)內(nèi)存位置一定是下面兩種情況中的一種:- 標(biāo)量類型(Scalar Type)的對(duì)象,標(biāo)量類型包括下面幾種:
- 數(shù)字類型:整數(shù)或者浮點(diǎn)數(shù)
T *
指針類型- 枚舉類型
- 指向成員的指針
nullptr_t
- 相鄰位域(Bit field)[13]的最大序列
位域
位域聲明具有以“位”為單位的明確大小的類數(shù)據(jù)成員。相鄰的位域成員可以打包成共享和跨過(guò)各個(gè)字節(jié)。例如這樣:struct?S?{
?//?三位的無(wú)符號(hào)位域,
?//?允許值為?0...7
?unsigned?int?b?:?3;
};
位域的值必須大于等于0。值0比較特殊,它僅允許使用在無(wú)名位域上。并且它具有特殊含義:它指定類定義中的下個(gè)位域?qū)⑹加诜峙鋯卧倪吔纭?/p>由此,請(qǐng)看一下下面的例子:struct?S?{
????char?a;?????????//?內(nèi)存位置?#1
????int??b?:?5;?????//?內(nèi)存位置?#2
????int??c?:?11,????//?內(nèi)存位置?#2?(接續(xù),相鄰位域占用同一個(gè)內(nèi)存位置)
???????????:?0,?????//?無(wú)名位域,分隔了下一個(gè)位域
?????????d?:?8;?????//?內(nèi)存位置?#3?(由于存在0值無(wú)名位域,這里是一個(gè)新的內(nèi)存位置)
????struct?{
????????int?ee?:?8;?//?內(nèi)存位置?#4
????}?e;
}?obj;
可以看到,這個(gè)結(jié)構(gòu)包含了4個(gè)內(nèi)存位置。之所以介紹內(nèi)存位置,是因?yàn)檫@與內(nèi)存模型密切相關(guān)。如果多個(gè)線程各自訪問(wèn)的是不同的內(nèi)存位置,那么就不會(huì)有什么問(wèn)題。但是,如果它們同時(shí)訪問(wèn)了相同的內(nèi)存位置,那就要小心了。**當(dāng)多個(gè)線程訪問(wèn)同一個(gè)內(nèi)存位置,并且其中只要有一個(gè)線程包含了寫操作,如果這些訪問(wèn)沒(méi)有一致的修改順序,那么結(jié)果就是未定義的。**也就是說(shuō):可能會(huì)發(fā)生bug。修改順序
我們已經(jīng)知道,C 中的數(shù)據(jù)都是由對(duì)象組成。一個(gè)對(duì)象包含了若干個(gè)內(nèi)存位置。每個(gè)對(duì)象從初始化開(kāi)始,直到最終銷毀,在其生命周期的范圍內(nèi),對(duì)它進(jìn)行的訪問(wèn)必須有一個(gè)確定的修改順序,這個(gè)順序包含了所有線程的訪問(wèn)操作。雖然程序的每一次運(yùn)行,這個(gè)順序可能是不一樣的(例如:CPU資源的變化,調(diào)度器的影響),但是針對(duì)其中具體的某一次來(lái)說(shuō),必須有一個(gè)“一致的順序”,這個(gè)順序要被所有的線程認(rèn)可,并且可見(jiàn)。例如:一旦某個(gè)線程修改了一個(gè)數(shù)據(jù),這個(gè)操作必須要讓所有線程知道,在修改操作之后,所有線程都應(yīng)該得到修改后的值。從數(shù)據(jù)類型的角度來(lái)說(shuō),有兩種情況:- 對(duì)于原子類型(見(jiàn)下文):由編譯器保證數(shù)據(jù)的同步。
- 對(duì)于非原子類型:由開(kāi)發(fā)者保證。
關(guān)系術(shù)語(yǔ)
下面先來(lái)介紹C 內(nèi)存模型中的幾個(gè)關(guān)系術(shù)語(yǔ)。sequenced-before
sequenced-before是一種單線程上的關(guān)系,這是一個(gè)非對(duì)稱,可傳遞的成對(duì)關(guān)系。對(duì)于兩個(gè)操作A和B,如果A sequenced-before B,則A的執(zhí)行應(yīng)當(dāng)在B的前面,并且A執(zhí)行后的結(jié)果B也能看到,它引入了一個(gè)局部有序性。同一個(gè)線程中的多個(gè)語(yǔ)句之間就是sequenced-before關(guān)系,例如:int?i?=?7;?//?①
i ;???????//?②
這里的 ① sequenced-before ② 。但是同一個(gè)語(yǔ)句中的多個(gè)子表達(dá)式上沒(méi)有這個(gè)關(guān)系的。特別極端的,對(duì)于下面這個(gè)語(yǔ)句:i?=?i ? ?i;
由于等號(hào)右邊的兩個(gè)子表達(dá)式無(wú)法確定先后關(guān)系,因此這個(gè)語(yǔ)句的行為是未定義的。這意味著,你永遠(yuǎn)不應(yīng)該寫這樣的代碼。happens-before
happens-before關(guān)系是sequenced-before關(guān)系的擴(kuò)展,因?yàn)樗€包含了不同線程之間的關(guān)系。如果A happens-before B,則A的內(nèi)存狀態(tài)將在B操作執(zhí)行之前就可見(jiàn),這就為線程間的數(shù)據(jù)訪問(wèn)提供了保證。同樣的,這是一個(gè)非對(duì)稱,可傳遞的關(guān)系。如果A happens-before B,B happens-before C。則可推導(dǎo)出A happens-before C。synchronizes-with
synchronizes-with描述的是一種狀態(tài)傳播(propagate)關(guān)系。如果A synchronizes-with B,則就是保證操作A的狀態(tài)在操作B執(zhí)行之前是可見(jiàn)的。下文中我們將看到,原子操作的acquire-release具有synchronized-with關(guān)系。除此之外,對(duì)于鎖和互斥體的釋放和獲取可以達(dá)成synchronized-with關(guān)系,還有線程執(zhí)行完成和join操作也能達(dá)成synchronized-with關(guān)系。最后,借助 synchronizes-with 可以達(dá)成 happens-before 關(guān)系。原子類型與原子操作
要理解內(nèi)存模型,首先需要掌握C 11提供的原子類型(atomic types)和原子操作(atomic operation)。原子類型不是一個(gè)類,而是一系列類,它們都位于
頭文件中。原子類型中包含了原子操作。但也有一些原子類型之外的原子操作。下面是基本類型對(duì)應(yīng)的原子類型。第一列是類型的別名(為了方便使用),第二列是類型的原始定義。關(guān)于volatile
和原子類型:Java和C 都有volatile
關(guān)鍵字。但同樣的關(guān)鍵字在不同的語(yǔ)言中有著不同的含義。Java中的volatile
和C 的原子類型是類似的含義。而C 中的volatile
是禁止編譯器對(duì)這個(gè)變量進(jìn)行優(yōu)化。
類型別名 | 類型定義 |
---|---|
atomic_bool | std::atomic |
atomic_char | std::atomic |
atomic_schar | std::atomic |
atomic_uchar | std::atomic |
atomic_int | std::atomic |
atomic_uint | std::atomic |
atomic_short | std::atomic |
atomic_ushort | std::atomic |
atomic_long | std::atomic |
atomic_ulong | std::atomic |
atomic_llong | std::atomic |
atomic_ullong | std::atomic |
atomic_char16_t | std::atomic |
atomic_char32_t | std::atomic |
atomic_wchar_t | std::atomic |
atomic
用#
代替)。函數(shù) | #_flag | #_bool | 指針類型 | 整形類型 | 說(shuō)明 |
---|---|---|---|---|---|
test_and_set | Y | 將flag設(shè)為true并返回原先的值 | |||
clear | Y | 將flag設(shè)為false | |||
is_lock_free | Y | Y | Y | 檢查原子變量是否免鎖 | |
load | Y | Y | Y | 返回原子變量的值 | |
store | Y | Y | Y | 通過(guò)一個(gè)非原子變量的值設(shè)置原子變量的值 | |
exchange | Y | Y | Y | 用新的值替換,并返回原先的值 | |
compare_exchange_weak compare_exchange_strong | Y | Y | Y | 比較和改變值 | |
fetch_add, = | Y | Y | 增加值 | ||
fetch_sub, -= | Y | Y | 減少值 | ||
, -- | Y | Y | 自增和自減 | ||
fetch_or, |= | Y | 求或并賦值 | |||
fetch_and,
本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀
倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5... 關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)... 關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì) |