CPU流水線的探秘之旅：收獲不小

作為程序員，CPU在我們的工作中扮演了核心角色，因此了解處理器內(nèi)部的工作方式對程序員來說不無裨益。

CPU是如何工作的呢？一條指令執(zhí)行需要多長時間？當(dāng)我們討論某個新款處理器擁有12級流水線還是18級流水線，甚至是更深的31級流水線時，這到些都意味著什么呢？

應(yīng)用程序通常會將CPU看作是黑盒子。程序中的指令按照順序依次進(jìn)入CPU，執(zhí)行完之后再按順序依次從CPU中出來，而內(nèi)部到底發(fā)生了什么，我們通常并不了解。

對我們程序員來說，尤其是對做程序性能調(diào)優(yōu)工作的程序員來說，學(xué)習(xí)CPU內(nèi)部的細(xì)節(jié)非常必要。否則，如果你不知道CPU的內(nèi)部結(jié)構(gòu)，那如何才能針對CPU做性能優(yōu)化？

本文所關(guān)注的就是專門針對X86處理器流水線的工作原理。

你需要掌握的預(yù)備知識

首先，閱讀本文你需要了解編程，最好了解一點(diǎn)匯編語言。如果你還不知道指令指針(instruction pointer)是什么，那么本文對你來說可能有些難。你需要知道什么是寄存器，指令和緩存，如果不明白它們是什么，你需要盡快查找資料了解一下。

第二，CPU的工作原理是一個非常龐大和復(fù)雜的話題，本文僅僅是匆匆一瞥，很難以用一篇文章詳盡敘述。如果我有什么疏漏，請通過評論告訴我。

第三，我僅僅關(guān)注英特爾處理器及其X86架構(gòu)。當(dāng)然除了X86，還有很多其他架構(gòu)的處理器。雖然AMD公司引入了很多新特性到X86架構(gòu)，但是X86架構(gòu)是Intel公司發(fā)明，并且創(chuàng)造了X86指令集，其中絕大多數(shù)特性是由Intel引入的。所以為了保持?jǐn)⑹龅暮唵魏鸵恢滦?，我僅關(guān)注Intel的處理器。

最后，當(dāng)你讀到這篇文章時，它已經(jīng)是“過時”的了。更新款的處理器已經(jīng)設(shè)計(jì)出來，其中一些會在未來幾個月之內(nèi)發(fā)布。我很高興技術(shù)能如此快速的發(fā)展，我希望有一天所有這些技術(shù)都會過時，創(chuàng)造出擁有更驚人計(jì)算能力的CPU。

處理器流水線基礎(chǔ)

從一個非常廣的角度來說，X86處理器架構(gòu)在近35年來并沒有變化太多。雖然X86架構(gòu)被附加了很多新功能，但是最初的設(shè)計(jì)（包括幾乎所有最初的指令集）仍然基本上是完整保留的，即使在最新的處理器上仍然被支持。

最初的8086處理器支持14個寄存器，這些寄存器在如今最新的處理器中仍然存在。這14個寄存器中，有4個是通用寄存器：AX，BX，CX和DX；有4個是段寄存器，段寄存器用來輔助指針的實(shí)現(xiàn)：代碼段(CS)，數(shù)據(jù)段(DS)，擴(kuò)展段(ES)和堆棧段(SS)；有4個是索引寄存器，用來指向內(nèi)存地址：源引用(SI)，目的引用(DI)，基指針(BP)，棧指針(SP)；有1個寄存器包含狀態(tài)位；最后是最重要的寄存器：指令指針(IP)。

指令指針寄存器是一個擁有特殊功能的指針。指令指針的功能是指向?qū)⒁\(yùn)行的下一條指令。

所有的X86處理器都按照相同的模式運(yùn)行。首先，根據(jù)指令指針指向的地址取得下一條即將運(yùn)行的指令并解析該指令（譯碼）。在譯碼完成后，會有一個指令的執(zhí)行階段。有些指令用來從內(nèi)存讀取數(shù)據(jù)或者向內(nèi)存寫數(shù)據(jù)，有些指令用來執(zhí)行計(jì)算或者比較等工作。當(dāng)指令執(zhí)行完成后，這條指令會通過退出(retire)階段并將指令指針修改為下一條指令。

譯碼，執(zhí)行和退出三級流水線組成了X86處理器指令執(zhí)行的基本模式。從最初的8086處理器到最新的酷睿i7處理器都基本遵循了這樣的過程。雖然更新的處理器增加了更多的流水級，但基本的模式?jīng)]有改變。

35年來發(fā)生了什么改變

相較于現(xiàn)今的標(biāo)準(zhǔn)，最初的處理器設(shè)計(jì)顯得太過簡單。最初的8086處理器的執(zhí)行過程可以簡述為從當(dāng)前指令指針取得指令，通過譯碼，執(zhí)行最后退出，然后繼續(xù)從指令指針指向的下一條指令處取得指令。

新的處理器增加了新的功能，有些增加了新的指令，有些增加了新的寄存器。我將主要關(guān)注和本文主題有關(guān)系的改變，這些改變影響了CPU指令執(zhí)行的流程。其他的一些變化比如虛擬內(nèi)存或者并行處理雖然都很有意義而且有趣，但是并不在本文主題的范圍內(nèi)。

指令緩存在1982年被加入到處理器中。通過指令緩存，處理器可以一次性從內(nèi)存讀取更多指令并放在指令緩存中，而不用每條指令都從內(nèi)存中取。指令緩存僅有幾個字節(jié)大小，只能容納數(shù)條指令，但是因?yàn)橄酥竺看稳≈竿祪?nèi)存和處理器的時間，極大的提高的效率

1985年的386處理器引入了數(shù)據(jù)緩存，而且擴(kuò)展了指令緩存的設(shè)計(jì)。數(shù)據(jù)訪存請求通過一次性讀取更多的數(shù)據(jù)放在數(shù)據(jù)緩存中，從而提升了性能。而且，數(shù)據(jù)緩存和指令緩存都從幾個字節(jié)擴(kuò)大到幾千字節(jié)。

1989年推出的i486處理器引入了五級流水線。這時，在CPU中不再僅運(yùn)行一條指令，每一級流水線在同一時刻都運(yùn)行著不同的指令。這個設(shè)計(jì)使得i486比同頻率的386處理器性能提升了不止一倍。五級流水線中的取指階段將指令從指令緩存中取出（i486中的指令緩存為8KB）；第二級為譯碼階段，將取出的指令翻譯為具體的功能操作；第三級為轉(zhuǎn)址階段，用來將內(nèi)存地址和偏移進(jìn)行轉(zhuǎn)換；第四級為執(zhí)行階段，指令在該階段真正執(zhí)行運(yùn)算；第五級為退出階段，運(yùn)算的結(jié)果被寫回寄存器或者內(nèi)存。由于處理器同時運(yùn)行了多條指令，大大提升了程序運(yùn)行的性能。

1993年Intel推出了奔騰(Pentium)處理器。由于訴訟問題，Intel無法繼續(xù)沿用原來的數(shù)字編號。因此，用奔騰替代了586作為新款處理器的代號。奔騰處理器相對i486處理器對流水線做出了更多修改。奔騰處理器架構(gòu)增加了第二條獨(dú)立的超標(biāo)量流水線。主流水線工作方式類似于i486，第二條流水線則并行的運(yùn)行一些較簡單的指令，比如說定點(diǎn)算術(shù)，而且該流水線能更快的進(jìn)行該運(yùn)算。

1995年Intel推出了奔騰Pro (Pentium Pro)處理器。和之前的處理器相比，奔騰Pro采用了完全不同的設(shè)計(jì)。該處理器采用了諸多新特性以提高性能，包括亂序(Out-of-Order, OOO)執(zhí)行的部件以及猜測執(zhí)行。流水線擴(kuò)展到了12級，而且引入了“超標(biāo)量流水線”的概念，使得許多指令可以被同時處理。我們稍后將詳盡的介紹亂序執(zhí)行的部件。

在1995-2002年之間，亂序執(zhí)行部件經(jīng)過了數(shù)次重大改進(jìn)。處理器中加入了更多的寄存器；單指令多數(shù)據(jù)(Single Instruction Multiple Data, or SIMD)的引入使得一條指令可以進(jìn)行多組數(shù)據(jù)運(yùn)算；現(xiàn)有的緩存變得更大而且引入了新的緩存；有些流水級被拆分成更多流水級，有些流水級被合并，使得更加適合實(shí)際的應(yīng)用。這些改變對整體性能的提升有重要作用，但它們都沒有從根本影響數(shù)據(jù)在處理器中的流動方式。

2002年發(fā)布的奔騰4處理器引入了超線程技術(shù)。亂序執(zhí)行部件的設(shè)計(jì)使得指令被執(zhí)行的速度比處理器能夠提供指令的速度更快。因此對于大部分應(yīng)用，CPU的亂序執(zhí)行部件在大部分時間處于空閑狀態(tài)，甚至在高負(fù)載的情況下也不能充分利用。為了讓指令流能充分的流入亂序執(zhí)行部件，Intel加入了第二套前端部件（譯注：在處理器結(jié)構(gòu)中，前端是指取指，譯碼，寄存器重命名等模塊，經(jīng)過前端部件的處理后，指令等待發(fā)射進(jìn)入亂序執(zhí)行部件）。雖然實(shí)際上只有一個亂序執(zhí)行部件，但對于操作系統(tǒng)來說，它能看到兩個處理器。前端部件包含兩組同樣功能的X86寄存器，兩個指令譯碼器根據(jù)兩個指令指針指向的地址分別處理。所有的指令被一個共享的亂序執(zhí)行部件執(zhí)行，但對應(yīng)用程序來說并不知情。當(dāng)亂序執(zhí)行部件執(zhí)行完成，像之前一樣退出流水線后，最終結(jié)果返回虛擬的兩個處理器。

2006年Intel發(fā)布了酷睿(Core)微架構(gòu)。為了品牌效應(yīng)，它被稱做酷睿2（二總比一好）。令人驚訝的是，處理器頻率不升反降，而且超線程也被去掉了。通過降低時鐘頻率，每一級流水線可以做更多工作。亂序執(zhí)行部件也被擴(kuò)展的更寬。各種不同的緩存和隊(duì)列都相應(yīng)做的更大。而且處理器被重新設(shè)計(jì)，以適應(yīng)雙核和四核的共享緩存結(jié)構(gòu)。

2008年，Intel開始用酷睿i3, i5, i7的方式來命名新的處理器。新處理器重新引入了超線程。這三個系列的處理器主要區(qū)別在于內(nèi)部緩存大小不同。

未來的處理器：Intel的下一代微結(jié)構(gòu)被稱為Haswell。Haswell據(jù)稱將于2013年發(fā)布。目前已知的文檔說明它將擁有14級流水級的亂序執(zhí)行部件，所以它仍然遵循從奔騰Pro以來的基本設(shè)計(jì)思路。

那么，流水線到底是什么？亂序執(zhí)行部件是什么？他們?nèi)绾翁嵘颂幚砥鞯男阅苣兀?/p>

CPU指令流水線

根據(jù)之前描述的基礎(chǔ)，指令進(jìn)入流水線，通過流水線處理，從流水線出來的過程，對于我們程序員來說，是比較直觀的。

I486擁有五級流水線。分別是：取指(Fetch)，譯碼(D1, main decode)，轉(zhuǎn)址(D2, translate)，執(zhí)行(EX, execute)，寫回(WB)。某個指令可以在流水線的任何一級。

但是這樣的流水線有一個明顯的缺陷。對于下面的指令代碼，它們的功能是將兩個變量的內(nèi)容進(jìn)行交換。

從8086直到386處理器都沒有流水線。處理器一次只能執(zhí)行一條指令。再這樣的架構(gòu)下，上面的代碼執(zhí)行并不會存在問題。

但是i486處理器是首個擁有流水線的x86處理器，它執(zhí)行上面的代碼會發(fā)生什么呢？當(dāng)你一下去觀察很多指令在流水線中運(yùn)行，你會覺得混亂，所以你需要回頭參考上面的圖。

第一步是第一條指令進(jìn)入取指階段；然后在第二步第一條指令進(jìn)入譯碼階段，同時第二條指令進(jìn)入取指階段；第三步第一條指令進(jìn)入轉(zhuǎn)址階段，第二條指令進(jìn)入譯碼階段，第三條指令進(jìn)入取指階段。但是在第四步會出現(xiàn)問題，第一條指令會進(jìn)入執(zhí)行階段，而其他指令卻不能繼續(xù)向前移動。第二條xor指令需要第一條xor指令計(jì)算的結(jié)果a，但是直到第一條指令執(zhí)行完成才會寫回。所以流水線的其他指令就會在當(dāng)前流水級等待直到第一條指令的執(zhí)行和寫回階段完成。第二條指令會等待第一條指令完成才能進(jìn)入流水線下一級，同樣第三條指令也要等待第二條指令完成。

這個現(xiàn)象被稱為流水線阻塞或者流水線氣泡。

另外一個關(guān)于流水線的問題是有些指令執(zhí)行速度快，有些指令執(zhí)行速度慢。這個問題在奔騰處理器的雙流水線架構(gòu)下顯得更加明顯。

奔騰Pro擁有12級流水線。當(dāng)這個數(shù)字被首次宣布后，所有的程序員都倒抽了一口氣，因?yàn)樗麄冎莱瑯?biāo)量流水線是如何工作的。如果Intel仍然按照以前的思路設(shè)計(jì)超標(biāo)量流水線的話，流水線的阻塞和執(zhí)行速度慢的指令會嚴(yán)重影響執(zhí)行速度。但同時，Intel宣布了完全不同的流水線設(shè)計(jì)，叫做亂序執(zhí)行部件(Out-of-Order core)。單從敘述上很難理解這些改變帶來的好處，但I(xiàn)ntel確信這些改進(jìn)是令人激動的。

讓我們來更深入的看看這個亂序執(zhí)行的部件吧！

亂序執(zhí)行流水線

在描述亂序執(zhí)行流水線時，往往是一圖勝千言。所以我們主要以圖例進(jìn)行介紹。

CPU流水線圖例

I486處理器擁有5級流水線。這種設(shè)計(jì)在現(xiàn)實(shí)世界中的其他處理器中很常見，而且效率不錯。

而奔騰處理器的流水線比i486更好。兩條流水線可以并行運(yùn)行，而且每條流水線可以同時有多條指令在不同流水級執(zhí)行。它幾乎可以同時執(zhí)行比i486多一倍的指令。

能夠快速完成的指令需要等待前面執(zhí)行慢的指令即使在并行流水線中也仍然是一個問題。流水線仍然是線性的，導(dǎo)致處理器面臨性能瓶頸難以逾越。

亂序執(zhí)行部件和之前處理器設(shè)計(jì)中的線性通路有很大不同，它增加了一些復(fù)雜度，引入了非線性的通路。

第一個改變是指令從內(nèi)存中取到處理器的指令緩存的過程?，F(xiàn)代處理器能夠檢測何時會產(chǎn)生一個大的分支跳轉(zhuǎn)（比如函數(shù)調(diào)用），然后提前將跳轉(zhuǎn)目的地的指令加載到指令緩存中。

譯碼級有一些略微的修改。不同于以往處理器僅僅譯碼指令指針指向的指令，奔騰Pro處理器每一個始終周期最多能譯碼3條指令?，F(xiàn)今的處理器（2008-2013年）每個時鐘周期最多可以譯碼4條指令。譯碼過程產(chǎn)生很多小片的操作，被稱作微指令(micro-ops,?-ops)。

下一級（或者好幾級）被稱為微指令翻譯，接著是寄存器重命名(register aliasing)。許多操作同時執(zhí)行，并且執(zhí)行的順序是亂序的，所以有可能出現(xiàn)一條指令讀一個寄存器的同時，另外一條指令正在對這個寄存器進(jìn)行寫操作。在處理器內(nèi)部，這些原始的寄存器（如AX,BX,CX,DX等）被翻譯（或者重命名）成為內(nèi)部的寄存器，而這些寄存器對程序員是不可見的。寄存器和內(nèi)存地址需要被映射到一個臨時的地方用于指令執(zhí)行。當(dāng)前每個始終周期可以翻譯4條微指令。

當(dāng)微指令翻譯完成后，它們會進(jìn)入一個重排序緩存(Reorder Buffer, ROB)，ROB可以存儲最多128條微指令。在支持超線程的處理器上，ROB同樣可以重排來自兩個虛擬處理器的指令。兩個虛擬處理器在ROB中將微指令匯集到一個共享的亂序執(zhí)行部件中。

這些微指令已經(jīng)準(zhǔn)備好可以執(zhí)行了。它們被放在保留站中(Reservation Station, RS)。RS最多可以同時存儲36條微指令。

現(xiàn)在才開始亂序執(zhí)行部件神奇的部分。不同的微指令在不同的執(zhí)行單元中同時執(zhí)行，而且每個執(zhí)行單元都全速運(yùn)行。只要當(dāng)前微指令所需要的數(shù)據(jù)就緒，而且有空閑的執(zhí)行單元，微指令就可以立即執(zhí)行，有時甚至可以跳過前面還未就緒的微指令。通過這種方式，需要長時間運(yùn)行的操作不會阻塞后面的操作，流水線阻塞帶來的損失被極大的減小了。

奔騰Pro的亂序執(zhí)行部件擁有6個執(zhí)行單元：兩個定點(diǎn)處理單元，一個浮點(diǎn)處理單元，一個取數(shù)單元，一個存地址單元，一個存數(shù)單元。這兩個定點(diǎn)處理單元有所不同，一個能夠處理復(fù)雜定點(diǎn)操作，一個能同時處理兩個簡單操作。在理想狀況下，奔騰Pro的亂序執(zhí)行部件可以在一個時鐘周期內(nèi)執(zhí)行7條微指令。

現(xiàn)今的亂序執(zhí)行部件仍然擁有6個執(zhí)行單元。其中取數(shù)單元，存地址單元，存數(shù)單元沒有變，另外3個多少發(fā)生了變化。這三個執(zhí)行單元都可以執(zhí)行基本算術(shù)運(yùn)算，或者執(zhí)行更復(fù)雜的微指令。但每個執(zhí)行單元擅長執(zhí)行不同種類的微指令，使得它們能更高效的執(zhí)行運(yùn)算。在理想狀況下，現(xiàn)今的亂序執(zhí)行部件可以在一個時鐘周期內(nèi)執(zhí)行11條微指令。

最終微指令會得到執(zhí)行，在經(jīng)過數(shù)個流水級之后，最終會退出流水線。這時，這條指令完成并且遞增指令指針。但從程序員的角度來說，指令僅僅是從一端進(jìn)入CPU，從另一端退出，就像老的8086一樣。

如果你仔細(xì)看過上面的內(nèi)容，你會注意到上面提到過很重要的一個問題：如果執(zhí)行指令的位置發(fā)生了跳轉(zhuǎn)會發(fā)生什么？例如，當(dāng)指令運(yùn)行到”if”或者是”switch”時，會發(fā)生什么呢？在較老的處理器中這意味著清空流水線，等待新的跳轉(zhuǎn)目的指令的取指執(zhí)行。

當(dāng)CPU指令隊(duì)列中存儲了超過100條指令時，發(fā)生流水線阻塞帶來的性能損失是極其嚴(yán)重的。所有的指令都需要等待跳轉(zhuǎn)目的的指令取回并且重啟流水線。在這種情況下，亂序執(zhí)行部件需要將跳轉(zhuǎn)指令之后但是已經(jīng)執(zhí)行的微指令全部取消掉，返回到執(zhí)行前的狀態(tài)。當(dāng)所有亂序執(zhí)行的微指令都退出亂序執(zhí)行部件之后，將它們丟棄掉，然后從新的地址開始執(zhí)行。這對于處理器來說是相當(dāng)困難的，而且發(fā)生的頻率很高，因此對性能的影響很大。這時，引入了亂序執(zhí)行部件的另外一個重要功能。

答案就是猜測執(zhí)行。猜測執(zhí)行意味著當(dāng)遇到一個分支指令后，亂序執(zhí)行部件會將所有分支的指令都執(zhí)行一遍。一旦分支指令的跳轉(zhuǎn)方向確定后，錯誤跳轉(zhuǎn)方向的指令都將被丟棄。通過同時執(zhí)行兩個跳轉(zhuǎn)方向的指令，避免了由于分支跳轉(zhuǎn)導(dǎo)致的阻塞。處理器設(shè)計(jì)者還發(fā)明了分支預(yù)測緩存，當(dāng)面臨多個分支時進(jìn)行預(yù)測，進(jìn)一步提高了性能。雖然CPU阻塞仍然會發(fā)生，但是這個解決方案將CPU發(fā)生阻塞的概率降到了一個可以接受的范圍。

最后，擁有超線程的處理器將兩個虛擬的處理器暴露給共享的亂序執(zhí)行部件。它們共享一個重排序緩存和亂序執(zhí)行部件，讓操作系統(tǒng)認(rèn)為它們是兩個獨(dú)立的處理器，看上去就像這樣：

超線程的處理器擁有兩個虛擬的處理器，從而可以給亂序執(zhí)行部件提供更多的數(shù)據(jù)。超線程對一般的應(yīng)用程序都有性能提升，但是對一些計(jì)算密集型的應(yīng)用，則會迅速使得亂序執(zhí)行部件飽和。在這種情況下，超線程反而會略微降低性能。但這種情況畢竟是少數(shù)，超線程對于日常應(yīng)用來講通常都能夠提供大約一倍的性能。

一個示例

這一切看上去有點(diǎn)令人感到困惑，那么我們舉一個例子來讓這一切變得清晰起來。

從應(yīng)用程序的角度來看，我們?nèi)匀皇沁\(yùn)行在指令流水線上，就想老的8086處理器那樣。處理器就是一個黑盒子。黑盒子會處理指令指針指向的指令，當(dāng)處理完之后，會在內(nèi)存里找到處理的結(jié)果。

但是從指令本身的角度來講，這個過程可謂歷經(jīng)滄桑。我們下面介紹對于現(xiàn)今的處理器（大約在2008-2013年之間），一條指令在其內(nèi)部的過程。

首先，你是一條指令，你所屬的程序正在運(yùn)行。

你一直在耐心的等待指令指針會指向自己，等待被CPU運(yùn)行。當(dāng)指令指針距離你還有4KB遠(yuǎn)的時候（這大約是1500條指令），你被CPU從內(nèi)存取到指令緩存中。雖然從內(nèi)存加載進(jìn)入指令緩存需要一段時間，但是現(xiàn)在距離你被執(zhí)行的時刻還很遠(yuǎn)，你有足夠的時間。這個預(yù)取的過程屬于流水線的第一級。

當(dāng)指令指針離你越來越近，距離你還有24條指令的時候，你和你旁邊的5個指令會被放到指令隊(duì)列里面。

這個處理器有4個譯碼器，可以容納一個復(fù)雜指令和最多三個簡單指令。你碰巧是一條復(fù)雜指令，通過譯碼，你被翻譯成4個微指令。

譯碼的過程可以劃分為多步。譯碼過程中的一步是檢查你需要的數(shù)據(jù)和猜測你可能會產(chǎn)生一個地址跳轉(zhuǎn)。譯碼器一旦檢測到需要的額外數(shù)據(jù)，不需要讓你知道，這個數(shù)據(jù)就開始從內(nèi)存加載到數(shù)據(jù)緩存中了。

你的四個微指令到達(dá)寄存器重命名表。你告訴它你需要讀哪個內(nèi)存地址（比如說fs:[eax+18h]），然后寄存器重命名表將這個地址轉(zhuǎn)換為臨時地址供微指令使用。地址轉(zhuǎn)化完成后，你的微指令將進(jìn)入重排序緩存(Reorder Buffer, ROB)并記錄指令次序。接著第一時間進(jìn)入保留站(Reservation Station, RS)。

保留站用于存儲已經(jīng)準(zhǔn)備就緒可以執(zhí)行的指令。你的第三條微指令被立即選中并送往端口5，這個端口直接執(zhí)行運(yùn)算。但是你并不知道為什么它會被首先選中，無論如何，它確實(shí)被執(zhí)行了。幾個時鐘周期之后你的第一條微指令前往端口2，該端口是讀單元(Load Address execution unit)。剩余的微指令一直等待，同時各個端口正在收集不同的微指令。他們都在等待端口2將數(shù)據(jù)從緩存和內(nèi)存中加載進(jìn)來并放在臨時存儲空間內(nèi)。

他們等了很久……

相當(dāng)久的時間……

不過在他們等待第一條微指令返回數(shù)據(jù)的時候，又有其他的新指令又進(jìn)來。好在處理器知道如何讓這些指令亂序執(zhí)行（即后到達(dá)保留站的微指令被優(yōu)先執(zhí)行）。

當(dāng)?shù)谝粭l微指令返回了數(shù)據(jù)，剩余的兩條微指令被立即送往執(zhí)行端口0和1。現(xiàn)在這4條微指令都已經(jīng)運(yùn)行，最終它們會返回保留站。

這些微指令返回后交出他們的“票”并給出各自的臨時地址。通過這些地址，你作為一個完整的指令，將他們合并。最后CPU將結(jié)果交給你并使你退出

當(dāng)你到達(dá)標(biāo)有“退出”的門的時候，你會發(fā)現(xiàn)這里要排一個隊(duì)列。你進(jìn)入后發(fā)現(xiàn)你剛好站在你前面進(jìn)來指令的后面，即使執(zhí)行中的順序可能已經(jīng)不同，但你們退出的順序繼續(xù)保持一致。看來亂序執(zhí)行部件真正知道自己做了什么。

每條指令最終離開CPU，每次一條指令，就和指令指針指向的順序一樣！

結(jié)論

希望這篇小文能夠給讀者展示一些處理器工作的奧秘，要知道，這并不是魔術(shù)。

讓我們回到最初的問題，現(xiàn)在我們應(yīng)該可以給出一些較好的答案了。

處理器內(nèi)部是如何工作的呢？在這個復(fù)雜的過程中，指令首先被分解為更小的微指令命令，這些微指令以亂序的方式盡可能快的被執(zhí)行，然后按照原始的順序提交執(zhí)行結(jié)果。因此，從外部看來，所有的指令都是按照順序的方式執(zhí)行的。但是現(xiàn)在我們知道，處理器內(nèi)部是以亂序的方式處理指令的，有時甚至以猜測的方式來運(yùn)行分支代碼。

運(yùn)行一條指令究竟需要多長時間呢？對于沒有使用流水線技術(shù)的處理器來說，這是一個容易回答的問題，但對于現(xiàn)代的處理器來說，一條指令的執(zhí)行時間與它周圍指令的內(nèi)容以及臨近c(diǎn)ache的大小和內(nèi)容都有關(guān)。一條指令通過處理器有一個最小的時間，但只能粗略的說這個時間是恒定的。一個好的程序員和編譯器可以讓很多條指令同時運(yùn)行，從而使每條指令的分?jǐn)倳r間幾乎為零。這里說的幾乎為零的執(zhí)行時間并不是指一條指令的總的執(zhí)行時間很短，相反，通過整個亂序部件和等待內(nèi)存讀寫數(shù)據(jù)是需要花費(fèi)很多時間的。

一個新的處理器擁有12級或者18級、甚至更深的31級流水線意味著什么呢？這意味著更多的指令可以被同時送進(jìn)加工廠。一個非常深的流水線可以讓幾百條指令同時被處理。當(dāng)一切順利時，一個亂序部件可以保持高速運(yùn)轉(zhuǎn)，從而獲得驚人的吞吐量。不幸的是，深的流水線同時意味著流水線停頓會從一個相對可以容忍的性能損失變成一個可怕的性能噩夢。因?yàn)閹装贄l指令都不得不停頓下來，等待流水線恢復(fù)運(yùn)轉(zhuǎn)。

我怎么根據(jù)這些信息來優(yōu)化程序呢？幸運(yùn)的是，CPU可以在大部分常見情況下工作良好，并且編譯器已經(jīng)為亂序處理器優(yōu)化了近20年。當(dāng)指令和數(shù)據(jù)按照順序（沒有煩人的跳轉(zhuǎn)）執(zhí)行時，CPU可以獲得最好的性能。因此，首先，使用簡單的代碼。簡單直接的代碼會幫助編譯器的優(yōu)化引擎識別并優(yōu)化代碼。盡量不使用跳轉(zhuǎn)指令，當(dāng)你不得不跳轉(zhuǎn)時，盡量每次跳轉(zhuǎn)到同樣的方向。復(fù)雜的設(shè)計(jì)，例如動態(tài)跳轉(zhuǎn)表，雖然看起來很酷并且的確可以完成非常強(qiáng)大的功能，但不管是處理器還是編譯器，都無法進(jìn)行很好的預(yù)測處理，因此復(fù)雜的代碼很可能導(dǎo)致流水線停頓和猜測錯誤，從而極大的損害處理器性能。其次，使用簡單的數(shù)據(jù)結(jié)構(gòu)。保持?jǐn)?shù)據(jù)順序、相鄰和連續(xù)可以阻止數(shù)據(jù)停頓。使用正確的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分布可以獲得很大的性能提升。只要保持代碼和數(shù)據(jù)結(jié)構(gòu)盡量簡單，剩下的工作就可以放心地交給編譯器的優(yōu)化引擎來完成了。

感謝與我一起參與這次旅行！

軟媒小編：這文對我來說收獲不小，分享給大家。

英文原文地址：這里

轉(zhuǎn)自：伯樂在線