在指定的實現(xiàn)技術(shù)下,要將單個處理器性能發(fā)揮到極致并不容易。更快的時鐘,更深的管線和更大的緩存都會導(dǎo)致占用更大的硅片面積和功耗開銷,并有可能使得最后10%的性能增益化為烏有。有些時候沒有其它選擇,只能靠提高時鐘速率,升級電源和冷卻子系統(tǒng)。但是將處理任務(wù)分配到多個處理器的做法可以最大程度提升整體性能極限,處理器設(shè)計也會更簡單、更高效。
當(dāng)今的許多嵌入式系統(tǒng)級芯片(SoC)設(shè)計已經(jīng)在使用多個處理器,不過,它們都是以一種特定應(yīng)用或松散結(jié)合的方式實現(xiàn)。直到最近,針對軟件友好的多處理SoC設(shè)計功能還是受限。如今市場已經(jīng)有諸如MIPS32 1004K一致處理系統(tǒng)(CPS)這種新的SoC設(shè)計組件推出,意味著在單操作系統(tǒng)環(huán)境中片上對稱多處理(SMP)技術(shù)已經(jīng)成為現(xiàn)實。
雖然并行編程會使軟件工程師感到恐懼,因為并不是全部現(xiàn)有代碼都是針對并行處理平臺編寫的,但針對并行軟件已經(jīng)有多種范例,其中一些對于軟件設(shè)計師是來說已經(jīng)是很熟悉的了。
數(shù)據(jù)并行算法
數(shù)據(jù)并行算法通過劃分數(shù)據(jù)集來使用一個以上的處理器,甚至數(shù)量眾多的CPU。在教科書中,大的數(shù)據(jù)集通常是一種很大的輸入文件或數(shù)組,但在嵌入式系統(tǒng)中,它可能意味著高的I/O和事件服務(wù)帶寬。在一些SoC架構(gòu)中,多個輸入數(shù)據(jù)源(如網(wǎng)絡(luò)接口端口)可以被靜態(tài)地分配到運行相同驅(qū)動程序/路由程序代碼的多個處理器上,從而實現(xiàn)自然的數(shù)據(jù)并行處理。
當(dāng)對單個數(shù)組或輸入流應(yīng)用多處理器技術(shù)時,“分而治之”的數(shù)據(jù)并行算法很常見。這樣的算法對于單處理器來說通常不是最優(yōu)的,但是因為具有更多的計算帶寬,因此可以彌補效率的不足。這些算法對并行計算來說是可擴展的,但是將一個正常工作的順序執(zhí)行程序轉(zhuǎn)換成一個并行數(shù)據(jù)算法可能面臨價值不高、困難或不可能的局面,具體情況取決于程序依賴特性等因素。為了提高性能,如果絕大部分的應(yīng)用計算都是用很少量的常規(guī)運算循環(huán)來實現(xiàn)的話,系統(tǒng)設(shè)計師很可能毫不猶豫地采用數(shù)據(jù)并行算法。
用于PC、工作站、服務(wù)器的多內(nèi)核X86芯片的出現(xiàn)催生了新的庫和工具套件,它們可以幫助設(shè)計師在數(shù)量適中的處理器上更容易地建立和開發(fā)并行算法。對于像MIPS這樣的嵌入式架構(gòu)來說許多算法都是開源和可移植的。針對數(shù)據(jù)并行C/C++以及Fortran的GCC擴展已經(jīng)成為標準GNU編譯器集的一個組成部分。
圖1左:復(fù)雜模塊化多任務(wù)處理嵌入式軟件系統(tǒng)通常表現(xiàn)出“偶發(fā)”的并行特性。在使用時間共享的OS時,每個任務(wù)必須運行在獨立的處理器上。而在一個時間共享的單處理器上,每個任務(wù)將在不同時間片中輪流執(zhí)行。在一個采用了SMP OS的多處理器上,任務(wù)將在多個處理器上并行運行。
圖1右:在SMP OS中,所有處理器都能看到相同的存儲器、I/O器件和全局OS狀態(tài)。在使用時間片的單CPU上執(zhí)行多任務(wù)的一組程序可以在SMP系統(tǒng)的多個CPU上并行運行。
并行控制編程
并行控制編程將根據(jù)任務(wù)而不是輸入進行工作劃分。如果將100通道的并行數(shù)據(jù)算法比作汽車工廠內(nèi)100個工人各自在組裝一輛汽車,那么并行控制程序就可以比作有100個工作崗位的組裝線,每個崗位完成百分之一的工作。組裝線通常效率更高,但是組裝一輛汽車的工作可能只能進行這樣的分工。對于可以擴展到多達數(shù)千個處理器的科學(xué)計算程序而言,這個限制影響很大,但是對于一般的并行SoC架構(gòu)來說不是問題。
軟件工程師經(jīng)常將程序劃分成若干個階段以便于編碼、調(diào)試和維護,并減輕指令存儲器和緩存的壓力。通常,并行控制分解在OS可視任務(wù)層面就已經(jīng)完成。在類似Unix這樣的系統(tǒng)中,單指令“cc”順序地調(diào)用C語言預(yù)處理器、編譯器、匯編器和目標代碼連接器。其中幾個可以同時運行,每個后續(xù)程序使用前一個階段的輸出作為其輸入,并使用類似Unix這樣的OS內(nèi)的文件或軟件管線。
當(dāng)分解成獨立運行的任務(wù)還沒有完成的時候,需要某些軟件工程使應(yīng)用階段對OS和底層硬件可見,并且在任務(wù)之間明確地傳遞數(shù)據(jù)。但是不需要對部分階段算法進行重寫。粗粒度的任務(wù)分解可以通過文件、套接字或管線實現(xiàn)進程通信來完成。對于細粒度控制,許多OS支持Posix線程API、pthreads,包括Linux、微軟的Windows和多種實時操作系統(tǒng)。
復(fù)雜的模塊化多任務(wù)嵌入式軟件系統(tǒng)通常表現(xiàn)出偶然的并行特性。整個系統(tǒng)任務(wù)可能涉及到對應(yīng)不同輸入而具有不同功能的多個任務(wù)。當(dāng)沒有時間共享的OS時,每個任務(wù)必須運行在一個獨立的處理器上。而在一個時間共享的單處理器上,每個任務(wù)將在不斷輪換的時間片中運行。在一個采用SMP操作系統(tǒng)的多處理器上,每個任務(wù)可以在多個可用的處理器上并行運行。
分布式處理
分布式計算,特別是網(wǎng)絡(luò)客戶服務(wù)器模式很常見,以至于有時不被認為是“并行”的。客戶服務(wù)器編程基本上是一種控制流程分解的形式。程序任務(wù)并不是獨自執(zhí)行所有的計算,而是將工作請求發(fā)送到針對特定目標分配的專用系統(tǒng)任務(wù)。客戶服務(wù)器編程大多數(shù)在LAN和WAN中完成,但是SMP SoC遵循相同的范例。未作修改的客戶服務(wù)器二進制代碼可以通過片上或空環(huán)回網(wǎng)絡(luò)接口實現(xiàn)TCP/IP通信,或者利用本地通信協(xié)議在存儲器中傳遞數(shù)據(jù)緩沖器實現(xiàn)更有效的通信。
可以通過單獨使用或者組合使用這些技術(shù)來充分發(fā)揮SMP的處理器能力。有人甚至可能構(gòu)建一組采用并行數(shù)據(jù)計算的分布式SMP服務(wù)器,每個服務(wù)器實現(xiàn)一條控制流管線。
在有可能通過將任務(wù)靜態(tài)地物理分解到處理器上實現(xiàn)并行機制的SoC系統(tǒng)中,將并行任務(wù)分配到各個處理器可以由硬件實現(xiàn)。這樣做能減少軟件開銷和物理尺寸,但是缺乏靈活性。
如果一個嵌入式應(yīng)用可以靜態(tài)地分解到通過片上互聯(lián)通信的客戶機和服務(wù)器,那么整合整個系統(tǒng)所需要的唯一系統(tǒng)軟件就是實現(xiàn)一個公共協(xié)議的消息傳遞代碼。消息傳遞協(xié)議提供了一個抽象等級,它能幫助采用更多或更少處理器的配置運行最基本的應(yīng)用代碼,但是對于任何一個配置來說,在處理器之間的負載均衡與硬件分割一樣是靜態(tài)的。更靈活的并行系統(tǒng)編程可以由具有共享資源的多處理器系統(tǒng)之上的軟件任務(wù)分配實現(xiàn)。
在SMP操作系統(tǒng)中,所有的處理器面對的是相同的存儲器、I/O器件和全局OS狀態(tài),從而使得處理器之間的程序移植簡單而高效,負載均衡也非常容易。不需要額外的編程或系統(tǒng)管理,在使用時間片的單個CPU上執(zhí)行多任務(wù)的一組程序可以并行地運行在SMP系統(tǒng)的多個CPU上。像Linux中一樣,SMP調(diào)度器對程序的處理器資源占用進行切換。
作為多進程運行的Linux應(yīng)用程序不需要修改就可以利用SMP并行特性,而且通常不需要進行重新編譯。SMP Linux環(huán)境提供了很多工具,用于調(diào)整任務(wù)如何共享可用的處理器資源—提高/降低任務(wù)的優(yōu)先級,或者限制任務(wù)運行在任意的處理器子集上。適當(dāng)?shù)膬?nèi)核支持可以實現(xiàn)不同的實時調(diào)度機制。
類似于Unix的OS總是能為應(yīng)用程序提供針對相對任務(wù)調(diào)度優(yōu)先級的某種控制,即使在單處理器時間共享系統(tǒng)中。傳統(tǒng)的外部命令和系統(tǒng)調(diào)用在Linux系統(tǒng)中通過更加精心設(shè)計的機制得到了增強,可以控制任務(wù)優(yōu)先級、任務(wù)組或特定的系統(tǒng)用戶。而且,在多處理器配置中,每一個Linux任務(wù)都具有一個參數(shù),這個參數(shù)規(guī)定了那一組處理器可以調(diào)度該任務(wù)。默認參數(shù)是整個系統(tǒng)處理器組,但是這種CPU關(guān)系是可以控制的。
SMP范例要求所有處理器能訪問相同地址下的所有存儲器。對于低性能的處理器來說,這是通過將所有處理器的取指和加載/保存流放到公共的存儲和I/O總線上實現(xiàn)的。然而這種模式隨著處理器的增多將很快失去效用,因為總線成為了瓶頸。即使在單處理器系統(tǒng)中,高性能嵌入式內(nèi)核的指令和數(shù)據(jù)帶寬要求規(guī)定緩存必須在主存儲器和處理器之間使用。
每個處理器都有獨立緩存的系統(tǒng)不再必然是SMP。當(dāng)一個處理器的緩存保存了存儲器中最新位置值的唯一拷貝時,就是不對稱的了。必須增加緩存一致性協(xié)議才能恢復(fù)對稱性。
在所有處理器都連接到公共總線的簡單系統(tǒng)中,緩存控制器可以通過監(jiān)測總線來觀察哪一個緩存保存了最新的指定存儲器位置。在更先進的系統(tǒng)中,處理器是利用到交換結(jié)構(gòu)的點對點連接連接到存儲器的,因此緩存一致性需要更復(fù)雜的支持。一致性管理單元應(yīng)該對存儲器事務(wù)施加全局指令,并產(chǎn)生干涉信號來維護處理器內(nèi)核之間的緩存一致性。
像Linux這樣的SMP OS能夠自由地移植任務(wù),動態(tài)地均衡處理器負載。在嵌入式SoC中,很大部分的總體計算可以用中斷服務(wù)完成。好的負載均衡和性能調(diào)整需要對發(fā)生中斷服務(wù)的位置進行控制。Linux OS具有一個IRQ關(guān)系控制接口,該接口可以讓用戶和程序規(guī)定哪個處理器對某個指定中斷提供服務(wù)。
緩存一致性基礎(chǔ)架構(gòu)不僅在SMP用的處理器之間,而且在處理器和I/O DMA通道之間都非常管用。使用軟件時要求CPU在每個I/O DMA操作之前或之后對DMA緩存進行處理。這對I/O密集的應(yīng)用性能有很大的影響。使用I/O一致性硬件連接I/O DMA和存儲器可以對DMA流進行排序,并能與相關(guān)的加載/保存流程集成在一起,從而有效消除軟件開銷。
緩存一致性管理單元應(yīng)該對處理器、I/O和存儲器之間的存儲流進行排序。這樣做增加了處理器的存儲器訪問時間周期,可能導(dǎo)致管線暫停引起的處理器周期損失。然而,每個內(nèi)核使用的硬件多線程等技術(shù)允許單個內(nèi)核通過執(zhí)行并行的指令流來增加管線的效率。
每個內(nèi)核中的線程看起來就像是運行OS軟件的全能CPU,包括具有獨立的中斷輸入。線程共享相同的緩存和功能單元,并交叉執(zhí)行管線命令。如果一個線程暫停,另外一個可以執(zhí)行,這樣可以避免因為相關(guān)的存儲器子系統(tǒng)延遲而導(dǎo)致的處理周期丟失。管理多個內(nèi)核的相同SMP OS可以管理它們的相應(yīng)硬件線程。為利用SMP而編寫的軟件自然能利用多線程處理技術(shù),反之亦然。
兩個線程競爭一個管線取得的性能將比在獨立內(nèi)核上執(zhí)行兩個線程要低。應(yīng)該對SMP Linux內(nèi)核進行負載均衡優(yōu)化。為了優(yōu)化功耗,調(diào)度器每次可以將任務(wù)加載到一個內(nèi)核的虛擬處理器上,讓其他處理器處于低功耗狀態(tài)。為了優(yōu)化性能,可以將工作任務(wù)分配到若干個內(nèi)核上,然后加載每個內(nèi)核的多個線程,這樣所有的內(nèi)核都有一個活動的任務(wù)。可以利用片上多處理技術(shù)提高SoC性能。SMP平臺和軟件提供了一種靈活的高性能計算平臺,相對于單處理器可以大大地提高速度,而且很少甚至無需應(yīng)用代碼的修改。