QNX環(huán)境下多線程編程
作者Email: zoutom@163.com
摘要:介紹了QNX實(shí)時(shí)操作系統(tǒng)和多線程編程技術(shù),包括線程間同步的方法、多線程程序的分析步驟、線程基本程序結(jié)構(gòu)以及實(shí)用編譯方法。
關(guān)鍵詞:QNX;多線程;同步;程序結(jié)構(gòu)
0引言:
QNX是由加拿大QNX軟件有限系統(tǒng)公司開(kāi)發(fā)的一種多任務(wù)、分布式、可嵌入的實(shí)時(shí)操作系統(tǒng)。它有著輕巧的微內(nèi)核,可以對(duì)進(jìn)程進(jìn)行全面的地址保護(hù),可剪裁,模塊化程度高,實(shí)時(shí)性強(qiáng),安全可靠。符合POSIX標(biāo)準(zhǔn)的API使它成為一個(gè)開(kāi)放式互聯(lián)系統(tǒng),便于與UNIX/LINUX系統(tǒng)的移植。QNX有著不同于UNIX或LINUX的模塊化設(shè)計(jì)思想,并不是UNIX或LINUX的一種演化,而是完全不同的一種全新的實(shí)時(shí)操作系統(tǒng)。由于其獨(dú)特的體系結(jié)構(gòu),QNX廣泛應(yīng)用于嵌入式系統(tǒng)、機(jī)器人工程、工業(yè)控制、航空航天等各個(gè)領(lǐng)域。
在QNX中,線程是一個(gè)單一的控制執(zhí)行流。從程序的最低層角度考慮,線程包括當(dāng)前指令位置指針(也稱為計(jì)數(shù)器或PC)、棧頂指針(SP)和一些寄存器,而進(jìn)程占據(jù)一定的內(nèi)存空間,是一個(gè)或多個(gè)線程的集合。在同一進(jìn)程中的線程共享許多資源,在QNX系統(tǒng)中共享的資源有:內(nèi)存中儲(chǔ)存在棧區(qū)以外的變量——即非局部變量;信號(hào)處理器;信號(hào)忽略屏蔽字;通道——建立于服務(wù)器端;連接——建立于客戶端,而在不同進(jìn)程中的線程除了CPU之外,幾乎不共享任何資源。當(dāng)然QNX提供了shm_open()函數(shù)來(lái)使不同進(jìn)程中的線程共享一段內(nèi)存。
在早期的QNX版本如QNX4中,對(duì)于線程的支持是比較弱的,在當(dāng)時(shí)的條件下,處理大型、復(fù)雜的并發(fā)多任務(wù)問(wèn)題時(shí),常常將問(wèn)題分解為多個(gè)進(jìn)程以降低問(wèn)題的復(fù)雜性。而且QNX提供了與UNIX類似的進(jìn)程間通訊IPC手段如消息、代理、信號(hào)燈等,功能也相對(duì)比較成熟、完善。1999年以后 QNX軟件公司推出了QNX/Neutrino實(shí)時(shí)操作系統(tǒng)的Neutrino2.0、Neutrino6.0增加了對(duì)于POSIX線程的支持,標(biāo)準(zhǔn)的API不但使它易于擴(kuò)展,而且也使得編寫多線程程序變得容易。由于線程具上下文較輕、切換較快、在創(chuàng)建多個(gè)線程時(shí)系統(tǒng)的開(kāi)銷比較小、通訊手段靈活多樣、共享資源豐富等優(yōu)點(diǎn),在處理大型并發(fā)多任務(wù)問(wèn)題時(shí)多線程有了明顯的優(yōu)勢(shì)。QNX是搶先式多任務(wù)系統(tǒng),這種系統(tǒng)決定了多個(gè)線程在訪問(wèn)共享資源時(shí)線程執(zhí)行的次序變得不可預(yù)期,所以線程間的同步就顯得極為重要。QNX提供了多種同步機(jī)制以保證多線程程序的安全、可靠。
1 QNX多線程庫(kù)函數(shù)簡(jiǎn)介
QNX與LINUX不同,沒(méi)有單獨(dú)的線程庫(kù),與線程有關(guān)的API是作為C語(yǔ)言庫(kù)函數(shù)的一部分使用的,頭文件是
THREAD.H>,同樣方便地提供線程的創(chuàng)建、終止和同步等功能。QNX不僅在C語(yǔ)言庫(kù)函數(shù)中提供了符合POSIX1003.1c標(biāo)準(zhǔn)的與線程相關(guān)的API,而且還提供了很多POSIX標(biāo)準(zhǔn)沒(méi)有的擴(kuò)展功能,使得多線程編程變得更加容易。
1.1線程的創(chuàng)建、取消和終止
1.11線程的創(chuàng)建
QNX通過(guò)pthread_create()函數(shù)創(chuàng)建線程,API定義如下:
int pthread_create( pthread t* thread, const pthread attr t* attr, void* (*start routine)(void* ), void* arg );
pthread_create()創(chuàng)建的線程執(zhí)行start routine() 函數(shù),thread返回創(chuàng)建的線程描述符,而attr是創(chuàng)建線程時(shí)設(shè)置的線程屬性,arg可以作為任意類型的參數(shù)傳給start routine()函數(shù)。QNX對(duì)創(chuàng)建線程前需要設(shè)置的線程屬性進(jìn)行了擴(kuò)展,增加了POSIX標(biāo)準(zhǔn)無(wú)法設(shè)置的屬性如:可以禁止一個(gè)線程的取消(終止操作);可以設(shè)置一個(gè)線程的取消類型;可以指定當(dāng)一個(gè)線程接到信號(hào)時(shí),它如何操作。
1.12 線程的取消
QNX通過(guò)調(diào)用int pthread_cancel(pthread_t thread)函數(shù)取消由thread指定的線程,如果成功則返回0,否則為非0,成功并不意味著thread會(huì)終止,要視取消的狀態(tài)和類型而定。QNX提供了設(shè)定取消狀態(tài)和類型的API pthread_setcancelstate()和pthread_setcanceltype(),取消的狀態(tài)有兩種:PTHREAD_CANCEL_ENABLE表示將線程設(shè)為取消狀態(tài),PTHREAD_CANCEL_DISABLE表示忽略取消狀態(tài);取消的類型也有兩種:
THREAD_CANCEL_DEFFERED表示執(zhí)行到取消點(diǎn)取消,PTHREAD_CANCEL_ASYCHRONOUS表示立即取消。
1.13 線程的終止
QNX中終止一個(gè)線程需要調(diào)用pthread exit(),其API定義:
void pthread exit( void* value ptr );
當(dāng)一個(gè)線程在執(zhí)行了start routine()函數(shù)后返回時(shí),系統(tǒng)自動(dòng)隱式調(diào)用pthread exit()使其退出,start routine()的返回值,作為線程的退出狀態(tài)。在一個(gè)線程中也可以顯式調(diào)用pthread exit()退出,對(duì)于單線程進(jìn)程而言,調(diào)用pthread exit()與調(diào)用exit(0)是等效的。
1.2 線程的常用控制函數(shù)
pthread_self()
API: pthread_t pthread_self(void);
說(shuō)明:返回線程描述符,pthread_create()返回值相同。
pthread_equal()
API: int pthread_equal(pthread_t t1,pthread_t t2);
說(shuō)明:t1,t2為線程描述符,可調(diào)用pthread_self()和pthread_create()得到。此函數(shù)功能為比較兩個(gè)線程的描述符,不管線程描述符是否合法。如果返回值為非零說(shuō)明兩個(gè)線程是同一線程,為零說(shuō)明兩個(gè)線程不是同一線程。
pthread_join()
API: int pthread_join(pthread_t thread, void** value_ptr);
說(shuō)明:thread 為等待終止的目標(biāo)線程,value_ptr為一指針,當(dāng)值不為NULL時(shí)指向一個(gè)內(nèi)存空間,這個(gè)空間用來(lái)存放目標(biāo)線程傳給pthread_exit()的數(shù)據(jù)。調(diào)用pthread_join()的線程將被掛起,直到目標(biāo)線程終止。一個(gè)線程僅允許唯一的線程使用pthread_join()等待它的終止,并且被等待的線程應(yīng)該處于非DETACHED狀態(tài)。QNX也提供了非POSIX的 pthread_timedjoin(),不同之處是線程在給定時(shí)間里沒(méi)有被join時(shí),此函數(shù)會(huì)返回一個(gè)錯(cuò)誤信息。
pthread_detach()
API: int pthread_detach(pthread_t thread);
說(shuō)明:此函數(shù)功能是將一給定線程thread分離,當(dāng)一個(gè)出于分離狀態(tài)的線程終止時(shí),線程擁有的所有系統(tǒng)資源將被立即釋放。
2 QNX線程的互斥和同步機(jī)制
線程間的互斥操作是指對(duì)于特定的一段代碼或一個(gè)變量,在程序運(yùn)行時(shí)只能有一個(gè)線程對(duì)其進(jìn)行操作,其他線程不能同時(shí)進(jìn)入代碼或修改變量。線程間的同步操作是指若干個(gè)線程都等待某個(gè)事件的發(fā)生,當(dāng)這個(gè)事件發(fā)生時(shí),所有的線程同時(shí)進(jìn)行下一步工作。為了防止競(jìng)爭(zhēng)條件和數(shù)據(jù)被破壞的情況發(fā)生,QNX提供了多種互斥和同步機(jī)制,包括互斥體、條件變量、信號(hào)燈、屏障、讀/寫鎖、sleepon鎖等,其中最主要的是互斥體和條件變量,其余的同步機(jī)制都是由他們組合而成的,當(dāng)然你也可以根據(jù)自己的要求構(gòu)建自己的同步機(jī)制。
互斥體——QNX使用了互斥體來(lái)實(shí)現(xiàn)互斥操作,在初始化互斥體后,將給定的代碼或變量的前后進(jìn)行加鎖、解鎖操作,線程在訪問(wèn)之前要先得到互斥體,這樣就可以保證只有一個(gè)線程能訪問(wèn)到代碼或變量,而其余的線程會(huì)處于阻塞狀態(tài)直到互斥體被釋放。這種機(jī)制保證了線程對(duì)資源訪問(wèn)的互斥性,達(dá)到了對(duì)代碼或變量的保護(hù)。
條件變量——QNX的條件變量用來(lái)同步線程,所有線程都會(huì)等待一個(gè)條件變量可用,當(dāng)條件滿足時(shí),一個(gè)線程發(fā)出廣播或信號(hào)來(lái)同步所有的線程或某一線程。為了防止多個(gè)線程同時(shí)申請(qǐng)等待而產(chǎn)生競(jìng)爭(zhēng),條件變量通常要與互斥體聯(lián)合使用。
信號(hào)燈——QNX信號(hào)燈也是一種符合POSIX標(biāo)準(zhǔn)的的同步機(jī)制,它是由互斥體和條件變量結(jié)合一些數(shù)據(jù)構(gòu)造而成的,QNX系統(tǒng)將其封裝在C語(yǔ)言庫(kù)函數(shù)中,頭文件是
屏障——POSIX 1003.1j提議的內(nèi)容,主要由互斥體、條件變量和計(jì)數(shù)器構(gòu)造而成。作用是停止某些線程,當(dāng)所要求的線程數(shù)量到達(dá)屏障時(shí),所有的線程被允許繼續(xù)運(yùn)行。屏障通常被用來(lái)確保某些并行算法中的所有合作線程在任何線程可以繼續(xù)運(yùn)行以前到達(dá)算法中的一個(gè)特定點(diǎn)。
讀/寫鎖——POSIX 1003.1j提議的內(nèi)容,主要由一個(gè)互斥體和兩個(gè)條件變量構(gòu)造,兩個(gè)條件變量分別控制讀寫操作。讀/寫鎖允許多個(gè)線程同時(shí)讀數(shù)據(jù),但是禁止任何線程修改正在被其他線程讀或修改的數(shù)據(jù),也可以讓一個(gè)線程獨(dú)占寫訪問(wèn),但此時(shí)任何讀訪問(wèn)的線程都不能繼續(xù),直到讀/寫鎖被釋放,所以讀/寫鎖被用來(lái)保護(hù)經(jīng)常需要讀但是通常不需要修改的信息。
Sleepon鎖——QNX6所獨(dú)有的一種同步機(jī)制,由一個(gè)互斥體和一些數(shù)據(jù)構(gòu)造而成,與條件變量相似但是用法比較簡(jiǎn)單。它與條件變量的不同在于當(dāng)有N個(gè)線程阻塞在M個(gè)對(duì)象的時(shí)候,如果用條件變量來(lái)同步時(shí)需要用到M個(gè)條件變量,而sleepon鎖為每個(gè)線程自動(dòng)分配條件變量,只需要N個(gè)條件變量,使用合適可以節(jié)約系統(tǒng)資源。
3 多線程程序的設(shè)計(jì)分析與基本結(jié)構(gòu)
3.1多線程程序的設(shè)計(jì)分析
1)確定完成任務(wù)所需的最少線程個(gè)數(shù)。
多余的線程只會(huì)使程序的復(fù)雜性增加,出錯(cuò)的可能性也隨之增加。設(shè)計(jì)程序時(shí)要遵循簡(jiǎn)單、高效、安全的原則,如果用單線程能夠很好的完成任務(wù),那么一定不要用多線程。
2)分析多線程需要共享的數(shù)據(jù)。
在多線程程序中常常需要共享一些數(shù)據(jù),通常是一些全局變量,如果數(shù)據(jù)量很大可能需要開(kāi)辟共享內(nèi)存區(qū)。
3) 根據(jù)共享數(shù)據(jù)的特點(diǎn)選擇需要的保護(hù)機(jī)制。
多個(gè)線程需要寫操作的變量可以用互斥體保護(hù),經(jīng)常需要讀操作而很少進(jìn)行寫操作的可以用讀/寫鎖保護(hù)等。
4) 分析工作線程需要訪問(wèn)資源。
工作線程可能需要訪問(wèn)硬件,等待硬件響應(yīng)、可能需要訪問(wèn)某一數(shù)據(jù)庫(kù)、也可能不訪問(wèn)任何資源只是進(jìn)行一些計(jì)算等等。這時(shí)需要考慮相應(yīng)的同步機(jī)制,可以用條件變量結(jié)合互斥體,也可以用更為簡(jiǎn)單的sleepon鎖。
5)進(jìn)行線程的清理工作。
線程完成工作后可能會(huì)自動(dòng)退出,也可能會(huì)阻塞在某處,甚至工作線程還沒(méi)完成工作的時(shí)候主線程已經(jīng)退出,造成整個(gè)進(jìn)程的結(jié)束,使程序失敗。有多種方法可以完成線程的清理工作,可以讓主線程調(diào)用pthread_join()函數(shù)清理工作線程,可以用屏障同步機(jī)制清理,也可以用條件變量來(lái)完成清理工作。
3.2多線程程序的基本結(jié)構(gòu)
多線程編程的結(jié)構(gòu)有很多種,但基本的編程結(jié)構(gòu)總結(jié)起來(lái)有三種:流水線結(jié)構(gòu)、工作組結(jié)構(gòu)、客戶端/服務(wù)器結(jié)構(gòu)。這三種結(jié)構(gòu)可以以任意方式組合,來(lái)滿足實(shí)際工程的需求。
1) 流水線結(jié)構(gòu)
在流水線結(jié)構(gòu)中,需要處理的“數(shù)據(jù)”串行地被一組線程順序處理,每個(gè)線程依次在每個(gè)數(shù)據(jù)元素上執(zhí)行一個(gè)特定的操作,完成操作后將結(jié)果傳遞給流水線中的下一個(gè)線程。如圖1所示。
2) 工作組結(jié)構(gòu)
在工作組結(jié)構(gòu)中,數(shù)據(jù)有一組線程分別獨(dú)立地處理,每個(gè)線程處理不同的部分。由于所有的工作線程在不同的數(shù)據(jù)部分上執(zhí)行相同的操作,這種模式通常被稱為SIMD(單指令多數(shù)據(jù)流)并行處理。但是工作組中的線程可以不使用SIMD模型,他們可以在不同的數(shù)據(jù)上執(zhí)行不同的操作。工作組結(jié)構(gòu)是多線程程序應(yīng)用較多的一種結(jié)構(gòu)。如圖2所示
圖2 工作組結(jié)構(gòu)
3) 客戶端/服務(wù)器結(jié)構(gòu)
在客戶/服務(wù)器結(jié)構(gòu)中,客戶請(qǐng)求服務(wù)器對(duì)一組數(shù)據(jù)執(zhí)行某個(gè)操作??蛻舳霜?dú)立地執(zhí)行操作,而客戶端或者等待服務(wù)器執(zhí)行的結(jié)果,或者并行執(zhí)行另外的任務(wù),在后面需要時(shí)在查找結(jié)果。這種結(jié)構(gòu)又是一種對(duì)某些公共資源同步管理的簡(jiǎn)單方式。如圖3
4 QNX Neutrino內(nèi)核對(duì)于線程功能的擴(kuò)展
具有Neutrino內(nèi)核的QNX6操作系統(tǒng)對(duì)線程的功能進(jìn)行了擴(kuò)展,提供了一些POSIX標(biāo)準(zhǔn)沒(méi)有提供的功能。
1)POSIX標(biāo)準(zhǔn)規(guī)定使用互斥體的線程必須在同一進(jìn)程內(nèi),作為擴(kuò)展QNX支持在不同進(jìn)程中的線程使用互斥體。如果在兩個(gè)進(jìn)程間創(chuàng)建一塊共享內(nèi)存,并在內(nèi)存中初始化一個(gè)互斥體,那么兩個(gè)進(jìn)程之間的線程可以用這個(gè)互斥體來(lái)進(jìn)行同步操作,這是POSIX做不到的。
2) QNX操作系統(tǒng)還提出了一種獨(dú)特的“線程池”概念。當(dāng)程序需要很多線程同時(shí)工作時(shí),利用“線程池”可以將線程的個(gè)數(shù)限定在一定的范圍內(nèi)?!案咚弧?、“低水位”的概念分別對(duì)應(yīng)著程序中的最大線程數(shù)和最小線程數(shù)。當(dāng)程序中線程數(shù)目小于“低水位”時(shí),“線程池”會(huì)自動(dòng)創(chuàng)建新的線程進(jìn)行工作,當(dāng)線程數(shù)目大于“高水位”時(shí),“線程池”會(huì)“清除”多于的線程,以防止溢出。這樣程序?qū)⑹冀K保持著一定數(shù)量的線程在工作,“線程池”特別適用客戶端/服務(wù)器結(jié)構(gòu),可以很好地保護(hù)服務(wù)器的資源。QNX提供了專門的程序庫(kù)來(lái)管理“線程池”頭文件是
5 QNX系統(tǒng)下實(shí)用編譯方法
筆者編制了QNX環(huán)境下的通用Makefile,用于編譯多線程程序,當(dāng)然也適用于單線程程序的編譯,而這個(gè)Makefile稍加改動(dòng)便可以用于LINUX/UNIX系統(tǒng)中,筆者在RedHat Linux7下試驗(yàn)通過(guò)。用法,首先將此Makefile 和所要編譯的c/c++程序(支持多個(gè)c/c++程序)/頭文件放置于一個(gè)目錄中,在終端上鍵入make,此Makefile將自動(dòng)把所有相關(guān)源代碼連接編譯成名為go的可執(zhí)行文件,要運(yùn)行編譯好的程序,只需在終端上鍵入./go便可。在終端上鍵入make clean將把所有的編譯產(chǎn)生的臨時(shí)文件刪除,只留下原始文件和make文件,在終端上鍵入make depend將檢查文件的依賴性,源代碼如下:
EXECUTABLE=go
LINKCC=$(CC)
#如果用于LINUX/UNIX系統(tǒng),要求安裝可移植線程庫(kù),并裝入下列函數(shù)庫(kù)
#LIBS=-lm –lpthread -lsocket
#如果用于QNX系統(tǒng)裝入下面的函數(shù)庫(kù)
LIBS=-lm –lsocket
#如果編譯c++程序?qū)⑾旅鎔cc改為g++
CC=gcc
CFLAGS=-Wall -g
CXX=g++
CXXFLAGS=$(CFLAGS)
SRCS:=$(wildcard *.c) $(wildcard *.cc) $(wildcard *.C)
OBJS:=$(patsubst %.c,%.o,$(wildcard *.c))
$(patsubst %.cc,%.o,$(wildcard *.cc))
$(patsubst %.C,%.o,$(wildcard *.C))
DEPS:=$(patsubst %.o,%.d,$(OBJS))
all:$(EXECUTABLE)
$(EXECUTABLE):$(DEPS) $(OBJS)
$(LINKCC) $(LDFLAGS) -o $(EXECUTABLE) $(OBJS) $(LIBS)
%.d:%.c
$(CC) -M $(CPPFLAGS) $< >$@
$(CC) -M $(CPPFLAGS) $< |sed s/.o/.d/>$@
%.d:%.cc
$(CXX) -M $(CPPFLAGS) $< >$@
$(CXX) -M $(CPPFLAGS) $< |sed s/.o/.d/>$@
%.d:%.C
$(CXX) -M $(CPPFLAGS) $< >$@
$(CXX) -M $(CPPFLAGS) $< |sed s/.o/.d/>$@
clean:
-rm $(OBJS) $(EXECUTABLE) $(DEPS)
# -rm ./*.* 如果有一些臨時(shí)的記錄文件無(wú)法自動(dòng)去掉加在這里
depend: $(DEPS)
@echo "Dependencies are now up-to-date."
6 總結(jié)
QNX實(shí)時(shí)操作系統(tǒng)的實(shí)時(shí)性很好,上下文切換時(shí)間、中斷延時(shí)都非常微小,本身提供了對(duì)于多線程技術(shù)的強(qiáng)大支持,如果在QNX下使用多線程編程技術(shù)來(lái)解決大型并發(fā)多任務(wù)系統(tǒng)的控制調(diào)度,其優(yōu)勢(shì)是很大的,前景也是很廣闊的。