基于云計算的大學(xué)資源計劃(URP)研究
引言
URP大學(xué)資源計劃(UniversityResourcePlan-ning)的設(shè)計思想來源于企業(yè)ERP系統(tǒng)設(shè)計思想,它主要通過建立統(tǒng)一的信息平臺與接口標(biāo)準(zhǔn)來實(shí)現(xiàn)各個應(yīng)用系統(tǒng)的集成,其信息服務(wù)以一種松散耦合方式出現(xiàn)。計劃中的各個應(yīng)用系統(tǒng)都擁有自己的獨(dú)立數(shù)據(jù)庫與數(shù)據(jù)結(jié)構(gòu),可通過接口程序與信息平臺對接為客戶端用戶提供所需的信息服務(wù),因此對于校園網(wǎng)用戶來說,他們只需要登錄URP的信息平臺獲得一個唯一的ID號碼,就能調(diào)用對應(yīng)第三方應(yīng)用系統(tǒng)中所需的功能。例如:學(xué)生登錄平臺后可調(diào)用教務(wù)系統(tǒng)的個人學(xué)習(xí)成績和進(jìn)行校園上網(wǎng)費(fèi)用充值操作。而在各個應(yīng)用系統(tǒng)間,從物理到邏輯上,它們彼此可能是相對孤立的,只是通過URP登錄平臺集成給客戶端用戶。這種方式雖然具有很強(qiáng)的靈活性(注:允許URP系統(tǒng)根據(jù)自身需求增加第三方應(yīng)用系統(tǒng)獲得功能),但是無法控制整個系統(tǒng)的運(yùn)行效果,例如天津城市建設(shè)學(xué)院URP教務(wù)系統(tǒng)在選課周開始時,總是因?yàn)樵L問量巨大而造成選課服務(wù)器癱瘓,雖然用戶能夠訪問URP平臺下其他應(yīng)用服務(wù),但平臺卻無法對系統(tǒng)癱瘓功能進(jìn)行恢復(fù)和監(jiān)控。面對這樣的系統(tǒng)缺陷,本文利用云計算技術(shù)特點(diǎn)設(shè)計了一套URP平臺管理機(jī)制來解決這一問題。
1 URP平臺管理機(jī)制工作原理
URP作為校園信息平臺,承接著多個第三方應(yīng)用軟件系統(tǒng)集成的任務(wù),客戶端用戶需要通過Web頁面登錄獲得ID號來進(jìn)入平臺操作,因此,URP平臺能夠掌握所有用戶的使用信息。URP平臺管理機(jī)制將以這些用戶使用信息和應(yīng)用系統(tǒng)間的通信流量作為系統(tǒng)管理基本數(shù)據(jù),通過分析數(shù)據(jù)獲得用戶訪問系統(tǒng)的實(shí)時狀態(tài),從而判斷當(dāng)前系統(tǒng)當(dāng)前各應(yīng)用系統(tǒng)間的使用狀況。之后,平臺管理機(jī)制根據(jù)分析結(jié)果制定相應(yīng)的策略來平衡系統(tǒng)狀態(tài),以保證工作效率。
為實(shí)現(xiàn)URP平臺管理機(jī)制,在硬件上,系統(tǒng)底層應(yīng)用hadoop分布式文件存儲技術(shù)和虛擬化平臺VmwarevSphere4會將全部應(yīng)用系統(tǒng)置于虛擬平臺之上,并把大文件及數(shù)據(jù)庫資源投放到hadoop分布式文件系統(tǒng)中,以便系統(tǒng)應(yīng)用程序從其中調(diào)用、運(yùn)行和存儲數(shù)據(jù)。而由于VmwarevSphere4本身所具有的虛擬化動態(tài)分配網(wǎng)絡(luò)硬件資源功能,這樣建立在其上的整個URP平臺的軟件系統(tǒng)就能夠根據(jù)需求從云系統(tǒng)中獲得足夠的硬件計算資源。例如:當(dāng)教務(wù)網(wǎng)站訪問量增大時,可通過虛擬平臺復(fù)制多個鏡像網(wǎng)站并通過負(fù)載均衡方式同時為用戶服務(wù),當(dāng)用戶數(shù)量減退時,則可將不需要的鏡像網(wǎng)站關(guān)閉,以將節(jié)省的硬件資源讓給其他應(yīng)用系統(tǒng)。
在軟件上,系統(tǒng)將為URP平臺設(shè)立系統(tǒng)監(jiān)控中心功能,該功能主要對登陸平臺的ID行為進(jìn)行記錄和統(tǒng)計,并對平臺內(nèi)各應(yīng)用系統(tǒng)間的網(wǎng)絡(luò)數(shù)據(jù)傳輸量進(jìn)行統(tǒng)計,同時依據(jù)分析結(jié)果顯示給URP平臺管理人員,由管理人員依據(jù)系統(tǒng)使用狀況在云計算平臺上合理調(diào)配資源。例如:通過監(jiān)控發(fā)現(xiàn)大量ID在同一時段內(nèi)訪問URP平臺公告欄某條新聞而網(wǎng)絡(luò)數(shù)據(jù)傳輸流量顯示的傳輸量并不大時,管理員就可認(rèn)為提供公告欄服務(wù)的服務(wù)器無需增加硬件支持。反之,當(dāng)大量ID同時下載某一文件,而流量監(jiān)控顯示網(wǎng)絡(luò)數(shù)據(jù)量接近傳輸極限時,就需要對硬件資源進(jìn)行調(diào)配以滿足用戶需求。
圖1所示是云計算URP平臺的結(jié)構(gòu)圖?;谠破脚_的URP系統(tǒng)結(jié)構(gòu)在其底層以虛擬化和分布式存儲系統(tǒng)作為系統(tǒng)運(yùn)行基礎(chǔ)(例如:VMwarevShere4系統(tǒng)集群和Hadoop存儲集群)來在虛擬化平臺上建立多個功能系統(tǒng)運(yùn)行環(huán)境(例如:郵件服務(wù)器運(yùn)行環(huán)境、一卡通系統(tǒng)運(yùn)行環(huán)境、數(shù)據(jù)庫系統(tǒng)運(yùn)行環(huán)境、URP平臺運(yùn)行環(huán)境等);網(wǎng)絡(luò)基本服務(wù)層同時包括向各應(yīng)用系統(tǒng)數(shù)據(jù)庫提供的Hadoop存儲功能;URP平臺底層系統(tǒng)層中有采用Web2.0技術(shù)建立的門戶網(wǎng)站并通過中間件接口技術(shù)提供給第三方軟件系統(tǒng),模塊化設(shè)計URP平臺應(yīng)用功能和監(jiān)控功能可保證系統(tǒng)的可擴(kuò)容性;應(yīng)用支撐系統(tǒng)層上的各功能系統(tǒng)相對可獨(dú)立運(yùn)行,并可通過URP平臺底層系統(tǒng)層建立松散耦合關(guān)系,例如:一個用戶ID可不需輸入個人信息同時登陸多個應(yīng)用系統(tǒng),而每個應(yīng)用系統(tǒng)也都有相對獨(dú)立的數(shù)據(jù)庫。
2 URP平臺管理機(jī)制流程
圖2所示是一種URP平臺的管理機(jī)制流程。該流程中,用戶首先通過ID號登錄URP平臺,通過平臺獲得所需的功能服務(wù),同時URP平臺的監(jiān)控中心對登錄平臺的ID號進(jìn)行響應(yīng),并開始記錄ID在平臺內(nèi)的操作(即訪問路徑),然后統(tǒng)計實(shí)時的平臺訪問狀況。同時在系統(tǒng)傳輸層面上通過嵌入式的流量監(jiān)控軟件檢測云計算平臺上數(shù)據(jù)的傳輸狀況,從而使管理員對系統(tǒng)內(nèi)部網(wǎng)絡(luò)狀況有一個直觀的了解,例如將訪問教務(wù)處網(wǎng)站ID數(shù)量和訪問VOD系統(tǒng)的ID訪問流量狀況顯示在管理員管理終端。
依據(jù)軟件監(jiān)控與流量監(jiān)控的結(jié)果,系統(tǒng)管理員可根據(jù)實(shí)際情況進(jìn)行調(diào)配來滿足系統(tǒng)硬件需求。例如:當(dāng)學(xué)生開學(xué)進(jìn)行課程選修時,大量的ID將訪問教務(wù)處網(wǎng)站選課系統(tǒng),這樣,為了保證選課程序的正常運(yùn)行,管理員可根據(jù)統(tǒng)計結(jié)果并利用虛擬化平臺來調(diào)整選課系統(tǒng)的前臺應(yīng)用服務(wù)器數(shù)量,實(shí)現(xiàn)系統(tǒng)復(fù)制與遷移,以保證選課系統(tǒng)網(wǎng)站對訪問線程的承載能力,同時,也可通過流量監(jiān)控軟件對整個系統(tǒng)的流量進(jìn)行調(diào)整,以將暫時閑置的硬件資源通過虛擬化平臺調(diào)整給選課系統(tǒng)。當(dāng)遇到VOD系統(tǒng)大量訪問時,還可以根據(jù)流量監(jiān)控軟件提供的情況適當(dāng)對VOD點(diǎn)播服務(wù)器的硬件資源進(jìn)行擴(kuò)容(包括增加CPU數(shù)量、內(nèi)存數(shù)量等手段)來保證系統(tǒng)承載能力,并對單個ID訪問流量進(jìn)行限制。
3 URP系統(tǒng)工作實(shí)驗(yàn)結(jié)果
本項(xiàng)目的實(shí)驗(yàn)背景是天津城市建設(shè)學(xué)院基于云平臺的URP系統(tǒng)平臺VOD功能模塊;注冊用戶7000人。實(shí)驗(yàn)條件如下:
(1) 硬件環(huán)境:URP系統(tǒng)平臺硬件采用18臺64位IBMX336志強(qiáng)3.6雙CPU、8GDDR內(nèi)存服務(wù)器和2臺存儲陣列;
(2) 軟件環(huán)境:URP系統(tǒng)平臺的VOD功能模塊由8臺點(diǎn)播服務(wù)器系統(tǒng)、1臺Web程序服務(wù)器系統(tǒng)、1臺數(shù)據(jù)庫服務(wù)器系統(tǒng)與一臺存儲服務(wù)器系統(tǒng)組成一個分布式系統(tǒng),這些邏輯服務(wù)器系統(tǒng)均建立在VMware虛擬化服務(wù)器集群上。在URP系統(tǒng)平臺后臺,還開發(fā)了用于針對網(wǎng)絡(luò)傳輸監(jiān)控的基線管理軟件,以便針對硬件服務(wù)器間的網(wǎng)絡(luò)交換機(jī)端口實(shí)施流量監(jiān)控;同時也開發(fā)了會員訪問監(jiān)控功能,可記錄每一個用戶在平臺內(nèi)訪問的路徑信息。
實(shí)驗(yàn)時,通過監(jiān)控中心獲得已知在線人數(shù)2000人,其中1300個用戶ID集中訪問虛擬電影點(diǎn)播服務(wù)器;電影點(diǎn)播服務(wù)器出口流量達(dá)到理論千兆帶寬的40%,服務(wù)器的CPU使用率達(dá)到70%;其中500個ID獲得了點(diǎn)播服務(wù)器的數(shù)據(jù)流量,而剩余的用戶處于排隊狀態(tài),此時其他點(diǎn)播服務(wù)器基本處于閑置狀態(tài)。管理員根據(jù)此情況對云平臺上的服務(wù)器硬件資源進(jìn)行了重新調(diào)配,將閑置的硬件資源重新劃分,并對其他點(diǎn)播服務(wù)器的CPU與內(nèi)存資源進(jìn)行了壓縮(例如:將原先由2顆CPU和8G內(nèi)存組成的點(diǎn)播服務(wù)器硬件資源進(jìn)行重新劃分,變成1顆CPU和4G內(nèi)存的點(diǎn)播服務(wù)器),剩余資源做成2臺虛擬電影點(diǎn)播服務(wù)器的鏡像和2臺虛擬的Hadoop虛擬存儲節(jié)點(diǎn)namecode,并通過URP平臺管理監(jiān)控中心對用戶ID進(jìn)行授權(quán)訪問,以限制單臺虛擬服務(wù)器數(shù)量,同時對每個用戶的ID訪問進(jìn)行限定,以保證其40Kb/s流量。最終,3臺虛擬電影點(diǎn)播服務(wù)器同時工作,其并發(fā)帶寬達(dá)到了2.5MB/s,CPU使用率平均在50%左右。實(shí)驗(yàn)結(jié)果是客戶端用戶的視頻圖像可以實(shí)現(xiàn)流暢播放。
4 結(jié)語
雖然與傳統(tǒng)的ERP系統(tǒng)相比,URP系統(tǒng)平臺對第三方應(yīng)用軟件的兼容性更好、部署更加靈活,但是,在系統(tǒng)資源分配上并沒有出現(xiàn)實(shí)質(zhì)的突破,依舊不能充分發(fā)揮系統(tǒng)最大功效。本文通過基于云計算技術(shù)的管理機(jī)制來對URP系統(tǒng)的工作效率進(jìn)行合理的調(diào)配,提出了解決硬件系統(tǒng)與軟件系統(tǒng)結(jié)合時資源浪費(fèi)的方法,充分發(fā)揮了整個系統(tǒng)功效,從而在性能上使得URP系統(tǒng)相比與ERP系統(tǒng)得到了提升。這種方法即滿足了信息服務(wù)以一種松散的耦合方式出現(xiàn),又能使硬件資源得到整合。實(shí)際實(shí)驗(yàn)證明,這種管理機(jī)制是完全可行的。