江蘇電信攜手華為構(gòu)建首個(gè)鯤鵬運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)

 近日，江蘇電信順應(yīng)中國(guó)電信改革的步伐，攜手華為積極開(kāi)展鯤鵬計(jì)算平臺(tái)在運(yùn)營(yíng)商領(lǐng)域的商用驗(yàn)證和實(shí)踐宣布成功上線全球首個(gè)基于鯤鵬處理器的運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)。該平臺(tái)的成功上線開(kāi)創(chuàng)了鯤鵬處理器在運(yùn)營(yíng)商大數(shù)據(jù)領(lǐng)域的商用實(shí)踐先河，為江蘇電信的業(yè)務(wù)成長(zhǎng)提供了新的計(jì)算引擎。

技術(shù)創(chuàng)新敢為天下先，率先實(shí)現(xiàn)基于鯤鵬處理器的開(kāi)源大數(shù)據(jù)平臺(tái)混合部署

江蘇電信大數(shù)據(jù)平臺(tái)承載著江蘇電信所有生產(chǎn)系統(tǒng)的運(yùn)行數(shù)據(jù)、存儲(chǔ)及分析，是江蘇電信最核心的業(yè)務(wù)系統(tǒng)之一，對(duì)計(jì)算性能、并發(fā)處理能力、運(yùn)行穩(wěn)定性都有極高的要求。經(jīng)過(guò)多次方案論證和性能測(cè)試，江蘇電信最終選擇基于鯤鵬處理器的華為T(mén)aiShan服務(wù)器和開(kāi)源Hadoop軟件構(gòu)建大數(shù)據(jù)平臺(tái)。

圖1江蘇電信基于開(kāi)源Hadoop大數(shù)據(jù)平臺(tái)

此次項(xiàng)目中，江蘇電信攜手華為團(tuán)隊(duì)，完成基于鯤鵬處理器的開(kāi)源Hadoop源代碼編譯，重建RPM(軟件包)，并調(diào)優(yōu)Hadoop參數(shù)等工作，并實(shí)現(xiàn)Ambari、HDFS、YARN、Mapreduce、Tez等關(guān)鍵的大數(shù)據(jù)業(yè)務(wù)組件在華為T(mén)aiShan服務(wù)器上的成功部署和運(yùn)行。在集群部署的具體方案上，雙方在原有集群上實(shí)現(xiàn)了傳統(tǒng)架構(gòu)服務(wù)器和TaiShan服務(wù)器融合部署。

大數(shù)據(jù)平臺(tái)上線后穩(wěn)定運(yùn)行，根據(jù)實(shí)際測(cè)試數(shù)據(jù)顯示，相比傳統(tǒng)服務(wù)器，TaiShan服務(wù)器的大數(shù)據(jù)批量執(zhí)行能力顯著提升，完全滿足了運(yùn)營(yíng)商系統(tǒng)商用的性能和可靠性要求，證明基于鯤鵬處理器的TaiShan大數(shù)據(jù)方案在電信領(lǐng)域的大規(guī)模商用已經(jīng)成熟。

鯤鵬多核架構(gòu)，實(shí)現(xiàn)高性能的電信大數(shù)據(jù)平臺(tái)

華為T(mén)aiShan服務(wù)器所搭載的鯤鵬處理器具有高性能、高帶寬、高集成度、高效能四大特點(diǎn)，尤其是單芯片最高可提供的64核計(jì)算能力，完全匹配大數(shù)據(jù)計(jì)算場(chǎng)景下的高并發(fā)IO負(fù)載特征。

從具體性能方面來(lái)看，鯤鵬處理器計(jì)算效率提升2.5倍，網(wǎng)絡(luò)讀取性能提升4.75倍，網(wǎng)絡(luò)寫(xiě)入速率提升2倍。原有傳統(tǒng)服務(wù)器大數(shù)據(jù)集群整個(gè)業(yè)務(wù)過(guò)程耗時(shí)接近2小時(shí)，接入TaiShan服務(wù)器混合部署后，耗時(shí)減少至1h左右。

江蘇電信攜手華為，加速共建鯤鵬產(chǎn)業(yè)生態(tài)

本次項(xiàng)目工程結(jié)合江蘇電信大數(shù)據(jù)業(yè)務(wù)特點(diǎn)和未來(lái)演進(jìn)趨勢(shì)，充分發(fā)揮鯤鵬處理器的多核高效能優(yōu)勢(shì)，有效提高數(shù)據(jù)存儲(chǔ)、計(jì)算等資源的使用效率，為江蘇電信的市場(chǎng)營(yíng)銷、客戶服務(wù)、運(yùn)營(yíng)管理等業(yè)務(wù)提供更精確、多樣化的數(shù)據(jù)分析。

同時(shí)，實(shí)現(xiàn)了江蘇省市一體的數(shù)據(jù)共享方案，充分挖掘電信智能管道和海量數(shù)據(jù)資源的價(jià)值。江蘇電信和華為將在未來(lái)繼續(xù)緊密合作，運(yùn)營(yíng)商領(lǐng)域加速共建鯤鵬產(chǎn)業(yè)生態(tài)。