江蘇電信攜手華為構建首個鯤鵬運營商大數(shù)據(jù)平臺

 近日，江蘇電信順應中國電信改革的步伐，攜手華為積極開展鯤鵬計算平臺在運營商領域的商用驗證和實踐宣布成功上線全球首個基于鯤鵬處理器的運營商大數(shù)據(jù)平臺。該平臺的成功上線開創(chuàng)了鯤鵬處理器在運營商大數(shù)據(jù)領域的商用實踐先河，為江蘇電信的業(yè)務成長提供了新的計算引擎。

技術創(chuàng)新敢為天下先，率先實現(xiàn)基于鯤鵬處理器的開源大數(shù)據(jù)平臺混合部署

江蘇電信大數(shù)據(jù)平臺承載著江蘇電信所有生產(chǎn)系統(tǒng)的運行數(shù)據(jù)、存儲及分析，是江蘇電信最核心的業(yè)務系統(tǒng)之一，對計算性能、并發(fā)處理能力、運行穩(wěn)定性都有極高的要求。經(jīng)過多次方案論證和性能測試，江蘇電信最終選擇基于鯤鵬處理器的華為TaiShan服務器和開源Hadoop軟件構建大數(shù)據(jù)平臺。

圖1江蘇電信基于開源Hadoop大數(shù)據(jù)平臺

此次項目中，江蘇電信攜手華為團隊，完成基于鯤鵬處理器的開源Hadoop源代碼編譯，重建RPM(軟件包)，并調(diào)優(yōu)Hadoop參數(shù)等工作，并實現(xiàn)Ambari、HDFS、YARN、Mapreduce、Tez等關鍵的大數(shù)據(jù)業(yè)務組件在華為TaiShan服務器上的成功部署和運行。在集群部署的具體方案上，雙方在原有集群上實現(xiàn)了傳統(tǒng)架構服務器和TaiShan服務器融合部署。

大數(shù)據(jù)平臺上線后穩(wěn)定運行，根據(jù)實際測試數(shù)據(jù)顯示，相比傳統(tǒng)服務器，TaiShan服務器的大數(shù)據(jù)批量執(zhí)行能力顯著提升，完全滿足了運營商系統(tǒng)商用的性能和可靠性要求，證明基于鯤鵬處理器的TaiShan大數(shù)據(jù)方案在電信領域的大規(guī)模商用已經(jīng)成熟。

鯤鵬多核架構，實現(xiàn)高性能的電信大數(shù)據(jù)平臺

華為TaiShan服務器所搭載的鯤鵬處理器具有高性能、高帶寬、高集成度、高效能四大特點，尤其是單芯片最高可提供的64核計算能力，完全匹配大數(shù)據(jù)計算場景下的高并發(fā)IO負載特征。

從具體性能方面來看，鯤鵬處理器計算效率提升2.5倍，網(wǎng)絡讀取性能提升4.75倍，網(wǎng)絡寫入速率提升2倍。原有傳統(tǒng)服務器大數(shù)據(jù)集群整個業(yè)務過程耗時接近2小時，接入TaiShan服務器混合部署后，耗時減少至1h左右。

江蘇電信攜手華為，加速共建鯤鵬產(chǎn)業(yè)生態(tài)

本次項目工程結合江蘇電信大數(shù)據(jù)業(yè)務特點和未來演進趨勢，充分發(fā)揮鯤鵬處理器的多核高效能優(yōu)勢，有效提高數(shù)據(jù)存儲、計算等資源的使用效率，為江蘇電信的市場營銷、客戶服務、運營管理等業(yè)務提供更精確、多樣化的數(shù)據(jù)分析。

同時，實現(xiàn)了江蘇省市一體的數(shù)據(jù)共享方案，充分挖掘電信智能管道和海量數(shù)據(jù)資源的價值。江蘇電信和華為將在未來繼續(xù)緊密合作，運營商領域加速共建鯤鵬產(chǎn)業(yè)生態(tài)。