飛天大數(shù)據(jù)計算平臺:一個十年前就啟動的核心技術(shù)長征
7月25日,在阿里云峰會上海站上,阿里云飛天大數(shù)據(jù)平臺正式亮相。據(jù)悉,這是中國唯一自主研發(fā)的計算引擎,也是全球集群規(guī)模最大的計算平臺。
數(shù)據(jù)顯示,飛天大數(shù)據(jù)平臺目前已經(jīng)可以擴(kuò)展至10萬臺計算集群,規(guī)模全球第一,同時單日數(shù)據(jù)處理量從2015年100PB、2016年180PB、2017年320PB,一直到2018年超過600PB,僅用三年時間便提升了5倍。
在民生服務(wù)領(lǐng)域,阿里云飛天大數(shù)據(jù)平臺已經(jīng)在悄然支撐便捷的電子化服務(wù),在“最多跑一次”、城市大腦等場景中,協(xié)助政府優(yōu)化服務(wù)模式,實(shí)現(xiàn)更智能便捷的服務(wù)能力,保障信息安全。
原來需要跑5個窗口、耗時2天才能拿到的新生兒出生證,現(xiàn)在只需在手機(jī)上動動手指、填9項信息,就能辦好;原來看一次病,需要排隊付幾次費(fèi),現(xiàn)在可以看完回家再付錢……這樣的場景正在越來越多的城市變?yōu)楝F(xiàn)實(shí),背后都是飛天大數(shù)據(jù)平臺的支撐。
比如在浙江,飛天大數(shù)據(jù)平臺與“最多跑一次”打通了與老百姓辦事最密切相關(guān)的100個事項、70多億條數(shù)據(jù),有些政務(wù)老百姓甚至有可能一次都不需要跑。
尤其在杭州,城市大腦已經(jīng)可以實(shí)時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年,杭州在全國最擁堵城市排行榜上下跌了52名。
據(jù)了解,阿里云飛天大數(shù)據(jù)平臺的研發(fā)源自阿里的自身實(shí)踐。
十年前,新興互聯(lián)網(wǎng)業(yè)態(tài)蓬勃發(fā)展,中小企業(yè)在阿里電商平臺上爆發(fā)式增長,形成了海量數(shù)據(jù),直接擊垮傳統(tǒng)IT架構(gòu)。
對此,大部分企業(yè)都是直接使用國際開源的數(shù)據(jù)計算框架Hadoop,而當(dāng)時全球企業(yè)的數(shù)據(jù)庫基本都是Oracle,阿里也擁有亞洲最大的Oracle集群,計算規(guī)模達(dá)數(shù)百TB級別,但是經(jīng)過激烈爭論后,阿里選擇探索自己的平臺。
就在當(dāng)時,Google、亞馬遜AWS、微軟等硅谷巨頭,也都紛紛投入了大數(shù)據(jù)技術(shù)的研發(fā)。
早在2012年初,阿里巴巴技術(shù)委員會主席王堅就表示:“從戰(zhàn)略上來說,阿里云想做的事情實(shí)際上可以解讀為Amazon+Google并有所超越。將單一集群做到數(shù)千乃至更高,技術(shù)上是國家和企業(yè)競爭力的標(biāo)志。阿里巴巴必須攻克這道難關(guān)。”
過去十年,飛天大數(shù)據(jù)平臺已經(jīng)打破了多個世界記錄:
2013年,突破單集群內(nèi)5000臺服務(wù)器同時計算的局限,如今單集群規(guī)模已超過1萬臺;
2015年,打破計算界奧運(yùn)會SortBenchmark的四個世界紀(jì)錄,用時不到7分鐘便完成了100TB的數(shù)據(jù)排序,刷新了ApacheSpark 23.4分鐘的紀(jì)錄。
Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》報告中,阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選,并在產(chǎn)品功能(Current Offering)方面力壓微軟。