飛天大數(shù)據(jù)計算平臺：一個十年前就啟動的核心技術(shù)長征

7月25日，在阿里云峰會上海站上，阿里云飛天大數(shù)據(jù)平臺正式亮相。據(jù)悉，這是中國唯一自主研發(fā)的計算引擎，也是全球集群規(guī)模最大的計算平臺。

數(shù)據(jù)顯示，飛天大數(shù)據(jù)平臺目前已經(jīng)可以擴(kuò)展至10萬臺計算集群，規(guī)模全球第一，同時單日數(shù)據(jù)處理量從2015年100PB、2016年180PB、2017年320PB，一直到2018年超過600PB，僅用三年時間便提升了5倍。

在民生服務(wù)領(lǐng)域，阿里云飛天大數(shù)據(jù)平臺已經(jīng)在悄然支撐便捷的電子化服務(wù)，在“最多跑一次”、城市大腦等場景中，協(xié)助政府優(yōu)化服務(wù)模式，實(shí)現(xiàn)更智能便捷的服務(wù)能力，保障信息安全。

原來需要跑5個窗口、耗時2天才能拿到的新生兒出生證，現(xiàn)在只需在手機(jī)上動動手指、填9項信息，就能辦好；原來看一次病，需要排隊付幾次費(fèi)，現(xiàn)在可以看完回家再付錢……這樣的場景正在越來越多的城市變?yōu)楝F(xiàn)實(shí)，背后都是飛天大數(shù)據(jù)平臺的支撐。

比如在浙江，飛天大數(shù)據(jù)平臺與“最多跑一次”打通了與老百姓辦事最密切相關(guān)的100個事項、70多億條數(shù)據(jù)，有些政務(wù)老百姓甚至有可能一次都不需要跑。

尤其在杭州，城市大腦已經(jīng)可以實(shí)時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年，杭州在全國最擁堵城市排行榜上下跌了52名。

據(jù)了解，阿里云飛天大數(shù)據(jù)平臺的研發(fā)源自阿里的自身實(shí)踐。

十年前，新興互聯(lián)網(wǎng)業(yè)態(tài)蓬勃發(fā)展，中小企業(yè)在阿里電商平臺上爆發(fā)式增長，形成了海量數(shù)據(jù)，直接擊垮傳統(tǒng)IT架構(gòu)。

對此，大部分企業(yè)都是直接使用國際開源的數(shù)據(jù)計算框架Hadoop，而當(dāng)時全球企業(yè)的數(shù)據(jù)庫基本都是Oracle，阿里也擁有亞洲最大的Oracle集群，計算規(guī)模達(dá)數(shù)百TB級別，但是經(jīng)過激烈爭論后，阿里選擇探索自己的平臺。

就在當(dāng)時，Google、亞馬遜AWS、微軟等硅谷巨頭，也都紛紛投入了大數(shù)據(jù)技術(shù)的研發(fā)。

早在2012年初，阿里巴巴技術(shù)委員會主席王堅就表示：“從戰(zhàn)略上來說，阿里云想做的事情實(shí)際上可以解讀為Amazon+Google并有所超越。將單一集群做到數(shù)千乃至更高，技術(shù)上是國家和企業(yè)競爭力的標(biāo)志。阿里巴巴必須攻克這道難關(guān)。”

過去十年，飛天大數(shù)據(jù)平臺已經(jīng)打破了多個世界記錄：

2013年，突破單集群內(nèi)5000臺服務(wù)器同時計算的局限，如今單集群規(guī)模已超過1萬臺；

2015年，打破計算界奧運(yùn)會SortBenchmark的四個世界紀(jì)錄，用時不到7分鐘便完成了100TB的數(shù)據(jù)排序，刷新了ApacheSpark 23.4分鐘的紀(jì)錄。

Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》報告中，阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選，并在產(chǎn)品功能(Current Offering)方面力壓微軟。