阿里云飛天大數(shù)據(jù)計(jì)算平臺(tái)：一個(gè)十年前就啟動(dòng)的核心技術(shù)長(zhǎng)征

 7月25日，阿里云飛天大數(shù)據(jù)平臺(tái)在上海引發(fā)世人側(cè)目，這是中國(guó)唯一自主研發(fā)的大數(shù)據(jù)計(jì)算引擎，單一引擎可將10萬(wàn)臺(tái)服務(wù)器合為一體，也是全球集群規(guī)模最大的計(jì)算平臺(tái)。支撐海量數(shù)據(jù)存儲(chǔ)和計(jì)算。在民生服務(wù)領(lǐng)域，飛天大數(shù)據(jù)平臺(tái)已經(jīng)“最多跑一次”、城市大腦等場(chǎng)景中，協(xié)助政府優(yōu)化服務(wù)模式，實(shí)現(xiàn)更智能便捷的服務(wù)能力，保障信息安全。

飛天大數(shù)據(jù)平臺(tái)此前已經(jīng)在行業(yè)內(nèi)廣為人知，背后是一代中國(guó)技術(shù)人的十年的拼搏成果。

與此同時(shí)，阿里云飛天大數(shù)據(jù)平臺(tái)是在解決阿里巴巴客戶發(fā)展問(wèn)題(這同樣是廣大中國(guó)政企會(huì)遇到的問(wèn)題)的基礎(chǔ)上成長(zhǎng)起來(lái)的，解決了普遍性的問(wèn)題，帶來(lái)了開創(chuàng)性的成果，普惠了中小企業(yè)。而這種從需求出發(fā)倒逼技術(shù)進(jìn)步，并進(jìn)而對(duì)外服務(wù)的研發(fā)的道路，也成為可復(fù)制的成功模式。

十年前，阿里巴巴遇到了其他公司都還沒(méi)遇到的挑戰(zhàn)

十年前，阿里巴巴比其它公司更早地遇到互聯(lián)網(wǎng)規(guī)?；瘞?lái)的挑戰(zhàn)。傳統(tǒng)軟件已無(wú)法承載，這也推動(dòng)了大數(shù)據(jù)技術(shù)的發(fā)展，Google、AWS、微軟等硅谷巨頭紛紛投入大數(shù)據(jù)技術(shù)的研發(fā)。而在國(guó)內(nèi)，王堅(jiān)也在十年前帶領(lǐng)阿里云團(tuán)隊(duì)研發(fā)飛天大數(shù)據(jù)計(jì)算平臺(tái)，率先在國(guó)內(nèi)開啟大數(shù)據(jù)計(jì)算平臺(tái)的自研之路。

當(dāng)時(shí)全球企業(yè)的數(shù)據(jù)庫(kù)基本都是Oracle，而阿里巴巴擁有亞洲最大的Oracle集群，計(jì)算規(guī)模達(dá)百TB級(jí)別。

按照當(dāng)時(shí)淘寶用戶量的增長(zhǎng)速度，Oracle集群很快將無(wú)法支撐業(yè)務(wù)發(fā)展，而最核心的問(wèn)題就是算力不足。盡管當(dāng)時(shí)阿里已開始把數(shù)據(jù)遷移到更大規(guī)模的開源平臺(tái)，但后者在百臺(tái)機(jī)器規(guī)模時(shí)就遇到瓶頸，給業(yè)務(wù)增長(zhǎng)造成極大阻礙。

此外，Hadoop之類的開源技術(shù)在可靠性、安全性上也遭遇了天花板。

2008年，王堅(jiān)帶著解決大規(guī)模算力瓶頸的任務(wù)加入阿里。他發(fā)現(xiàn)，無(wú)論是Oracle還是Greenplum、Hadoop，都不是大規(guī)模數(shù)據(jù)計(jì)算的最優(yōu)解，必須自研一套自己的大數(shù)據(jù)處理平臺(tái)。

2009年這項(xiàng)關(guān)于大數(shù)據(jù)的技術(shù)長(zhǎng)征開始。王堅(jiān)帶隊(duì)，目標(biāo)是自研大數(shù)據(jù)計(jì)算平臺(tái)——飛天。

事實(shí)證明，阿里做了正確的選擇。

四年攻堅(jiān)，MaxCompute終于取得重大突破：2013年8月15日，阿里云歷史性地突破了同一個(gè)集群內(nèi)5000臺(tái)服務(wù)器同時(shí)計(jì)算的局限，為未來(lái)的大規(guī)模服務(wù)奠定基礎(chǔ)。十年后，單集群規(guī)模已超過(guò)1萬(wàn)臺(tái)，能做到這一能力的科技公司在全球都寥寥可數(shù)。

在杭州云棲小鎮(zhèn)豎立著一尊飛天5K的紀(jì)念碑，碑上刻著參與解決這一技術(shù)難題的技術(shù)人員名字。

解決世界級(jí)算力難題

通過(guò)大數(shù)據(jù)計(jì)算平臺(tái)，可以讓訂單實(shí)時(shí)準(zhǔn)確匯聚，也可以精準(zhǔn)預(yù)測(cè)變幻莫測(cè)的天氣變化，各行各業(yè)都在大規(guī)模使用大數(shù)據(jù)來(lái)提供更好的服務(wù)，而實(shí)現(xiàn)這一能力就是海量數(shù)據(jù)分析的結(jié)果。

但要處理好這些數(shù)據(jù)并不容易。除了數(shù)據(jù)量的劇增，不同行業(yè)數(shù)據(jù)類型豐富多樣，如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等，都給大數(shù)據(jù)計(jì)算平臺(tái)帶來(lái)新的挑戰(zhàn)。

基于這套創(chuàng)新技術(shù)，2015、2016年，阿里云刷新世界計(jì)算奧運(yùn)會(huì)之稱的SortBenchmark世界紀(jì)錄;2017年，完成全球首次基于公共云的100TB BigBench大數(shù)據(jù)基準(zhǔn)測(cè)試。

頂級(jí)算力走向世界

過(guò)去十年，MaxCompute能力不斷提升：?jiǎn)稳諗?shù)據(jù)處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過(guò)600PB。

記錄被不斷刷新，并且得到了權(quán)威機(jī)構(gòu)的認(rèn)可：在Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選，并在產(chǎn)品功能(Current Offering)方面力壓微軟。

這一世界級(jí)的大數(shù)據(jù)計(jì)算能力也逐漸展示其價(jià)值，幫助數(shù)萬(wàn)企業(yè)用更低成本、更高效率計(jì)算海量數(shù)據(jù)，為社會(huì)和消費(fèi)者提供服務(wù)。

在交通領(lǐng)域，城市大腦在杭州實(shí)時(shí)指揮1300個(gè)紅綠燈路口、200多名交警。從2016年到2018年，杭州從全國(guó)最擁堵城市排行榜上下跌52名。

在工業(yè)領(lǐng)域，阿里云的大數(shù)據(jù)處理技術(shù)幫助制造企業(yè)尋找上千個(gè)參數(shù)的最優(yōu)搭配，提升制造的良品率。協(xié)鑫光伏、天合光能等行業(yè)龍頭企業(yè)，都在嘗試這一全新的生產(chǎn)模式。

在政務(wù)領(lǐng)域，浙江最多跑一次通過(guò)大數(shù)據(jù)處理平臺(tái)打通政務(wù)數(shù)據(jù)，將與老百姓辦事最密切相關(guān)的100個(gè)事項(xiàng)70多億條數(shù)據(jù)，按照統(tǒng)一標(biāo)準(zhǔn)匯入統(tǒng)一的數(shù)據(jù)倉(cāng)，實(shí)現(xiàn)共通共享共用。老百姓辦事不僅能最多跑一次，甚至有可能一次都不跑。

而在海外，MaxCompute也已進(jìn)入新加坡、歐洲等市場(chǎng)，將這一技術(shù)服務(wù)給更多用戶。