阿里云飛天大數(shù)據(jù)計算平臺：一個十年前就啟動的核心技術長征

 7月25日，阿里云飛天大數(shù)據(jù)平臺在上海引發(fā)世人側目，這是中國唯一自主研發(fā)的大數(shù)據(jù)計算引擎，單一引擎可將10萬臺服務器合為一體，也是全球集群規(guī)模最大的計算平臺。支撐海量數(shù)據(jù)存儲和計算。在民生服務領域，飛天大數(shù)據(jù)平臺已經(jīng)“最多跑一次”、城市大腦等場景中，協(xié)助政府優(yōu)化服務模式，實現(xiàn)更智能便捷的服務能力，保障信息安全。

飛天大數(shù)據(jù)平臺此前已經(jīng)在行業(yè)內(nèi)廣為人知，背后是一代中國技術人的十年的拼搏成果。

與此同時，阿里云飛天大數(shù)據(jù)平臺是在解決阿里巴巴客戶發(fā)展問題(這同樣是廣大中國政企會遇到的問題)的基礎上成長起來的，解決了普遍性的問題，帶來了開創(chuàng)性的成果，普惠了中小企業(yè)。而這種從需求出發(fā)倒逼技術進步，并進而對外服務的研發(fā)的道路，也成為可復制的成功模式。

十年前，阿里巴巴遇到了其他公司都還沒遇到的挑戰(zhàn)

十年前，阿里巴巴比其它公司更早地遇到互聯(lián)網(wǎng)規(guī)模化帶來的挑戰(zhàn)。傳統(tǒng)軟件已無法承載，這也推動了大數(shù)據(jù)技術的發(fā)展，Google、AWS、微軟等硅谷巨頭紛紛投入大數(shù)據(jù)技術的研發(fā)。而在國內(nèi)，王堅也在十年前帶領阿里云團隊研發(fā)飛天大數(shù)據(jù)計算平臺，率先在國內(nèi)開啟大數(shù)據(jù)計算平臺的自研之路。

當時全球企業(yè)的數(shù)據(jù)庫基本都是Oracle，而阿里巴巴擁有亞洲最大的Oracle集群，計算規(guī)模達百TB級別。

按照當時淘寶用戶量的增長速度，Oracle集群很快將無法支撐業(yè)務發(fā)展，而最核心的問題就是算力不足。盡管當時阿里已開始把數(shù)據(jù)遷移到更大規(guī)模的開源平臺，但后者在百臺機器規(guī)模時就遇到瓶頸，給業(yè)務增長造成極大阻礙。

此外，Hadoop之類的開源技術在可靠性、安全性上也遭遇了天花板。

2008年，王堅帶著解決大規(guī)模算力瓶頸的任務加入阿里。他發(fā)現(xiàn)，無論是Oracle還是Greenplum、Hadoop，都不是大規(guī)模數(shù)據(jù)計算的最優(yōu)解，必須自研一套自己的大數(shù)據(jù)處理平臺。

2009年這項關于大數(shù)據(jù)的技術長征開始。王堅帶隊，目標是自研大數(shù)據(jù)計算平臺——飛天。

事實證明，阿里做了正確的選擇。

四年攻堅，MaxCompute終于取得重大突破：2013年8月15日，阿里云歷史性地突破了同一個集群內(nèi)5000臺服務器同時計算的局限，為未來的大規(guī)模服務奠定基礎。十年后，單集群規(guī)模已超過1萬臺，能做到這一能力的科技公司在全球都寥寥可數(shù)。

在杭州云棲小鎮(zhèn)豎立著一尊飛天5K的紀念碑，碑上刻著參與解決這一技術難題的技術人員名字。

解決世界級算力難題

通過大數(shù)據(jù)計算平臺，可以讓訂單實時準確匯聚，也可以精準預測變幻莫測的天氣變化，各行各業(yè)都在大規(guī)模使用大數(shù)據(jù)來提供更好的服務，而實現(xiàn)這一能力就是海量數(shù)據(jù)分析的結果。

但要處理好這些數(shù)據(jù)并不容易。除了數(shù)據(jù)量的劇增，不同行業(yè)數(shù)據(jù)類型豐富多樣，如結構化數(shù)據(jù)、非結構化數(shù)據(jù)等，都給大數(shù)據(jù)計算平臺帶來新的挑戰(zhàn)。

基于這套創(chuàng)新技術，2015、2016年，阿里云刷新世界計算奧運會之稱的SortBenchmark世界紀錄;2017年，完成全球首次基于公共云的100TB BigBench大數(shù)據(jù)基準測試。

頂級算力走向世界

過去十年，MaxCompute能力不斷提升：單日數(shù)據(jù)處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過600PB。

記錄被不斷刷新，并且得到了權威機構的認可：在Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選，并在產(chǎn)品功能(Current Offering)方面力壓微軟。

這一世界級的大數(shù)據(jù)計算能力也逐漸展示其價值，幫助數(shù)萬企業(yè)用更低成本、更高效率計算海量數(shù)據(jù)，為社會和消費者提供服務。

在交通領域，城市大腦在杭州實時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年，杭州從全國最擁堵城市排行榜上下跌52名。

在工業(yè)領域，阿里云的大數(shù)據(jù)處理技術幫助制造企業(yè)尋找上千個參數(shù)的最優(yōu)搭配，提升制造的良品率。協(xié)鑫光伏、天合光能等行業(yè)龍頭企業(yè)，都在嘗試這一全新的生產(chǎn)模式。

在政務領域，浙江最多跑一次通過大數(shù)據(jù)處理平臺打通政務數(shù)據(jù)，將與老百姓辦事最密切相關的100個事項70多億條數(shù)據(jù)，按照統(tǒng)一標準匯入統(tǒng)一的數(shù)據(jù)倉，實現(xiàn)共通共享共用。老百姓辦事不僅能最多跑一次，甚至有可能一次都不跑。

而在海外，MaxCompute也已進入新加坡、歐洲等市場，將這一技術服務給更多用戶。