AWS寧夏區(qū)域上線兩項新服務(wù)：AWS Glue和Amazon Athena

3月24日，AWS今天宣布，AWS Glue、Amazon Athena在由西云數(shù)據(jù)運營的AWS中國（寧夏）區(qū)域正式上線。

AWS Glue全新的ETL服務(wù)

據(jù)介紹，AWS Glue是一種全托管的數(shù)據(jù)提取、轉(zhuǎn)換和加載 (ETL) 服務(wù)及元數(shù)據(jù)目錄。它讓客戶更容易準備數(shù)據(jù)，加載數(shù)據(jù)到數(shù)據(jù)庫、數(shù)據(jù)倉庫和數(shù)據(jù)湖，用于數(shù)據(jù)分析。使用AWS Glue，在幾分鐘之內(nèi)便可以準備好數(shù)據(jù)用于分析。由于AWS Glue是無服務(wù)器服務(wù)，客戶在執(zhí)行ETL任務(wù)時，只需要為他們所消耗的計算資源付費。

客戶在使用數(shù)據(jù)湖架構(gòu)實現(xiàn)數(shù)據(jù)分析解決方案時，通常有75%的時間花在數(shù)據(jù)集成任務(wù)上，需要從各種數(shù)據(jù)源提取數(shù)據(jù)，對其進行規(guī)范化，并將其加載到數(shù)據(jù)存儲中。AWS Glue消除了ETL作業(yè)基礎(chǔ)設(shè)施方面的所有重復(fù)勞動，讓Amazon S3數(shù)據(jù)湖中的數(shù)據(jù)集可以被發(fā)現(xiàn)、可用于查詢和分析，極大地縮短分析項目中做ETL和數(shù)據(jù)編目階段的時間，讓ETL變得很容易。

具體而言，AWS Glue在從客戶選擇的數(shù)據(jù)源把數(shù)據(jù)爬取出來之后，會自動識別數(shù)據(jù)格式和模式（schema），構(gòu)建統(tǒng)一的數(shù)據(jù)目錄，并為客戶提供所選數(shù)據(jù)的中央視圖。這使得客戶很容易跨越各種數(shù)據(jù)存儲，檢索和管理所有數(shù)據(jù)，而不必手動搬運它們。當客戶從數(shù)據(jù)目錄中標識出數(shù)據(jù)源（例如一個數(shù)據(jù)庫表) 和數(shù)據(jù)目標 (例如一個數(shù)據(jù)倉庫) 時，AWS Glue將匹配相應(yīng)的模式，生成可定制、可重用、可移植、可共享的數(shù)據(jù)轉(zhuǎn)換代碼。開發(fā)人員可以調(diào)度任意數(shù)量的ETL作業(yè)，AWS Glue則會管理其余的工作，根據(jù)客戶ETL工作負載自動啟用或關(guān)閉計算資源。通過簡化創(chuàng)建ETL作業(yè)的過程，AWS Glue讓客戶可以構(gòu)建可伸縮、可靠的數(shù)據(jù)準備平臺。這些平臺可以跨越數(shù)千個ETL作業(yè)，具有內(nèi)置的依賴性解析、調(diào)度、資源管理和監(jiān)控功能。

據(jù)了解，目前包括德比軟件、嘉云數(shù)據(jù)、殼木軟件和趣加等在內(nèi)的諸多中國客戶都在使用AWS Glue解決復(fù)雜的數(shù)據(jù)挑戰(zhàn)。

Amazon Athena全新的即用即付交互式查詢服務(wù)

據(jù)介紹，Amazon Athena是一種交互式查詢服務(wù)，它讓客戶可以使用標準SQL語言、輕松分析Amazon Simple Storage Service (Amazon S3) 中的數(shù)據(jù)。由于Athena是一種無服務(wù)器服務(wù)，因此客戶不需要管理基礎(chǔ)設(shè)施，而且只為他們運行的查詢付費。Athena可以自動擴展，并行執(zhí)行查詢，所以即便是大型數(shù)據(jù)集和復(fù)雜的查詢，也能很快獲得查詢結(jié)果。

具體而言，AWS提供了諸如Amazon Redshift和Amazon Elastic MapReduce (Amazon EMR) 等分析服務(wù)，讓各種規(guī)模的公司都可以實現(xiàn)PB級數(shù)據(jù)的分析。通過Amazon Redshift，客戶可以對大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)執(zhí)行復(fù)雜的查詢，并獲得超高速的性能。對于非結(jié)構(gòu)化數(shù)據(jù)，Amazon EMR使用流行的分布式框架，例如Apache Spark、Presto、Hive和Pig，橫跨多個可動態(tài)伸縮的集群，處理和分析大量數(shù)據(jù)，快速又經(jīng)濟。雖然這些服務(wù)是可伸縮的，而且足夠強大到可以處理大且復(fù)雜的大數(shù)據(jù)應(yīng)用，但是，許多客戶也希望能夠很快地查詢Amazon S3上的數(shù)據(jù)，例如web日志、點擊流、原始日志文件等，而無需開啟、配置和管理Hadoop集群或數(shù)據(jù)倉庫?，F(xiàn)在，使用Athena分析Amazon S3中的數(shù)據(jù)就像編寫SQL查詢一樣簡單。Athena使用完整支持標準SQL的Presto，可以處理各種標準數(shù)據(jù)格式，包括CSV、JSON、ORC和Parquet。因為Athena使用多個可用區(qū)的計算資源執(zhí)行查詢，而且使用Amazon S3作為底層數(shù)據(jù)存儲，所以它具有高可用性和持久性，數(shù)據(jù)冗余存儲在多處基礎(chǔ)設(shè)施中，并且是每處基礎(chǔ)設(shè)施上的多個設(shè)備上。

據(jù)悉，憑借快速、易用、經(jīng)濟和靈活的特性，Amazon Athena已經(jīng)獲得茄子快傳、大宇無限、匯量科技、殼木軟件等諸多中國客戶的信賴。