亞馬遜云科技發(fā)布新功能 云數(shù)據(jù)倉庫查詢實(shí)現(xiàn)10倍速
近日,亞馬遜云科技宣布AQUA for Amazon Redshift全面可用。作為一種創(chuàng)新的新型分布式硬件加速緩存,AQUA可以使Amazon Redshift查詢的運(yùn)行速度比任何其他云數(shù)據(jù)倉庫最高快10倍。AQUA將計算引入存儲層,消除了數(shù)據(jù)在不同存儲位置和計算集群之間不必要的移動,幫助客戶避免網(wǎng)絡(luò)帶寬限制。AQUA讓客戶有了顯示更加實(shí)時的儀表盤,節(jié)省了開發(fā)時間,并且讓其系統(tǒng)更容易維護(hù)。目前Redshift RA3實(shí)例已帶有AQUA,客戶無需支付額外成本,即可在不修改任何代碼的情況下享受AQUA帶來的性能提升。
Amazon Redshift是第一款基于云的數(shù)據(jù)倉庫,成本只有傳統(tǒng)數(shù)據(jù)倉庫的十分之一。自2012年推出以來,Amazon Redshift已經(jīng)成為最受歡迎的云數(shù)據(jù)倉庫。此前,亞馬遜云科技發(fā)布Amazon Redshift RA3實(shí)例,客戶可以分別擴(kuò)展計算和存儲,與任何其他云數(shù)據(jù)倉庫相比,提供最高達(dá)3倍的性價比。然而,即使數(shù)據(jù)倉庫的性能持續(xù)提高,客戶需要處理的數(shù)據(jù)快速增長依然會導(dǎo)致平衡性能和成本效率的兩難境地。數(shù)據(jù)倉庫的主流方法是將大量集中存儲移至計算節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)處理。這種方法的挑戰(zhàn)在于共享數(shù)據(jù)和計算節(jié)點(diǎn)之間存在大量的數(shù)據(jù)移動。隨著數(shù)據(jù)量持續(xù)快速增長,這種數(shù)據(jù)移動會使可用的網(wǎng)絡(luò)帶寬飽和,降低性能。除了網(wǎng)絡(luò)瓶頸之外,CPU無法跟上快速增長的存儲性能(SSD存儲吞吐量的增長速度比CPU從內(nèi)存處理數(shù)據(jù)的能力快6倍),這要么導(dǎo)致新的CPU瓶頸,這迫使更多客戶為了更快地完成工作而超額部署計算資源。
AQUA for Amazon Redshift是Amazon Redshift的分布式硬件加速緩存,這是一項針對提高大規(guī)模數(shù)據(jù)分析性能的創(chuàng)新。AQUA將計算引入存儲層,因此數(shù)據(jù)不必在兩者之間來回移動。這使得Amazon Redshift的運(yùn)行速度比任何其他云數(shù)據(jù)倉庫最高快10倍。AQUA緩存可橫向擴(kuò)展,并可跨眾多節(jié)點(diǎn)并行處理數(shù)據(jù)。每個節(jié)點(diǎn)都包含一個由亞馬遜云科技設(shè)計的分析處理器組成的硬件模塊,可以極大地加速數(shù)據(jù)壓縮、加密和數(shù)據(jù)處理任務(wù)(如掃描、聚合和過濾)。AQUA還為客戶提供了額外的好處,即可以在原始存儲上進(jìn)行計算,從而節(jié)省了移動數(shù)據(jù)的時間。有了這個新的架構(gòu),以及其帶來的數(shù)量級的性能提升,Redshift客戶可以實(shí)現(xiàn)更加實(shí)時的儀表盤,節(jié)省了開發(fā)時間,其系統(tǒng)也更容易維護(hù)。
“現(xiàn)有的集中式存儲數(shù)據(jù)倉庫架構(gòu)需要將數(shù)據(jù)轉(zhuǎn)移到計算集群中處理,這造成了瓶頸并降低了性能?!眮嗰R遜云科技分析副總裁Rahul Pathak表示,“通過將計算引入存儲層,AQUA幫助客戶消除不必要的數(shù)據(jù)移動,避免了網(wǎng)絡(luò)帶寬的限制,帶來了比其他任何云數(shù)據(jù)倉庫高一個數(shù)量級的性能表現(xiàn),Amazon Redshift用戶無需支付額外成本即可享用這一改變游戲規(guī)則的性能飛躍?!?
目前,在美國東部(弗吉尼亞北部)區(qū)域、美國西部(俄勒岡)區(qū)域、美國東部(俄亥俄)區(qū)域、亞太地區(qū)(東京)區(qū)域和歐洲(愛爾蘭)區(qū)域運(yùn)行Amazon Redshift RA3 節(jié)點(diǎn)的客戶已經(jīng)可以使用AQUA for Amazon Redshift ,其它區(qū)域也將很快推出。
??怂构就ㄟ^包括??怂剐侣?、??怂贵w育、??怂咕W(wǎng)絡(luò)和福克斯電視臺在內(nèi)的一些世界領(lǐng)先和最具價值的品牌,制作和分銷內(nèi)容。福克斯讓各種各樣的創(chuàng)作者能夠想象和創(chuàng)作具有文化意義的內(nèi)容,同時建立一個集創(chuàng)意、運(yùn)營專業(yè)知識和戰(zhàn)略思維于一體的組織?!案?怂构镜氖姑褪亲寯?shù)百萬觀眾享受屏幕帶來的簡單樂趣。我們?yōu)槿蛴^眾提供新聞、體育和娛樂等新鮮資訊,而數(shù)據(jù)是我們所做一切事情的核心?!备?怂构緮?shù)據(jù)服務(wù)副總裁Alex Tverdohleb表示,“Amazon Redshift使我們可以跨數(shù)據(jù)倉庫、運(yùn)營數(shù)據(jù)庫和Amazon S3數(shù)據(jù)湖分析我們PB級的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),從而發(fā)現(xiàn)、分析和激活數(shù)據(jù)驅(qū)動的決策,獲得強(qiáng)有力的洞察。隨著PB級數(shù)據(jù)的持續(xù)快速增長,我們一直在測試AQUA for Amazon Redshift的性能,在保持成本不變的同時,為分析查詢提供更強(qiáng)的性能。AQUA for Amazon Redshift將我們的一些分析查詢性能提高了一個數(shù)量級,讓我們通過使用最新技術(shù),向觀眾提供更個性化、精心設(shè)計和及時體驗(yàn)?!?
亞馬遜廣告幫助各種規(guī)模的企業(yè)和品牌增長,通過提供合適的廣告解決方案,幫助企業(yè)提高品牌知名度及產(chǎn)品、品牌或服務(wù)認(rèn)知度,推動購買,或增強(qiáng)客戶忠誠度?!拔覀兪褂肁mazon Redshift的Lake House(智能湖倉)架構(gòu)(能夠在數(shù)據(jù)倉庫、運(yùn)營數(shù)據(jù)庫和數(shù)據(jù)湖中查詢數(shù)據(jù))來管理數(shù)百PB的數(shù)據(jù),每天為成千上萬的客戶服務(wù)?!? 亞馬遜廣告高級經(jīng)理Shamik Ganguly表示,“我們最近開始使用AQUA for Amazon Redshift,它改變了游戲規(guī)則。我們發(fā)現(xiàn),一些最復(fù)雜的分析查詢,涉及掃描大型數(shù)據(jù)集的歸因、個性化、品牌洞察和聚合等,通過AQUA能將性能提高10倍。對于一些要求極高的查詢,AQUA極大地減少平均等待時間,讓我們能夠在系統(tǒng)上多運(yùn)行50%的查詢,同時保持成本不變,從而更快地實(shí)現(xiàn)價值,為客戶提供更好的體驗(yàn)。”
Sisense的使命是幫助企業(yè)在任何地方都可注入分析技術(shù),讓企業(yè)的客戶和員工在任何時候都能對他們的數(shù)據(jù)采取及時行動。 “數(shù)千家企業(yè)和全球品牌依靠我們?nèi)斯ぶ悄茯?qū)動的分析平臺創(chuàng)新、顛覆市場,并推動世界發(fā)生有意義的變化。” Sisense首席戰(zhàn)略官Guy Levy-Yurista博士表示,“我們使用Amazon Redshift,讓我們的客戶能夠快速和輕松地將復(fù)雜的數(shù)據(jù)轉(zhuǎn)換為高度交互的、可操作的應(yīng)用程序,可以嵌入和大規(guī)模交付。我們正在使用AQUA for Amazon Redshift,很高興地看到,掃描、過濾和聚合大型數(shù)據(jù)集的復(fù)雜分析查詢運(yùn)行速度比以前快了8至10倍。AQUA for Amazon Redshift為我們提供了快速分析PB級數(shù)據(jù)所需的性能和可伸縮性,并提供及時的見解,使每個用戶和每個團(tuán)隊受益?!?