實時數(shù)據(jù)處理能力再升級 亞馬遜云科技推出Amazon Redshift流式注入功能
北京2022年6月20日 /美通社/ -- 近日,亞馬遜云科技推出Amazon Redshift流式注入(Streaming Ingestion)功能預(yù)覽,讓客戶能夠直接從Amazon Kinesis Data Streams(一項無服務(wù)器流式數(shù)據(jù)服務(wù),可簡化任何規(guī)模的數(shù)據(jù)流捕獲、處理和存儲)向Amazon Redshift數(shù)據(jù)倉庫中注入實時數(shù)據(jù)并分析。Amazon Redshift流式注入功能可以讓客戶無需在Amazon Simple Storage Service(Amazon S3)中暫存數(shù)據(jù),直接將每秒數(shù)百兆的流數(shù)據(jù)接收到Amazon Redshift數(shù)據(jù)倉庫集群并處理。Amazon Redshift流式注入(Streaming Ingestion)功能的推出,進一步提升了亞馬遜云科技實時數(shù)據(jù)處理能力,為亞馬遜云科技"云、數(shù)、智三位一體"的大數(shù)據(jù)與機器學(xué)習(xí)融合服務(wù)組合的數(shù)據(jù)處理能力再添利器,將進一步推動機器學(xué)習(xí)由實驗轉(zhuǎn)向規(guī)?;涞亍?/p>
在游戲?qū)崟r數(shù)據(jù)分析、在線廣告點擊流分析、零售POS機數(shù)據(jù)流分析、應(yīng)用日志和網(wǎng)絡(luò)日志分析、物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)分析等應(yīng)用場景中,應(yīng)用或者終端設(shè)備會在短時間內(nèi)持續(xù)生成巨量數(shù)據(jù)流。這些數(shù)據(jù)流會被送到Amazon Kinesis Data Streams進行實時緩存并最終使用Amazon Redshift完成數(shù)據(jù)分析。以往,客戶如果想從Amazon Kinesis Data Streams向Amazon Redshift注入實時數(shù)據(jù),需要先在Amazon S3中暫存數(shù)據(jù),然后使用Copy命令加載數(shù)據(jù)來構(gòu)建數(shù)據(jù)管道,這一過程通常需要幾分鐘才能完成。但越來越多客戶希望能夠分析實時數(shù)據(jù)流以盡早獲得數(shù)據(jù)洞察。
Amazon Redshift流式注入功能的推出,滿足了客戶真實數(shù)據(jù)流對數(shù)據(jù)處理規(guī)模和實時性的要求?;谶@一功能,客戶可以同時連接來自多個Amazon Kinesis Data Streams的數(shù)據(jù),將實時數(shù)據(jù)直接注入Amazon Redshift。客戶使用現(xiàn)有工具和熟悉的SQL執(zhí)行下游處理和轉(zhuǎn)換,無需額外的成本,在幾秒鐘內(nèi)從數(shù)據(jù)中獲得洞察。Amazon Redshift流式注入大幅簡化流式數(shù)據(jù)管道構(gòu)建,加速數(shù)據(jù)處理,支持以低延遲、高吞吐量訪問數(shù)據(jù)倉庫中的實時數(shù)據(jù),幫助數(shù)據(jù)工程師、數(shù)據(jù)分析師和大數(shù)據(jù)開發(fā)者將數(shù)據(jù)分析從"批量"轉(zhuǎn)向"實時"。
目前,數(shù)以萬計的客戶每天使用Amazon Redshift處理EB級的數(shù)據(jù),為高性能商業(yè)智能(BI)報告、儀表板應(yīng)用程序、數(shù)據(jù)探索和實時分析等分析工作負載提供支持。Amazon Redshift流式注入功能的推出將進一步豐富客戶的使用場景。客戶可將流式數(shù)據(jù)實時分析與數(shù)據(jù)倉庫中的其它數(shù)據(jù)源相結(jié)合,豐富和擴展實時分析應(yīng)用場景。例如,游戲運營人員可以分析來自游戲玩家的實時數(shù)據(jù),優(yōu)化游戲體驗,提高轉(zhuǎn)化和留存率;營銷部門可以分析在線廣告的點擊流數(shù)據(jù),評估用戶足跡和行為,及時向客戶投放廣告;分析人員可以實時分析零售POS數(shù)據(jù),實現(xiàn)零售交易的實時報告、分析和可視化;開發(fā)人員和工程師可以實時分析應(yīng)用程序日志和網(wǎng)絡(luò)日志流數(shù)據(jù),實時排除故障,采取預(yù)防措施,改善產(chǎn)品體驗。客戶可以將Amazon Redshift流式注入功能與Amazon Kinesis服務(wù)一起使用,實時分析IoT數(shù)據(jù),獲取設(shè)備狀態(tài)和屬性(位置和傳感器數(shù)據(jù)),監(jiān)控應(yīng)用程序,進行欺詐檢測,實現(xiàn)實時排行榜功能等等。
為了幫助企業(yè)推進大數(shù)據(jù)和機器學(xué)習(xí)的融合,將機器學(xué)習(xí)由實驗轉(zhuǎn)為規(guī)?;涞貙嵺`,亞馬遜云科技推出了"云、數(shù)、智三位一體"的大數(shù)據(jù)與機器學(xué)習(xí)融合服務(wù)組合。Amazon Redshift流式注入功能的推出,進一步豐富了亞馬遜云科技無服務(wù)器分析產(chǎn)品服務(wù)不同客戶業(yè)務(wù)場景的能力,可以讓客戶無需配置、擴展或管理底層基礎(chǔ)設(shè)施,即可輕松地處理實時動態(tài)的數(shù)據(jù)同步,為機器學(xué)習(xí)項目提供兼具性能和成本效益的實時特征數(shù)據(jù)準(zhǔn)備。