Amazon DataZone正式可用，實(shí)現(xiàn)跨組織數(shù)據(jù)共享與治理

北京——2023年10月18日 近日，亞馬遜云科技宣布Amazon DataZone正式可用。Amazon DataZone讓客戶能夠跨組織邊界發(fā)現(xiàn)、訪問、共享和治理大規(guī)模數(shù)據(jù)，并減少企業(yè)內(nèi)部成員訪問數(shù)據(jù)和使用分析工具時(shí)繁重的工作量。通過Amazon DataZone，數(shù)據(jù)工程師、科學(xué)家和分析師等數(shù)據(jù)使用者可以通過統(tǒng)一的數(shù)據(jù)分析門戶，在亞馬遜云科技賬戶之間共享和訪問數(shù)據(jù)，實(shí)現(xiàn)跨部門、跨組織地使用數(shù)據(jù)及開展數(shù)據(jù)協(xié)作。此外，數(shù)據(jù)所有者和數(shù)據(jù)管理者可以通過在用戶界面中使用預(yù)定義的審批工作流來平衡數(shù)據(jù)訪問治理，以及通過向數(shù)據(jù)添加業(yè)務(wù)上下文而簡化數(shù)據(jù)發(fā)現(xiàn)。

數(shù)據(jù)管理和治理的常見問題：

1. 數(shù)據(jù)發(fā)現(xiàn)，特別是跨賬戶及區(qū)域分布的數(shù)據(jù)：企業(yè)所擁有的PB級數(shù)據(jù)往往分散在數(shù)十甚至數(shù)千個數(shù)據(jù)源中，為發(fā)現(xiàn)可用于分析的數(shù)據(jù)帶來極大挑戰(zhàn)。

2. 數(shù)據(jù)訪問：不同企業(yè)采用不同的數(shù)據(jù)管理方式，且通常需要手動批準(zhǔn)，這導(dǎo)致數(shù)據(jù)訪問控制變得繁瑣耗時(shí)，而且很難及時(shí)同步更新，這讓分析師常常無法及時(shí)獲取所需數(shù)據(jù)。

3. 工具使用：每個工具都以不同的方式管理數(shù)據(jù)訪問，每個用戶在治理數(shù)據(jù)時(shí)使用的工具可能各不相同。

4. 協(xié)作：分析師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師通常在端到端的分析過程中處于不同的階段，但沒有一種簡單的方式可以讓他們選擇不同的工具來協(xié)作處理同一個經(jīng)過治理的數(shù)據(jù)。

5. 數(shù)據(jù)治理：數(shù)據(jù)治理的構(gòu)建通常隱藏在各個工具中，并由不同的團(tuán)隊(duì)以不同方式進(jìn)行管理，這導(dǎo)致企業(yè)無法跟蹤誰正在訪問什么數(shù)據(jù)以及為什么訪問。

Amazon DataZone的三個核心優(yōu)勢

Amazon DataZone允許客戶跨組織邊界大規(guī)模發(fā)現(xiàn)、共享和治理數(shù)據(jù)。

· 管理跨組織邊界的數(shù)據(jù)訪問：幫助確保正確的用戶以符合企業(yè)安全規(guī)定的方式訪問正確的數(shù)據(jù)，而無需依賴個人憑證;同時(shí)，通過經(jīng)過治理的工作流提供數(shù)據(jù)資產(chǎn)的透明度，并批準(zhǔn)數(shù)據(jù)訂閱;此外，審計(jì)功能可監(jiān)控跨項(xiàng)目的數(shù)據(jù)資產(chǎn)使用情況。

· 通過共享數(shù)據(jù)和工具連接數(shù)據(jù)用戶，驅(qū)動業(yè)務(wù)洞察：通過團(tuán)隊(duì)之間無縫協(xié)作和提供數(shù)據(jù)和分析工具的自助訪問，提升業(yè)務(wù)團(tuán)隊(duì)的效率;使用業(yè)務(wù)術(shù)語搜索、共享和訪問數(shù)據(jù)目錄，使數(shù)據(jù)對所有授權(quán)用戶可用，并通過業(yè)務(wù)詞匯表了解他們想要使用的數(shù)據(jù)。

· 利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)數(shù)據(jù)發(fā)現(xiàn)和編目自動化：縮短了在業(yè)務(wù)數(shù)據(jù)目錄手動輸入數(shù)據(jù)屬性所需的時(shí)間，同時(shí)減少了錯誤的發(fā)生;數(shù)據(jù)目錄中數(shù)據(jù)的增多會提升搜索體驗(yàn)，將搜索和使用數(shù)據(jù)的時(shí)間從幾周縮短到幾天。

為了實(shí)現(xiàn)上述優(yōu)勢，Amazon DataZone內(nèi)置了多項(xiàng)功能，其中包括：

1. 業(yè)務(wù)驅(qū)動領(lǐng)域：一個DataZone數(shù)據(jù)域代表了企業(yè)內(nèi)的一條業(yè)務(wù)線(LOB)或一個業(yè)務(wù)領(lǐng)域的明確邊界，它可以管理自己的數(shù)據(jù)，包括數(shù)據(jù)資產(chǎn)、數(shù)據(jù)定義或業(yè)務(wù)術(shù)語，以及數(shù)據(jù)治理標(biāo)準(zhǔn)。數(shù)據(jù)域是用戶開啟Amazon DataZone旅程的起點(diǎn)。當(dāng)用戶首次開始使用DataZone時(shí)，將創(chuàng)建一個包含所有核心組件的數(shù)據(jù)域，如業(yè)務(wù)數(shù)據(jù)目錄、項(xiàng)目和環(huán)境。

2. 企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)目錄：企業(yè)可以為數(shù)據(jù)增加業(yè)務(wù)上下文，從而增加數(shù)據(jù)的可見性，以便數(shù)據(jù)使用者可以更加快速高效地查找和理解數(shù)據(jù)。目錄的核心功能是對不同來源的數(shù)據(jù)編目，并通過附加的業(yè)務(wù)背景來增強(qiáng)元數(shù)據(jù)，為尋找數(shù)據(jù)的使用者提供更好的決策支持。

3. 利用數(shù)據(jù)項(xiàng)目進(jìn)行聯(lián)邦治理：Amazon DataZone 數(shù)據(jù)項(xiàng)目基于業(yè)務(wù)用例將用戶、數(shù)據(jù)資產(chǎn)和分析工具進(jìn)行分組，簡化了訪問亞馬遜云科技分析工具的過程。數(shù)據(jù)項(xiàng)目提供了可供項(xiàng)目成員一起協(xié)作、交換數(shù)據(jù)和共享工件(artifact)的空間。只有被添加到項(xiàng)目中的用戶才能參與協(xié)作，因此，整個項(xiàng)目的安全性可以得到最大限度的保證。通過這些項(xiàng)目，Amazon DataZone將數(shù)據(jù)所有權(quán)分散到不同團(tuán)隊(duì)中的數(shù)據(jù)所有者身上，所有者通過訪問管理權(quán)控制用戶的數(shù)據(jù)訪問請求。

4. Amazon DataZone現(xiàn)已提供外部API，以編程的方式與系統(tǒng)交互。用戶可以將Amazon DataZone添加到現(xiàn)有架構(gòu)中。例如，用戶可以在Amazon DataZone中使用數(shù)據(jù)管道編目數(shù)據(jù)，使客戶能夠無縫搜索、查找、訂閱和訪問數(shù)據(jù)。在此版本中，Amazon DataZone引入了一個新的目錄數(shù)據(jù)模型。編目API支持基于類型系統(tǒng)的模型，允許用戶定義和管理目錄中實(shí)體的類型。通過使用該類型的系統(tǒng)模型，用戶將擁有一個靈活且可擴(kuò)展的目錄，在表示不同類型對象的同時(shí)可以將其(資產(chǎn)或列)關(guān)聯(lián)到元數(shù)據(jù)。類似地，用戶也可以用編程方式使用Amazon DataZone的API。

Amazon DataZone常見客戶應(yīng)用場景

數(shù)據(jù)發(fā)現(xiàn)

Bristol Myers Squibb研究IT解決方案架構(gòu)總監(jiān)David Y. Liu表示：“Bristol Myers Squibb正在積極推進(jìn)一項(xiàng)計(jì)劃，旨在將藥物發(fā)現(xiàn)和研發(fā)時(shí)間縮短超過30%。這項(xiàng)計(jì)劃的關(guān)鍵環(huán)節(jié)是解決數(shù)據(jù)共享所面臨的挑戰(zhàn)并優(yōu)化數(shù)據(jù)可用性。通過與亞馬遜云科技合作，我們發(fā)現(xiàn)Amazon DataZone能夠幫助我們創(chuàng)建、管理、歸類整理我們的數(shù)據(jù)產(chǎn)品，使數(shù)據(jù)更容易被找到、訪問、進(jìn)行協(xié)作處理和復(fù)用。目前我們正在評估Amazon DataZone在企業(yè)內(nèi)更廣泛的可用性，以確定是否與我們的運(yùn)營目標(biāo)相符?！?

共享治理數(shù)據(jù)以支持生成式AI項(xiàng)目

Guardant Health數(shù)據(jù)、CRM和分析高級總監(jiān)Rajesh Kucharlapati表示：“通過在多個業(yè)務(wù)領(lǐng)域之間協(xié)調(diào)數(shù)據(jù)，我們可以培養(yǎng)數(shù)據(jù)共享的文化。為此，我們一直在使用Amazon DataZone，將開發(fā)人員從構(gòu)建和維護(hù)平臺的任務(wù)中解放出來，使他們能夠?qū)Ｗ⒂诙ㄖ平鉀Q方案。亞馬遜云托管服務(wù)對我們具有重要意義，因?yàn)槔脕嗰R遜云科技生態(tài)系統(tǒng)功能，我們能夠更快地從數(shù)據(jù)分析中獲得業(yè)務(wù)洞察，標(biāo)準(zhǔn)化數(shù)據(jù)定義，以及充分利用生成式AI的潛力。我們期待繼續(xù)與亞馬遜云科技合作，為Guardant Health注入活力，并為我們服務(wù)的患者提供更優(yōu)質(zhì)的服務(wù)。與亞馬遜云服務(wù)的合作已遠(yuǎn)遠(yuǎn)超出了數(shù)據(jù)范疇，這是一段充滿活力的旅程?！?

聯(lián)邦式數(shù)據(jù)治理

Itaú Unibanco數(shù)據(jù)治理和隱私主管Priscila Cardoso Ferreira表示：“實(shí)現(xiàn)數(shù)據(jù)驅(qū)動是我們的戰(zhàn)略目標(biāo)之一。我們始終遵循更優(yōu)的數(shù)據(jù)治理、數(shù)據(jù)隱私保護(hù)和安全性實(shí)踐。在Itaú，數(shù)據(jù)被視為最主要的資產(chǎn)之一，良好的數(shù)據(jù)定義和管理是我們解決方案的核心組成部分，這在使用亞馬遜云科技分析服務(wù)的每一個環(huán)節(jié)中都得到了體現(xiàn)。與亞馬遜云科技團(tuán)隊(duì)一起，我們使用Amazon DataZone預(yù)覽版提出了與Itaú技術(shù)和業(yè)務(wù)需求相匹配的功能——例如按數(shù)據(jù)域劃分的數(shù)據(jù)可以簡化數(shù)據(jù)治理的流程，并幫助業(yè)務(wù)部門間分配責(zé)任。隨著Amazon DataZone的正式可用，我們希望能夠迅速而輕松地為團(tuán)隊(duì)建立跨數(shù)據(jù)域工作規(guī)則，幫助數(shù)據(jù)分析師、工程師和科學(xué)家在多個業(yè)務(wù)用例中進(jìn)行數(shù)據(jù)假設(shè)實(shí)驗(yàn)，實(shí)現(xiàn)簡化治理?！?