度小滿金融大數(shù)據(jù)架構(gòu)實(shí)踐

時(shí)間：2021-10-08 17:01:50

關(guān)鍵字：大數(shù)據(jù)

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]導(dǎo)讀：大數(shù)據(jù)架構(gòu)在金融場(chǎng)景下面臨著諸多挑戰(zhàn)，從架構(gòu)上而言，業(yè)務(wù)對(duì)數(shù)據(jù)加工、存儲(chǔ)和使用的全鏈路服務(wù)提出了更細(xì)致的管控需求；從使用上而言，用戶并不想理解大數(shù)據(jù)架構(gòu)的具體實(shí)現(xiàn)和管控的細(xì)節(jié)，用戶只想以更低的門(mén)檻、更快的方式來(lái)使用產(chǎn)品；從管理上而言，公司希望能夠?qū)?shù)據(jù)加工、處理過(guò)程中的相關(guān)...

導(dǎo)讀：大數(shù)據(jù)架構(gòu)在金融場(chǎng)景下面臨著諸多挑戰(zhàn)，從架構(gòu)上而言，業(yè)務(wù)對(duì)數(shù)據(jù)加工、存儲(chǔ)和使用的全鏈路服務(wù)提出了更細(xì)致的管控需求；從使用上而言，用戶并不想理解大數(shù)據(jù)架構(gòu)的具體實(shí)現(xiàn)和管控的細(xì)節(jié)，用戶只想以更低的門(mén)檻、更快的方式來(lái)使用產(chǎn)品；從管理上而言，公司希望能夠?qū)?shù)據(jù)加工、處理過(guò)程中的相關(guān)經(jīng)驗(yàn)做到有效傳承。

本文主要針對(duì)上述問(wèn)題分享對(duì)應(yīng)的解決方案，分別是：①?基于百度云產(chǎn)品的大數(shù)據(jù)架構(gòu)——MMR，管控需求；②?度小滿數(shù)據(jù)湖管理與分析平臺(tái)——鴻鵠，降門(mén)檻；③?度小滿模型訓(xùn)練監(jiān)控評(píng)估體系——易創(chuàng)，經(jīng)驗(yàn)傳承。

01大數(shù)據(jù)云化架構(gòu)——MMR度小滿大數(shù)據(jù)云化架構(gòu)是建立在百度云大數(shù)據(jù)產(chǎn)品基礎(chǔ)之上的，百度云標(biāo)準(zhǔn)的大數(shù)據(jù)產(chǎn)品解決方案與開(kāi)源的大數(shù)據(jù)解決方案類(lèi)似。首先是通過(guò)用戶提交任務(wù)，進(jìn)入到計(jì)算層，承接計(jì)算需求。再到存儲(chǔ)層，承接數(shù)據(jù)的存儲(chǔ)需求。為了滿足更細(xì)致的管控需求，我們對(duì)架構(gòu)進(jìn)行了一次延展。

我們將架構(gòu)分為以下幾個(gè)部分：接入層、表控層、計(jì)算層、虛擬存儲(chǔ)層、物理存儲(chǔ)層。

1. 用戶層

在用戶層主要實(shí)現(xiàn)的是對(duì)從用戶操作到人的管控。具體實(shí)現(xiàn)方式主要是：我們會(huì)在用戶的大數(shù)據(jù)的入口進(jìn)行改造，打通度小滿的員工管理系統(tǒng)，大數(shù)據(jù)服務(wù)的用戶在登陸作業(yè)機(jī)時(shí)會(huì)標(biāo)注自己的身份，在提交操作和命令時(shí)，可以從架構(gòu)上識(shí)別出個(gè)人的身份，這樣一來(lái)，在提交命令或者是操作時(shí)是帶著個(gè)人身份操作，所有任務(wù)和用戶操作都可以定位到具體的責(zé)任人。

2. 表控制管理層

針對(duì)表控制管理層，滿足了結(jié)構(gòu)化數(shù)據(jù)部分共享的業(yè)務(wù)需求，即大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)是以Hive表為基礎(chǔ)，Hive表里可能有一百、幾百或上千個(gè)字段，不同的字段有不同的密級(jí)要求。例如，在100個(gè)字段里，只有20個(gè)字段是希望共享的，其余80個(gè)是不希望共享的，這種情況就需要對(duì)表進(jìn)行字段級(jí)的權(quán)限控制。基于此，我們將在外層建立有針對(duì)性的權(quán)限控制中心，用戶可以在平臺(tái)上對(duì)表進(jìn)行字段級(jí)別的密級(jí)標(biāo)注以及共享和申請(qǐng)使用的權(quán)限設(shè)置。通過(guò)這種方式，用戶提交任務(wù)到Hive Server或Spark Server時(shí)，服務(wù)層會(huì)有一段邏輯來(lái)校驗(yàn)用戶提交的任務(wù)或者操作需要字段是否同時(shí)擁有該字段的權(quán)限，以此來(lái)決定是否放行實(shí)現(xiàn)字段級(jí)別的權(quán)限控制。

3. 計(jì)算層

在計(jì)算層主要是對(duì)資源的控制，主要是依賴百度云基礎(chǔ)架構(gòu)的能力。在計(jì)算層和存儲(chǔ)層，度小滿架設(shè)了虛擬管理層，虛擬管理層主要解決了非結(jié)構(gòu)化數(shù)據(jù)的共享需求和隔離需求。一般而言，每個(gè)業(yè)務(wù)的細(xì)分方向具有私密性，但每個(gè)業(yè)務(wù)的數(shù)據(jù)加工團(tuán)隊(duì)，都有上游和下游，都會(huì)面臨數(shù)據(jù)的部分分享和使用的需求。針對(duì)這類(lèi)情況，我們對(duì)目錄層面進(jìn)行權(quán)限管控。在目錄權(quán)限控制的基礎(chǔ)上，同時(shí)約定使用方訪問(wèn)的IP、IP段可以做到更細(xì)微的管控。在保證業(yè)務(wù)隔離的基礎(chǔ)上實(shí)現(xiàn)一定程度的數(shù)據(jù)共享，從而保障所有數(shù)據(jù)的操作、使用都是可控的，所有的過(guò)程都是可審計(jì)的。

在此基礎(chǔ)上，我們還面臨著一個(gè)更大的問(wèn)題——業(yè)務(wù)是從百度架構(gòu)過(guò)度到當(dāng)前的百度云開(kāi)源的數(shù)據(jù)架構(gòu)，類(lèi)似于從閉源的大數(shù)據(jù)架構(gòu)到開(kāi)源的大數(shù)據(jù)架構(gòu)。雖然計(jì)算邏輯或是計(jì)算方式上大致是相同的，但是在很多細(xì)節(jié)上比如入口設(shè)計(jì)、使用習(xí)慣和功能體驗(yàn)是不一致的。為了解決差異：

首先，要統(tǒng)一用戶的使用習(xí)慣，把用戶所有訪問(wèn)大數(shù)據(jù)服務(wù)使用的工具組裝成統(tǒng)一的Client，在統(tǒng)一client對(duì)差異進(jìn)行自動(dòng)的抹平。用戶在由百度架構(gòu)到百度云架構(gòu)到遷移的過(guò)程的工作主要是修改配置、驗(yàn)證結(jié)果，不會(huì)涉及到代碼層面的修改。
其次，虛擬存儲(chǔ)層的建設(shè)、實(shí)現(xiàn)存儲(chǔ)層的兼容，以文件系統(tǒng)的使用方式和使用習(xí)慣去訪問(wèn)對(duì)象存儲(chǔ)，在用戶層面看來(lái)功能和體驗(yàn)是一致的。

智能調(diào)度