電力營銷管理系統(tǒng)數(shù)據(jù)遷移與清理研究

1術(shù)語定義

1.1數(shù)據(jù)清理

數(shù)據(jù)清理是指包括數(shù)據(jù)收集以及數(shù)據(jù)核查、檢驗、整改、遷移到營銷管理系統(tǒng),并完成業(yè)務(wù)驗證的工作過程。

1.2當前數(shù)據(jù)

當前數(shù)據(jù)是指系統(tǒng)正常運行的必要檔案、參數(shù)代碼以及確定優(yōu)先導(dǎo)入的近幾個月電量電費數(shù)據(jù),包括與營銷相關(guān)的主數(shù)據(jù),如客戶信息、計量點信息、客戶供用電合同協(xié)議、計量表箱、供應(yīng)商、物資合同、站/線/變等資產(chǎn)信息,具有支持業(yè)務(wù)運轉(zhuǎn)、數(shù)據(jù)更新快、使用頻度高等特點。數(shù)據(jù)遷移的成功與否直接影響系統(tǒng)能否正常使用。當前數(shù)據(jù)主要存放在營銷管理系統(tǒng)的生產(chǎn)庫中。

1.3歷史數(shù)據(jù)

歷史數(shù)據(jù)是指非當前業(yè)務(wù)需要使用的數(shù)據(jù),按先近后遠的次序?qū)?優(yōu)先導(dǎo)入存在于原有營銷管理系統(tǒng)的生產(chǎn)數(shù)據(jù)庫中的近幾個月電量電費數(shù)據(jù),具有數(shù)據(jù)穩(wěn)定、使用頻度低等特點。在系統(tǒng)切換上線初期,對系統(tǒng)正常運行的影響很小。歷史數(shù)據(jù)主要存放在營銷管理系統(tǒng)的管理庫中。

1.4源數(shù)據(jù)

源數(shù)據(jù)是指原有營銷管理系統(tǒng)生產(chǎn)數(shù)據(jù)庫導(dǎo)入到營銷管理系統(tǒng)的數(shù)據(jù)庫源數(shù)據(jù)用戶。

1.5目標數(shù)據(jù)

目標數(shù)據(jù)是指營銷管理系統(tǒng)的數(shù)據(jù)庫(包括生產(chǎn)數(shù)據(jù)庫、管理數(shù)據(jù)庫等）中的數(shù)據(jù)。

2數(shù)據(jù)遷移和清理研究

2.1適用范圍

營銷管理系統(tǒng)數(shù)據(jù)工作包含了數(shù)據(jù)質(zhì)量持續(xù)提升,數(shù)據(jù)收集、核查、檢驗、整改以及遷移,參數(shù)代碼的數(shù)據(jù)梳理和轉(zhuǎn)化,專項數(shù)據(jù)清理,系統(tǒng)數(shù)據(jù)和協(xié)同數(shù)據(jù)初始化五大方面。建議遷移的數(shù)據(jù)范圍如表1所示。

2.2數(shù)據(jù)遷移方法

2.2.1數(shù)據(jù)質(zhì)量提升

數(shù)據(jù)質(zhì)量提升工作需要結(jié)合系統(tǒng)上線工作準備合理安排,確保上線后數(shù)據(jù)準確、完整。

在系統(tǒng)中固化數(shù)據(jù)校驗規(guī)則,建立中間庫。系統(tǒng)各環(huán)節(jié)數(shù)據(jù)校驗,分類管理重要、一般字段的動態(tài)更新數(shù)據(jù)校驗規(guī)則。按月開展營銷數(shù)據(jù)質(zhì)量自查,定期輸出數(shù)據(jù)質(zhì)量報告。每月對各分子營銷數(shù)據(jù)自核查結(jié)果和整改提升工作進行考評。

2.2.2庫表數(shù)據(jù)清理

梳理遷移的庫表、營銷系統(tǒng)功能與庫表UC關(guān)系,確定需要清理的數(shù)據(jù)項目,采用"原系統(tǒng)一中間表一新系統(tǒng)"的遷移方法,每一次遷移到中間表都需要進行數(shù)據(jù)的質(zhì)量檢查,達標后才允許遷入新系統(tǒng),并經(jīng)過業(yè)務(wù)驗證。

(1）確定需要遷移的數(shù)據(jù)范圍,制定數(shù)據(jù)模型差異分析及處理建議,代碼編碼映射關(guān)系確認以及需手工收集的數(shù)據(jù)及模板。

(2）各單位按要求收集、整理完善數(shù)據(jù),并提交生產(chǎn)數(shù)據(jù)庫導(dǎo)出文件和手工收集的文件。

(3）把收集的文件(包括源營銷管理系統(tǒng)數(shù)據(jù)文件）導(dǎo)入、轉(zhuǎn)化、遷移到中間庫。

(4）建立信息分類和編碼規(guī)范、原系統(tǒng)參數(shù)的映射關(guān)系,根據(jù)一體化營銷管理系統(tǒng)模型,按照營銷數(shù)據(jù)質(zhì)量管理要求以及協(xié)同數(shù)據(jù)質(zhì)量管理要求,對中間表數(shù)據(jù)進行核查,做到可量化、可追溯。

(5）通過數(shù)據(jù)質(zhì)量驗證、主外鍵驗證、數(shù)據(jù)遷移的關(guān)鍵驗證后,中間表中的"當前數(shù)據(jù)"遷移到新營銷系統(tǒng)的生產(chǎn)數(shù)據(jù)庫(生產(chǎn)庫、管理庫）。抽查比例如表2所示。

(6）對全部用戶的試算費進行驗證,在原系統(tǒng)已經(jīng)計算完成的用戶電量電費基礎(chǔ)上,在新系統(tǒng)重新計算后,比對電量電費是否一致。將原系統(tǒng)的抄表檔案、電量電費檔案等導(dǎo)入到新系統(tǒng)中,在新系統(tǒng)中計算電量電費,計算完畢后,把新系統(tǒng)計算的電費與從原系統(tǒng)提取的電費進行對比,形成新原系統(tǒng)電費差異清單,逐條分析清單中差異的具體原因。

(7）比對新原系統(tǒng)數(shù)據(jù)模型差異,分析差異類型、產(chǎn)生差異的原因、影響等,給出處理建議,并完善數(shù)據(jù)模型差異分析及處理建議,確認代碼編碼映射關(guān)系。

2.2.3參數(shù)代碼的數(shù)據(jù)梳理和轉(zhuǎn)化

根據(jù)信息分類和編碼規(guī)范,建立新舊系統(tǒng)代碼編碼的映射關(guān)系,并對代碼映射關(guān)系進行確認,確認內(nèi)容包括能夠建立映射關(guān)系和不能建立映射關(guān)系的代碼編碼。

2.2.4專項數(shù)據(jù)清理

(1）工作單數(shù)據(jù)遷移工作內(nèi)容如下:1）對傳遞中的工作單進行清理,盡可能歸檔。2）把五大類(業(yè)擴、計量、稽查、停電、客服）工作單查詢數(shù)據(jù)進行遷移,完成后在系統(tǒng)做查詢功能和數(shù)據(jù)驗證。3）轉(zhuǎn)化遷移業(yè)擴、計量、用檢傳遞中工作單數(shù)據(jù),完成后由業(yè)務(wù)小組檢查驗證數(shù)據(jù)和測試辦理。(2）歷史數(shù)據(jù)遷移。歷史數(shù)據(jù)可以根據(jù)服務(wù)器運行壓力安排合適的執(zhí)行時間。1）把源數(shù)據(jù)庫的歷史數(shù)據(jù)轉(zhuǎn)化遷移到中間表。2）把中間表中的歷史數(shù)據(jù)做主外鍵驗證和問題整改后,遷移到營銷的管理數(shù)據(jù)庫。3）數(shù)據(jù)遷移后,對數(shù)據(jù)進行自動校驗,對問題數(shù)據(jù)進行整改。4）對歷史數(shù)據(jù)進行抽查驗證。

2.2.5系統(tǒng)數(shù)據(jù)和D協(xié)數(shù)據(jù)同初化

(1）組始織構(gòu)數(shù)據(jù)同始化。對編碼不符合規(guī)范的按信息分類和編碼重新編碼,由業(yè)務(wù)部門確認后于雙軌前導(dǎo)入新系統(tǒng)。雙軌、單軌運行期間不再處理。組始織構(gòu)需以人力資源管理為準,并和4A平臺保持一致。(2）人員帳號、系統(tǒng)角色(崗位）、角色對應(yīng)菜單、業(yè)務(wù)流程設(shè)置。本項內(nèi)容由業(yè)務(wù)部門梳理,以4A平臺數(shù)據(jù)以人力資源管理系統(tǒng)確認后的數(shù)據(jù)為準進行初始化,營銷系統(tǒng)從4A平臺獲取組始機構(gòu)數(shù)據(jù)、人員賬號等數(shù)據(jù),系統(tǒng)角色、崗位等權(quán)限數(shù)據(jù)按照4A平臺模板整理后導(dǎo)入至4A平臺于雙軌前進行初始化。雙軌運行期間,在新系統(tǒng)中可對上述內(nèi)容進行調(diào)整,單軌運行沿用雙軌的設(shè)置。(3）綜合技術(shù)平臺數(shù)據(jù)初始化。1）數(shù)據(jù)資源管理平臺主數(shù)據(jù)初始化,從數(shù)據(jù)資源管理平臺核對并獲取供應(yīng)商信息、物資合協(xié)信息、資產(chǎn)信息、饋線信息、交流線段信息、變電站信息、變壓器信息、斷路器信息、低壓用戶電源點信息等:并推送客戶信息、計量點信息、客戶供用電合協(xié)D議、表計資產(chǎn)信息、計量表箱信息。2）GⅠS平臺數(shù)據(jù)數(shù)據(jù)初始化協(xié)步包括站、線、變、戶等GⅠSⅠ一、電網(wǎng)拓撲信息。(4）D協(xié)應(yīng)用系統(tǒng)數(shù)據(jù)初始化。做好和資產(chǎn)管理、財務(wù)管理、調(diào)度管理等應(yīng)用系統(tǒng)的D協(xié)數(shù)據(jù)初始化,如計量采購需求、停電計劃、購電檔案、電價信息、電廠調(diào)度管轄范圍信息等。由業(yè)務(wù)小組梳理,和D協(xié)應(yīng)用系統(tǒng)達成一致,并根據(jù)D協(xié)數(shù)據(jù)模型及數(shù)據(jù)質(zhì)量標準,通過數(shù)據(jù)質(zhì)量核查,數(shù)據(jù)遷移小組于雙軌前、單軌前分別導(dǎo)入新系統(tǒng)。

2.3數(shù)據(jù)驗證條件

所有需遷移的庫表數(shù)據(jù)正確轉(zhuǎn)入一體化營銷管理系統(tǒng),數(shù)據(jù)質(zhì)量達到營銷數(shù)據(jù)質(zhì)量提升要求,并且通過數(shù)據(jù)驗證、業(yè)務(wù)流程運轉(zhuǎn)、D協(xié)業(yè)務(wù)場景的驗證,包括檔案數(shù)據(jù)(如重要客戶檔案、站/線/變基礎(chǔ)信息等）、欠費數(shù)據(jù)、核銷壞賬、預(yù)收費用,周期性試算費驗證數(shù)據(jù)準確,業(yè)務(wù)專家對遷移數(shù)據(jù)的業(yè)務(wù)驗證等。

2.3.1數(shù)據(jù)遷移方法

數(shù)據(jù)遷移采用"原系統(tǒng)二中間庫二新系統(tǒng)"的遷移方法,即將數(shù)據(jù)由原系統(tǒng)數(shù)據(jù)遷移到中間庫,然后由中間庫遷移到新系統(tǒng)中,如圖1所示。

(1）明確新原系統(tǒng)交接界面,統(tǒng)一管理,分工明晰,確保遷移工作安全、有序開展:(2）省地聯(lián)動,確保對日常業(yè)務(wù)無影響,遷移過程、內(nèi)容有據(jù)可查:(3）數(shù)據(jù)精細化處理,按業(yè)務(wù)和數(shù)據(jù)特性,分別制定遷移策略,提高數(shù)據(jù)精細化處理程度。

遷移流程如圖2所示。

流程說明如表3所示。

遷移環(huán)境要求:(1）備份文件及時送至分子數(shù)據(jù)庫,保障網(wǎng)絡(luò)暢通可用:(2）備份文件可及時導(dǎo)入分子數(shù)據(jù)庫服務(wù)器:(3）分子數(shù)據(jù)庫服務(wù)器有足夠的空間:(4）數(shù)據(jù)遷移小組在數(shù)據(jù)遷移期間,具有相應(yīng)的數(shù)據(jù)庫權(quán)限,包括創(chuàng)建、刪除、訪問(用戶、表、視圖、序列、函數(shù)、過程、索引等）等數(shù)據(jù)庫權(quán)限。

2.3.2數(shù)據(jù)遷移原則

各地市單位原系統(tǒng)建設(shè)情況復(fù)雜、特殊業(yè)務(wù)多、新原系統(tǒng)差異大,對數(shù)據(jù)遷移工作提出很高的要求。整個遷移過程需遵循如下原則:

(1）準確。通過嚴格充分核對及校驗保證新原系統(tǒng)數(shù)據(jù)的一致性。通過數(shù)據(jù)普查、自查等手段,保證應(yīng)用數(shù)據(jù)的完整性、業(yè)務(wù)數(shù)據(jù)的準確性。

(2）有序。依據(jù)營銷管理系統(tǒng)應(yīng)用的邏輯關(guān)系與重要程度,規(guī)劃數(shù)據(jù)遷移內(nèi)容的先后順序,對遷移數(shù)據(jù)進行分類,基礎(chǔ)數(shù)據(jù)類和檔案類數(shù)據(jù)優(yōu)先,維護量大的數(shù)據(jù)優(yōu)先,不變更、使用率低的歷史數(shù)據(jù)空閑時遷移。

(3）高效。利用前期數(shù)據(jù)調(diào)研,獲取數(shù)據(jù)庫類型、數(shù)據(jù)分布情況以及數(shù)據(jù)量情況,針對不同的數(shù)據(jù)對象,通過嚴格測試,選擇執(zhí)行效率高、安全性高的數(shù)據(jù)處理方法,保證數(shù)據(jù)遷移過程所占用資源少、時間短,最大限度減少遷移過程的人工參與程度。

2.3.3數(shù)據(jù)遷移策略

(1）根據(jù)數(shù)據(jù)屬性、特性對周期類、臺賬類、參數(shù)類等數(shù)據(jù)分類處理:

(2）采用分期分批遷移方式,歷史數(shù)據(jù)提前遷移:

(3）制定數(shù)據(jù)遷移預(yù)案,明確各類場景下數(shù)據(jù)處理方式方法:

(4）全過程監(jiān)控校驗,確保新系統(tǒng)數(shù)據(jù)完整、準確:

(5）對預(yù)遷移過程性能進行評估,改進遷移過程,優(yōu)化遷移工具,將遷移工作造成的業(yè)務(wù)影響度降到最低。

2.4數(shù)據(jù)驗證

制定數(shù)據(jù)驗證規(guī)則,開發(fā)數(shù)據(jù)校驗工具,驗證數(shù)據(jù)遷出工具、遷入工具的安全性和可靠性,保證遷移數(shù)據(jù)的完整性、業(yè)務(wù)邏輯的準確性和遷移前后數(shù)據(jù)的一致性。

(1）省地聯(lián)動,使用系統(tǒng)工具進行全業(yè)務(wù)數(shù)據(jù)驗證,地市局進行人工抽樣核查:

(2）動態(tài)數(shù)據(jù),如工作單、欠費、預(yù)收結(jié)余等數(shù)據(jù)進行專項驗證:

(3）驗證新原系統(tǒng)文檔附件匹配的準確性:

(4）重要客戶檔案數(shù)據(jù)逐條確認:

(5）在預(yù)遷移過程中,周期性試算費驗證數(shù)據(jù)準確性:

(6）在預(yù)遷移過程中,配合業(yè)務(wù)專家驗證遷移數(shù)據(jù)的準確性。

遷移測試驗證流程圖如圖3所示。

數(shù)據(jù)遷移測試流程說明如表4所示。

3結(jié)語

按照電力營銷管理系統(tǒng)確定的實施范圍,將系統(tǒng)上線后需要在系統(tǒng)中應(yīng)用的數(shù)據(jù)通過一系列規(guī)范的工作步驟,完成數(shù)據(jù)核查、檢驗、整改、補全和同步工作,使業(yè)務(wù)數(shù)據(jù)達到高質(zhì)量標準,再利用標準化工具,確保數(shù)據(jù)遷移工作安全、正確、有序開展,使系統(tǒng)上線后的數(shù)據(jù)質(zhì)量滿足系統(tǒng)應(yīng)用要求。