- 相關(guān)推薦
電網(wǎng)信息化系統(tǒng)中同步并行數(shù)據(jù)遷移技術(shù)的運(yùn)用探討的論文
摘要：為保證南方電網(wǎng)營(yíng)銷管理系統(tǒng)集中部署上線后歷史數(shù)據(jù)的可用性，需按照營(yíng)銷系統(tǒng)數(shù)據(jù)模型要求完成現(xiàn)有營(yíng)銷管理系統(tǒng)數(shù)據(jù)的清理、轉(zhuǎn)換和遷移工作。文章提出了兩種數(shù)據(jù)遷移方案，根據(jù)電網(wǎng)市場(chǎng)營(yíng)銷業(yè)務(wù)限制綜合分析了第一種傳統(tǒng)遷移方案的瓶頸與不足，采用了第二種實(shí)時(shí)同步、分庫(kù)并行轉(zhuǎn)換的數(shù)據(jù)遷移方案，并實(shí)踐驗(yàn)證了該方案的有效性，大幅度縮短數(shù)據(jù)遷移時(shí)間。文章提出的方案對(duì)于大規(guī)模企業(yè)級(jí)管理信息系統(tǒng)的歷史數(shù)據(jù)遷移工作起到一定的參考與借鑒作用，確保新系統(tǒng)按計(jì)劃穩(wěn)步高效推廣應(yīng)用。
關(guān)鍵詞：營(yíng)銷管理系統(tǒng)，數(shù)據(jù)遷移，同步，并行
某電網(wǎng)營(yíng)銷管理信息系統(tǒng)（CSGII-MM V2.0，簡(jiǎn)稱“新系統(tǒng)”）主要實(shí)現(xiàn)抄核收、用電檢查、營(yíng)銷稽查監(jiān)控、業(yè)擴(kuò)、管理線損等功能的設(shè)計(jì)、建設(shè)過(guò)程管理，是實(shí)現(xiàn)電力營(yíng)銷全生命周期管理的一個(gè)重要環(huán)節(jié)，為保障新系統(tǒng)順利實(shí)施上線，順利完成由云南電網(wǎng)營(yíng)銷管理信息系統(tǒng)（PMS，簡(jiǎn)稱“老系統(tǒng)”）到南方電網(wǎng)營(yíng)銷管理信息系統(tǒng)的順利過(guò)渡，應(yīng)做好數(shù)據(jù)遷移工作的切實(shí)保障，保證南方電網(wǎng)營(yíng)銷管理系統(tǒng)數(shù)據(jù)的真實(shí)、準(zhǔn)確和完整。為了保證新系統(tǒng)上線后歷史數(shù)據(jù)的可用性，需研究出行之有效的數(shù)據(jù)遷移方案，能夠?qū)⒗舷到y(tǒng)歷史數(shù)據(jù)整理、轉(zhuǎn)換、集中，使得業(yè)務(wù)操作能夠獲得歷史數(shù)據(jù)的支撐，充分利用歷史數(shù)據(jù)的價(jià)值。
1、系統(tǒng)遷移現(xiàn)狀分析
為實(shí)現(xiàn)系統(tǒng)內(nèi)歷史數(shù)據(jù)的有效遷移，需對(duì)南方電網(wǎng)營(yíng)銷管理系統(tǒng)現(xiàn)狀進(jìn)行詳細(xì)分析，分析內(nèi)容包括遷移原則、業(yè)務(wù)現(xiàn)狀與技術(shù)現(xiàn)狀[1]。
1.1、遷移原則
數(shù)據(jù)清理收集工作，應(yīng)當(dāng)遵循如下原則進(jìn)行：完整性原則、真實(shí)性原則、有效性原則、統(tǒng)一性原則、保密性原則。
1.2、業(yè)務(wù)現(xiàn)狀
電網(wǎng)營(yíng)銷管理系統(tǒng)為全省大集中，系統(tǒng)數(shù)據(jù)覆蓋省、地市、縣級(jí)供電單位、國(guó)際公司和股份公司各供電單位，數(shù)據(jù)域包括客戶域、電網(wǎng)域、服務(wù)域、核算域、帳務(wù)域、營(yíng)銷設(shè)備域、量測(cè)域、管控域、支撐域和其他類數(shù)據(jù)十大類。
2、數(shù)據(jù)遷移方案分析
2.1、數(shù)據(jù)遷移方案一
新老系統(tǒng)數(shù)據(jù)遷移方案一采用源數(shù)據(jù)庫(kù)（老系統(tǒng)數(shù)據(jù)庫(kù)）à 數(shù)據(jù)遷移中間庫(kù) à 新系統(tǒng)數(shù)據(jù)庫(kù)的方式開(kāi)展數(shù)據(jù)的轉(zhuǎn)換和遷移工作，在中間庫(kù)開(kāi)展轉(zhuǎn)換、核查和整改工作。首先由老系統(tǒng)數(shù)據(jù)庫(kù)采用 ORACLE DBLINK 技術(shù)遷移數(shù)據(jù)至中間庫(kù)，在中間庫(kù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換及數(shù)據(jù)校驗(yàn)、整改工作，再由中間庫(kù)遷移至新系統(tǒng)，最后進(jìn)行核心數(shù)據(jù)功能驗(yàn)證，如圖 1 所示。
2.2、數(shù)據(jù)遷移方案二
2.2.1、實(shí)時(shí)數(shù)據(jù)同步
取消方案一中的中間庫(kù)數(shù)據(jù)遷移工作，采用數(shù)據(jù)同步技術(shù)，提前將老系統(tǒng)的數(shù)據(jù)同步至中間庫(kù)，在老系統(tǒng)業(yè)務(wù)停機(jī)幾小時(shí)后即可完成數(shù)據(jù)同步，開(kāi)始進(jìn)行數(shù)據(jù)轉(zhuǎn)換，既降低方案一中的網(wǎng)絡(luò)帶寬花銷，又減少了方案一中老系統(tǒng)至中間庫(kù)的數(shù)據(jù)遷移時(shí)間。數(shù)據(jù)同步需在老系統(tǒng)數(shù)據(jù)庫(kù)與中間庫(kù)上部署數(shù)據(jù)同步軟件，該軟件從老系統(tǒng)生產(chǎn)數(shù)據(jù)庫(kù)中獲取實(shí)時(shí)數(shù)據(jù)，與中間庫(kù)建立連接，將實(shí)時(shí)數(shù)據(jù)同步發(fā)送至中間庫(kù)[2]。
數(shù)據(jù)同步包含首次數(shù)據(jù)同步與增量數(shù)據(jù)同步，首次數(shù)據(jù)同步指數(shù)據(jù)同步軟件將有遷移需求的數(shù)據(jù)以某時(shí)間點(diǎn)為截止全量遷移復(fù)制至目標(biāo)數(shù)據(jù)庫(kù)，增量數(shù)據(jù)同步指首次數(shù)據(jù)同步結(jié)束后到業(yè)務(wù)系統(tǒng)停止時(shí)將所產(chǎn)生的新增數(shù)據(jù)實(shí)時(shí)同步至目標(biāo)數(shù)據(jù)庫(kù)。增量數(shù)據(jù)同步的原理為實(shí)時(shí)分析源端數(shù)據(jù)庫(kù)的日志，生成數(shù)據(jù)變動(dòng)的壓縮表，以捕獲增量數(shù)據(jù)，數(shù)據(jù)經(jīng)壓縮和加密后傳送至目標(biāo)數(shù)據(jù)庫(kù)，經(jīng)過(guò)目標(biāo)庫(kù)數(shù)據(jù)同步軟件的裝載后，即實(shí)現(xiàn)了增量數(shù)據(jù)的同步。
2.2.2、分庫(kù)并行數(shù)據(jù)轉(zhuǎn)換
在采用實(shí)時(shí)數(shù)據(jù)同步的基礎(chǔ)上，放棄使用原有中間庫(kù)，新建 4 個(gè)中間庫(kù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換及校驗(yàn)工作，中間庫(kù)既作為數(shù)據(jù)源也作為數(shù)據(jù)遷移中間庫(kù)，可實(shí)現(xiàn) 4 個(gè)中間庫(kù)并行的數(shù)據(jù)轉(zhuǎn)換及遷移工作。在此過(guò)程中需要數(shù)據(jù)同步軟件將老系統(tǒng)數(shù)據(jù)實(shí)時(shí)同步到 4 個(gè)中間庫(kù) , 正式數(shù)據(jù)遷移開(kāi)始之后即可開(kāi)展數(shù)據(jù)轉(zhuǎn)換、校驗(yàn)、整改與遷移工作。按此方案，采用并行的數(shù)據(jù)遷移方式，可在不同的中間庫(kù)分配不同的供電局業(yè)務(wù)數(shù)據(jù)，相較之前的單鏈路串行數(shù)據(jù)遷移方式，即需要按順序依次進(jìn)行各局?jǐn)?shù)據(jù)遷移、轉(zhuǎn)換的方式，此方案極大程度提高了數(shù)據(jù)遷移所需時(shí)間，方案二如圖 2 所示。
2.3、對(duì)比結(jié)論
試點(diǎn)局上線進(jìn)行數(shù)據(jù)遷移工作時(shí)采用數(shù)據(jù)遷移方案一，數(shù)據(jù)遷移時(shí)數(shù)據(jù)量約為 1 T，耗時(shí)為 4 天。由于南方電網(wǎng)營(yíng)銷管理系統(tǒng)后續(xù)上線供電局較多，遷移數(shù)據(jù)量較大，約為 2 T，采用方案一耗時(shí)較長(zhǎng)。在數(shù)據(jù)遷移過(guò)程中，為保障新老系統(tǒng)數(shù)據(jù)的一致性及數(shù)據(jù)遷移的成功率，需要對(duì)老系統(tǒng)進(jìn)行業(yè)務(wù)系統(tǒng)停機(jī)處理，若按方案一，需要對(duì)老系統(tǒng)停機(jī) 7 天或更久。停機(jī)時(shí)，無(wú)法進(jìn)行客戶算費(fèi)收費(fèi)工作，而電網(wǎng)公司業(yè)務(wù)上不允許長(zhǎng)時(shí)間對(duì)業(yè)務(wù)系統(tǒng)停機(jī)。為保障電網(wǎng)公司利益不受損失，市場(chǎng)營(yíng)銷業(yè)務(wù)能正�？焖匍_(kāi)展，綜合對(duì)比后正式數(shù)據(jù)遷移采用數(shù)據(jù)遷移方案二。
3、數(shù)據(jù)遷移改進(jìn)方案實(shí)施應(yīng)用
3.1、數(shù)據(jù)遷移方案實(shí)施
3.1.1、全量數(shù)據(jù)實(shí)時(shí)同步
通過(guò)對(duì)業(yè)務(wù)數(shù)據(jù)量及服務(wù)器性能分析后，4 個(gè)分庫(kù)的建設(shè)工作順利完成。在正式數(shù)據(jù)遷移開(kāi)始前，需完成全量數(shù)據(jù)實(shí)時(shí)同步工作。同步過(guò)程需要使用數(shù)據(jù)同步軟件將數(shù)據(jù)從老系統(tǒng)同步至 4 個(gè)中間庫(kù)，因此需要在老系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器上及 4 個(gè)中間庫(kù)上分別安裝部署數(shù)據(jù)同步軟件。此次同步為異構(gòu)服務(wù)器且不同數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步，源端（老系統(tǒng)）為 AIX 服務(wù)器，目標(biāo)端（中間庫(kù)）服務(wù)器為 LINUX 服務(wù)器；源端數(shù)據(jù)庫(kù)版本為 oracle10g, 目標(biāo)端版本為 oracle11g。
由于分為 4 個(gè)中間庫(kù)，首先需在源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)創(chuàng)建 4 個(gè)同步隊(duì)列，隨后在源端數(shù)據(jù)庫(kù)與 4 個(gè)目標(biāo)端數(shù)據(jù)庫(kù)創(chuàng)建同步用戶，最后在源端導(dǎo)出數(shù)據(jù)庫(kù)結(jié)構(gòu)并在目標(biāo)端進(jìn)行導(dǎo)入。上述準(zhǔn)備工作完成后即可開(kāi)始同步數(shù)據(jù)，同步完成后進(jìn)行同步數(shù)據(jù)比對(duì)工作，比對(duì)內(nèi)容為源端與目標(biāo)端核心數(shù)據(jù)表的記錄數(shù)與內(nèi)容。針對(duì)比對(duì)后遺漏或缺失的數(shù)據(jù)表，采取兩種方式進(jìn)行修復(fù)：對(duì)于數(shù)據(jù)量比較小的表，通過(guò)ORACLE DBLINK 技術(shù)進(jìn)行修復(fù)；對(duì)于數(shù)據(jù)量比較大的表，采用數(shù)據(jù)同步軟件進(jìn)行重新同步。
正式上線前一天，首次數(shù)據(jù)同步開(kāi)始，通過(guò)數(shù)據(jù)同步軟件將老系統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)從 AIX 主機(jī)（老系統(tǒng)數(shù)據(jù)庫(kù)）同步至 4 臺(tái) LINUX 主機(jī)（4個(gè)中間庫(kù)）。首次數(shù)據(jù)同步完成后，開(kāi)始增量數(shù)據(jù)同步。在老系統(tǒng)業(yè)務(wù)停止后，實(shí)時(shí)增量數(shù)據(jù)同步結(jié)束，開(kāi)始進(jìn)行數(shù)據(jù)比對(duì)與修復(fù)工作，約兩小時(shí)后，數(shù)據(jù)比對(duì)修復(fù)工作完成，一致率100%，數(shù)據(jù)同步工作順利完成。
3.1.2、并行數(shù)據(jù)轉(zhuǎn)換與遷移
數(shù)據(jù)同步完成后，在 4 個(gè)中間庫(kù)同時(shí)開(kāi)展數(shù)據(jù)轉(zhuǎn)換與遷移工作，根據(jù)“南方電網(wǎng)營(yíng)銷系統(tǒng)物理數(shù)據(jù)模型”為標(biāo)準(zhǔn)，開(kāi)展新老系統(tǒng)數(shù)據(jù)轉(zhuǎn)換與遷移工作，將老系統(tǒng)數(shù)據(jù)編碼通過(guò)數(shù)據(jù)庫(kù)腳本轉(zhuǎn)換為新系統(tǒng)所支持的數(shù)據(jù)編碼。為提升數(shù)據(jù)遷移腳本執(zhí)行效率，在數(shù)據(jù)遷移腳本中適當(dāng)加入索引能提高數(shù)據(jù)庫(kù)的性能，建立索引之后，可以合理的使用資源；此時(shí)同樣需要由良好的 SQL 語(yǔ)句進(jìn)行支持[3]，進(jìn)行 SQL 語(yǔ)句優(yōu)化之后，可進(jìn)一步提升數(shù)據(jù)遷移時(shí)的效率。
在數(shù)據(jù)同步開(kāi)始前，針對(duì)不同的分庫(kù)分配了不同的業(yè)務(wù)數(shù)據(jù)，如不同的分庫(kù)同步不同供電局的老系統(tǒng)歷史數(shù)據(jù)，且每個(gè)分庫(kù)的數(shù)據(jù)量基本一致，因此可以實(shí)現(xiàn)四庫(kù)并行的同步數(shù)據(jù)轉(zhuǎn)換與遷移工作，與之前方案相比，數(shù)據(jù)轉(zhuǎn)換將近提升了 4 倍。
在正式數(shù)據(jù)遷移時(shí)，應(yīng)設(shè)計(jì)南方電網(wǎng)營(yíng)銷管理系統(tǒng)的應(yīng)用級(jí)災(zāi)備切換場(chǎng)景[4]，當(dāng)數(shù)據(jù)遷移過(guò)程中發(fā)生災(zāi)難且無(wú)法恢復(fù)時(shí)，致使?fàn)I銷服務(wù)中斷，應(yīng)快速切換回老系統(tǒng)，確保公司核心業(yè)務(wù)系統(tǒng)運(yùn)行的連續(xù)性。
3.2、核心數(shù)據(jù)功能驗(yàn)證質(zhì)量提升
遷移完成后，對(duì)南方電網(wǎng)營(yíng)銷管理系統(tǒng)數(shù)據(jù)庫(kù)與《南方電網(wǎng)營(yíng)銷系統(tǒng)物理數(shù)據(jù)模型》進(jìn)行完整性對(duì)比，保證數(shù)據(jù)的安全、完整、真實(shí)，如圖 3 所示。
4、結(jié)束語(yǔ)
本文通過(guò)分析南方電網(wǎng)營(yíng)銷管理系統(tǒng)遷移現(xiàn)狀，結(jié)合業(yè)務(wù)現(xiàn)狀、技術(shù)現(xiàn)狀等角度提出了兩種數(shù)據(jù)遷移方案，進(jìn)行了詳細(xì)的分析與闡述，并重點(diǎn)描述了方案二的設(shè)計(jì)原理與實(shí)施應(yīng)用。本文所提出的歷史數(shù)據(jù)遷移改進(jìn)方案已經(jīng)應(yīng)用于云南電網(wǎng)公司南方電網(wǎng)營(yíng)銷管理系統(tǒng)的實(shí)施上線工作中，并取得了工程實(shí)際的應(yīng)用經(jīng)驗(yàn)。
該方案為大規(guī)模企業(yè)級(jí)管理信息系統(tǒng)的上線實(shí)施數(shù)據(jù)遷移工作提供了高效實(shí)用的技術(shù)支持，減少了不必要的損失，節(jié)省人力資源。
參考文獻(xiàn)：
[1] 田黇. ERP系統(tǒng)集中部署模式下的歷史數(shù)據(jù)遷移方案研究[J]. 電力信息與通信技術(shù), 2014, 12(8): 77-81.
[2] 陳然. 大規(guī)模電網(wǎng)運(yùn)行數(shù)據(jù)實(shí)時(shí)同步技術(shù)研究[J]. 云南電力技術(shù), 2015, (5):24-26.
[3] 羅偉,蔣蘇湘,周沿東,魏鵬飛. 湖南電力營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù)性能優(yōu)化研究[J]. 電力信息與通信技術(shù), 2014, 12(4): 30-34.
[4] 郭曉艷，王揚(yáng)，孫軼凡，侯丹，章斌. 營(yíng)銷系統(tǒng)應(yīng)用級(jí)災(zāi)備體系研究及建立[J]. 電力信息與通信技術(shù), 2014, 12(10): 13-17.
[5] 趙曉鋒，周慶捷，王志利，王瑞玨，王建偉. PMS實(shí)用化分析評(píng)價(jià)體系和數(shù)據(jù)質(zhì)量提升的研究[J]. 電力信息與通信技術(shù), 2015, 13(7): 101-106.
【電網(wǎng)信息化系統(tǒng)中同步并行數(shù)據(jù)遷移技術(shù)的運(yùn)用探討的論文】相關(guān)文章：
電力系統(tǒng)中的時(shí)鐘同步技術(shù)的探討論文04-30
數(shù)據(jù)大集中管理模式下數(shù)據(jù)同步技術(shù)探討論文05-03
特教學(xué)校機(jī)房信息管理系統(tǒng)中數(shù)據(jù)挖掘技術(shù)的運(yùn)用論文05-02
嵌入式系統(tǒng)中數(shù)據(jù)庫(kù)信息管理技術(shù)的運(yùn)用論文05-02
電力調(diào)度自動(dòng)化系統(tǒng)中數(shù)據(jù)挖掘的運(yùn)用的論文04-29
傳輸系統(tǒng)中的時(shí)鐘同步技術(shù)05-01
水利工程管理中數(shù)據(jù)挖掘技術(shù)的運(yùn)用論文05-02
智能電網(wǎng)建設(shè)中電力工程技術(shù)的運(yùn)用論文04-27
數(shù)據(jù)挖掘技術(shù)在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的運(yùn)用論文05-02