數據轉換同步的業(yè)務邏輯，封裝出用于異構數據轉換同步的最小單元的存儲過程；元子級同步過程需要充分的考慮異構數據對應的差異，和轉化的算法優(yōu)化，提高數據同步過程中增刪改查等操作的性能；
[0029](3)、建立作業(yè)任務調度控制過程
[0030]基于數據庫自身的JOB任務管理機制，和數據庫運行狀態(tài)監(jiān)控技術，采用先進先出的作業(yè)調度算法，建立同步作業(yè)調度控制過程；實現調度過程能夠實時的根據數據庫運行的狀態(tài)和資源利用率，動態(tài)的設置負責執(zhí)行元子同步過程的JOB數量，從而保證系統(tǒng)前端應用的應用性能，亦保證異構數據批量高效的同步，達到重復利用數據庫硬件資源的目的；異構數據批量同步的控制流程:
[0031]步驟一:創(chuàng)建用于任務調度分配的主J0B，采用蟻群研究中“秩序即是高效”規(guī)律設計JOB的控制機制，通過分析系統(tǒng)的資源的利用率，達到控制子JOB數量和執(zhí)行頻率的目的，從而充分提高同步作業(yè)的整體效率；
[0032]步驟二:按照異構數據同步需求及數據規(guī)模設計元子同步過程，元子同步過程之間要消除前后的依賴，保證能夠并發(fā)運行而不影響數據同步的目標。并將元子同步過程，注冊進入調度列表中；
[0033]步驟三:主JOB按照設計好的調度機制，啟動創(chuàng)建子job，執(zhí)行元子同步過程。按照同步頻率的需求，調整循環(huán)同步的周期，從而實現異構型數據的高效同步；
[0034](4)注冊元子同步過程進入調度控制過程
[0035]完成以上三個步驟，將元子同步過程注冊進入調度控制過程，完成調度控制過程對元子同步過程的動態(tài)管理和執(zhí)行。元子同步過程的執(zhí)行，并不一定完全按照既定的邏輯執(zhí)行，而是由主JOB根據當前的系統(tǒng)資源利用率相關信息動態(tài)分配，達到控制子JOB數量和執(zhí)行頻率的目的，從而充分提高同步作業(yè)的整體效率。
【主權項】
1.一種基于數據庫的異構型數據批量同步方法，其特征在于，在系統(tǒng)計算資源有限的情況下，充分利用數據庫管理軟件的自身技術與接口，原子化實現異構類型數據同步單元，借助操作先來先服務調度算法(FCFS)執(zhí)行批量并行同步，主要采用以下步驟和技術、算法實現: (1)、建立子系統(tǒng)底層數據庫之間的連接 建立網絡鏈路，實現子系統(tǒng)數據庫服務器之間的通信鏈路；利用數據庫Database link技術，實現數據庫之間相互訪問連接；在此通過數據庫權限的授予和限制，實現子系統(tǒng)內私有數據和公有數據的安全保護； (2)、封裝元子級的數據轉換同步過程 結合子系統(tǒng)間異構數據同步的需求，按照數據轉換同步的業(yè)務邏輯，封裝出用于異構數據轉換同步的最小元子級(Metadata)的同步存儲過程；最小元子級同步過程需要充分的考慮異構數據對應的差異，利用數據庫自身的臨時表與緩存機制，降低內存的壓力；按照數據庫數據存儲的原理，設計最小步驟的轉換過程與轉化的算法，提高數據同步過程中增、刪、改、查等操作的性能，從而達到整體提高同步性能的目的； (3)、建立作業(yè)任務調度控制過程 基于數據庫自身的JOB任務管理機制，和數據庫運行狀態(tài)監(jiān)控技術，采用先進先出的作業(yè)調度算法，建立同步作業(yè)調度控制過程；實現調度過程能夠實時的根據數據庫運行的狀態(tài)和資源利用率，動態(tài)的設置負責執(zhí)行元子同步過程的JOB數量，從而保證系統(tǒng)前端應用的應用性能，亦保證異構數據批量高效的同步，達到重復利用數據庫硬件資源的目的；異構數據批量同步的控制流程: 步驟一:創(chuàng)建用于任務調度分配的主JOB，采用蟻群研究中“秩序即是高效”規(guī)律設計JOB的控制機制，通過分析系統(tǒng)的資源的利用率，達到控制子JOB數量和執(zhí)行頻率的目的，從而充分提高同步作業(yè)的整體效率；此步驟中為了能夠在后面的執(zhí)行過程中有限的監(jiān)管數據同步過程，在此處還需加入數據同步監(jiān)督管理邏輯，用于監(jiān)控數據庫軟硬件負載情況，及元子的同步過程運行的詳細信息； 步驟二:按照異構數據同步需求及數據規(guī)模設計元子同步過程，元子同步過程之間要消除前后的依賴，保證能夠并發(fā)運行而不影響數據同步的目標，并將元子同步過程，注冊進入調度列表中； 步驟三:主JOB按照設計好的調度機制，啟動創(chuàng)建子JOB，執(zhí)行最小元子同步過程，按照同步頻率的需求，調整循環(huán)同步的周期，從而實現異構型數據的高效同步； (4)注冊元子同步過程進入調度控制過程 完成以上三個步驟，將元子同步過程注冊進入調度控制過程，完成調度控制過程對元子同步過程的動態(tài)管理和執(zhí)行，元子同步過程的執(zhí)行，并不一定完全按照既定的邏輯執(zhí)行，而是由主JOB根據當前的系統(tǒng)資源利用率相關信息動態(tài)分配，達到控制子JOB數量和執(zhí)行頻率的目的，從而充分提高同步作業(yè)的整體效率； (5)監(jiān)管異構數據同步過程 本階段加入獨立于同步過程的分析控制邏輯，通過分析“作業(yè)任務調度控制過程”記錄系統(tǒng)運行數據、及元子的同步過程運行的詳細數據，明確的指導調整數據庫系統(tǒng)配置參數，結合系統(tǒng)服務應用的時間周期規(guī)律，及時的調整子過程調度的頻率、資源配額等參數，實現同步過程最高效的同步，同時不影響系統(tǒng)前端服務運用的效率與并發(fā)量。
【專利摘要】一種基于數據庫的異構型數據批量同步方法，其特征在于，在系統(tǒng)計算資源有限的情況下，充分利用數據庫管理軟件的自身技術與接口，原子化實現異構類型數據同步單元，借助操作先來先服務調度算法(FCFS)執(zhí)行批量并行同步，本發(fā)明的有益效果是：本發(fā)明是在信息系統(tǒng)計算資源有限的情況下，充分利用數據庫管理軟件的自身技術，利用操作系統(tǒng)先來先服務調度算法(FCFS)，實現異構類型數據的批量并行同步方式。本發(fā)明是利用數據庫自身的Database？link機制，升級JOB作業(yè)管理機制，實現動態(tài)批量的管理元子級的異構類型的數據同步過程執(zhí)行數據同步，保證整個異構數據類型系統(tǒng)的數據一致性和完整性。
【IPC分類】G06F17/30
【公開號】CN105426440
【申請?zhí)枴緾N201510749519
【發(fā)明人】張羿, 趙志宇, 孫北寧, 李姝義, 黃丁, 楊思堅, 趙毅濤, 張志生, 張莉娜, 顏麗淵, 鄭研, 趙涓, 吳清華, 馮玉喜, 張 浩, 任瑩, 李申章
【申請人】云南電網有限責任公司, 昆明能訊科技有限責任公司
【公開日】2016年3月23日
【申請日】2015年11月6日