本發(fā)明涉及數(shù)據(jù)庫(kù)，具體提供一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法及裝置。
背景技術(shù)：
：：1、傳統(tǒng)的數(shù)據(jù)庫(kù)遷移工具如datax在實(shí)現(xiàn)數(shù)據(jù)遷移同步時(shí)存在一些局限性，其僅專注于實(shí)現(xiàn)離線數(shù)據(jù)的同步，通過集成kaiwudb提供的讀寫插件，支持將外部數(shù)據(jù)庫(kù)同步遷移到kaiwudb中，實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)換和集成的需求。2、但是在實(shí)際遷移過程中，需要先手動(dòng)編寫復(fù)雜的遷移腳本，再依次執(zhí)行遷移腳本，存在操作繁瑣、易出錯(cuò)的缺點(diǎn)。技術(shù)實(shí)現(xiàn)思路1、本發(fā)明是針對(duì)上述現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)的異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法。2、本發(fā)明進(jìn)一步的技術(shù)任務(wù)是提供一種設(shè)計(jì)合理，安全適用的異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)裝置。3、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：4、一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，具有如下步驟：5、s1、配置文件解析器；6、異構(gòu)數(shù)據(jù)庫(kù)提供一個(gè)yaml文件，對(duì)源端、目的端數(shù)據(jù)庫(kù)的連接信息、數(shù)據(jù)遷移信息和遷移限制條件進(jìn)行配置，當(dāng)用戶配置完成后在運(yùn)行遷移工具時(shí)，遷移工具會(huì)通過配置文件解析器將配置信息解析到遷移工具中；7、s2、遷移腳本生成與執(zhí)行；8、當(dāng)配置信息解析完成后，遷移工具會(huì)根據(jù)配置參數(shù)通過調(diào)度中心來自動(dòng)生成對(duì)應(yīng)的數(shù)據(jù)遷移json腳本，并通過執(zhí)行模塊自動(dòng)執(zhí)行遷移腳本進(jìn)行數(shù)據(jù)遷移；在執(zhí)行遷移腳本時(shí)，遷移工具會(huì)依賴datax運(yùn)行環(huán)境，通過datax實(shí)現(xiàn)數(shù)據(jù)的同步遷移；9、s3、數(shù)據(jù)監(jiān)控統(tǒng)計(jì)與異常處理；10、在整個(gè)數(shù)據(jù)遷移的執(zhí)行過程中，遷移工具會(huì)監(jiān)控并解析記錄產(chǎn)生的日志信息；11、當(dāng)存在異常時(shí)，遷移工具會(huì)記錄具體的異常錯(cuò)誤信息；12、若遷移正常，遷移工具則會(huì)記錄遷移后的統(tǒng)計(jì)結(jié)果，并將異常信息或統(tǒng)計(jì)結(jié)果輸出到pdf遷移報(bào)告中，從而將遷移結(jié)果呈現(xiàn)給用戶。13、進(jìn)一步的，在步驟s1中，用戶需要在配置文件中配置數(shù)據(jù)遷移參數(shù)信息，在執(zhí)行遷移工具時(shí)，配置文件解析器會(huì)讀取用戶提供的配置文件，對(duì)配置參數(shù)進(jìn)行解析，將解析后的參數(shù)信息交給任務(wù)調(diào)度中心進(jìn)行后續(xù)處理。14、進(jìn)一步的，遷移配置文件參數(shù)時(shí)，具體包括如下：15、(1)源端source參數(shù)配置；16、(2)目的端target參數(shù)配置；17、(3)遷移setting參數(shù)配置；18、(4)遷移core參數(shù)配置。19、進(jìn)一步的，在步驟(1)中，源端source參數(shù)配置包括reader插件名稱pluginname和單次獲取數(shù)據(jù)的大小fetchsize；20、源端數(shù)據(jù)庫(kù)集合databases下的名稱name、連接信息url、用戶名username、密碼password、遷移數(shù)據(jù)表集合tables，以及表集合下的表名name、列集合column、自定義查詢sql集合querysql、自定義切分主鍵splitpk、過濾條件參數(shù)where、begindatetime、enddatetime、切分時(shí)間間隔splitintervals。21、進(jìn)一步的，在步驟(2)中，目的端target參數(shù)配置包括writer插件名稱pluginname、批處理數(shù)據(jù)大小batchsize；22、目的端數(shù)據(jù)庫(kù)集合databases下的名稱name、連接信息url、用戶名username、密碼password、目標(biāo)數(shù)據(jù)表集合tables，以及表集合下的表名name、列集合column、寫入模式writemode、寫入前執(zhí)行語句presql、寫入后執(zhí)行語句postsql。23、進(jìn)一步的，在步驟(3)中，遷移setting參數(shù)配置包括速度限制speed參數(shù)下的通道數(shù)量channel、通道速度byte、讀取的記錄數(shù)量record，以及出錯(cuò)限制errorlimit參數(shù)下的百分比percentage、出錯(cuò)多少條拋出異常record、在讀取或?qū)懭霐?shù)據(jù)過程中，允許出現(xiàn)的錯(cuò)誤所占的字節(jié)數(shù)上限byte。24、進(jìn)一步的，在步驟(4)中，遷移core參數(shù)配置包括transport.channel.speed下的byte和record參數(shù)，分別表示通道速度和讀取的記錄數(shù)量。25、進(jìn)一步的，在步驟s2中，任務(wù)調(diào)度中心接收到解析后的配置參數(shù)后，會(huì)根據(jù)具體參數(shù)信息進(jìn)行后續(xù)的邏輯處理，并匹配支持的數(shù)據(jù)遷移模板，從而自動(dòng)生成支持datax的表級(jí)別或庫(kù)級(jí)別的數(shù)據(jù)遷移json腳本；26、當(dāng)遷移腳本生成完成后，遷移工具會(huì)根據(jù)返回的遷移腳本名稱，結(jié)合datax框架按順序在執(zhí)行模塊中分別執(zhí)行數(shù)據(jù)遷移腳本，來進(jìn)行數(shù)據(jù)遷移；27、基于datax的異構(gòu)數(shù)據(jù)庫(kù)遷移工具，在自動(dòng)生成遷移腳本方面，支持的數(shù)據(jù)源模板包括：28、a.源端數(shù)據(jù)源：29、kaiwudb、mysql、tdengine、mongodb、influxdb、opentsdb、oracle、postgresql、clickhouse；30、b.目的端數(shù)據(jù)源：31、kaiwudb、mysql、tdengine、mongodb、oracle、postgresql、clickhouse。32、進(jìn)一步的，在步驟s3中，異構(gòu)數(shù)據(jù)庫(kù)遷移工具有數(shù)據(jù)監(jiān)控統(tǒng)計(jì)與異常處理模塊，用于處理并記錄整個(gè)數(shù)據(jù)遷移過程中發(fā)生的日志及異常錯(cuò)誤信息；33、遷移工具通過捕獲datax框架執(zhí)行遷移腳本時(shí)產(chǎn)生的日志信息，對(duì)日志信息進(jìn)行過濾、分析和處理，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)遷移結(jié)果的統(tǒng)計(jì)，以及異常錯(cuò)誤信息的記錄，為用戶提供詳盡的遷移記錄和分析。34、一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)裝置，包括：至少一個(gè)存儲(chǔ)器和至少一個(gè)處理器；35、所述至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)機(jī)器可讀程序；36、所述至少一個(gè)處理器，用于調(diào)用所述機(jī)器可讀程序，執(zhí)行一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法。37、本發(fā)明的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法及裝置和現(xiàn)有技術(shù)相比，具有以下突出的有益效果：38、本發(fā)明通過簡(jiǎn)化配置文件內(nèi)容，支持自動(dòng)化生成并執(zhí)行數(shù)據(jù)遷移腳本，以及實(shí)時(shí)監(jiān)控統(tǒng)計(jì)數(shù)據(jù)遷移過程的數(shù)據(jù)及異常錯(cuò)誤信息，解決了現(xiàn)有datax遷移工具在進(jìn)行數(shù)據(jù)遷移時(shí)，需要手動(dòng)編寫并執(zhí)行復(fù)雜的遷移腳本時(shí)存在操作繁瑣、易出錯(cuò)的局限性問題，為用戶提供了更加簡(jiǎn)單高效的數(shù)據(jù)遷移方式。技術(shù)特征：1.一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，具有如下步驟：2.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟s1中，用戶需要在配置文件中配置數(shù)據(jù)遷移參數(shù)信息，在執(zhí)行遷移工具時(shí)，配置文件解析器會(huì)讀取用戶提供的配置文件，對(duì)配置參數(shù)進(jìn)行解析，將解析后的參數(shù)信息交給任務(wù)調(diào)度中心進(jìn)行后續(xù)處理。3.根據(jù)權(quán)利要求2所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，遷移配置文件參數(shù)時(shí)，具體包括如下：4.根據(jù)權(quán)利要求3所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟(1)中，源端source參數(shù)配置包括reader插件名稱pluginname和單次獲取數(shù)據(jù)的大小fetchsize；5.根據(jù)權(quán)利要求4所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟(2)中，目的端target參數(shù)配置包括writer插件名稱pluginname、批處理數(shù)據(jù)大小batchsize；6.根據(jù)權(quán)利要求5所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟(3)中，遷移setting參數(shù)配置包括速度限制speed參數(shù)下的通道數(shù)量channel、通道速度byte、讀取的記錄數(shù)量record，以及出錯(cuò)限制errorlimit參數(shù)下的百分比percentage、出錯(cuò)多少條拋出異常record、在讀取或?qū)懭霐?shù)據(jù)過程中，允許出現(xiàn)的錯(cuò)誤所占的字節(jié)數(shù)上限byte。7.根據(jù)權(quán)利要求6所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟(4)中，遷移core參數(shù)配置包括transport.channel.speed下的byte和record參數(shù)，分別表示通道速度和讀取的記錄數(shù)量。8.根據(jù)權(quán)利要求7所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟s2中，任務(wù)調(diào)度中心接收到解析后的配置參數(shù)后，會(huì)根據(jù)具體參數(shù)信息進(jìn)行后續(xù)的邏輯處理，并匹配支持的數(shù)據(jù)遷移模板，從而自動(dòng)生成支持datax的表級(jí)別或庫(kù)級(jí)別的數(shù)據(jù)遷移json腳本；9.根據(jù)權(quán)利要求8所述的一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法，其特征在于，在步驟s3中，異構(gòu)數(shù)據(jù)庫(kù)遷移工具有數(shù)據(jù)監(jiān)控統(tǒng)計(jì)與異常處理模塊，用于處理并記錄整個(gè)數(shù)據(jù)遷移過程中發(fā)生的日志及異常錯(cuò)誤信息；10.一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)裝置，其特征在于，包括：至少一個(gè)存儲(chǔ)器和至少一個(gè)處理器；技術(shù)總結(jié)本發(fā)明涉及數(shù)據(jù)庫(kù)
技術(shù)領(lǐng)域：
：，具體提供了一種異構(gòu)數(shù)據(jù)庫(kù)遷移工具的實(shí)現(xiàn)方法及裝置，具有如下步驟：S1、配置文件解析器；當(dāng)用戶配置完成后在運(yùn)行遷移工具時(shí)，遷移工具會(huì)通過配置文件解析器將配置信息解析到遷移工具中；S2、遷移腳本生成與執(zhí)行；在執(zhí)行遷移腳本時(shí)，遷移工具會(huì)依賴DataX運(yùn)行環(huán)境，通過DataX實(shí)現(xiàn)數(shù)據(jù)的同步遷移；S3、數(shù)據(jù)監(jiān)控統(tǒng)計(jì)與異常處理；在整個(gè)數(shù)據(jù)遷移的執(zhí)行過程中，遷移工具會(huì)監(jiān)控并解析記錄產(chǎn)生的日志信息。與現(xiàn)有技術(shù)相比，本發(fā)明能夠解決現(xiàn)有DataX遷移工具在進(jìn)行數(shù)據(jù)遷移時(shí)，需要手動(dòng)編寫并執(zhí)行復(fù)雜的遷移腳本時(shí)存在操作繁瑣、易出錯(cuò)的局限性問題。技術(shù)研發(fā)人員：劉嘉利受保護(hù)的技術(shù)使用者：上海沄熹科技有限公司技術(shù)研發(fā)日：技術(shù)公布日：2024/11/26