本發(fā)明屬于數(shù)據(jù)工程，具體是一種基于人工智能的低代碼數(shù)據(jù)對(duì)接檢測方法。

背景技術(shù)：

1、低代碼數(shù)據(jù)對(duì)接檢測是一種利用人工智能技術(shù)對(duì)低代碼環(huán)境下的數(shù)據(jù)對(duì)接過程進(jìn)行監(jiān)測和分析的方法，旨在加快軟件開發(fā)速度，減少傳統(tǒng)編程工作，最大限度減少手工編碼的工作量。但是現(xiàn)有的低代碼數(shù)據(jù)對(duì)接檢測，存在模板測試時(shí)間冗長復(fù)雜，且復(fù)用程度極低，配置不夠靈活的技術(shù)問題；存在數(shù)據(jù)對(duì)接檢測不夠準(zhǔn)確，導(dǎo)致不必要的重復(fù)操作，浪費(fèi)時(shí)間和資源的技術(shù)問題；存在數(shù)據(jù)對(duì)接任務(wù)分配不夠高效，變更反應(yīng)不夠敏捷，無法實(shí)現(xiàn)有效的任務(wù)管理和監(jiān)控的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種基于人工智能的低代碼數(shù)據(jù)對(duì)接檢測方法，針對(duì)存在模板測試時(shí)間冗長復(fù)雜，且復(fù)用程度極低，配置不夠靈活的技術(shù)問題，采用將模擬數(shù)據(jù)輸入并經(jīng)過對(duì)接模擬邏輯完成數(shù)據(jù)流轉(zhuǎn)，通過背景色提示錯(cuò)誤級(jí)別，確保數(shù)據(jù)對(duì)接的可靠性；針對(duì)存在數(shù)據(jù)對(duì)接檢測不夠準(zhǔn)確，導(dǎo)致不必要的重復(fù)操作，浪費(fèi)時(shí)間和資源的技術(shù)問題，采用定義樣本鄰域和鄰域粒度，明確數(shù)據(jù)的局部范圍和精細(xì)程度，有助于更好地把握數(shù)據(jù)的局部特性，衡量特征相似性，深入揭示數(shù)據(jù)特征之間的關(guān)系，引入注意力機(jī)制層，標(biāo)記同構(gòu)和異構(gòu)特征，共同提升數(shù)據(jù)對(duì)接檢測模型的準(zhǔn)確性；針對(duì)存在數(shù)據(jù)對(duì)接任務(wù)分配不夠高效，變更反應(yīng)不夠敏捷，無法實(shí)現(xiàn)有效的任務(wù)管理和監(jiān)控的技術(shù)問題，采用通過尋找最小化整體延遲的任務(wù)分配方案，考慮加速器的性能和任務(wù)特點(diǎn)進(jìn)行合理分配，對(duì)任務(wù)按層劃分并合理規(guī)劃執(zhí)行位置，通過可視化展示任務(wù)排隊(duì)信息、支持禁用和喚起任務(wù)確保任務(wù)調(diào)度的正常進(jìn)行。

2、本發(fā)明采取的技術(shù)方案如下：本發(fā)明提供的一種基于人工智能的低代碼數(shù)據(jù)對(duì)接檢測方法，該方法包括以下步驟：

3、步驟s1：組件編排，具體為生成對(duì)接模板并完成節(jié)點(diǎn)配置，進(jìn)行組件編排；

4、步驟s2：模板測試，具體為獲取模擬數(shù)據(jù)進(jìn)行模板測試，通過背景色提示錯(cuò)誤級(jí)別；

5、步驟s3：建立數(shù)據(jù)對(duì)接檢測模型，具體為定義樣本鄰域及鄰域粒度，衡量特征相似性，使用局部gram矩陣建模得到數(shù)據(jù)特征之間關(guān)系，最后引入注意力機(jī)制層，傳遞特征相似性和關(guān)系，標(biāo)記同構(gòu)和異構(gòu)特征，實(shí)現(xiàn)數(shù)據(jù)對(duì)接檢測模型建立；

6、步驟s4：任務(wù)對(duì)接調(diào)度，具體為明確任務(wù)調(diào)度目標(biāo)是找到最小化整體延遲的任務(wù)分配方案，計(jì)算加速器分配任務(wù)時(shí)的延遲，按序分配任務(wù)，將cnn任務(wù)分層劃分子任務(wù)，規(guī)劃各層執(zhí)行位置，再配置任務(wù)調(diào)度規(guī)則，記錄日志；

7、步驟s5：更新反饋。

8、進(jìn)一步地，在步驟s1中，所述組件編排，包括以下步驟：

9、步驟s11：對(duì)接模板生成，通過可視化交互方式，拖拽組件進(jìn)入工作臺(tái)，作為對(duì)接模板內(nèi)調(diào)度的基本單位；

10、步驟s12：完成節(jié)點(diǎn)配置，點(diǎn)擊組件，根據(jù)界面配置項(xiàng)完成節(jié)點(diǎn)配置，所述節(jié)點(diǎn)包括數(shù)據(jù)讀取節(jié)點(diǎn)、數(shù)據(jù)清洗節(jié)點(diǎn)和數(shù)據(jù)寫入節(jié)點(diǎn)；

11、所述數(shù)據(jù)讀取節(jié)點(diǎn)主要負(fù)責(zé)選定數(shù)據(jù)源并進(jìn)行參數(shù)設(shè)置，讀取數(shù)據(jù)源的數(shù)據(jù)入口，通過預(yù)覽測試來驗(yàn)證數(shù)據(jù)讀取是否正常，確保數(shù)據(jù)能夠順利接入；

12、數(shù)據(jù)清洗節(jié)點(diǎn)主要是根據(jù)數(shù)據(jù)入庫要求，對(duì)數(shù)據(jù)源數(shù)據(jù)進(jìn)行預(yù)處理、篩選和過濾操作，選擇合適的腳本、校驗(yàn)、統(tǒng)計(jì)、轉(zhuǎn)換組件，完成配置工作，達(dá)到清洗和優(yōu)化的目的；

13、數(shù)據(jù)寫入節(jié)點(diǎn)，選擇合適的輸入組件將處理后的數(shù)據(jù)載入到目標(biāo)業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的最終寫入和應(yīng)用；

14、步驟s13：進(jìn)行編排，低代碼平臺(tái)通過可視化操作，設(shè)定組件的執(zhí)行順序，并根據(jù)執(zhí)行結(jié)果決定后續(xù)步驟的流轉(zhuǎn)方向，實(shí)現(xiàn)對(duì)組件之間關(guān)系和流程的編排，同時(shí)支持對(duì)組件是并發(fā)執(zhí)行還是線性執(zhí)行進(jìn)行控制，靈活地構(gòu)建出符合各種需求的業(yè)務(wù)流轉(zhuǎn)和邏輯架構(gòu)。

15、進(jìn)一步地，在步驟s2中，所述模板測試，包括以下步驟：

16、步驟s21：獲取模擬數(shù)據(jù)，獲取節(jié)點(diǎn)對(duì)測試預(yù)覽得到的部分切片數(shù)據(jù)，依據(jù)自身需求配置相應(yīng)的生成規(guī)則，創(chuàng)建出部分模擬數(shù)據(jù)，讓用戶根據(jù)實(shí)際情況和特定要求來定制數(shù)據(jù)，以便更好地進(jìn)行后續(xù)的分析、測試，增加了數(shù)據(jù)處理的靈活性和可制定性；

17、步驟s22：進(jìn)行測試，包括以下步驟：

18、步驟s221：建立測試實(shí)例并選擇模擬數(shù)據(jù)，啟用模板測試實(shí)例；

19、步驟s222：根據(jù)運(yùn)行結(jié)果，界面上可視化組件會(huì)通過背景色精準(zhǔn)提示數(shù)據(jù)流轉(zhuǎn)發(fā)生錯(cuò)誤的步驟，提示信息分為三個(gè)等級(jí)：綠色正常，黃色警告，紅色錯(cuò)誤；

20、所述黃色警告說明可能會(huì)因?yàn)榫邆淠承┨卣鞯臄?shù)據(jù)流轉(zhuǎn)至此產(chǎn)生錯(cuò)誤并無法繼續(xù)向后執(zhí)行；

21、所述紅色錯(cuò)誤說明當(dāng)前步驟配置不可靠已經(jīng)在模擬數(shù)據(jù)中產(chǎn)生嚴(yán)重問題導(dǎo)致流程中斷；

22、步驟s23：修改模板，基于此次測試提供的修改建議，用戶可以直接在測試實(shí)例中調(diào)整模板，直至模板邏輯正常。

23、進(jìn)一步地，在步驟s3中，所述建立數(shù)據(jù)對(duì)接檢測模型，包括以下步驟：

24、步驟s31：定義樣本鄰域，特征集上樣本的鄰域粒度定義，所用公式如下：

25、；

26、式中，表示樣本的鄰域，u1是包含所有特征的集合，x表示特征集中的樣本點(diǎn)，θ是鄰域粒度的閾值，表示距離度量值，表示樣本點(diǎn)x與樣本之間的距離度量值；

27、步驟s32：衡量特征相似性，根據(jù)樣本的鄰域粒度對(duì)關(guān)系進(jìn)行建模，通過計(jì)算局部gram矩陣中元素的絕對(duì)值來衡量特征相似性，所用公式如下：

28、；

29、式中，表示局部gram矩陣中第i行第j列的元素，表示樣本鄰域粒度中的第i個(gè)特征向量，表示樣本鄰域粒度中的第j個(gè)特征向量的轉(zhuǎn)置，此絕對(duì)值越大，表示特征相似性越高；

30、步驟s33：使用局部gram矩陣進(jìn)行建模，得到數(shù)據(jù)特征之間關(guān)系，所用公式如下：

31、；

32、；

33、式中，n表示鄰域粒度的數(shù)量，g表示具體的鄰域粒度的索引，是系數(shù)矩陣的第j行，表示系數(shù)矩陣的第i行，n表示系數(shù)矩陣的行數(shù)，即參與計(jì)算的元素的數(shù)量維度，表示鄰域粒度為g的拉普拉斯矩陣，是鄰域粒度為g時(shí)的對(duì)角矩陣，用于對(duì)成對(duì)特征之間的相似性進(jìn)行編碼，tr（）表示矩陣的跡；

34、步驟s34：引入注意力機(jī)制層，將特征相似性和數(shù)據(jù)特征之間的關(guān)系傳遞到注意力機(jī)制層，對(duì)每個(gè)特征分配不同的注意力權(quán)重，根據(jù)相似性閾值標(biāo)記同構(gòu)和異構(gòu)特征，對(duì)異構(gòu)特征進(jìn)行重要性評(píng)估和加權(quán)處理，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)對(duì)接檢測模型的建立。

35、進(jìn)一步地，在步驟s4中，所述任務(wù)對(duì)接調(diào)度，包括以下步驟：

36、步驟s41：明確任務(wù)調(diào)度目標(biāo)，尋找最小化整體延遲的任務(wù)分配方案，即找到讓所有計(jì)算節(jié)點(diǎn)中延遲總和的最大值最小的分配方式，所用公式如下：

37、；

38、式中，u表示最小化的整體目標(biāo)，即最小化的整體延遲，k表示不同的計(jì)算節(jié)點(diǎn)，表示分配到第k個(gè)計(jì)算節(jié)點(diǎn)的任務(wù)集合，表示具體的任務(wù)，表示不同的任務(wù)，表示執(zhí)行任務(wù)分配到任務(wù)上的延遲時(shí)間；

39、步驟s42：計(jì)算加速器分配任務(wù)時(shí)的延遲，將cnn任務(wù)按照從大到小進(jìn)行排序，遍歷排序后的任務(wù)列表，對(duì)于每個(gè)任務(wù)，依次計(jì)算在各個(gè)加速器上分配該任務(wù)時(shí)的延遲，同時(shí)考慮當(dāng)前每個(gè)加速器上已有的任務(wù)隊(duì)列，選擇延遲最小且能使整體性能影響最小的加速器進(jìn)行分配，重復(fù)步驟，直至所有任務(wù)分配完畢；

40、步驟s43：將cnn任務(wù)按層劃分為子任務(wù)，確定每個(gè)子任務(wù)的特點(diǎn)和需求，評(píng)估各個(gè)加速器的性能和適合處理的任務(wù)類型，對(duì)于每個(gè)子任務(wù)，選擇最合適的加速器進(jìn)行分配，當(dāng)處理連續(xù)兩層且在同一加速器上時(shí)，將前一層的輸出直接放入緩沖區(qū)供下一層使用；若將相鄰兩層分配給不同加速器，則將前一層的輸出放入備份緩沖區(qū)，并讓另一個(gè)加速器從備份緩沖區(qū)加載數(shù)據(jù)，計(jì)算并記錄此時(shí)的兩輪備份緩沖區(qū)訪問成本；

41、步驟s44：規(guī)劃各層執(zhí)行位置，只將卷積層分配給不同的加速器，當(dāng)將特定的卷積層分配給加速器時(shí)，后續(xù)的池化層也會(huì)在同一加速器上執(zhí)行，將全連接層安排在與最后一個(gè)卷積層相同的加速器上執(zhí)行；

42、步驟s45：配置任務(wù)調(diào)度規(guī)則，用戶可以指定任務(wù)是按照固定的分鐘間隔、小時(shí)間隔來執(zhí)行，精確地指定每天中的具體時(shí)間點(diǎn)來啟動(dòng)任務(wù)，方便用戶根據(jù)實(shí)際需求和業(yè)務(wù)場景來合理安排；

43、調(diào)度器會(huì)根據(jù)任務(wù)調(diào)度規(guī)則投遞任務(wù)至隊(duì)列，消費(fèi)線程按照隊(duì)列投遞順序喚醒并執(zhí)行任務(wù)；支持在調(diào)度過程中禁用任務(wù)，此后再喚起任務(wù)時(shí)會(huì)由于禁用狀態(tài)，不再進(jìn)行調(diào)度，完成調(diào)度卸載；任務(wù)排隊(duì)信息也會(huì)通過可視化的展示方式，提供給用戶查看，如果其中有任務(wù)執(zhí)行反?？梢愿鶕?jù)實(shí)際情況，手動(dòng)踢出隊(duì)列以確保后續(xù)任務(wù)可以正常調(diào)度，這部分操作也可以通過配置任務(wù)執(zhí)行超時(shí)時(shí)間，交由調(diào)度器自動(dòng)監(jiān)控和執(zhí)行；

44、步驟s46：記錄日志，通過任務(wù)和節(jié)點(diǎn)監(jiān)聽器，記錄任務(wù)執(zhí)行日志和節(jié)點(diǎn)數(shù)據(jù)，持久化入庫后可供后續(xù)問題排查使用。

45、進(jìn)一步地，在步驟s5中，所述更新反饋，具體為實(shí)時(shí)監(jiān)測模板使用情況，任務(wù)對(duì)接調(diào)度和檢測模型的運(yùn)行效果，根據(jù)監(jiān)測結(jié)果收集到的相關(guān)數(shù)據(jù)和信息反饋給工作人員，以便及時(shí)進(jìn)行調(diào)整和優(yōu)化。

46、采用上述方案本發(fā)明取得的有益成果如下：

47、（1）針對(duì)存在模板測試時(shí)間冗長復(fù)雜，且復(fù)用程度極低，配置不夠靈活的技術(shù)問題，采用將模擬數(shù)據(jù)輸入并經(jīng)過對(duì)接模擬邏輯完成數(shù)據(jù)流轉(zhuǎn)，通過背景色提示錯(cuò)誤級(jí)別，確保數(shù)據(jù)對(duì)接的可靠性；

48、（2）針對(duì)存在數(shù)據(jù)對(duì)接檢測不夠準(zhǔn)確，導(dǎo)致不必要的重復(fù)操作，浪費(fèi)時(shí)間和資源的技術(shù)問題，采用定義樣本鄰域和鄰域粒度，明確數(shù)據(jù)的局部范圍和精細(xì)程度，有助于更好地把握數(shù)據(jù)的局部特性，衡量特征相似性，深入揭示數(shù)據(jù)特征之間的關(guān)系，引入注意力機(jī)制層，標(biāo)記同構(gòu)和異構(gòu)特征，共同提升數(shù)據(jù)對(duì)接檢測模型的準(zhǔn)確性；

49、（3）針對(duì)存在數(shù)據(jù)對(duì)接任務(wù)分配不夠高效，變更反應(yīng)不夠敏捷，無法實(shí)現(xiàn)有效的任務(wù)管理和監(jiān)控的技術(shù)問題，采用通過尋找最小化整體延遲的任務(wù)分配方案，考慮加速器的性能和任務(wù)特點(diǎn)進(jìn)行合理分配，對(duì)任務(wù)按層劃分并合理規(guī)劃執(zhí)行位置，通過可視化展示任務(wù)排隊(duì)信息、支持禁用和喚起任務(wù)確保任務(wù)調(diào)度的正常進(jìn)行。