本發(fā)明屬于數(shù)據(jù)處理，具體涉及一種基于遷移學(xué)習(xí)的跨領(lǐng)域多模態(tài)工業(yè)數(shù)據(jù)抽取與融合方法。

背景技術(shù)：

1、當(dāng)前的工業(yè)數(shù)據(jù)分析領(lǐng)域中，各行業(yè)的數(shù)據(jù)抽取與融合技術(shù)各具特點(diǎn)，不同領(lǐng)域的技術(shù)手段很難直接復(fù)用。傳統(tǒng)的機(jī)器學(xué)習(xí)方法依賴大量領(lǐng)域的數(shù)據(jù)進(jìn)行訓(xùn)練，但在實(shí)際工業(yè)應(yīng)用中，領(lǐng)域之間的差異性極大，導(dǎo)致單一模型難以通用。此外，受限于數(shù)據(jù)的可獲得性和隱私政策，不同行業(yè)的數(shù)據(jù)存在隔離狀態(tài)，難以共享，因此，需要一種能夠跨領(lǐng)域應(yīng)用，快速適應(yīng)新環(huán)境的數(shù)據(jù)處理技術(shù)。

2、類似的現(xiàn)有技術(shù)有公開(kāi)號(hào)為cn117150031a的中國(guó)專利申請(qǐng)，公開(kāi)了一種面向多模態(tài)數(shù)據(jù)的處理方法及系統(tǒng)，基于知識(shí)遷移的多模態(tài)知識(shí)抽取方法，采用知識(shí)遷移的思想，基于文本模態(tài)抽取的結(jié)果并融合圖像和視頻模態(tài)來(lái)共同完成實(shí)體和關(guān)系的抽取?；诮y(tǒng)一語(yǔ)義表示的跨模態(tài)知識(shí)融合方法，通過(guò)統(tǒng)一語(yǔ)義表示學(xué)習(xí)方法將各個(gè)模態(tài)的知識(shí)元素映射到潛在的語(yǔ)義子空間，然后通過(guò)跨模態(tài)知識(shí)鏈接方法，將多模態(tài)知識(shí)鏈接到多模態(tài)知識(shí)圖譜中?；诙嗄B(tài)知識(shí)圖譜的分析與推理方法，以多模態(tài)知識(shí)為驅(qū)動(dòng)對(duì)多模態(tài)數(shù)據(jù)進(jìn)行深層語(yǔ)義分析與理解。還有公開(kāi)號(hào)為cn114692624a的中國(guó)專利申請(qǐng)，公開(kāi)了一種基于多任務(wù)遷移的信息抽取方法、裝置及電子設(shè)備，方法包括：獲取不同任務(wù)的文本，對(duì)文本進(jìn)行編碼，生成文本的語(yǔ)義表征序列；將語(yǔ)義表征序列輸入共性特征抽取網(wǎng)絡(luò)，輸出不同任務(wù)的共有特征；將語(yǔ)義表征序列輸入私有特征抽取網(wǎng)絡(luò)，輸出不同任務(wù)的私有特征；將共有特征和私有特征進(jìn)行融合，通過(guò)序列解碼獲取序列中每個(gè)位置的類別信息，完成信息抽取。該發(fā)明實(shí)施例減少了中算法模型在特定信息抽取任務(wù)上對(duì)數(shù)據(jù)量的過(guò)度依賴；減少人工標(biāo)注大量數(shù)據(jù)的人力和時(shí)間成本；提高了信息抽取效率。

3、然而，上述現(xiàn)有技術(shù)中僅對(duì)語(yǔ)義文本進(jìn)行分析和融合，在實(shí)際情況中，需要進(jìn)行多模態(tài)數(shù)據(jù)處理。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問(wèn)題，本發(fā)明提供了基于遷移學(xué)習(xí)的跨領(lǐng)域多模態(tài)工業(yè)數(shù)據(jù)抽取與融合方法，以解決現(xiàn)有技術(shù)中的問(wèn)題。

2、為了達(dá)到上述的發(fā)明目的，本發(fā)明提出基于遷移學(xué)習(xí)的跨領(lǐng)域多模態(tài)工業(yè)數(shù)據(jù)抽取與融合方法，包括：

3、s1：收集多領(lǐng)域的工業(yè)數(shù)據(jù)，生成多個(gè)數(shù)據(jù)集，構(gòu)建數(shù)據(jù)抽取模型，所述數(shù)據(jù)抽取模型獲取所述數(shù)據(jù)集中的特征集，基于所述特征集在所述數(shù)據(jù)集中抽取關(guān)鍵信息，基于所述關(guān)鍵信息生成標(biāo)準(zhǔn)數(shù)據(jù)；

4、s2：將任一數(shù)據(jù)集對(duì)應(yīng)的所述標(biāo)準(zhǔn)數(shù)據(jù)設(shè)定為訓(xùn)練集，基于所述訓(xùn)練集構(gòu)建數(shù)據(jù)遷移模型，將目標(biāo)數(shù)據(jù)庫(kù)中對(duì)應(yīng)的數(shù)據(jù)集的所述關(guān)鍵信息設(shè)定為目標(biāo)標(biāo)簽，所述數(shù)據(jù)遷移模型基于所述目標(biāo)標(biāo)簽將源數(shù)據(jù)庫(kù)對(duì)應(yīng)的所述標(biāo)準(zhǔn)數(shù)據(jù)遷移至所述目標(biāo)數(shù)據(jù)庫(kù)，生成遷移數(shù)據(jù)；

5、s3：比較所述源數(shù)據(jù)庫(kù)與所述目標(biāo)數(shù)據(jù)庫(kù)中同一所述標(biāo)準(zhǔn)數(shù)據(jù)之間的數(shù)據(jù)相似度，生成所述數(shù)據(jù)遷移模型的第一準(zhǔn)確率，基于所述第一準(zhǔn)確率校正剩余數(shù)據(jù)集中所述標(biāo)準(zhǔn)數(shù)據(jù)對(duì)應(yīng)的所述關(guān)鍵信息，生成數(shù)據(jù)標(biāo)簽；

6、s4：構(gòu)建多模態(tài)融合模型，基于所述多模態(tài)融合模型將所述目標(biāo)數(shù)據(jù)庫(kù)中對(duì)應(yīng)的所述標(biāo)準(zhǔn)數(shù)據(jù)與所述遷移數(shù)據(jù)進(jìn)行融合生成融合數(shù)據(jù)，重復(fù)執(zhí)行此步驟，至所有數(shù)據(jù)集對(duì)應(yīng)的所述標(biāo)準(zhǔn)數(shù)據(jù)均融合至所述目標(biāo)數(shù)據(jù)庫(kù)中，生成多領(lǐng)域的融合數(shù)據(jù)集。

7、進(jìn)一步地，所述基于所述關(guān)鍵信息生成標(biāo)準(zhǔn)數(shù)據(jù)包括以下步驟：

8、在多個(gè)數(shù)據(jù)集中任意抽取兩個(gè)數(shù)據(jù)集，分別設(shè)定為第一數(shù)據(jù)集和第二數(shù)據(jù)集，獲取所述第一數(shù)據(jù)集對(duì)應(yīng)的第一特征集和所述第二數(shù)據(jù)集對(duì)應(yīng)的第二特征集，將所述第一特征集和所述第二特征集均設(shè)定為特征集，比較所有特征集之間的特征相似度，基于所述特征相似度分別在所述第一特征集和所述第二特征集中均抽取相似特征，并將剩余的特征集設(shè)定為差異特征，將同一特征集中所述相似特征輸入預(yù)設(shè)的分類預(yù)測(cè)模型中，輸出同一所述特征集對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽，基于所述預(yù)測(cè)標(biāo)簽和同一所述特征集中所述差異特征解碼計(jì)算生成還原數(shù)據(jù)；

9、重復(fù)執(zhí)行此步驟至所有數(shù)據(jù)集均被抽取，分別將所有所述預(yù)測(cè)標(biāo)簽均設(shè)定為對(duì)應(yīng)的所述數(shù)據(jù)集的所述關(guān)鍵信息，并依次將所有所述還原數(shù)據(jù)均設(shè)定為對(duì)應(yīng)的所述數(shù)據(jù)集的所述標(biāo)準(zhǔn)數(shù)據(jù)。

10、進(jìn)一步地，計(jì)算所述特征相似度包括以下步驟：

11、建立訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集包括目標(biāo)模態(tài)數(shù)據(jù)和學(xué)習(xí)模態(tài)數(shù)據(jù)，提取所述訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)特征，所述數(shù)據(jù)特征包括目標(biāo)模態(tài)特征和學(xué)習(xí)模態(tài)特征，將所述數(shù)據(jù)特征與多個(gè)規(guī)范特征映射至相同的規(guī)范特征空間中，生成所述數(shù)據(jù)特征對(duì)應(yīng)的映射特征，基于所述映射特征計(jì)算映射誤差，基于所述映射誤差建立映射模型，所述映射模型將所述數(shù)據(jù)特征映射至共享空間中，重復(fù)此步驟，至所述映射模型分別將所述目標(biāo)模態(tài)特征與所述學(xué)習(xí)模態(tài)特征映射在所述共享空間中的距離最??；

12、將所有特征集映射至所述映射模型，生成多個(gè)映射點(diǎn)，計(jì)算任一第一特征集與任一第二特征集對(duì)應(yīng)的映射點(diǎn)之間的映射距離，將最小映射距離的倒數(shù)設(shè)定為所述特征集之間的所述特征相似度。

13、進(jìn)一步地，所述構(gòu)建數(shù)據(jù)抽取模型包括：

14、所述數(shù)據(jù)抽取模型基于誤差反向傳播方法學(xué)習(xí)所有所述關(guān)鍵信息與所述標(biāo)準(zhǔn)數(shù)據(jù)之間的分類誤差，生成調(diào)節(jié)參數(shù)，基于所述調(diào)節(jié)參數(shù)調(diào)整所述數(shù)據(jù)抽取模型，重復(fù)執(zhí)行此步驟，至所述分類誤差小于第一預(yù)設(shè)值，以生成新的所述數(shù)據(jù)抽取模型，其中，將所述標(biāo)準(zhǔn)數(shù)據(jù)與對(duì)應(yīng)的所述數(shù)據(jù)集之間的數(shù)據(jù)相關(guān)度，設(shè)定為所述分類誤差。

15、進(jìn)一步地，所述構(gòu)建多模態(tài)融合模型包括以下步驟：

16、設(shè)置一個(gè)多任務(wù)學(xué)習(xí)框架的技術(shù)模型，基于數(shù)據(jù)生成類型同時(shí)處理多種模態(tài)的數(shù)據(jù)，并優(yōu)化資源分配，通過(guò)所述技術(shù)模型的解構(gòu)分散策略和神經(jīng)架構(gòu)搜索技術(shù)，自動(dòng)設(shè)定最優(yōu)的技術(shù)模型配置，引入注意力機(jī)制和圖卷積網(wǎng)絡(luò)，并設(shè)置元學(xué)習(xí)技術(shù)，獲取所述技術(shù)模型的收斂指數(shù)，基于所述收斂指數(shù)模擬和合成數(shù)據(jù)生成技術(shù)，以訓(xùn)練所述技術(shù)模型，將訓(xùn)練后的所述技術(shù)模型設(shè)定為所述多模態(tài)融合模型。

17、進(jìn)一步地，生成所述融合數(shù)據(jù)包括以下步驟：

18、將所述目標(biāo)數(shù)據(jù)庫(kù)中包含的所述標(biāo)準(zhǔn)數(shù)據(jù)和所述遷移數(shù)據(jù)均設(shè)定為待融合數(shù)據(jù)，基于所述多模態(tài)融合模型提取所述待融合數(shù)據(jù)的所述數(shù)據(jù)生成類型和時(shí)間信息，將所述待融合數(shù)據(jù)基于所述時(shí)間信息分類為第一類數(shù)據(jù)和第二類數(shù)據(jù)，若所述融合數(shù)據(jù)存在所述時(shí)間信息，則分類為所述第一類數(shù)據(jù)，否則，分類為所述第二類數(shù)據(jù)；

19、在所述第一類數(shù)據(jù)中基于變分近似方法分別生成與相同數(shù)據(jù)生成類型包含的所述時(shí)間信息對(duì)應(yīng)的潛在變量分布，標(biāo)記所述多模態(tài)融合模型的隱藏狀態(tài)，基于所述潛在變量分布更新所述隱藏狀態(tài)，將更新后的所述隱藏狀態(tài)和所述潛在變量分布輸入所述多模態(tài)融合模型中，基于所述神經(jīng)架構(gòu)搜索技術(shù)輸出所述潛在變量分布對(duì)應(yīng)的結(jié)果數(shù)據(jù)，將所有所述結(jié)果數(shù)據(jù)設(shè)定為所述第一類數(shù)據(jù)對(duì)應(yīng)的第一融合數(shù)據(jù)；

20、將所述第二類數(shù)據(jù)基于所述數(shù)據(jù)生成類型和所述關(guān)鍵信息依次匯總生成第二融合數(shù)據(jù)，將所述第一融合數(shù)據(jù)與所述第二融合數(shù)據(jù)組合設(shè)定為所述融合數(shù)據(jù)。

21、進(jìn)一步地，基于預(yù)訓(xùn)練的transformer模型作為遷移學(xué)習(xí)的起點(diǎn)，將所述訓(xùn)練集輸入所述transformer模型中，訓(xùn)練生成適配的神經(jīng)網(wǎng)絡(luò)模型，將所述神經(jīng)網(wǎng)絡(luò)模型設(shè)定為所述數(shù)據(jù)遷移模型。

22、進(jìn)一步地，所述生成數(shù)據(jù)標(biāo)簽包括以下步驟：

23、基于數(shù)據(jù)庫(kù)操作語(yǔ)令生成所述源數(shù)據(jù)庫(kù)中所述標(biāo)準(zhǔn)數(shù)據(jù)與所述目標(biāo)數(shù)據(jù)庫(kù)中所述遷移數(shù)據(jù)之間的數(shù)據(jù)差異值，并設(shè)定為所述數(shù)據(jù)相似度，將所述數(shù)據(jù)相似度設(shè)定為所述第一準(zhǔn)確率，若所述第一準(zhǔn)確率大于第二預(yù)設(shè)值，則所述數(shù)據(jù)遷移模型基于所述目標(biāo)標(biāo)簽預(yù)測(cè)生成所述數(shù)據(jù)標(biāo)簽，否則，調(diào)整所述數(shù)據(jù)遷移模型的參數(shù)至所述第一準(zhǔn)確率大于所述第二預(yù)設(shè)值。

24、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果至少如下所述：

25、通過(guò)本發(fā)明的技術(shù)方案，可以顯著提高工業(yè)數(shù)據(jù)抽取與融合的效率和準(zhǔn)確性。通過(guò)數(shù)據(jù)遷移模型能夠在少量樣本上快速適應(yīng)新領(lǐng)域，不僅節(jié)約了數(shù)據(jù)標(biāo)注成本，還提升了模型的泛化能力。多模態(tài)數(shù)據(jù)處理和信息融合使得多模態(tài)融合模型能夠綜合多種數(shù)據(jù)特性，更加精確地識(shí)別工業(yè)過(guò)程的特征。優(yōu)化機(jī)制確保了模型在實(shí)時(shí)環(huán)境中的高性能，而模型可解釋工具則增強(qiáng)了模型與工業(yè)領(lǐng)域之間的互動(dòng)?？傮w上，本方案為工業(yè)數(shù)據(jù)分析提供了一種新的、高效的技術(shù)途徑，具有廣闊的應(yīng)用前景。通過(guò)本發(fā)明可以提高具有不同特征的多個(gè)數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)的準(zhǔn)確性，同時(shí)提高數(shù)據(jù)融合的完整性。