本發(fā)明涉及一種風險擾動下的多尺度跨模態(tài)數(shù)據(jù)增強方法及系統(tǒng)，屬于大數(shù)據(jù)與數(shù)據(jù)增強處理交叉應(yīng)用領(lǐng)域。

背景技術(shù)：

1、風險擾動主要分為三種類型：1）突發(fā)性擾動，如突發(fā)天氣事件、重大社會活動、突發(fā)交通事件等；2）周期性擾動，如重要節(jié)假日、開學季、早晚高峰等；3）長期趨勢性擾動，如社會演變、氣候變化、產(chǎn)業(yè)調(diào)整等。風險擾動下的多尺度跨模態(tài)數(shù)據(jù)需要進行數(shù)據(jù)增強，才能夠更好地使用。

2、數(shù)據(jù)增強是一種通過對原始數(shù)據(jù)進行變換和處理來生成新的數(shù)據(jù)樣本的技術(shù)，旨在擴展數(shù)據(jù)集、提升模型性能和泛化能力。通過分析數(shù)據(jù)特征分布，能夠針對性地對原始數(shù)據(jù)進行擴充。因此，數(shù)據(jù)特征的一致性和穩(wěn)定性是實現(xiàn)數(shù)據(jù)有效增強的基礎(chǔ)。然而城市數(shù)據(jù)模態(tài)多樣、分布廣泛，并存在大量不可控的噪聲干擾，造成數(shù)據(jù)質(zhì)量下降、異常樣本、信息缺失、時序錯亂等問題。目前，時空預(yù)測補償和跨模態(tài)融合是兩類常見的抗擾動數(shù)據(jù)增強方法。

3、基于時空預(yù)測補償?shù)臄?shù)據(jù)增強方法：這類方法旨在利用時空域數(shù)據(jù)的特征分布與序列趨勢從而實現(xiàn)數(shù)據(jù)增強的方法。針對異常樣本問題，目前有超網(wǎng)絡(luò)卡爾曼濾波器用于跟蹤跨模態(tài)數(shù)據(jù)變化，其提升了融合特征的泛化性和魯棒性；也存在一種時空去噪圖自動編碼模型，實現(xiàn)了環(huán)境擾動下丟失數(shù)據(jù)的復(fù)原與增強。針對信息缺失的問題，有人提出了一種具有自學習能力的平方根卡爾曼濾波器，能夠在?gps?數(shù)據(jù)失效時提供連續(xù)地導(dǎo)航觀測值；有人提出了長期多維時空圖卷積網(wǎng)絡(luò)?lmstgcn，其利用多維圖卷積模塊同時對空間和短期時間信息進行建模，并在此基礎(chǔ)上設(shè)計了一種時空鄰接矩陣構(gòu)造方法，基于門控時間模塊處理序列數(shù)據(jù)中的短期相關(guān)性。

4、基于跨模態(tài)融合的數(shù)據(jù)增強方法：這類方法旨在利用多模數(shù)據(jù)的互補性實現(xiàn)交叉驗證與特征融合。針對數(shù)據(jù)質(zhì)量下降問題，目前技術(shù)可以通過級聯(lián)多源矢量化特征，對低級特征和高級特征實現(xiàn)了串聯(lián)組合。有人將神經(jīng)體系結(jié)構(gòu)搜索與漸進探索結(jié)合使用，提出了融合函數(shù)的構(gòu)建方法，能夠自適應(yīng)選擇融合層以及串聯(lián)權(quán)重；注意力模型也是跨模態(tài)融合技術(shù)的常用方法。為克服異常樣本導(dǎo)致的特征擾動問題，可以使用堆疊注意力網(wǎng)絡(luò)，通過多層注意力模型實現(xiàn)多次查詢，根據(jù)查詢結(jié)果動態(tài)融合跨模態(tài)特征，目前的雙重注意力網(wǎng)絡(luò)同時考慮了各個模態(tài)的特征分布，構(gòu)建了特征向量的注意力分布和記憶向量模型。隨后，當前技術(shù)利用高維卷積算子捕獲局部特征，進一步豐富了數(shù)據(jù)多樣性。目前技術(shù)采用貝葉斯深度學習方法來緩解單模態(tài)偏差問題，構(gòu)建了跨模態(tài)似然公式和粒子濾波器，提升了融合特征的抗干擾能力。有人提出了一種多尺度融合泛化模塊來聚合全局參考信息，利用全局感知元和位置感知映射對噪聲環(huán)境中的城市交通流量進行了預(yù)測。

5、上述方法雖然從各個角度實現(xiàn)了數(shù)據(jù)增強，然而其所代表的傳統(tǒng)的數(shù)據(jù)增強方法均未考慮風險擾動下對多尺度跨模態(tài)數(shù)據(jù)增強的影響，往往無法有效應(yīng)對風險擾動帶來的挑戰(zhàn)，存在各種缺點和不足。在實際城市群的環(huán)境中，各種類型的風險擾動在疊加作用后，會對現(xiàn)代化城市群的運營與管理造成極大的挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、本發(fā)明技術(shù)解決問題：克服現(xiàn)有技術(shù)的不足，提供一種風險擾動下的多尺度跨模態(tài)數(shù)據(jù)增強方法及系統(tǒng)，綜合利用風險擾動因素，提高數(shù)據(jù)增強的魯棒性和穩(wěn)定性，使得數(shù)據(jù)增強更加全面和準確，能夠更好地應(yīng)對風險擾動的挑戰(zhàn)。

2、本發(fā)明技術(shù)解決方案：

3、第一方面，本發(fā)明提供一種風險擾動下的多尺度跨模態(tài)數(shù)據(jù)增強方法，包括基于多時空尺度耦合的數(shù)據(jù)增強步驟和基于跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償步驟，其中：

4、所述基于多時空尺度耦合的數(shù)據(jù)增強步驟：在風險擾動下，采集城市中人-車-物的移動行為在時間上和空間上的多尺度單模態(tài)數(shù)據(jù)，對所述多尺度單模態(tài)數(shù)據(jù)進行建模，構(gòu)建時空耦合關(guān)系圖；所述風險擾動指遇到的突發(fā)性、周期性或長期趨勢性擾動現(xiàn)象；基于所述時空耦合關(guān)系圖，利用特征融合網(wǎng)絡(luò)系統(tǒng)處理時空耦合關(guān)系圖，生成插補后的數(shù)據(jù)，形成增強后的單模態(tài)數(shù)據(jù)，多個增強后的單模態(tài)數(shù)據(jù)耦合成跨模態(tài)數(shù)據(jù)；

5、所述的跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償步驟：利用特征對齊技術(shù)，將所述跨模態(tài)數(shù)據(jù)中的特征維度與尺度進行調(diào)整，消除跨模態(tài)數(shù)據(jù)之間的差異，得到特征對齊后的跨模態(tài)數(shù)據(jù)；對所述特征對齊后的跨模態(tài)數(shù)據(jù)采用特征遷移技術(shù)得到跨模態(tài)數(shù)據(jù)之間各個單模態(tài)數(shù)據(jù)的特征關(guān)聯(lián)關(guān)系；使用圖融合的特征構(gòu)建技術(shù)處理跨模態(tài)數(shù)據(jù)之間各個單模態(tài)數(shù)據(jù)的特征關(guān)聯(lián)關(guān)系，得到跨模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性和互補性；最終基于增強跨模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性和互補性，實現(xiàn)多尺度跨模態(tài)數(shù)據(jù)增強，完成跨模態(tài)數(shù)據(jù)代償。

6、特別地，所述基于多時空尺度耦合的數(shù)據(jù)增強步驟中，對所述多尺度單模態(tài)數(shù)據(jù)進行建模，構(gòu)建時空耦合關(guān)系圖實現(xiàn)如下：

7、將一個人-車-物移動行為的多尺度單模態(tài)數(shù)據(jù)記為一個數(shù)據(jù)源，將數(shù)據(jù)源的關(guān)系圖記為一張圖，同一時刻內(nèi)，多個數(shù)據(jù)源構(gòu)成圖??的節(jié)點集合?,?數(shù)據(jù)源在城市空間中的關(guān)聯(lián)關(guān)系構(gòu)成圖??的邊集合?，由此體現(xiàn)數(shù)據(jù)源之間的空間關(guān)聯(lián)性；數(shù)據(jù)源在不同時刻的歷史數(shù)據(jù)不同，將其在時刻的歷史數(shù)據(jù)記作??，則一個的集合就能夠體現(xiàn)該數(shù)據(jù)源的時間關(guān)聯(lián)性；

8、利用數(shù)據(jù)源和圖完成對多尺度單模態(tài)數(shù)據(jù)進行跨模態(tài)復(fù)雜網(wǎng)絡(luò)建模，構(gòu)建時空耦合關(guān)系圖，實現(xiàn)為：沿著圖中的相連邊，讀取每對相鄰節(jié)點，定義?為一個節(jié)點的交通流特征,??為另一個節(jié)點的交通流特征，所述交通流特征指人流、車流在不同條件下變化規(guī)律及其相互關(guān)系的定量，?為滑動時間窗口；在取足夠短的情況下，圖中同一時刻內(nèi)相鄰節(jié)點之間的同類行為狀態(tài)被認為是線性關(guān)聯(lián)的，使用皮爾遜相關(guān)系數(shù)定義相鄰節(jié)點的關(guān)系，計算相鄰節(jié)點之間的交通流特征的皮爾遜相關(guān)性，并對相關(guān)性取絕對值，基于得到的相關(guān)性，通過閾值高斯核函數(shù)構(gòu)造時空耦合關(guān)系圖，計算并得到時空耦合關(guān)系圖的鄰接矩陣，該鄰接矩陣隨著滑動時間窗口??的移動隨時間動態(tài)變化。

9、特別地，所述基于多時空尺度耦合的數(shù)據(jù)增強步驟中，所述特征融合網(wǎng)絡(luò)系統(tǒng)包含圖卷積神經(jīng)網(wǎng)絡(luò)（gcn）模塊、雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（bilstm）模塊、特征融合模塊以及自編碼網(wǎng)絡(luò)模塊；

10、先由圖卷積神經(jīng)網(wǎng)絡(luò)模塊提取時空耦合關(guān)系圖中的拓撲關(guān)系，得到每個人-車-物移動行為與其它人-車-物移動行為之間的空間依賴性，根據(jù)所述空間依賴性生成人-車-物移動行為的空間特征；

11、再由雙向長短期記憶神經(jīng)網(wǎng)絡(luò)提取時空耦合關(guān)系圖中的時序關(guān)系，得到每個人-車-物移動行為與其它人-車-物移動行為的時間依賴性，根據(jù)所述時間依賴性生成人-車-物移動行為的時序特征；

12、之后，特征融合模塊融合每個人-車-物移動行為的空間特征和時序特征，得到融合后的跨模態(tài)特征；

13、將融合后的跨模態(tài)特征和原始的人-車-物的移動行為在時間上和空間上的多尺度單模態(tài)數(shù)據(jù)按序列形式輸入到自編碼網(wǎng)絡(luò)模塊中；

14、在自編碼網(wǎng)絡(luò)模塊內(nèi)的編碼器和解碼器之間的神經(jīng)網(wǎng)絡(luò)層中插入時間和空間的注意力層，實現(xiàn)注意力機制，該注意力機制根據(jù)輸入序列的數(shù)據(jù)及其上下文數(shù)據(jù)，計算強時空相關(guān)性數(shù)據(jù)的注意力權(quán)重，判斷缺失數(shù)據(jù)位置，對所述多尺度單模態(tài)數(shù)據(jù)進行插補。

15、特別地，所述跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償步驟中，所述特征對齊技術(shù)采用基于無監(jiān)督的顯示跨模態(tài)特征對齊技術(shù)，實現(xiàn)為：采用無監(jiān)督方法，使用基于動態(tài)貝葉斯網(wǎng)絡(luò)的顯式對齊算法處理跨模態(tài)數(shù)據(jù)，實現(xiàn)跨模態(tài)數(shù)據(jù)的特征對齊；所述基于動態(tài)貝葉斯網(wǎng)絡(luò)的顯式對齊算法利用組成動態(tài)貝葉斯網(wǎng)絡(luò)的多個時間片存儲跨模態(tài)數(shù)據(jù)，再利用貝葉斯網(wǎng)絡(luò)的聯(lián)合概率，自動得到當前時間片狀態(tài)的條件概率，從而實現(xiàn)跨模態(tài)數(shù)據(jù)的特征對齊。

16、特別地，所述跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償步驟中，所述特征遷移技術(shù)實現(xiàn)為：

17、（1）首先，對特征對齊后的跨模態(tài)數(shù)據(jù)進行數(shù)據(jù)互補，用于補全每組跨模態(tài)數(shù)據(jù)中存在的部分模態(tài)數(shù)據(jù)缺失現(xiàn)象；所述數(shù)據(jù)互補是指從其他組跨模態(tài)數(shù)據(jù)中讀取本組跨模態(tài)數(shù)據(jù)中缺失的模態(tài)數(shù)據(jù)，并補全本組跨模態(tài)數(shù)據(jù)的模態(tài)，實現(xiàn)數(shù)據(jù)互補；

18、（2）其次，對數(shù)據(jù)互補后的跨模態(tài)數(shù)據(jù)進行數(shù)據(jù)增強，從各組跨模態(tài)數(shù)據(jù)中提取并學習跨模態(tài)數(shù)據(jù)中某個模態(tài)的魯棒特征，將學習到的單個模態(tài)特征應(yīng)用到另一個模態(tài)中；

19、（3）最后，實現(xiàn)特征降維映射功能，將每組跨模態(tài)數(shù)據(jù)中的各個單模態(tài)數(shù)據(jù)的關(guān)鍵信息提取出來，將關(guān)鍵信息映射到共享的特征空間中，并進行特征融合，得到跨模態(tài)數(shù)據(jù)中的各個單模態(tài)特征關(guān)聯(lián)關(guān)系；

20、所述（1）-（3）中均使用最大均值差異mmd?(maximum?mean?discrepancy,?mmd)值歸一化，實現(xiàn)不同但相關(guān)數(shù)據(jù)間的統(tǒng)一，以方便數(shù)據(jù)間比較并進行進一步的特征遷移與融合。

21、特別地，所述跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償步驟中，基于圖融合的跨模態(tài)特征構(gòu)建技術(shù)為：

22、首先，為每個單模態(tài)數(shù)據(jù)創(chuàng)建特征圖，圖中各節(jié)點表示該模態(tài)包含的各個特征，邊表示特征之間的聯(lián)系或相似性，邊的權(quán)重由特征之間的相似性決定，這些權(quán)重構(gòu)成一個權(quán)重矩陣；

23、再合并各個單模態(tài)特征圖內(nèi)的節(jié)點和邊，并將不同模態(tài)的特征圖整合成一張跨模態(tài)的特征圖，在該圖中構(gòu)建圖注意力網(wǎng)絡(luò)，使每個節(jié)點匯聚來自其它模態(tài)的信息，實現(xiàn)信息傳遞，進一步更新節(jié)點以及權(quán)重矩陣中的權(quán)值，最終得到跨模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性和互補性。

24、第二方面，本發(fā)明提供一種風險擾動下的多尺度跨模態(tài)數(shù)據(jù)增強系統(tǒng)，包括基于多時空尺度耦合的數(shù)據(jù)增強模塊和基于跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償模塊，其中：

25、所述基于多時空尺度耦合的數(shù)據(jù)增強模態(tài)模塊：在風險擾動下，采集城市中人-車-物的移動行為在時間上和空間上的多尺度單模態(tài)數(shù)據(jù)，對所述多尺度單模態(tài)數(shù)據(jù)進行建模，構(gòu)建時空耦合關(guān)系圖；所述風險擾動指遇到的突發(fā)性、周期性或長期趨勢性擾動現(xiàn)象；基于所述時空耦合關(guān)系圖，利用特征融合網(wǎng)絡(luò)系統(tǒng)處理時空耦合關(guān)系圖，生成插補后的數(shù)據(jù)，形成增強后的單模態(tài)數(shù)據(jù)，多個增強后的單模態(tài)數(shù)據(jù)耦合成跨模態(tài)數(shù)據(jù)；

26、所述的跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償模塊：利用特征對齊技術(shù)，將所述跨模態(tài)數(shù)據(jù)中的特征維度與尺度進行調(diào)整，消除跨模態(tài)數(shù)據(jù)之間的差異，得到特征對齊后的跨模態(tài)數(shù)據(jù)；對所述特征對齊后的跨模態(tài)數(shù)據(jù)采用特征遷移技術(shù)得到跨模態(tài)數(shù)據(jù)之間各個單模態(tài)數(shù)據(jù)的特征關(guān)聯(lián)關(guān)系；使用圖融合的特征構(gòu)建技術(shù)處理跨模態(tài)數(shù)據(jù)之間各個單模態(tài)數(shù)據(jù)的特征關(guān)聯(lián)關(guān)系，得到跨模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性和互補性；最終基于增強跨模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性和互補性，實現(xiàn)多尺度跨模態(tài)數(shù)據(jù)增強，完成跨模態(tài)數(shù)據(jù)代償。

27、第三方面，本發(fā)明還提供一種電子設(shè)備，包括處理器和存儲器，其中：

28、存儲器，用于存放計算機程序；

29、處理器，用于執(zhí)行存儲器上所存放的計算機程序，執(zhí)行時實現(xiàn)第一方面所述的方法，或第二方面所述的系統(tǒng)。

30、第三方面，本發(fā)明還提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序執(zhí)行時，實現(xiàn)第一方面所述的方法，或第二方面所述的系統(tǒng)。

31、本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于：

32、本發(fā)明提供的一種風險擾動下的多尺度跨模態(tài)數(shù)據(jù)增強方法，包括基于多時空尺度耦合的數(shù)據(jù)增強和基于跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償兩個部分，基于多時空尺度耦合的數(shù)據(jù)增強部分能夠全面且有效地處理不同尺度和模態(tài)數(shù)據(jù)之間的關(guān)系，綜合利用風險擾動因素，提高了數(shù)據(jù)的多樣性和表達能力；基于跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)代償部分采用特征融合、對齊、遷移等技術(shù)，實現(xiàn)了數(shù)據(jù)增強和代償?shù)囊惑w化處理，使得數(shù)據(jù)處理更加全面和高效，通過對跨模態(tài)數(shù)據(jù)的特征關(guān)聯(lián)關(guān)系進行建模和處理，使得數(shù)據(jù)之間的關(guān)聯(lián)性更加清晰，提高數(shù)據(jù)增強的魯棒性和穩(wěn)定性，使得數(shù)據(jù)增強更加全面和準確，能夠更好地應(yīng)對風險擾動的挑戰(zhàn)，且為進一步的數(shù)據(jù)分析和應(yīng)用提供了更好的基礎(chǔ)。且本發(fā)明在處理風險擾動下的多尺度跨模態(tài)數(shù)據(jù)增強方面具有較強的實用性和創(chuàng)新性，能夠有效應(yīng)對復(fù)雜的數(shù)據(jù)環(huán)境，并為數(shù)據(jù)分析和決策提供更為豐富和可靠的信息基礎(chǔ)。