本發(fā)明屬于圖深度學(xué)習(xí)中網(wǎng)絡(luò)表示學(xué)習(xí)領(lǐng)域，具體是一種基于圖transformer的現(xiàn)實網(wǎng)絡(luò)的角色發(fā)現(xiàn)方法。

背景技術(shù)：

1、角色是復(fù)雜網(wǎng)絡(luò)中與社團(tuán)不同但互補(bǔ)的概念，其認(rèn)為網(wǎng)絡(luò)中具有相似連接模式的節(jié)點往往在功能或行為上表現(xiàn)出某種相似性關(guān)系。舉例來說，中心節(jié)點通常展現(xiàn)出高度的特性，而橋接節(jié)點則扮演著連接網(wǎng)絡(luò)不同區(qū)域的角色。通過揭示節(jié)點的角色，可以更好地理解網(wǎng)絡(luò)的演化規(guī)律和節(jié)點的潛在特征。因此，對于網(wǎng)絡(luò)分析和挖掘而言，識別節(jié)點的角色至關(guān)重要。

2、近年來，角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)在節(jié)點分類、鏈路預(yù)測、網(wǎng)絡(luò)對齊等多個任務(wù)上發(fā)揮了獨特的作用。角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)強(qiáng)調(diào)在節(jié)點表示中編碼結(jié)構(gòu)相似性，使得扮演相同角色的節(jié)點能具有相似的向量表示。角色發(fā)現(xiàn)作為節(jié)點分類的一種形式，對網(wǎng)絡(luò)表示學(xué)習(xí)提出了新的挑戰(zhàn)。角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)的有效性往往依賴于結(jié)構(gòu)特征的提取。不同類型的結(jié)構(gòu)特征包含著不同尺度節(jié)點的復(fù)雜信息，因此如何有效地捕獲和利用這些結(jié)構(gòu)特征來生成高質(zhì)量的表示仍然是一個待解決的挑戰(zhàn)。

3、現(xiàn)有的先進(jìn)的角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)模型預(yù)先提取節(jié)點的結(jié)構(gòu)特征，再通過圖神經(jīng)網(wǎng)絡(luò)(graph?neural?network,gnn)模型聚合節(jié)點鄰居信息來重構(gòu)結(jié)構(gòu)特征學(xué)習(xí)節(jié)點表示。為了生成更具表現(xiàn)力的節(jié)點表示，一些角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)方法通過增加度約束使得學(xué)習(xí)到的節(jié)點表示能夠反映原始的度特征，還有一些方法通過圖變分自編碼器(variational?autoencoder,vae)、生成對抗網(wǎng)絡(luò)(generative?adversarial?network,gan)、歸一化流(normalizing?flows)來增強(qiáng)節(jié)點表示的靈活性和區(qū)分度。不同于在gnn基礎(chǔ)上的模型增強(qiáng)，一些角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)開始關(guān)注于融合不同類型的特征到節(jié)點表示中，使得生成的節(jié)點表示能夠表達(dá)更多豐富的信息，例如通過高階特征和對抗學(xué)習(xí)生成結(jié)構(gòu)節(jié)點表征(generating?structural?node?representations?via?higher-orderfeatures?and?adversarial?learning,shoal)和融合局部和高階特征的角色表示學(xué)習(xí)(role-oriented?representation?learning?via?fusioning?local?and?higher-orderfeature,rflh)都通過特定的方式將局部和高階特征融合到節(jié)點表示中。

4、然而現(xiàn)有的模型仍然存在兩個問題亟待解決：(1)角色網(wǎng)絡(luò)的局部異配性導(dǎo)致節(jié)點偏好與不同類別的節(jié)點相連，而同類節(jié)點常相隔甚遠(yuǎn)，這帶來的長距離依賴對gnn構(gòu)成挑戰(zhàn)。gnn的過度平滑和過度擠壓限制了模型捕捉這些長距離依賴的能力。(2)缺乏具有全面視角的特征融合的統(tǒng)一范式。雖然局部和高階特征已經(jīng)被應(yīng)用于特征融合，但由于提取全局特征的復(fù)雜度會隨網(wǎng)絡(luò)規(guī)模的增大快速提升，因此還沒有研究將全局特征和其他特征進(jìn)行融合。全局特征不僅能更準(zhǔn)確的建模節(jié)點的全局角色信息，還能在揭示不同節(jié)點在全局尺度上的聯(lián)系。除此之外，現(xiàn)有的特征融合方式不易進(jìn)行擴(kuò)展，缺乏一般的特征融合統(tǒng)一范式。

5、角色網(wǎng)絡(luò)的局部異配性在以往的工作中被忽略，先前的方法簡單地對鄰居信息聚合會丟失對鄰居間結(jié)構(gòu)差異的捕獲，并且無法捕獲相同類別節(jié)點間的長距離依賴。因此我們通過圖transformer在全局范圍內(nèi)進(jìn)行節(jié)點信息交換的能力來捕獲節(jié)點間的長距離依賴，以應(yīng)對局部異配性問題。不同于局部特征識別局部關(guān)系和高階特征識別復(fù)雜結(jié)構(gòu)的能力，全局特征從全局視角建模節(jié)點角色并揭示節(jié)點間聯(lián)系，這對分析節(jié)點間的復(fù)雜長距離依賴關(guān)系尤為重要。然而簡單的相加或拼接操作會損失不同類型特征間復(fù)雜的依賴交互關(guān)系。然而，大多數(shù)工作忽略了不同類型特征之間的相關(guān)性。因此在角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)中，如何捕獲節(jié)點間的長距離依賴關(guān)系，并對不同類型的結(jié)構(gòu)特征進(jìn)行有效的整合以提高節(jié)點表示的表現(xiàn)力是一個值得研究的問題。

技術(shù)實現(xiàn)思路

1、針對上述問題，本發(fā)明提出了基于圖transformer的現(xiàn)實網(wǎng)絡(luò)的角色發(fā)現(xiàn)方法，本發(fā)明針對角色導(dǎo)向的網(wǎng)絡(luò)表示學(xué)習(xí)現(xiàn)有的問題,提出了一個全新的自監(jiān)督圖transformer通道。這個通道構(gòu)建了適用于角色網(wǎng)絡(luò)的節(jié)點序列，并利用transformer捕獲長距離依賴的能力，挖掘了角色網(wǎng)絡(luò)中距離較遠(yuǎn)的相同角色節(jié)點之間的聯(lián)系。在此基礎(chǔ)之上，提出了一個同時考慮局部、高階和全局特征的特征融合的統(tǒng)一范式roleformer。它通過搭建三個自監(jiān)督圖transformer通道，基于重構(gòu)特征和對比學(xué)習(xí)從預(yù)先提取的節(jié)點結(jié)構(gòu)特征中學(xué)習(xí)節(jié)點表示，用于精準(zhǔn)的刻畫節(jié)點角色。除此之外，提出了一種簡單且易擴(kuò)展的全局特征編碼方法，錨點相對距離(anchor?raletive?distance,ard)，用于解決現(xiàn)有模型對全局特征的關(guān)注缺失以及高復(fù)雜度問題。具體來說，roleformer預(yù)先提取了節(jié)點的局部、高階和全局特征，并根據(jù)特征相似性為各個通道構(gòu)建了各自的節(jié)點令牌序列。每個通道都通過重構(gòu)經(jīng)過特征歸一化的節(jié)點特征，來生成一種節(jié)點表示。在不同通道之間依靠對比學(xué)習(xí)，roleformer能夠從學(xué)習(xí)不同節(jié)點特征的節(jié)點表示中學(xué)習(xí)不同特征之間的共性，以實現(xiàn)全面視角的特征融合。

2、本發(fā)明roleformer：基于圖transformer的現(xiàn)實網(wǎng)絡(luò)的角色發(fā)現(xiàn)方法，采用以下步驟實現(xiàn)：

3、步驟1：獲取數(shù)據(jù)源，其中數(shù)據(jù)要求包括網(wǎng)絡(luò)中的節(jié)點、節(jié)點之間的連邊。

4、步驟2：根據(jù)獲取的數(shù)據(jù)源，通過現(xiàn)有的遞歸特征提取(recursive?featureextraction,refex)和子圖度向量(graphlet?degree?vector,gdv)方法提取數(shù)據(jù)源中所有節(jié)點的局部特征和高階特征。

5、步驟3：根據(jù)獲取的數(shù)據(jù)源，提出錨點相對距離(anchor?relative?distance,ard)方法提取所有節(jié)點的全局特征。

6、步驟4：將數(shù)據(jù)源中所有節(jié)點兩兩組合構(gòu)成節(jié)點對。在提取的局部特征、高階特征和全局特征的基礎(chǔ)上，計算所有節(jié)點對的局部、高階和全局特征的余弦相似度。對于三種不同的特征，每一個節(jié)點都選擇和自身余弦相似度最高的k個節(jié)點構(gòu)建節(jié)點令牌序列，因此每一個節(jié)點將會生成三種對應(yīng)于不同特征的節(jié)點令牌序列。

7、步驟5：對所有節(jié)點生成相應(yīng)的三種節(jié)點令牌序列后，構(gòu)建三個獨立的圖transformer通道，每一個圖transformer通道將一種節(jié)點令牌序列進(jìn)行編碼獲得節(jié)點序列的節(jié)點表示，再通過圖讀出函數(shù)將節(jié)點序列的節(jié)點表示讀出為單一節(jié)點的節(jié)點表示。最后三個獨立的圖transformer通道將生成三種對應(yīng)的節(jié)點表示。將獲得的三種節(jié)點表示進(jìn)行拼接以獲得最后的節(jié)點表示，并根據(jù)節(jié)點表示進(jìn)行分類以獲得每個節(jié)點的角色。

8、步驟6：在圖transformer生成三種對應(yīng)的節(jié)點表示后，構(gòu)建三個多層感知機(jī)(multi-layer?perceptron,mlp)作為解碼器，對生成的三種節(jié)點表示進(jìn)行解碼，以提取步驟2中提取的局部特征、高階特征和全局特征。

9、步驟7：通過損失函數(shù)約束步驟5生成的三種節(jié)點表示。通過損失函數(shù)約束從步驟6中節(jié)點表示中提取的局部特征、高階特征和全局特征和從步驟2中從數(shù)據(jù)源中提取的局部特征、高階特征和全局特征進(jìn)行約束。

10、優(yōu)選地，采用介數(shù)中心性作為步驟3中的ard的節(jié)點中心性。

11、優(yōu)選地，所述ard提取全局特征的具體過程為：計算數(shù)據(jù)源中所有節(jié)點的中心性，選擇中心性最大的m個節(jié)點作為錨節(jié)點。計算所有節(jié)點到這m個錨節(jié)點的最短路徑距離作為節(jié)點的全局特征。

12、優(yōu)選地，采用基于注意力機(jī)制的圖讀出函數(shù)作為步驟5中的圖讀出函數(shù)。

13、本發(fā)明具有的有益效果：

14、本發(fā)明通過從全面的角度進(jìn)行特征融合，使生成的節(jié)點表示能夠更準(zhǔn)確地刻畫節(jié)點角色。我們對節(jié)點的局部特征、高階特征和全局特征給予同等關(guān)注，以更全面地反應(yīng)節(jié)點的真實特征，并通過構(gòu)建的多通道圖變換器范式將這些特征融合到節(jié)點表征中?？紤]到角色網(wǎng)絡(luò)的局部異質(zhì)性，本發(fā)明設(shè)計了基于特征相似性的標(biāo)記序列，旨在減少與目標(biāo)節(jié)點無關(guān)的信息，同時保持圖transformer捕捉到的遠(yuǎn)距離依賴關(guān)系。