本發(fā)明涉及數(shù)據(jù)處理,特別涉及一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法及系統(tǒng)。
背景技術(shù):
1、目前,隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,各種復(fù)雜網(wǎng)絡(luò)層出不窮,如社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、生物網(wǎng)絡(luò)等,在這些網(wǎng)絡(luò)中,社區(qū)結(jié)構(gòu)是一個常見且重要的特征,它反映了網(wǎng)絡(luò)中節(jié)點之間緊密連接的子結(jié)構(gòu),準(zhǔn)確檢測網(wǎng)絡(luò)中的社區(qū)結(jié)構(gòu)對于理解網(wǎng)絡(luò)的功能和特性具有重要意義;
2、但是,現(xiàn)有的社區(qū)檢測方法在面對復(fù)雜多變的網(wǎng)絡(luò)環(huán)境時,存在準(zhǔn)確性和效率方面的不足,同時,網(wǎng)絡(luò)中可能會存在不確定性和隨機因素,無法對網(wǎng)絡(luò)中各層級的社區(qū)結(jié)構(gòu)進(jìn)行準(zhǔn)確分析,大大影響了對各類網(wǎng)絡(luò)中社區(qū)的檢測效果;
3、因此,為了克服上述缺陷,本發(fā)明提供了一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法及系統(tǒng)。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法及系統(tǒng),用以通過采用圖卷積網(wǎng)絡(luò)對待處理圖數(shù)據(jù)進(jìn)行預(yù)處理,實現(xiàn)對待處理圖數(shù)據(jù)中的節(jié)點特征進(jìn)行準(zhǔn)確有效的確定,并通過節(jié)點特征對各節(jié)點之間的相似度確定,實現(xiàn)根據(jù)相似度對各節(jié)點的概率分布進(jìn)行確定,為進(jìn)行社區(qū)檢測提供了便利,其次,通過概率分布對節(jié)點進(jìn)行聚類處理,實現(xiàn)對各節(jié)點對應(yīng)的歸屬社區(qū)進(jìn)行鎖定,實現(xiàn)根據(jù)歸屬社區(qū)對多層次社區(qū)樹狀圖進(jìn)行有效構(gòu)建,最后,通過模型損失函數(shù)對多層次社區(qū)樹狀圖的社區(qū)進(jìn)行細(xì)化劃分,實現(xiàn)對各節(jié)點進(jìn)行準(zhǔn)確可靠的社區(qū)檢測,保障了社區(qū)檢測的準(zhǔn)確性,大大提升了社區(qū)檢測的效果,為網(wǎng)絡(luò)的功能和特性的理解提供了極大的便利。
2、本發(fā)明提供了一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,包括:
3、步驟1:基于圖卷積網(wǎng)絡(luò)對待處理圖數(shù)據(jù)進(jìn)行預(yù)處理,提取待處理圖數(shù)據(jù)中各節(jié)點的節(jié)點特征,并基于節(jié)點特征確定各節(jié)點間的相似度;
4、步驟2:基于相似度確定各節(jié)點的概率分布,并基于概率分布將各節(jié)點聚類至對應(yīng)歸屬社區(qū),且基于聚類結(jié)果構(gòu)建多層次社區(qū)樹狀圖;
5、步驟3:基于模型損失函數(shù)對多層次社區(qū)樹狀圖的社區(qū)進(jìn)行細(xì)化劃分,并基于細(xì)化劃分結(jié)果完成對待處理圖數(shù)據(jù)中各節(jié)點的社區(qū)檢測。
6、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,步驟1中,基于圖卷積網(wǎng)絡(luò)對待處理圖數(shù)據(jù)進(jìn)行預(yù)處理之前,包括:
7、獲取管理終端發(fā)送的待處理圖數(shù)據(jù),并基于處理指標(biāo)對待處理圖數(shù)據(jù)進(jìn)行遍歷,得到待處理圖數(shù)據(jù)在處理指標(biāo)下的指標(biāo)值;
8、基于指標(biāo)值確定待處理圖數(shù)據(jù)的圖像表征特征,并將圖像表征特征與預(yù)設(shè)要求進(jìn)行差異比對;
9、基于差異比對結(jié)果確定圖像表征特征滿足預(yù)設(shè)要求時,則判定待處理圖數(shù)據(jù)合格,并觸發(fā)對待處理圖像的社區(qū)檢測機制;
10、否則,對待處理圖數(shù)據(jù)進(jìn)行退回。
11、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,步驟1中,基于圖卷積網(wǎng)絡(luò)對待處理圖數(shù)據(jù)進(jìn)行預(yù)處理,提取待處理圖數(shù)據(jù)中各節(jié)點的節(jié)點特征,包括:
12、獲取得到的待處理圖數(shù)據(jù),并對待處理圖像進(jìn)行區(qū)域劃分;
13、基于區(qū)域劃分結(jié)果同步對不同區(qū)域中各節(jié)點的局部區(qū)域表征進(jìn)行確定,并基于局部區(qū)域表征得到各節(jié)點的邊緣特征、紋理特征及各節(jié)點之間的相對連接關(guān)系;
14、基于各節(jié)點的邊緣特征、紋理特征及各節(jié)點之間的相對連接關(guān)系得到待處理圖數(shù)據(jù)中各節(jié)點的節(jié)點特征,并對節(jié)點特征進(jìn)行向量轉(zhuǎn)換,得到各節(jié)點的節(jié)點特征對應(yīng)的特征向量。
15、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,步驟1中,基于節(jié)點特征確定各節(jié)點間的相似度,包括:
16、獲取圖卷積網(wǎng)絡(luò)的基本配置參數(shù),并基于基本配置參數(shù)確定圖卷積網(wǎng)絡(luò)的目標(biāo)層數(shù);
17、基于目標(biāo)層數(shù)依次對待處理圖數(shù)據(jù)中各節(jié)點的節(jié)點特征以及相鄰節(jié)點的節(jié)點特征進(jìn)行聚合,并基于聚合結(jié)果將各節(jié)點的節(jié)點特征進(jìn)行低維度空間轉(zhuǎn)換,得到各節(jié)點的節(jié)點特征的節(jié)點嵌入特征;
18、根據(jù)如下公式對節(jié)點的節(jié)點特征以及相鄰節(jié)點的節(jié)點特征進(jìn)行聚合:
19、
20、zv=h(l);
21、其中,h(l+1)表示圖卷積網(wǎng)絡(luò)中目標(biāo)層數(shù)依次對待處理圖數(shù)據(jù)中各節(jié)點的節(jié)點特征以及相鄰節(jié)點的節(jié)點特征進(jìn)行聚合得到的特征;σ(·)表示激活函數(shù);l表示圖卷積網(wǎng)絡(luò)中當(dāng)前目標(biāo)層數(shù)的標(biāo)號值;表示對角矩陣;表示加權(quán)鄰接矩陣加上當(dāng)前層數(shù)的鄰接矩陣的總和;h(l)表示圖卷積網(wǎng)絡(luò)中第l層節(jié)點的特征矩陣;w(l)表示圖卷積網(wǎng)絡(luò)中第l層的權(quán)重;h(l)表示h(l+1)從第一層數(shù)逐步聚合至l層數(shù)得到的特征;zv表示各節(jié)點的節(jié)點特征的節(jié)點嵌入矩陣;v指的是待處理圖數(shù)據(jù)中各節(jié)點的序號值;
22、對不同節(jié)點間的節(jié)點嵌入特征進(jìn)行分析,得到各節(jié)點間的相似度。
23、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,基于聚合結(jié)果將各節(jié)點的節(jié)點特征進(jìn)行低維度空間轉(zhuǎn)換,得到各節(jié)點的節(jié)點特征的節(jié)點嵌入特征,包括:
24、基于管理終端的運行標(biāo)準(zhǔn)確定待處理圖數(shù)據(jù)中各節(jié)點的加權(quán)鄰接矩陣,并基于各節(jié)點的加權(quán)鄰接矩陣和各節(jié)點的節(jié)點嵌入特征確定各節(jié)點嵌入特征的特征損失值;
25、
26、其中,μ表示各節(jié)點嵌入特征的特征損失值;i、j表示節(jié)點的序號值,且取值范圍為[1,n];n表示節(jié)點的總個數(shù);aij表示節(jié)點i和節(jié)點j之間的加權(quán)鄰接矩陣;σ(·)表示激活函數(shù);表示節(jié)點i的節(jié)點嵌入矩陣的轉(zhuǎn)置矩陣;hj為節(jié)點j的節(jié)點嵌入矩陣;
27、將各節(jié)點的特征損失值與預(yù)設(shè)閾值進(jìn)行比較,并在特征損失值大于預(yù)設(shè)閾值時,重新對當(dāng)前節(jié)點的節(jié)點特征以及相鄰節(jié)點的節(jié)點特征進(jìn)行聚合,直至特征損失值小于預(yù)設(shè)閾值。
28、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,對不同節(jié)點間的節(jié)點嵌入特征進(jìn)行分析,得到各節(jié)點間的相似度,包括:
29、獲取不同節(jié)點的節(jié)點嵌入特征對應(yīng)的特征向量,并基于預(yù)設(shè)計算公式對特征向量進(jìn)行相似度計算,執(zhí)行步驟包括:
30、
31、其中,sim(i,j)表示節(jié)點i和節(jié)點j的特征向量之間的夾角余弦值;表示節(jié)點i從第一層數(shù)逐步聚合至l層數(shù)得到的特征向量;表示節(jié)點j從第一層數(shù)逐步聚合至l層數(shù)得到的特征向量;‖·‖表示向量的范數(shù);表示節(jié)點i從第一層數(shù)逐步聚合至l層數(shù)得到的特征向量對應(yīng)的模值;表示節(jié)點j從第一層數(shù)逐步聚合至l層數(shù)得到的特征向量的模值;
32、基于各節(jié)點間特征向量的夾角余弦值得到各節(jié)點間的相似度。
33、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,步驟2中,基于相似度確定各節(jié)點的概率分布,并基于概率分布將各節(jié)點聚類至對應(yīng)歸屬社區(qū),且基于聚類結(jié)果構(gòu)建多層次社區(qū)樹狀圖,包括:
34、獲取得到的各節(jié)點間的相似度,并基于相似度確定待處理圖數(shù)據(jù)中各節(jié)點之間的節(jié)點對;
35、同時,將節(jié)點對的相似度映射至預(yù)設(shè)函數(shù)進(jìn)行處理,得到各節(jié)點對的采樣概率,并基于采樣概率確定各節(jié)點對的節(jié)點距離;
36、基于各節(jié)點間的相似度以及各節(jié)點對的節(jié)點距離得到各節(jié)點的概率分布,并基于概率分布結(jié)果對各節(jié)點進(jìn)行聚類處理,得到各節(jié)點對應(yīng)的歸屬社區(qū);
37、基于聚類結(jié)果依次確定不同歸屬社區(qū)之間的相似度,并將相似度大于預(yù)設(shè)閾值的歸屬社區(qū)進(jìn)行社區(qū)合并,得到新社區(qū);
38、基于社區(qū)合并結(jié)果對各節(jié)點對應(yīng)的歸屬社區(qū)進(jìn)行目標(biāo)次數(shù)的迭代合并處理,并對每一次迭代合并處理后新社區(qū)與其余社區(qū)的目標(biāo)距離進(jìn)行更新,且基于更新結(jié)果得到多層次社區(qū)樹狀圖。
39、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測方法,步驟3中,基于模型損失函數(shù)對多層次社區(qū)樹狀圖的社區(qū)進(jìn)行細(xì)化劃分,并基于細(xì)化劃分結(jié)果完成對待處理圖數(shù)據(jù)中各節(jié)點的社區(qū)檢測,包括:
40、獲取得到的多層次社區(qū)樹狀圖,并基于社區(qū)檢測要求為多層次社區(qū)樹狀圖配置模塊度的初始參量以及單次調(diào)整參量;
41、基于單次調(diào)整參量對模塊度的初始參量進(jìn)行遞增調(diào)整,并基于遞增調(diào)整結(jié)果對多層次社區(qū)樹狀圖中各歸屬社區(qū)的局部結(jié)構(gòu)進(jìn)行細(xì)化劃分;
42、基于細(xì)化劃分結(jié)果得到待處理圖數(shù)據(jù)最終的社區(qū)檢測結(jié)果,完成對待處理圖數(shù)據(jù)中各節(jié)點的社區(qū)檢測。
43、本發(fā)明提供了一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測系統(tǒng),包括:
44、相似度確定模塊,用于基于圖卷積網(wǎng)絡(luò)對待處理圖數(shù)據(jù)進(jìn)行預(yù)處理,提取待處理圖數(shù)據(jù)中各節(jié)點的節(jié)點特征,并基于節(jié)點特征確定各節(jié)點間的相似度;
45、社區(qū)檢測模塊,用于基于相似度確定各節(jié)點的概率分布,并基于概率分布將各節(jié)點聚類至對應(yīng)歸屬社區(qū),且基于聚類結(jié)果構(gòu)建多層次社區(qū)樹狀圖;
46、社區(qū)細(xì)化模塊,用于基于模型損失函數(shù)對多層次社區(qū)樹狀圖的社區(qū)進(jìn)行細(xì)化劃分,并基于細(xì)化劃分結(jié)果完成對待處理圖數(shù)據(jù)中各節(jié)點的社區(qū)檢測。
47、優(yōu)選的,一種基于概率分布分層圖聚類網(wǎng)絡(luò)的社區(qū)檢測系統(tǒng),相似度確定模塊,包括:
48、圖像準(zhǔn)備單元,用于獲取管理終端發(fā)送的待處理圖數(shù)據(jù),并基于處理指標(biāo)對待處理圖數(shù)據(jù)進(jìn)行遍歷,得到待處理圖數(shù)據(jù)在處理指標(biāo)下的指標(biāo)值;
49、圖像核驗單元,用于:
50、基于指標(biāo)值確定待處理圖數(shù)據(jù)的圖像表征特征,并將圖像表征特征與預(yù)設(shè)要求進(jìn)行差異比對;
51、基于差異比對結(jié)果確定圖像表征特征滿足預(yù)設(shè)要求時,則判定待處理圖數(shù)據(jù)合格,并觸發(fā)對待處理圖像的社區(qū)檢測機制;
52、否則,對待處理圖數(shù)據(jù)進(jìn)行退回。
53、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果如下:
54、通過采用圖卷積網(wǎng)絡(luò)對待處理圖數(shù)據(jù)進(jìn)行預(yù)處理,實現(xiàn)對待處理圖數(shù)據(jù)中的節(jié)點特征進(jìn)行準(zhǔn)確有效的確定,并通過節(jié)點特征對各節(jié)點之間的相似度確定,實現(xiàn)根據(jù)相似度對各節(jié)點的概率分布進(jìn)行確定,為進(jìn)行社區(qū)檢測提供了便利,其次,通過概率分布對節(jié)點進(jìn)行聚類處理,實現(xiàn)對各節(jié)點對應(yīng)的歸屬社區(qū)進(jìn)行鎖定,實現(xiàn)根據(jù)歸屬社區(qū)對多層次社區(qū)樹狀圖進(jìn)行有效構(gòu)建,最后,通過模型損失函數(shù)對多層次社區(qū)樹狀圖的社區(qū)進(jìn)行細(xì)化劃分,實現(xiàn)對各節(jié)點進(jìn)行準(zhǔn)確可靠的社區(qū)檢測,保障了社區(qū)檢測的準(zhǔn)確性,大大提升了社區(qū)檢測的效果,為網(wǎng)絡(luò)的功能和特性的理解提供了極大的便利。
55、本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在本技術(shù)文件中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。
56、下面通過附圖和實施例,對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。