一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于通信網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別涉及一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估 計(jì)方法。
【背景技術(shù)】
[0002] 隨著信息和通信技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)技術(shù)已經(jīng)深入到當(dāng)今社會(huì)生活、工業(yè)生 產(chǎn)中。特別是"互聯(lián)網(wǎng)+"的提出，進(jìn)一步推進(jìn)了互聯(lián)網(wǎng)技術(shù)在工業(yè)、農(nóng)業(yè)等領(lǐng)域的推廣，促 進(jìn)了社會(huì)產(chǎn)業(yè)信息化進(jìn)程。互聯(lián)網(wǎng)技術(shù)逐漸深入到社會(huì)各個(gè)領(lǐng)域的同時(shí)，海量數(shù)據(jù)處理、信 息安全等方面的問題日益突出，這些問題給網(wǎng)絡(luò)管理提出了更高的要求。
[0003] 近些年，互聯(lián)網(wǎng)為不同的終端用戶提供了多種多樣的網(wǎng)絡(luò)服務(wù)，在此背景下互聯(lián) 網(wǎng)已經(jīng)成為一個(gè)復(fù)雜的異構(gòu)網(wǎng)絡(luò)。網(wǎng)絡(luò)管理功能被引入到網(wǎng)絡(luò)中以保證每一個(gè)用戶的服務(wù) 質(zhì)量。對(duì)于一個(gè)網(wǎng)絡(luò)管理者，其在執(zhí)行一個(gè)有效的網(wǎng)絡(luò)管理功能時(shí)首先需要了解端到端網(wǎng) 絡(luò)流量的狀態(tài)信息。在實(shí)際當(dāng)中，端到端網(wǎng)絡(luò)流量信息可以通過(guò)流量矩陣進(jìn)行描述，流量矩 陣是網(wǎng)絡(luò)管理過(guò)程一個(gè)重要的輸入?yún)?shù)。
[0004] 雖然流量矩陣具有極其重要的作用，但是對(duì)于一個(gè)大尺度骨干網(wǎng)來(lái)說(shuō)，獲取流量 矩陣并不簡(jiǎn)單。這個(gè)原因是多重的，首先，對(duì)于一個(gè)大尺度骨干網(wǎng)，直接采集網(wǎng)絡(luò)流量信息 是不可實(shí)現(xiàn)的。在這種情況下，研究人員更傾向于間接地估計(jì)網(wǎng)絡(luò)流量而非直接采集網(wǎng)絡(luò) 流量信息。在眾多的網(wǎng)絡(luò)流量估計(jì)方法中，通常是通過(guò)其他有效的網(wǎng)絡(luò)信息去推斷網(wǎng)絡(luò)流 量，例如網(wǎng)絡(luò)層析成像技術(shù)通過(guò)鏈路負(fù)載和路由信息去估計(jì)網(wǎng)絡(luò)流量。然而網(wǎng)絡(luò)層析成像 模型具有高度的病態(tài)特性，因此估計(jì)網(wǎng)絡(luò)流量的研究任然面臨諸多挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有方法存在的不足，本發(fā)明提出一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì) 方法，以此獲取準(zhǔn)確的骨干網(wǎng)流量估計(jì)值，為實(shí)現(xiàn)有效的網(wǎng)絡(luò)管理和網(wǎng)絡(luò)規(guī)劃奠定堅(jiān)實(shí)的 基礎(chǔ)。
[0006] -種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法，包括以下步驟： 步驟1 :網(wǎng)絡(luò)管理站采用簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議獲取骨干網(wǎng)鏈路負(fù)載； 步驟2 :網(wǎng)絡(luò)管理站根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及路由器中路由表信息獲取路由矩陣； 步驟3 :網(wǎng)絡(luò)管理站生成一個(gè)隨機(jī)的伯努利矩陣，并根據(jù)該矩陣確定部分直接測(cè)量的 端到端網(wǎng)絡(luò)流量； 步驟4 :利用主成分分析方法近似地描述流量矩陣； 步驟5 :根據(jù)步驟1、2和4構(gòu)建網(wǎng)絡(luò)層析成像模型； 步驟6 :根據(jù)步驟3和4構(gòu)建線性測(cè)量模型； 步驟7 :根據(jù)步驟5和6中的模型，網(wǎng)絡(luò)管理站通過(guò)構(gòu)建最優(yōu)化模型的方法估計(jì)流量矩 陣。
[0007] 步驟1所述的網(wǎng)絡(luò)管理站采用簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議獲取骨干網(wǎng)鏈路負(fù)載，方法為： 當(dāng)用矩陣z表示鏈路負(fù)載時(shí)，對(duì)于一個(gè)具有#節(jié)點(diǎn)和戶條鏈路的骨干網(wǎng)，截取r個(gè)時(shí)槽的 鏈路負(fù)載數(shù)據(jù)，則z為一個(gè)矩陣。
[0008] 步驟2所述的網(wǎng)絡(luò)管理站根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及路由器中路由表信息獲取路由 矩陣，方法為：當(dāng)用#示路由矩陣時(shí)，對(duì)于一個(gè)具有#節(jié)點(diǎn)和Z3條鏈路的骨干網(wǎng)，路由矩 陣^/一個(gè)fXi的矩陣。
[0009] 步驟3所述的網(wǎng)絡(luò)管理站生成一個(gè)隨機(jī)的伯努利矩陣，并根據(jù)該矩陣確定部分直 接測(cè)量的端到端網(wǎng)絡(luò)流量，具體步驟如下： 步驟3-1 :用矩陣示一個(gè)流量矩陣，則流量矩陣為一個(gè)#X肅矩陣，每一個(gè)端到端 網(wǎng)絡(luò)流量獲得一個(gè)標(biāo)識(shí)，分別為1至#; 步驟3-2 :網(wǎng)絡(luò)管理站生成一個(gè)的隨機(jī)伯努利矩陣，用符號(hào)i?表示，其元素之分 別為1或0。矩陣萬(wàn)中每一個(gè)元素獨(dú)立同分布，并且其中fl，2，"*，ft /?=1，2,…，見z為當(dāng)之"=1時(shí)的概率； 步驟3-3 :對(duì)伯努利矩陣雄]每一個(gè)列上的元素取并集，即
其中，『"為W中每一個(gè)列的元素并集的計(jì)算結(jié)果； 步驟3-4 :當(dāng)％的值等于1時(shí)，則網(wǎng)絡(luò)管理站通過(guò)控制路由器端口的方法，利用路由器NetFlow功能測(cè)量編號(hào)為的端到端網(wǎng)絡(luò)流量； 步驟3-5 :將直接測(cè)量的端到端網(wǎng)絡(luò)流量放入流量矩陣_，則流量矩陣_包含了通 過(guò)直接測(cè)量而已知的端到端網(wǎng)絡(luò)流量和未被測(cè)量的未知流量； 步驟3-6 :根據(jù)步驟3-5獲得了一個(gè)線性系統(tǒng)，SP F二撕， 其中，矩陣玲爾為測(cè)量值，由上面的線性關(guān)系可知，/只與流量矩陣_已知的端到端 網(wǎng)絡(luò)流量有關(guān)，而與未知流量無(wú)關(guān)，因此測(cè)量值役t于我們來(lái)說(shuō)是已知的，可通過(guò)直接測(cè)量 的端到端網(wǎng)絡(luò)流量和伯努利矩陣辨目乘計(jì)算得到。
[0010] 步驟4所述的利用主成分分析方法近似地描述流量矩陣，具體步驟如下： 步驟4-1:網(wǎng)絡(luò)管理站搜集歷史流量矩陣，并表示為if; 步驟4-2:利用奇異值分解的方法分解歷史流量矩陣，的轉(zhuǎn)置，即
其中，2$為對(duì)角矩陣，其對(duì)角元素上的值為矩陣的奇異值。0為一個(gè)正交矩陣，矩 陣"描述了歷史流量矩陣動(dòng)態(tài)變化信息； 步驟4-3:利用主成分近似地描述矩陣M%即
其中，對(duì)角矩陣為提取尤個(gè)主成分后的奇異值矩陣，該步驟相當(dāng)于保留尤個(gè)最大的 奇異值，并將其余小的奇異值設(shè)置為〇 ; 步驟4-4 :用歷史流量矩陣，的主成分近似地描述流量矩陣私即
其中，矩陣"描述了流量矩陣滅勺動(dòng)態(tài)變化特性。
[0011] 步驟5所述的根據(jù)步驟1、2和4構(gòu)建網(wǎng)絡(luò)層析成像模型，方法為：網(wǎng)絡(luò)層析成像模 型表示為
[0012] 步驟6所述的根據(jù)步驟3和4構(gòu)建線性測(cè)量模型，方法為：該構(gòu)建的模型表示為：
[0013] 步驟7所述的根據(jù)步驟5和6中的模型，網(wǎng)絡(luò)管理站通過(guò)構(gòu)建最優(yōu)化模型的方法 估計(jì)流量矩陣，具體步驟如下： 步驟7-1 :步驟5和6中的模型構(gòu)建優(yōu)化模型，如下
步驟7-2 :通過(guò)求解步驟7-1中的最優(yōu)化模型的方法獲得矩陣的的估計(jì)值，表示為Es{的，則流量矩陣估計(jì)值Es{對(duì)=P2 %Es{的。
[0014] 本發(fā)明的優(yōu)點(diǎn)：本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法，采用壓縮 感知技術(shù)和網(wǎng)絡(luò)層析成像技術(shù)，一方面，克服了網(wǎng)絡(luò)層析成像技術(shù)的欠定特性；另一方面， 避免了直接測(cè)量所有端到端網(wǎng)絡(luò)流量的巨大開銷問題。本發(fā)明方法獲得了較好的流量矩陣 估計(jì)值，在估計(jì)誤差方面有了明顯的改進(jìn)，估計(jì)誤差降低了 16%。
【附圖說(shuō)明】
[0015] 圖1為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法具體實(shí)施例的網(wǎng)絡(luò) 拓?fù)浣Y(jié)構(gòu)； 圖2為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法結(jié)構(gòu)示意圖； 圖3為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法流程圖； 圖4為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法標(biāo)號(hào)為99的端到端網(wǎng)絡(luò) 流量真實(shí)值和估計(jì)值對(duì)比示意圖； 圖5為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法標(biāo)號(hào)為105的端到端網(wǎng)絡(luò) 流量真實(shí)值和估計(jì)值對(duì)比示意圖； 圖6為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法的相對(duì)均方根誤差示意 圖； 圖7為本發(fā)明一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法的相對(duì)均方根誤差的累 積分布函數(shù)示意圖。
【具體實(shí)施方式】
[0016] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0017] 本實(shí)施例對(duì)Abilene骨干網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行估計(jì)，Abilene骨干網(wǎng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1 所示，其包含了 12個(gè)節(jié)點(diǎn)和54條單向鏈路(包括24條外部鏈路和30條內(nèi)部鏈路)。因此 流量矩陣?yán)?端到端網(wǎng)絡(luò)流量的數(shù)目為#=12 2=144,鏈路負(fù)載的數(shù)量/^54。對(duì)于伯努利矩 陣漢其行數(shù)爐144,且F〇. 01。在主成分分析過(guò)程中，取主成分?jǐn)?shù)量尤 =6。
[0018] 本實(shí)施例一種面向大數(shù)據(jù)互聯(lián)網(wǎng)的多業(yè)務(wù)流量估計(jì)方法，具體步驟如圖2所示。
[0019] 步驟1:網(wǎng)絡(luò)管理站采用簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議獲取骨干網(wǎng)鏈路負(fù)載； 當(dāng)用矩陣Z表示鏈路負(fù)載時(shí)，對(duì)于一個(gè)具有12個(gè)節(jié)點(diǎn)和54條鏈路的骨干網(wǎng)，截取1516 個(gè)時(shí)槽的鏈路負(fù)載數(shù)據(jù)，則Z為一個(gè)54X1516的矩陣。
[0020] 步驟2 :網(wǎng)絡(luò)管理站根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及路由器中路由表信息獲取路由矩陣； 當(dāng)用#示路由矩陣時(shí)，對(duì)于一個(gè)具有12個(gè)節(jié)點(diǎn)和54條鏈路的骨干網(wǎng)，路由矩陣於3 一個(gè)54X144的矩陣。
[0021] 步驟3 :網(wǎng)絡(luò)管理站生成一個(gè)隨機(jī)的伯努利矩陣，并根據(jù)該矩陣確定部分直接測(cè) 量的端到端網(wǎng)絡(luò)流量，具體步驟如下： 步驟3-1 :用矩陣示一個(gè)流量矩陣，則流量矩陣為一個(gè)144X1516的矩陣，每一個(gè) 端到端網(wǎng)絡(luò)流量獲得一個(gè)識(shí)別碼，分別為1至144 ; 步驟3-2 :網(wǎng)絡(luò)管理站生成一個(gè)144X144隨機(jī)的伯努利矩陣，用符號(hào)萬(wàn)表示，其 元素之分別為1或0。矩陣萬(wàn)