一種網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu)化方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu)化方法，屬于計(jì)算機(jī)網(wǎng)絡(luò)及文 件系統(tǒng)管理應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002] 傳統(tǒng)的計(jì)算機(jī)系統(tǒng)中有文件系統(tǒng)（file system)來(lái)管理文件及數(shù)據(jù)對(duì)象，。最初 的文件系統(tǒng)直接與操作系統(tǒng)綁定，這樣有利于存儲(chǔ)媒介中的文件資源管理。由于網(wǎng)絡(luò)計(jì)算 模式的發(fā)展與普及，大量的數(shù)據(jù)資源都通過(guò)網(wǎng)絡(luò)通道，由指定的存儲(chǔ)服務(wù)器下載至客戶(hù)端， 用戶(hù)可以請(qǐng)求指定的資源。如此出現(xiàn)的分布式文件管理系統(tǒng)，旨在滿(mǎn)足通過(guò)網(wǎng)絡(luò)獲取資源 以及管理大量的數(shù)據(jù)。
[0003] 復(fù)本管理是網(wǎng)絡(luò)計(jì)算模式的基礎(chǔ)上延伸和發(fā)展出來(lái)的概念，目的是為了滿(mǎn)足多用 戶(hù)并發(fā)訪(fǎng)問(wèn)，數(shù)據(jù)資源及集群應(yīng)用的可用性。由于大量數(shù)據(jù)資源及應(yīng)用都存儲(chǔ)在網(wǎng)絡(luò)上，因 此這些應(yīng)用資源的可用性極大的依賴(lài)于網(wǎng)絡(luò)狀態(tài)。常用的做法是，通過(guò)對(duì)資源的復(fù)本拷貝， 將其復(fù)本分散于網(wǎng)絡(luò)系統(tǒng)中多節(jié)點(diǎn)上。然而這種方法需要考慮的問(wèn)題是，將復(fù)本存放于哪 些節(jié)點(diǎn)上，以及復(fù)本的數(shù)量應(yīng)該是多少等。

【發(fā)明內(nèi)容】

[0004] 為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu) 化方法，提高文件資源的可用性，保證在大量用戶(hù)同時(shí)請(qǐng)求訪(fǎng)問(wèn)數(shù)據(jù)資源時(shí)的網(wǎng)絡(luò)性能，在 網(wǎng)絡(luò)計(jì)算模式下，提升資源共享效率并有效降低網(wǎng)絡(luò)帶寬消耗。
[0005] 本發(fā)明為解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：提供了一種網(wǎng)絡(luò)計(jì)算模式下的資 源訪(fǎng)問(wèn)性能優(yōu)化方法，包括以下步驟：
[0006] (1)建立由網(wǎng)絡(luò)節(jié)點(diǎn)組成的網(wǎng)絡(luò)計(jì)算系統(tǒng)模型，將由網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成的網(wǎng)絡(luò)空間映 射到歐氏空間，所述歐氏空間為嵌入空間，所述網(wǎng)絡(luò)節(jié)點(diǎn)包括數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)、索引節(jié)點(diǎn)和次 中心節(jié)點(diǎn)，其中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)有原始的復(fù)本，索引節(jié)點(diǎn)用于記錄各個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的 復(fù)本存儲(chǔ)信息、復(fù)本訪(fǎng)問(wèn)信息以及網(wǎng)絡(luò)節(jié)點(diǎn)間的距離，次中心節(jié)點(diǎn)用于存儲(chǔ)系統(tǒng)數(shù)據(jù)；
[0007] (2)從所有數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)中選取一組基準(zhǔn)節(jié)點(diǎn)，構(gòu)成基準(zhǔn)節(jié)點(diǎn)集，基準(zhǔn)節(jié)點(diǎn)外的其 它數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)為普通節(jié)點(diǎn)；各個(gè)普通節(jié)點(diǎn)為其存儲(chǔ)的每個(gè)復(fù)本設(shè)置一個(gè)列表，用于記錄 該復(fù)本被該普通節(jié)點(diǎn)的近鄰節(jié)點(diǎn)訪(fǎng)問(wèn)的頻度；普通節(jié)點(diǎn)還設(shè)置有一個(gè)數(shù)據(jù)表，用于記錄該 普通節(jié)點(diǎn)接收的復(fù)本請(qǐng)求；列表和數(shù)據(jù)表每隔一段設(shè)置時(shí)間更新一次；
[0008] (3)測(cè)量基準(zhǔn)節(jié)點(diǎn)之間的距離值，構(gòu)建由各距離值組成的距離矩陣，確定基準(zhǔn)節(jié)點(diǎn) 的坐標(biāo)值；測(cè)量網(wǎng)絡(luò)空間中的普通節(jié)點(diǎn)到基準(zhǔn)節(jié)點(diǎn)的距離，確定普通節(jié)點(diǎn)對(duì)于基準(zhǔn)節(jié)點(diǎn)的 坐標(biāo)；
[0009] (4)每個(gè)普通節(jié)點(diǎn)向各個(gè)基準(zhǔn)節(jié)點(diǎn)發(fā)送報(bào)文探測(cè)消息，基準(zhǔn)節(jié)點(diǎn)向普通節(jié)點(diǎn)返回 應(yīng)答后，普通節(jié)點(diǎn)獲得到該基準(zhǔn)節(jié)點(diǎn)的距離值；普通節(jié)點(diǎn)利用到各個(gè)基準(zhǔn)節(jié)點(diǎn)的距離值構(gòu) 造節(jié)點(diǎn)向量，將該節(jié)點(diǎn)向量提交至索引節(jié)點(diǎn)；所述節(jié)點(diǎn)向量包括該普通節(jié)點(diǎn)到各個(gè)基準(zhǔn)節(jié) 點(diǎn)的距離；
[0010] (5)對(duì)于每個(gè)普通節(jié)點(diǎn)，獲取該普通節(jié)點(diǎn)在設(shè)置距離范圍內(nèi)的普通節(jié)點(diǎn)，所述一定 距離范圍內(nèi)的普通節(jié)點(diǎn)構(gòu)成該普通節(jié)點(diǎn)的近鄰節(jié)點(diǎn)集；
[0011] (6)建立復(fù)本模型：
[0012] 設(shè)集合0 = Io1, ...，O1J表示存儲(chǔ)于各個(gè)普通節(jié)點(diǎn)上的N個(gè)復(fù)本組成的復(fù)本集， 其中Oi表示第i個(gè)復(fù)本，0彡i彡N ;用集合V = {v ^ ...，vm}表示普通節(jié)點(diǎn)集，其中Vj表 示第j個(gè)普通節(jié)點(diǎn)，〇彡j彡m ;
[0013] 已知普通節(jié)點(diǎn)Vj的存儲(chǔ)空間為C』，訪(fǎng)問(wèn)頻率為!Tij,表示普通節(jié)點(diǎn)Vj對(duì)復(fù) 本O i發(fā)出對(duì)復(fù)本的訪(fǎng)問(wèn)請(qǐng)求的頻率，普通節(jié)點(diǎn) '對(duì)全局的復(fù)本請(qǐng)求頻率表示為r」= Crjl, rj2, · · ·，rjN)，一組有m個(gè)普通節(jié)點(diǎn)的網(wǎng)絡(luò)計(jì)算系統(tǒng)的訪(fǎng)問(wèn)矩陣表示為R = Cr1, r2, · · · rm)T，Pj表示普通節(jié)點(diǎn)V」上的復(fù)本存儲(chǔ)量，P:i [0且|Pj|彡C」，則Rj= {0 f 0:r々Ο}表示 為向普通節(jié)點(diǎn)Vj發(fā)送的請(qǐng)求集合，Pj= 表示普通節(jié)點(diǎn)Vj發(fā)出的請(qǐng)求集合；
[0014] 在復(fù)本模型下，每個(gè)普通節(jié)點(diǎn)分別計(jì)算從本普通節(jié)點(diǎn)訪(fǎng)問(wèn)復(fù)本的距離(^、從近鄰 節(jié)點(diǎn)訪(fǎng)問(wèn)復(fù)本的距離d#，以及從遠(yuǎn)程數(shù)據(jù)節(jié)點(diǎn)訪(fǎng)問(wèn)復(fù)本的距離d js;其中遠(yuǎn)程數(shù)據(jù)節(jié)點(diǎn)為所 有普通節(jié)點(diǎn)中除了本普通節(jié)點(diǎn)及其近鄰節(jié)點(diǎn)以外的普通節(jié)點(diǎn)；
[0015] (7)復(fù)本放置優(yōu)化：
[0016] (7-1)對(duì)于各個(gè)普通節(jié)點(diǎn)的每個(gè)復(fù)本，進(jìn)行步驟（7-2)至步驟（7-4):
[0017] (7-2)利用以下公式計(jì)算復(fù)本的全局訪(fǎng)問(wèn)頻度：
[0018]
【主權(quán)項(xiàng)】
1. 一種網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu)化方法，其特征在于包括w下步驟： (1) 建立由網(wǎng)絡(luò)節(jié)點(diǎn)組成的網(wǎng)絡(luò)計(jì)算系統(tǒng)模型，將由網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成的網(wǎng)絡(luò)空間映射到 歐氏空間，所述歐氏空間為嵌入空間，所述網(wǎng)絡(luò)節(jié)點(diǎn)包括數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)、索引節(jié)點(diǎn)和次中屯、 節(jié)點(diǎn)，其中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)有原始的復(fù)本，索引節(jié)點(diǎn)用于記錄各個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的復(fù)本 存儲(chǔ)信息、復(fù)本訪(fǎng)問(wèn)信息W及網(wǎng)絡(luò)節(jié)點(diǎn)間的距離，次中屯、節(jié)點(diǎn)用于存儲(chǔ)系統(tǒng)數(shù)據(jù)； (2) 從所有數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)中選取一組基準(zhǔn)節(jié)點(diǎn)，構(gòu)成基準(zhǔn)節(jié)點(diǎn)集，基準(zhǔn)節(jié)點(diǎn)外的其它數(shù) 據(jù)存儲(chǔ)節(jié)點(diǎn)為普通節(jié)點(diǎn)；各個(gè)普通節(jié)點(diǎn)為其存儲(chǔ)的每個(gè)復(fù)本設(shè)置一個(gè)列表，用于記錄該復(fù) 本被該普通節(jié)點(diǎn)的近鄰節(jié)點(diǎn)訪(fǎng)問(wèn)的頻度；普通節(jié)點(diǎn)還設(shè)置有一個(gè)數(shù)據(jù)表，用于記錄該普通 節(jié)點(diǎn)接收的復(fù)本請(qǐng)求；列表和數(shù)據(jù)表每隔一段設(shè)置時(shí)間更新一次； (3) 測(cè)量基準(zhǔn)節(jié)點(diǎn)之間的距離值，構(gòu)建由各距離值組成的距離矩陣，確定基準(zhǔn)節(jié)點(diǎn)的 坐標(biāo)值；測(cè)量網(wǎng)絡(luò)空間中的普通節(jié)點(diǎn)到基準(zhǔn)節(jié)點(diǎn)的距離，確定普通節(jié)點(diǎn)對(duì)于基準(zhǔn)節(jié)點(diǎn)的坐 標(biāo)； (4) 每個(gè)普通節(jié)點(diǎn)向各個(gè)基準(zhǔn)節(jié)點(diǎn)發(fā)送報(bào)文探測(cè)消息，基準(zhǔn)節(jié)點(diǎn)向普通節(jié)點(diǎn)返回應(yīng)答 后，普通節(jié)點(diǎn)獲得到該基準(zhǔn)節(jié)點(diǎn)的距離值；普通節(jié)點(diǎn)利用到各個(gè)基準(zhǔn)節(jié)點(diǎn)的距離值構(gòu)造節(jié) 點(diǎn)向量，將該節(jié)點(diǎn)向量提交至索引節(jié)點(diǎn)；所述節(jié)點(diǎn)向量包括該普通節(jié)點(diǎn)到各個(gè)基準(zhǔn)節(jié)點(diǎn)的 距離； (5) 對(duì)于每個(gè)普通節(jié)點(diǎn)，獲取該普通節(jié)點(diǎn)在設(shè)置距離范圍內(nèi)的普通節(jié)點(diǎn)，所述一定距離 范圍內(nèi)的普通節(jié)點(diǎn)構(gòu)成該普通節(jié)點(diǎn)的近鄰節(jié)點(diǎn)集； (6) 建立復(fù)本模型； 設(shè)集合0 = {〇1，...，oj表示存儲(chǔ)于各個(gè)普通節(jié)點(diǎn)上的N個(gè)復(fù)本組成的復(fù)本集，其中 〇i表示第i個(gè)復(fù)本，0《i《N;用集合V={v1，.. .，Vm}表示普通節(jié)點(diǎn)集，其中Vj表示第j 個(gè)普通節(jié)點(diǎn)，〇《j《m; 已知普通節(jié)點(diǎn)Vj的存儲(chǔ)空間為Cj，訪(fǎng)問(wèn)頻率為ry，表示普通節(jié)點(diǎn)Vj對(duì)復(fù)本oi發(fā)出對(duì)復(fù) 本的訪(fǎng)問(wèn)請(qǐng)求的頻率，普通節(jié)點(diǎn)Vj.對(duì)全局的復(fù)本請(qǐng)求頻率表示為rj.=(rj,，. . .，rj.w)，一 組有m個(gè)普通節(jié)點(diǎn)的網(wǎng)絡(luò)計(jì)算系統(tǒng)的訪(fǎng)問(wèn)矩陣表示為R= (r。r,，. . . 表示普通節(jié)點(diǎn) vj上的復(fù)本存儲(chǔ)量，Pi^O且iPj.l《Cj.，則Rj.= {〇iG0:ru〉0}表示為向普通節(jié)點(diǎn)Vj.發(fā)送 的請(qǐng)求集合，Pi= 表示普通節(jié)點(diǎn)Vj.發(fā)出的請(qǐng)求集合； 在復(fù)本模型下，每個(gè)普通節(jié)點(diǎn)分別計(jì)算從本普通節(jié)點(diǎn)訪(fǎng)問(wèn)復(fù)本的距離dj.i、從近鄰節(jié)點(diǎn) 訪(fǎng)問(wèn)復(fù)本的距離dj.t，W及從遠(yuǎn)程數(shù)據(jù)節(jié)點(diǎn)訪(fǎng)問(wèn)復(fù)本的距離dj.,;其中遠(yuǎn)程數(shù)據(jù)節(jié)點(diǎn)為所有普 通節(jié)點(diǎn)中除了本普通節(jié)點(diǎn)及其近鄰節(jié)點(diǎn)W外的普通節(jié)點(diǎn)； (7) 復(fù)本放置優(yōu)化： (7-1)對(duì)于各個(gè)普通節(jié)點(diǎn)的每個(gè)復(fù)本，進(jìn)行步驟（7-2)至步驟（7-4); (7-2)利用W下公式計(jì)算復(fù)本的全局訪(fǎng)問(wèn)頻度：
其中，GFVj表示復(fù)本0i的全局訪(fǎng)問(wèn)頻度，r。是普通節(jié)點(diǎn)Vj對(duì)復(fù)本0i發(fā)出的對(duì)復(fù)本的 訪(fǎng)問(wèn)請(qǐng)求的頻率，m為普通節(jié)點(diǎn)數(shù)； (7-3)利用W下公式計(jì)算復(fù)本對(duì)于每個(gè)普通節(jié)點(diǎn)的插入增益：
其中，i的取值為1到N，j的取值為1到m，ou表示若復(fù)本oi存儲(chǔ)于普通節(jié)點(diǎn)Vj.后， 網(wǎng)絡(luò)計(jì)算系統(tǒng)總體增益的增加量即插入增益，當(dāng)復(fù)本〇i存儲(chǔ)于普通節(jié)點(diǎn)Vj.，則Pu取值為1， 否則Pu取值為0;若0U達(dá)到預(yù)設(shè)的最大值，則將復(fù)本〇i復(fù)制后存儲(chǔ)于普通節(jié)點(diǎn)Vj.; (7-4)利用W下公式計(jì)算各個(gè)普通節(jié)點(diǎn)的刪除成本：
其中，5U表示若復(fù)本0i從節(jié)點(diǎn)Vj柵j除后，網(wǎng)絡(luò)計(jì)算系統(tǒng)總體增益的下降量即刪除成 本諾5U小于預(yù)設(shè)的最大值，則將復(fù)本。i從節(jié)點(diǎn)V刪除。
2. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu)化方法，其特征在于：步 驟（3)中，測(cè)量基準(zhǔn)節(jié)點(diǎn)之間的距離值，構(gòu)建由各距離值組成的距離矩陣，確定基準(zhǔn)節(jié)點(diǎn)的 坐標(biāo)值，具體包括W下步驟： 測(cè)量基準(zhǔn)節(jié)點(diǎn)之間的距離，利用測(cè)得的各距離構(gòu)成EXE的距離矩陣D，E為基準(zhǔn)節(jié)點(diǎn)的 數(shù)目； 由索引節(jié)點(diǎn)對(duì)距離矩陣D進(jìn)行SVD操作，
1《i《E，1《j《E，距離矩陣D中的每一個(gè)元素表示為：
將Wi按降序排列； 利用PCA分析取距離矩陣D的前q項(xiàng)，組成變換矩陣U。，距離矩陣D任意一個(gè)距離向量D迪過(guò)變換d/二！!；；?0,映射為q維向量V，該向量IV構(gòu)成基準(zhǔn)節(jié)點(diǎn)L在嵌入空間內(nèi) 的坐標(biāo)值。
3. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu)化方法，其特征在于：步 驟（3)中，測(cè)量網(wǎng)絡(luò)空間中的普通節(jié)點(diǎn)到基準(zhǔn)節(jié)點(diǎn)的距離，確定普通節(jié)點(diǎn)對(duì)于基準(zhǔn)節(jié)點(diǎn)的 坐標(biāo)，具體包括W下步驟： 測(cè)量所有普通節(jié)點(diǎn)到所有基準(zhǔn)節(jié)點(diǎn)的距離，其中對(duì)于普通節(jié)點(diǎn)Hi，測(cè)量得到其到所有 基準(zhǔn)節(jié)點(diǎn)的距離構(gòu)成距離向量V= (〇h,l,，...，〇H,L。），其中表示普通節(jié)點(diǎn)111到基準(zhǔn)節(jié) 點(diǎn)Lj.的距離； 根據(jù)變換矩陣U。將向量Vi映射到q維嵌入空間中，映射后的向量值即普通節(jié)點(diǎn)Hi的 坐標(biāo)。
【專(zhuān)利摘要】本發(fā)明提供了一種網(wǎng)絡(luò)計(jì)算模式下的資源訪(fǎng)問(wèn)性能優(yōu)化方法，包括網(wǎng)絡(luò)計(jì)算系統(tǒng)模型建立、網(wǎng)絡(luò)節(jié)點(diǎn)分類(lèi)、網(wǎng)絡(luò)距離計(jì)算、復(fù)本訪(fǎng)問(wèn)頻度計(jì)算，以及復(fù)本放置優(yōu)化。本發(fā)明通過(guò)對(duì)網(wǎng)絡(luò)計(jì)算系統(tǒng)建模，將系統(tǒng)模型映射為帶權(quán)值的幾何空間，采用基準(zhǔn)節(jié)點(diǎn)方法，計(jì)算用戶(hù)節(jié)點(diǎn)到基準(zhǔn)節(jié)點(diǎn)的估計(jì)距離，同時(shí)通過(guò)節(jié)點(diǎn)近鄰估計(jì)方法，選取節(jié)點(diǎn)周?chē)唤M可用的性能優(yōu)良的節(jié)點(diǎn)，再通過(guò)復(fù)本訪(fǎng)問(wèn)分析，預(yù)測(cè)并提前在所選節(jié)點(diǎn)布置復(fù)本，從而可以有效減少未來(lái)時(shí)間內(nèi)對(duì)復(fù)本的訪(fǎng)問(wèn)時(shí)延。本發(fā)明通過(guò)引入網(wǎng)絡(luò)距離及復(fù)本頻度分析，適用于大部分網(wǎng)絡(luò)高速計(jì)算系統(tǒng)，提升全局網(wǎng)絡(luò)性能，具有顯著的效果和很強(qiáng)的實(shí)用性。
【IPC分類(lèi)】H04L29-06, H04L29-08
【公開(kāi)號(hào)】CN104796433
【申請(qǐng)?zhí)枴緾N201510230670
【發(fā)明人】熊永華, 吳敏, 張超
【申請(qǐng)人】中國(guó)地質(zhì)大學(xué)（武漢）
【公開(kāi)日】2015年7月22日
【申請(qǐng)日】2015年5月8日