国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種數(shù)據(jù)遷移方法及裝置與流程

      文檔序號:11729087閱讀:210來源:國知局
      一種數(shù)據(jù)遷移方法及裝置與流程

      本申請涉及計算機應用技術(shù)領域,特別涉及一種數(shù)據(jù)遷移方法及裝置。



      背景技術(shù):

      近年來隨著計算機技術(shù)的快速發(fā)展,云計算技術(shù)得到了快遞發(fā)展。應用云計算技術(shù)進行數(shù)據(jù)處理會涉及到數(shù)據(jù)存儲問題,基于此,延伸出了云存儲這一概念。具體的,云存儲是指通過集群應用、網(wǎng)絡技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作。共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的系統(tǒng)。

      由以上可見,云存儲中可能會涉及多個存儲設備。而在多個存儲設備中存儲數(shù)據(jù)時,存儲設備考慮到數(shù)據(jù)的重要性、數(shù)據(jù)的保留時間、存儲設備的容量以及存儲設備的性能等因素,通常會對已存儲的數(shù)據(jù)進行分析,從其中確定出熱點數(shù)據(jù),并對所確定的熱點數(shù)據(jù)進行數(shù)據(jù)遷移,以使得熱點數(shù)據(jù)位于同一存儲設備中,進而提高數(shù)據(jù)的訪問速度。

      然而,應用上述方式雖然能夠?qū)崿F(xiàn)數(shù)據(jù)遷移,但是上述方式中確定熱點數(shù)據(jù)時所考慮的因素僅僅為數(shù)據(jù)自身的特性以及存儲設備自身的特性,而未考慮用戶對數(shù)據(jù)的需求程度,所以,所確定的熱點數(shù)據(jù)可能會存在誤差,進而導致數(shù)據(jù)遷移后,無法有效提高數(shù)據(jù)的訪問速度。



      技術(shù)實現(xiàn)要素:

      本申請實施例公開了一種數(shù)據(jù)遷移方法及裝置,以有效提高數(shù)據(jù)的訪問速度。

      為達到上述目的,本申請實施例公開了一種數(shù)據(jù)遷移方法,應用于數(shù)據(jù)存儲系統(tǒng)中的計算設備,其中,所述數(shù)據(jù)存儲系統(tǒng)包括:計算設備和多個存儲設備,所述方法包括:

      接收客戶端發(fā)送的數(shù)據(jù)查詢請求;

      根據(jù)所述數(shù)據(jù)查詢請求向所述存儲設備發(fā)送數(shù)據(jù)獲得請求;

      接收所述存儲設備根據(jù)所述數(shù)據(jù)獲得請求反饋的結(jié)果數(shù)據(jù),并向所述客戶端轉(zhuǎn)發(fā)所述結(jié)果數(shù)據(jù);

      根據(jù)預設的數(shù)據(jù)分析算法,對所述結(jié)果數(shù)據(jù)進行分析,從所述結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù);

      根據(jù)所獲得的熱點數(shù)據(jù)向所述存儲設備發(fā)送數(shù)據(jù)遷移指令,以使得所述存儲設備根據(jù)所述數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移,其中,所述數(shù)據(jù)遷移指令為用于將熱點數(shù)據(jù)遷移至用于存儲熱點數(shù)據(jù)的存儲設備的指令。

      在本申請的一種具體實現(xiàn)方式中,所述根據(jù)預設的數(shù)據(jù)分析算法,對所述結(jié)果數(shù)據(jù)進行分析,從所述結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù),包括:

      獲得所述結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      在本申請的一種具體實現(xiàn)方式中,所述對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù),包括:

      根據(jù)預設的數(shù)據(jù)結(jié)構(gòu)化算法,確定所獲得的數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù);

      根據(jù)預設的頻度記錄表,獲得所確定的結(jié)構(gòu)化數(shù)據(jù)的搜索頻度,其中,所述預設的頻度記錄表,用于記錄各個結(jié)構(gòu)化數(shù)據(jù)的搜索頻度;

      根據(jù)所獲得的搜索頻度,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      在本申請的一種具體實現(xiàn)方式中,所述根據(jù)所獲得的熱點數(shù)據(jù)向所述存儲設備發(fā)送數(shù)據(jù)遷移指令,包括:

      獲得所述存儲設備的負載狀態(tài);

      根據(jù)所獲得的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)的目的遷移地址;

      根據(jù)所述目的遷移地址和所獲得的熱點數(shù)據(jù),生成數(shù)據(jù)遷移指令;

      向所述存儲設備發(fā)送所述數(shù)據(jù)遷移指令。

      在本申請的一種具體實現(xiàn)方式中,所述數(shù)據(jù)存儲系統(tǒng)中包括:高速存儲設備和低速存儲設備,其中,所述高速存儲設備為數(shù)據(jù)處理速度大于預設處理速 度閾值的存儲設備,所述低速存儲設備為數(shù)據(jù)處理速度小于等于預設處理速度閾值的存儲設備;

      所述獲得所述結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù),包括:

      確定所述結(jié)果數(shù)據(jù)中存儲于低速存儲設備中的數(shù)據(jù);

      從存儲于低速存儲設備中的數(shù)據(jù)中獲得未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      所述根據(jù)所獲得的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)的目的遷移地址,包括:

      根據(jù)高速存儲設備的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)針對高速存儲設備的目的遷移地址。

      在本申請的一種具體實現(xiàn)方式中,所述數(shù)據(jù)遷移方法還包括:

      接收所述存儲設備發(fā)送的針對所述數(shù)據(jù)遷移指令的反饋信息,其中,所述反饋信息中包括所述存儲設備根據(jù)所述數(shù)據(jù)遷移指令所遷移數(shù)據(jù)的目的遷移地址;

      根據(jù)所述反饋信息中包含的目的遷移地址,更新本地記錄的所述存儲設備的負載狀態(tài)。

      為達到上述目的,本申請實施例公開了一種數(shù)據(jù)遷移裝置,應用于數(shù)據(jù)存儲系統(tǒng)中的計算設備,其中,所述數(shù)據(jù)存儲系統(tǒng)包括:計算設備和多個存儲設備,所述裝置包括:

      查詢請求接收模塊,用于接收客戶端發(fā)送的數(shù)據(jù)查詢請求;

      獲得請求發(fā)送模塊,用于根據(jù)所述數(shù)據(jù)查詢請求向所述存儲設備發(fā)送數(shù)據(jù)獲得請求;

      結(jié)果數(shù)據(jù)接收模塊,用于接收所述存儲設備根據(jù)所述數(shù)據(jù)獲得請求反饋的結(jié)果數(shù)據(jù),并向所述客戶端轉(zhuǎn)發(fā)所述結(jié)果數(shù)據(jù);

      熱點數(shù)據(jù)獲得模塊,用于根據(jù)預設的數(shù)據(jù)分析算法,對所述結(jié)果數(shù)據(jù)進行分析,從所述結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù);

      數(shù)據(jù)遷移指令發(fā)送模塊,用于根據(jù)所獲得的熱點數(shù)據(jù)向所述存儲設備發(fā)送 數(shù)據(jù)遷移指令,以使得所述存儲設備根據(jù)所述數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移,其中,所述數(shù)據(jù)遷移指令為用于將熱點數(shù)據(jù)遷移至用于存儲熱點數(shù)據(jù)的存儲設備的指令。

      在本申請的一種具體實現(xiàn)方式中,所述熱點數(shù)據(jù)獲得模塊,包括:

      非熱點數(shù)據(jù)獲得子模塊,用于獲得所述結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      熱點數(shù)據(jù)確定子模塊,用于對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      在本申請的一種具體實現(xiàn)方式中,所述熱點數(shù)據(jù)確定子模塊,包括:

      結(jié)構(gòu)化數(shù)據(jù)確定單元,用于根據(jù)預設的數(shù)據(jù)結(jié)構(gòu)化算法,確定所獲得的數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù);

      搜索頻度獲得單元,用于根據(jù)預設的頻度記錄表,獲得所確定的結(jié)構(gòu)化數(shù)據(jù)的搜索頻度,其中,所述預設的頻度記錄表,用于記錄各個結(jié)構(gòu)化數(shù)據(jù)的搜索頻度;

      熱點數(shù)據(jù)確定單元,用于根據(jù)所獲得的搜索頻度,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      在本申請的一種具體實現(xiàn)方式中,所述數(shù)據(jù)遷移指令發(fā)送模塊,包括:

      負載狀態(tài)獲得子模塊,用于獲得所述存儲設備的負載狀態(tài);

      遷移地址確定子模塊,用于根據(jù)所獲得的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)的目的遷移地址;

      遷移指令生成子模塊,用于根據(jù)所述目的遷移地址和所獲得的熱點數(shù)據(jù),生成數(shù)據(jù)遷移指令;

      遷移指令發(fā)送子模塊,用于向所述存儲設備發(fā)送所述數(shù)據(jù)遷移指令。

      在本申請的一種具體實現(xiàn)方式中,所述數(shù)據(jù)存儲系統(tǒng)中包括:高速存儲設備和低速存儲設備,其中,所述高速存儲設備為數(shù)據(jù)處理速度大于預設處理速度閾值的存儲設備,所述低速存儲設備為數(shù)據(jù)處理速度小于等于預設處理速度閾值的存儲設備;

      所述非熱點數(shù)據(jù)獲得子模塊,包括:

      存儲數(shù)據(jù)確定單元,用于確定所述結(jié)果數(shù)據(jù)中存儲于低速存儲設備中的數(shù)據(jù);

      非熱點數(shù)據(jù)獲得單元,用于從存儲于低速存儲設備中的數(shù)據(jù)中獲得未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      所述遷移地址確定子模塊,具體用于根據(jù)高速存儲設備的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)針對高速存儲設備的目的遷移地址。

      在本申請的一種具體實現(xiàn)方式中,所述數(shù)據(jù)遷移裝置還包括:

      反饋信息接收模塊,用于接收所述存儲設備發(fā)送的針對所述數(shù)據(jù)遷移指令的反饋信息,其中,所述反饋信息中包括所述存儲設備根據(jù)所述數(shù)據(jù)遷移指令所遷移數(shù)據(jù)的目的遷移地址;

      負載狀態(tài)更新模塊,用于根據(jù)所述反饋信息中包含的目的遷移地址,更新本地記錄的所述存儲設備的負載狀態(tài)。

      由以上可見,本申請實施例提供的方案中,計算設備接收到客戶端發(fā)送的數(shù)據(jù)查詢請求后,根據(jù)數(shù)據(jù)查詢請求向存儲設備發(fā)送數(shù)據(jù)獲得請求,存儲設備根據(jù)該數(shù)據(jù)獲得請求獲得結(jié)果數(shù)據(jù)并反饋給計算設備,計算設備將該結(jié)果數(shù)據(jù)發(fā)送給客戶端,并對該結(jié)果數(shù)據(jù)進行分析,從中獲得熱點數(shù)據(jù),然后根據(jù)所獲得的熱點數(shù)據(jù)向存儲設備發(fā)送數(shù)據(jù)遷移指令,存儲設備根據(jù)該數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移。與現(xiàn)有技術(shù)相比,本申請實施例提供的方案中計算設備確定熱點數(shù)據(jù)時是根據(jù)客戶端發(fā)送的數(shù)據(jù)查詢請求對應的數(shù)據(jù)確定的,也就是熱點數(shù)據(jù)是從客戶端真正需要的數(shù)據(jù)中產(chǎn)生的,所以,所獲得的熱點數(shù)據(jù)真正為熱點數(shù)據(jù)的概率較高,這樣進行數(shù)據(jù)遷移后,用于存儲熱點數(shù)據(jù)的存儲設備中所存儲的數(shù)據(jù)為真正熱點數(shù)據(jù)的概率高,而客戶端需要查詢熱點數(shù)據(jù)的概率高,所以,應用本申請實施例提供的方案能夠提高數(shù)據(jù)訪問速度。

      附圖說明

      為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述 中的附圖僅僅是本申請的一些實施例,對于本領域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

      圖1為本申請實施例提供的一種數(shù)據(jù)遷移方法的信令流程示意圖;

      圖2為本申請實施例提供的第一種數(shù)據(jù)遷移方法的流程示意圖;

      圖3為本申請實施例提供的第二種數(shù)據(jù)遷移方法的流程示意圖;

      圖4為本申請實施例提供的第三種數(shù)據(jù)遷移方法的流程示意圖;

      圖5為本申請實施例提供的第一種數(shù)據(jù)遷移裝置的結(jié)構(gòu)示意圖;

      圖6為本申請實施例提供的第二種數(shù)據(jù)遷移裝置的結(jié)構(gòu)示意圖;

      圖7為本申請實施例提供的第三種數(shù)據(jù)遷移裝置的結(jié)構(gòu)示意圖。

      具體實施方式

      下面將結(jié)合本申請實施例中的附圖,對本申請實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本申請一部分實施例,而不是全部的實施例?;诒旧暾堉械膶嵤├绢I域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本申請保護的范圍。

      本申請實施例提供了一種數(shù)據(jù)遷移方法及裝置,下面先結(jié)合圖1提供的數(shù)據(jù)遷移方法的信令流程示意圖對上述數(shù)據(jù)遷移方法進行總體介紹。

      本申請實施例提供的數(shù)據(jù)遷移方法應用于數(shù)據(jù)存儲系統(tǒng)中的計算設備,該數(shù)據(jù)存儲系統(tǒng)包括計算設備和多個數(shù)據(jù)存儲設備,其中,計算設備主要用于根據(jù)客戶端的數(shù)據(jù)查詢請求從數(shù)據(jù)存儲設備獲得針對該數(shù)據(jù)查詢請求的結(jié)果數(shù)據(jù),并對上述結(jié)果數(shù)據(jù)進行分析,確定待遷移的數(shù)據(jù)、遷移策略等等;存儲設備主要用于存儲數(shù)據(jù),并根據(jù)計算設備確定的遷移數(shù)據(jù)、遷移策略等信息進行數(shù)據(jù)遷移,具體的,存儲設備中存儲的數(shù)據(jù)可以是ipc(industrialpersonalcomputer,工業(yè)個人計算機)、卡口等外部設備所采集并發(fā)送至存儲設備中的數(shù)據(jù),也可以是運維人員獲得并存儲至存儲設備中的數(shù)據(jù),本申請并不對此進行限定。

      具體的,客戶端向計算設備發(fā)送數(shù)據(jù)查詢請求(s101),計算設備接收到數(shù)據(jù)查詢請求后,根據(jù)該數(shù)據(jù)查詢請求向存儲設備發(fā)送數(shù)據(jù)獲得請求(s102),存 儲設備根據(jù)該數(shù)據(jù)獲得請求獲得結(jié)果數(shù)據(jù)(s103),并將結(jié)果數(shù)據(jù)發(fā)送至計算設備(s104),計算設備接收到上述結(jié)果數(shù)據(jù)后,一方面將該結(jié)果數(shù)據(jù)發(fā)送給客戶端(s105),一方面對該結(jié)果數(shù)據(jù)進行分析,獲得熱點數(shù)據(jù)(s106),并且在獲得熱點數(shù)據(jù)后,根據(jù)所獲得的熱點數(shù)據(jù)向存儲設備發(fā)送數(shù)據(jù)遷移指令(s107),存儲設備接收到上述數(shù)據(jù)遷移指令后,根據(jù)該數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移(s108)。

      下面通過具體實施例對本申請?zhí)峁┑臄?shù)據(jù)遷移方法進行詳細說明。

      圖2為本申請實施例提供的一種數(shù)據(jù)遷移方法的流程示意圖,該方法應用于數(shù)據(jù)存儲系統(tǒng)中的計算設備,其中,上述數(shù)據(jù)存儲系統(tǒng)包括:計算設備和多個存儲設備。

      具體的,上述數(shù)據(jù)遷移方法包括:

      s201:接收客戶端發(fā)送的數(shù)據(jù)查詢請求。

      上述數(shù)據(jù)查詢請求中可以包括:待查詢數(shù)據(jù)的標識、待查詢數(shù)據(jù)的類型等等信息,本申請并不限定數(shù)據(jù)查詢請求中所包括的信息的具體內(nèi)容。

      s202:根據(jù)數(shù)據(jù)查詢請求向存儲設備發(fā)送數(shù)據(jù)獲得請求。

      由于待查詢數(shù)據(jù)存儲在存儲設備中,所以計算設備接收到數(shù)據(jù)查詢請求后會根據(jù)該數(shù)據(jù)查詢請求生成數(shù)據(jù)獲得請求,并將該數(shù)據(jù)獲得請求發(fā)送至存儲設備,以使得存儲設備根據(jù)該數(shù)據(jù)查詢請求進行數(shù)據(jù)查詢。

      需要說明的是,本步驟中涉及到的存儲設備可以是上述數(shù)據(jù)存儲系統(tǒng)中的一個存儲設備,也可以是上述數(shù)據(jù)存儲系統(tǒng)中的多個存儲設備,甚至是所有存儲設備。

      在本申請的一種具體實現(xiàn)方式中,計算設備中可以存儲有各個數(shù)據(jù)的存儲位置信息,例如,各個數(shù)據(jù)存儲在哪一個存儲設備中,這樣計算設備在接收到數(shù)據(jù)查詢請求后,可以先對該數(shù)據(jù)查詢請求進行分析,根據(jù)本地存儲的各個數(shù)據(jù)的存儲位置信息確定該數(shù)據(jù)查詢請求中包含的各個待查詢數(shù)據(jù)的存儲位置,然后,根據(jù)所確定的存儲位置有針對性的向存儲設備發(fā)送數(shù)據(jù)獲得請求。

      在本申請的另一種具體實現(xiàn)方式中,計算設備中也可以不存儲各個數(shù)據(jù)的存儲位置信息,這樣計算設備在接收到數(shù)據(jù)查詢請求后,可以根據(jù)數(shù)據(jù)查詢請求向每一存儲設備發(fā)送數(shù)據(jù)獲得請求,然后存儲設備接收到數(shù)據(jù)獲得請求后再分別解析數(shù)據(jù)獲得請求進而獲得相應數(shù)據(jù)。

      在本申請的另一種具體實現(xiàn)方式中,計算設備中不存儲各個數(shù)據(jù)的存儲位置信息的情況下,計算設備接收到數(shù)據(jù)查詢請求后,還可以根據(jù)數(shù)據(jù)查詢請求僅僅向存儲設備中具有管理功能的一個存儲設備發(fā)送數(shù)據(jù)獲得請求,該具有管理功能的存儲設備接收到該數(shù)據(jù)獲得請求后,對其進行解析,并根據(jù)解析結(jié)果有針對性的發(fā)送給相應的存儲設備進行查詢,并獲得相應結(jié)果數(shù)據(jù)。

      s203:接收存儲設備根據(jù)數(shù)據(jù)獲得請求反饋的結(jié)果數(shù)據(jù),并向客戶端轉(zhuǎn)發(fā)結(jié)果數(shù)據(jù)。

      s204:根據(jù)預設的數(shù)據(jù)分析算法,對結(jié)果數(shù)據(jù)進行分析,從結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù)。

      具體的,熱點數(shù)據(jù)可以理解為訪問頻率大于預設頻率閾值的數(shù)據(jù)、數(shù)據(jù)更新速度大于預設的更新速度閾值的數(shù)據(jù)、對用戶而言重要性等級大于預設等級閾值的數(shù)據(jù)等等,本申請只是以上述為例進行說明,實際應用中熱點數(shù)據(jù)的具體表現(xiàn)形式并不僅限于此。

      可以理解的,上述結(jié)果數(shù)據(jù)中可能包含已被確定為熱點數(shù)據(jù)的數(shù)據(jù),也可能包含未被確定為熱點數(shù)據(jù)的數(shù)據(jù),從加快數(shù)據(jù)處理速度的角度出發(fā),可以僅僅檢查未被確定為熱點數(shù)據(jù)的數(shù)據(jù)中是否存儲熱點數(shù)據(jù),已被確定為熱點數(shù)據(jù)的數(shù)據(jù)則可以不再重復確定,基于此,在本申請的一種較佳實現(xiàn)方式中,根據(jù)預設的數(shù)據(jù)分析算法,對結(jié)果數(shù)據(jù)進行分析,從結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù)時,可以先獲得結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù),然后再對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      具體的,對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)時,可以先根據(jù)預設的數(shù)據(jù)結(jié)構(gòu)化算法,確定所獲得的數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù),然后根據(jù)預設的頻度記錄表,獲得所確定的結(jié)構(gòu)化數(shù)據(jù)的搜索頻度,根據(jù)所獲得的搜索頻度,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      其中,上述預設的頻度記錄表,用于記錄各個結(jié)構(gòu)化數(shù)據(jù)的搜索頻度。

      具體的,在所獲得的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)流數(shù)據(jù)的情況下,可以通過云摘要技術(shù)對流數(shù)據(jù)進行處理,得到結(jié)構(gòu)化數(shù)據(jù)。當然,上述預設的數(shù)據(jù)結(jié)構(gòu)化算法不僅限于云摘要技術(shù),本申請并不對此進行限定。

      實際應用中,還會對數(shù)據(jù)進行搜索等操作,上述搜索操作簡單的可以理解為是服務器通過云搜索技術(shù)對上述結(jié)構(gòu)化數(shù)據(jù)的搜索操作,另外,服務器可以基于上述搜索操作記錄各個結(jié)構(gòu)化數(shù)據(jù)的搜索頻度,該搜索頻度一定程度上可以反映數(shù)據(jù)的熱度,簡單的可以理解為,搜索頻度越高,數(shù)據(jù)的熱度越高,搜索頻度越低,數(shù)據(jù)的熱度越低。

      當然,從另一個方面來講,隨著實際應用環(huán)境的變化等原因,已被確定為熱點數(shù)據(jù)的數(shù)據(jù)也可能會變?yōu)榉菬狳c數(shù)據(jù),另外,從均衡各個存儲設備的負載狀態(tài)的角度出發(fā),需要根據(jù)當前情況對已被確定為熱點數(shù)據(jù)的數(shù)據(jù)進行數(shù)據(jù)遷移等原因,獲得熱點數(shù)據(jù)時也可以針對結(jié)果數(shù)據(jù)中的所有數(shù)據(jù)進行。

      另外,上述預設的數(shù)據(jù)分析算法可以依據(jù)本實施例的具體應用環(huán)境不同而有所不同。

      例如,存儲設備中存儲的數(shù)據(jù)為路口交通流量信息,則上述預設的數(shù)據(jù)分析算法可以是分析各個路口的交通流量,并將交通流量大于預設閾值的路口對應的交通流量數(shù)據(jù)確定為熱點數(shù)據(jù)的算法;

      例如,存儲設備中存儲的數(shù)據(jù)為視頻信息,則上述預設的數(shù)據(jù)分析算法可以是分析各個視頻的播放次數(shù),并將播放次數(shù)大于預設閾值的視頻確定為熱點數(shù)據(jù)的算法等等。

      s205:根據(jù)所獲得的熱點數(shù)據(jù)向存儲設備發(fā)送數(shù)據(jù)遷移指令,以使得存儲設備根據(jù)數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移。

      可以理解的,熱點數(shù)據(jù)的數(shù)據(jù)訪問頻率相對于非熱點數(shù)據(jù)要高,且熱點數(shù)據(jù)僅僅為存儲設備所存儲數(shù)據(jù)的一部分,所以,實際應用中將熱點數(shù)據(jù)存儲至專門用于存儲熱點數(shù)據(jù)的存儲設備中,在進行數(shù)據(jù)查詢時,能夠加快查詢速度,節(jié)省查詢時間。

      值得一提的是,上述數(shù)據(jù)遷移指令為用于將熱點數(shù)據(jù)遷移至用于存儲熱點數(shù)據(jù)的存儲設備的指令。

      由s204的描述可以得知,實際應用中還有可能存在之前已被確定為熱點數(shù)據(jù)變?yōu)榉菬狳c數(shù)據(jù)的情況,以及之前已被確定為熱點數(shù)據(jù)的數(shù)據(jù)也需要遷移的情況,因此,在本申請的一種具體實現(xiàn)方式中,上述數(shù)據(jù)遷移指令還可以是用于將非熱點數(shù)據(jù)從用于存儲熱點數(shù)據(jù)的存儲設備中遷移至用于存儲非熱點數(shù)據(jù)的存儲設備的指令,或者還可以是用于將熱點數(shù)據(jù)從用于存儲熱點數(shù)據(jù)的一個存儲設備遷移至用于存儲熱點數(shù)據(jù)的另一存儲設備的指令。

      具體的,上述數(shù)據(jù)遷移指令中需包括所獲得的熱點數(shù)據(jù)的信息,例如,所獲得的熱點數(shù)據(jù)的數(shù)據(jù)標識、所獲得的熱點數(shù)據(jù)的數(shù)據(jù)大小等等,除此之外,還可以包括所獲得的熱點數(shù)據(jù)的目的遷移地址。

      當然,上述數(shù)據(jù)遷移指令也可以不包含所獲得熱點數(shù)據(jù)的目的遷移地址,這種情況下,計算設備可以將該數(shù)據(jù)遷移指令發(fā)送給存儲設備中具有管理功能的存儲設備,然后由該具有管理功能的存儲設備確定所獲得熱點數(shù)據(jù)的目的遷移地址。

      由以上可見,本實施例提供的方案中,計算設備接收到客戶端發(fā)送的數(shù)據(jù)查詢請求后,根據(jù)數(shù)據(jù)查詢請求向存儲設備發(fā)送數(shù)據(jù)獲得請求,存儲設備根據(jù)該數(shù)據(jù)獲得請求獲得結(jié)果數(shù)據(jù)并反饋給計算設備,計算設備將該結(jié)果數(shù)據(jù)發(fā)送給客戶端,并對該結(jié)果數(shù)據(jù)進行分析,從中獲得熱點數(shù)據(jù),然后根據(jù)所獲得的熱點數(shù)據(jù)向存儲設備發(fā)送數(shù)據(jù)遷移指令,存儲設備根據(jù)該數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移。與現(xiàn)有技術(shù)相比,本實施例提供的方案中計算設備確定熱點數(shù)據(jù)時是根據(jù)客戶端發(fā)送的數(shù)據(jù)查詢請求對應的數(shù)據(jù)確定的,也就是熱點數(shù)據(jù)是從客戶端真正需要的數(shù)據(jù)中產(chǎn)生的,所以,所獲得的熱點數(shù)據(jù)真正為熱點數(shù)據(jù)的概率較高,這樣進行數(shù)據(jù)遷移后,用于存儲熱點數(shù)據(jù)的存儲設備中所存儲的數(shù)據(jù)為真正熱點數(shù)據(jù)的概率高,而客戶端需要查詢熱點數(shù)據(jù)的概率高,所以,應用本實施例提供的方案能夠提高數(shù)據(jù)訪問速度。

      由前面的描述可以得知,所獲得的熱點數(shù)據(jù)的目的遷移地址可以是由計算設備確定的,也可以是由存儲設備確定的,下面通過具體實現(xiàn)方式對所獲得的熱點數(shù)據(jù)的目的遷移地址為由計算設備確定的情況進行說明。

      在本申請的一種具體實現(xiàn)方式中,參見圖3提供了第二種數(shù)據(jù)遷移方法的流 程示意圖,與前述實施例相比,本實施例中,

      根據(jù)預設的數(shù)據(jù)分析算法,對所述結(jié)果數(shù)據(jù)進行分析,從所述結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù)(s204),包括:

      s204a:獲得結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù)。

      本領域內(nèi)的技術(shù)人員可以理解的是,存儲設備可以被劃分為:高速存儲設備和低速存儲設備,其中,高速存儲設備為數(shù)據(jù)處理速度大于預設處理速度閾值的存儲設備,低速存儲設備為數(shù)據(jù)處理速度小于等于預設處理速度閾值的存儲設備,這樣可以認為,高速存儲設備的處理能力強,而熱點數(shù)據(jù)的訪問頻率較高,且熱點數(shù)據(jù)的訪問并發(fā)度可能也較高,因此,為保證針對熱點數(shù)據(jù)的響應速度,較佳的可以將熱點數(shù)據(jù)存儲在高速存儲設備中;從前述描述可以得知低速存儲設備的處理能力弱,而非熱點數(shù)據(jù)的訪問頻率較低,且非熱點數(shù)據(jù)的訪問并發(fā)度一般不高,因此,從節(jié)約計算資源以及運維成本的角度考慮,較佳的可以將非熱點數(shù)據(jù)存儲在低速存儲設備中。

      因此,在本申請的一種較佳實現(xiàn)方式中,獲得結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù)時,可以先確定結(jié)果數(shù)據(jù)中存儲于低速存儲設備中的數(shù)據(jù),然后再從存儲于低速存儲設備中的數(shù)據(jù)中獲得未被標記為熱點數(shù)據(jù)的數(shù)據(jù)。

      另外,在本申請的一種可選實現(xiàn)方式中,存儲設備獲得數(shù)據(jù)并進行存儲時,可以先將所獲的數(shù)據(jù)存儲至低速存儲設備中,然后在后續(xù)應用過程中這些數(shù)據(jù)被確定為熱點數(shù)據(jù)后,才將這些數(shù)據(jù)遷移至高速存儲設備中。

      s204b:對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      根據(jù)所獲得的熱點數(shù)據(jù)向存儲設備發(fā)送數(shù)據(jù)遷移指令(s205),包括:

      s205a:獲得存儲設備的負載狀態(tài)。

      具體的,計算設備中可以存儲有各個存儲設備的負載狀態(tài)以及各個存儲設備所存儲數(shù)據(jù)的數(shù)據(jù)類型,例如,某一存儲設備是用于存儲熱點數(shù)據(jù)的存儲設備、某一存儲設備是用于存儲費熱點數(shù)據(jù)的存儲設備等等,這樣可以省去運行過程中頻繁向存儲設備請求其負載狀態(tài)的過程,為保證計算設備中存儲的存儲設備的負載狀態(tài)誤差小,計算設備在運行過程中需按照一定的規(guī)則更新其中所存儲的存儲設備負載狀態(tài)。

      計算設備中也可以不存儲各個存儲設備的負載狀態(tài),而是在需要參考各個存儲設備的負載狀態(tài)時再向各個存儲設備請求其負載狀態(tài),這樣可以得到相對準確的存儲設備的負載狀態(tài)。

      s205b:根據(jù)所獲得的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)的目的遷移地址。

      上述數(shù)據(jù)屬性可以是數(shù)據(jù)的大小、數(shù)據(jù)的類型、數(shù)據(jù)的創(chuàng)建時間等等,本申請并不對此進行限定。

      在前述s204a中提到的較佳實施例中,根據(jù)存儲于低速存儲設備中的數(shù)據(jù)獲得熱點數(shù)據(jù)的情況下,根據(jù)所獲得的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)的目的遷移地址時,可以根據(jù)高速存儲設備的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)針對高速存儲設備的目的遷移地址。

      s205c:根據(jù)目的遷移地址和所獲得的熱點數(shù)據(jù),生成數(shù)據(jù)遷移指令。

      該數(shù)據(jù)遷移指令中需包括上述目的遷移地址以及所獲得的熱點數(shù)據(jù)的信息,這樣存儲設備在接收到數(shù)據(jù)遷移指令后無需再確定所獲得的熱點數(shù)據(jù)的目的遷移地址即可開始進行數(shù)據(jù)遷移。

      需要說明的是,所獲得的熱點數(shù)據(jù)可能是多個熱點數(shù)據(jù),而這些熱點數(shù)據(jù)所對應的目的遷移地址也可能是多個目的遷移地址,所以生成數(shù)據(jù)遷移指令時,可以針對每一目的遷移地址生成一個數(shù)據(jù)遷移指令。

      s205d:向存儲設備發(fā)送數(shù)據(jù)遷移指令。

      由以上可見,本實施例提供的方案中,由計算設備確定所獲的熱點數(shù)據(jù)的目的遷移地址,這樣計算設備在向存儲設備發(fā)送數(shù)據(jù)遷移指令時,由于已確定出目的遷移地址,所以,可以有針對性的向存儲設備發(fā)送數(shù)據(jù)遷移指令。

      在本申請的另一種具體實現(xiàn)方式中,參見圖4提供了第三種數(shù)據(jù)遷移方法的流程示意圖,與前述實施例相比,本實施例中,上述數(shù)據(jù)遷移方法還包括:

      s206:接收存儲設備發(fā)送的針對數(shù)據(jù)遷移指令的反饋信息。

      其中,反饋信息中包括存儲設備根據(jù)數(shù)據(jù)遷移指令所遷移數(shù)據(jù)的目的遷移地址。

      具體的,該反饋信息中還可以包括所遷移數(shù)據(jù)的標識、大小、類型等等信息,本申請并不對此進行限定。

      s207:根據(jù)反饋信息中包含的目的遷移地址,更新本地記錄的存儲設備的負載狀態(tài)。

      本實施例提供的方案中,在存儲設備完成針對數(shù)據(jù)遷移指令的數(shù)據(jù)遷移操作后,向計算設備反饋數(shù)據(jù)遷移信息,計算設備根據(jù)存儲設備所反饋的信息更新其中記錄的存儲設備負載狀態(tài),有助于保證其中所記錄的存儲設備的負載狀態(tài)的準確性,進而有助于確定后續(xù)數(shù)據(jù)遷移過程中熱點數(shù)據(jù)的目的遷移地址。

      與上述的數(shù)據(jù)遷移方法相對應,本申請實施例還提供了一種數(shù)據(jù)遷移裝置。

      圖5為本申請實施例提供的第一種數(shù)據(jù)遷移裝置的結(jié)構(gòu)示意圖,該裝置應用于數(shù)據(jù)存儲系統(tǒng)中的計算設備,其中,所述數(shù)據(jù)存儲系統(tǒng)包括:計算設備和多個存儲設備。

      具體的,上述數(shù)據(jù)遷移裝置包括:

      查詢請求接收模塊501,用于接收客戶端發(fā)送的數(shù)據(jù)查詢請求;

      獲得請求發(fā)送模塊502,用于根據(jù)所述數(shù)據(jù)查詢請求向所述存儲設備發(fā)送數(shù)據(jù)獲得請求;

      結(jié)果數(shù)據(jù)接收模塊503,用于接收所述存儲設備根據(jù)所述數(shù)據(jù)獲得請求反饋的結(jié)果數(shù)據(jù),并向所述客戶端轉(zhuǎn)發(fā)所述結(jié)果數(shù)據(jù);

      熱點數(shù)據(jù)獲得模塊504,用于根據(jù)預設的數(shù)據(jù)分析算法,對所述結(jié)果數(shù)據(jù)進行分析,從所述結(jié)果數(shù)據(jù)中獲得熱點數(shù)據(jù);

      數(shù)據(jù)遷移指令發(fā)送模塊505,用于根據(jù)所獲得的熱點數(shù)據(jù)向所述存儲設備發(fā)送數(shù)據(jù)遷移指令,以使得所述存儲設備根據(jù)所述數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移,其中,所述數(shù)據(jù)遷移指令為用于將熱點數(shù)據(jù)遷移至用于存儲熱點數(shù)據(jù)的存儲設備的指令。

      具體的,所述熱點數(shù)據(jù)獲得模塊504可以包括:

      非熱點數(shù)據(jù)獲得子模塊,用于獲得所述結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      熱點數(shù)據(jù)確定子模塊,用于對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      具體的,所述熱點數(shù)據(jù)確定子模塊可以包括:

      結(jié)構(gòu)化數(shù)據(jù)確定單元,用于根據(jù)預設的數(shù)據(jù)結(jié)構(gòu)化算法,確定所獲得的數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù);

      搜索頻度獲得單元,用于根據(jù)預設的頻度記錄表,獲得所確定的結(jié)構(gòu)化數(shù)據(jù)的搜索頻度,其中,所述預設的頻度記錄表,用于記錄各個結(jié)構(gòu)化數(shù)據(jù)的搜索頻度;

      熱點數(shù)據(jù)確定單元,用于根據(jù)所獲得的搜索頻度,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù)。

      由以上可見,本實施例提供的方案中,計算設備接收到客戶端發(fā)送的數(shù)據(jù)查詢請求后,根據(jù)數(shù)據(jù)查詢請求向存儲設備發(fā)送數(shù)據(jù)獲得請求,存儲設備根據(jù)該數(shù)據(jù)獲得請求獲得結(jié)果數(shù)據(jù)并反饋給計算設備,計算設備將該結(jié)果數(shù)據(jù)發(fā)送給客戶端,并對該結(jié)果數(shù)據(jù)進行分析,從中獲得熱點數(shù)據(jù),然后根據(jù)所獲得的熱點數(shù)據(jù)向存儲設備發(fā)送數(shù)據(jù)遷移指令,存儲設備根據(jù)該數(shù)據(jù)遷移指令進行數(shù)據(jù)遷移。與現(xiàn)有技術(shù)相比,本實施例提供的方案中計算設備確定熱點數(shù)據(jù)時是根據(jù)客戶端發(fā)送的數(shù)據(jù)查詢請求對應的數(shù)據(jù)確定的,也就是熱點數(shù)據(jù)是從客戶端真正需要的數(shù)據(jù)中產(chǎn)生的,所以,所獲得的熱點數(shù)據(jù)真正為熱點數(shù)據(jù)的概率較高,這樣進行數(shù)據(jù)遷移后,用于存儲熱點數(shù)據(jù)的存儲設備中所存儲的數(shù)據(jù)為真正熱點數(shù)據(jù)的概率高,而客戶端需要查詢熱點數(shù)據(jù)的概率高,所以,應用本實施例提供的方案能夠提高數(shù)據(jù)訪問速度。

      在本申請的一種具體實現(xiàn)方式中,參見圖6,提供了第二種數(shù)據(jù)遷移裝置的結(jié)構(gòu)示意圖,與前述實施例相比,本實施例中,

      所述熱點數(shù)據(jù)獲得模塊504,包括:

      非熱點數(shù)據(jù)獲得子模塊5041,用于獲得所述結(jié)果數(shù)據(jù)中未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      熱點數(shù)據(jù)確定子模塊5042,用于對所獲得的數(shù)據(jù)進行分析,從所獲得的數(shù)據(jù)中確定熱點數(shù)據(jù);

      所述數(shù)據(jù)遷移指令發(fā)送模塊505,包括:

      負載狀態(tài)獲得子模塊5051,用于獲得所述存儲設備的負載狀態(tài);

      遷移地址確定子模塊5052,用于根據(jù)所獲得的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)的目的遷移地址;

      遷移指令生成子模塊5053,用于根據(jù)所述目的遷移地址和所獲得的熱點數(shù)據(jù),生成數(shù)據(jù)遷移指令;

      遷移指令發(fā)送子模塊5054,用于向所述存儲設備發(fā)送所述數(shù)據(jù)遷移指令。

      較佳的,所述數(shù)據(jù)存儲系統(tǒng)中包括:高速存儲設備和低速存儲設備,其中,所述高速存儲設備為數(shù)據(jù)處理速度大于預設處理速度閾值的存儲設備,所述低速存儲設備為數(shù)據(jù)處理速度小于等于預設處理速度閾值的存儲設備;

      所述非熱點數(shù)據(jù)獲得子模塊,包括:

      存儲數(shù)據(jù)確定單元,用于確定所述結(jié)果數(shù)據(jù)中存儲于低速存儲設備中的數(shù)據(jù);

      非熱點數(shù)據(jù)獲得單元,用于從存儲于低速存儲設備中的數(shù)據(jù)中獲得未被標記為熱點數(shù)據(jù)的數(shù)據(jù);

      所述遷移地址確定子模塊,具體用于根據(jù)高速存儲設備的負載狀態(tài)和所獲得熱點數(shù)據(jù)的數(shù)據(jù)屬性,確定所獲得熱點數(shù)據(jù)針對高速存儲設備的目的遷移地址。

      由以上可見,本實施例提供的方案中,由計算設備確定所獲的熱點數(shù)據(jù)的目的遷移地址,這樣計算設備在向存儲設備發(fā)送數(shù)據(jù)遷移指令時,由于已確定出目的遷移地址,所以,可以有針對性的向存儲設備發(fā)送數(shù)據(jù)遷移指令。

      在本申請的另一種具體實現(xiàn)方式中,參見圖7,提供了第三種數(shù)據(jù)遷移裝置的結(jié)構(gòu)示意圖,與前述實施例相比,本實施例中,上述數(shù)據(jù)遷移裝置還包括:

      反饋信息接收模塊506,用于接收所述存儲設備發(fā)送的針對所述數(shù)據(jù)遷移指令的反饋信息,其中,所述反饋信息中包括所述存儲設備根據(jù)所述數(shù)據(jù)遷移指令所遷移數(shù)據(jù)的目的遷移地址;

      負載狀態(tài)更新模塊507,用于根據(jù)所述反饋信息中包含的目的遷移地址,更新本地記錄的所述存儲設備的負載狀態(tài)。

      本實施例提供的方案中,在存儲設備完成針對數(shù)據(jù)遷移指令的數(shù)據(jù)遷移操作后,向計算設備反饋數(shù)據(jù)遷移信息,計算設備根據(jù)存儲設備所反饋的信息更新其中記錄的存儲設備負載狀態(tài),有助于保證其中所記錄的存儲設備的負載狀態(tài)的準確性,進而有助于確定后續(xù)數(shù)據(jù)遷移過程中熱點數(shù)據(jù)的目的遷移地址。

      對于裝置實施例而言,由于其基本相似于方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。

      需要說明的是,在本文中,諸如第一和第二等之類的關系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

      本領域普通技術(shù)人員可以理解實現(xiàn)上述方法實施方式中的全部或部分步驟是可以通過程序來指令相關的硬件來完成,所述的程序可以存儲于計算機可讀取存儲介質(zhì)中,這里所稱得的存儲介質(zhì),如:rom/ram、磁碟、光盤等。

      以上所述僅為本申請的較佳實施例而已,并非用于限定本申請的保護范圍。凡在本申請的精神和原則之內(nèi)所作的任何修改、等同替換、改進等,均包含在本申請的保護范圍內(nèi)。

      當前第1頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1