本公開涉及大數(shù)據(jù)處理，尤其涉及基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲方法和裝置。

背景技術(shù)：

1、在大數(shù)據(jù)環(huán)境下，元數(shù)據(jù)的體量也非常大，元數(shù)據(jù)的存取性能是整個(gè)分布式文件系統(tǒng)性能的關(guān)鍵。常見的元數(shù)據(jù)管理可以分為集中式和分布式元數(shù)據(jù)管理架構(gòu)。集中式元數(shù)據(jù)管理架構(gòu)采用單一的元數(shù)據(jù)服務(wù)器，實(shí)現(xiàn)簡單．但是存在單點(diǎn)故障等問題。分布式元數(shù)據(jù)管理架構(gòu)則將元數(shù)據(jù)分散在多個(gè)結(jié)點(diǎn)上．進(jìn)而解決了元數(shù)據(jù)服務(wù)器的性能瓶頸等問題．并提高了元數(shù)據(jù)管理架構(gòu)的可擴(kuò)展性，但實(shí)現(xiàn)較為復(fù)雜，并引入了元數(shù)據(jù)一致性的問題。另外，還有一種無元數(shù)據(jù)服務(wù)器的分布式架構(gòu)，通過在線算法組織數(shù)據(jù)，不需要專用的元數(shù)據(jù)服務(wù)器。但是該架構(gòu)對數(shù)據(jù)一致性的保障很困難．實(shí)現(xiàn)較為復(fù)雜。文件目錄遍歷操作效率低下，并且缺乏文件系統(tǒng)全局監(jiān)控管理功能。

2、分布式存儲系統(tǒng)，是將數(shù)據(jù)分散存儲在多臺獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。

3、那么，在確保網(wǎng)絡(luò)節(jié)點(diǎn)可以靈活擴(kuò)展的同時(shí)，如何進(jìn)一步提高檢索效率，是亟需解決的一個(gè)問題。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了一種基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲方法和裝置。

2、根據(jù)本公開的第一方面，提供了一種基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲方法，應(yīng)用于云端服務(wù)器。該方法包括：接收用戶端發(fā)送的數(shù)據(jù)查詢請求；所述數(shù)據(jù)查詢請求包括目標(biāo)信息；

3、根據(jù)所述目標(biāo)信息從預(yù)設(shè)哈希環(huán)中確定目標(biāo)邊緣集群信息；；其中，所述預(yù)設(shè)哈希環(huán)通過以下步驟生成：對邊緣端服務(wù)器的網(wǎng)絡(luò)地址進(jìn)行哈希計(jì)算，得到對應(yīng)的哈希值，將所述哈希值按順時(shí)針方向進(jìn)行映射存儲，形成初始哈希環(huán)，根據(jù)預(yù)設(shè)步長將所述初始哈希環(huán)進(jìn)行分段，將所述初始哈希環(huán)劃分為多個(gè)環(huán)段，對每個(gè)環(huán)段中的邊緣集群信息的密度進(jìn)行檢測，響應(yīng)于環(huán)段中的邊緣集群信息的密度大于預(yù)設(shè)閾值，將對應(yīng)環(huán)段中的預(yù)設(shè)數(shù)量的邊緣集群信息存儲在后續(xù)環(huán)段中的對應(yīng)位置處，并生成對應(yīng)的映射關(guān)系；

4、將所述目標(biāo)邊緣集群信息返回給所述用戶端，以令用戶端從對應(yīng)的邊緣集群獲取需要查詢的數(shù)據(jù)。

5、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述云端服務(wù)器基于raft一致性協(xié)議部署有元信息存儲集群；

6、所述元信息存儲集群存儲多個(gè)邊緣集群信息。

7、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述云端服務(wù)器對應(yīng)有邊緣端服務(wù)器；

8、所述邊緣端服務(wù)器基于raft一致性協(xié)議部署有數(shù)據(jù)存儲集群；

9、所述數(shù)據(jù)存儲集群存儲多個(gè)數(shù)據(jù)。

10、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述對每個(gè)環(huán)段中的邊緣集群信息的密度進(jìn)行檢測，響應(yīng)于環(huán)段中的邊緣集群信息的密度大于預(yù)設(shè)閾值，將對應(yīng)環(huán)段中的預(yù)設(shè)數(shù)量的邊緣集群信息存儲在后續(xù)環(huán)段中的對應(yīng)位置處，包括：

11、對每個(gè)環(huán)段中的邊緣集群信息的密度進(jìn)行檢測，判斷當(dāng)前環(huán)段中是否存在邊緣集群信息數(shù)量大于預(yù)設(shè)閾值的節(jié)點(diǎn)，響應(yīng)于當(dāng)前環(huán)段中存在邊緣集群信息數(shù)量大于預(yù)設(shè)閾值的節(jié)點(diǎn)，將該節(jié)點(diǎn)中的一半的邊緣集群信息存儲在后續(xù)環(huán)段中與當(dāng)前節(jié)點(diǎn)位置對應(yīng)的節(jié)點(diǎn)中。

12、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述目標(biāo)邊緣集群信息包括目標(biāo)邊緣端服務(wù)器的網(wǎng)絡(luò)地址；

13、所述根據(jù)所述目標(biāo)信息從預(yù)設(shè)哈希環(huán)中確定目標(biāo)邊緣集群信息，包括：

14、對所述目標(biāo)信息進(jìn)行哈希計(jì)算，得到目標(biāo)值；

15、根據(jù)所述目標(biāo)值在哈希環(huán)中尋找一致的哈希值；

16、根據(jù)尋找到的哈希值，確定對應(yīng)的邊緣端服務(wù)器的網(wǎng)絡(luò)地址；

17、將所述邊緣端服務(wù)器的網(wǎng)絡(luò)地址作為目標(biāo)邊緣集群信息。

18、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述方法還包括：

19、根據(jù)邊緣集群的狀態(tài)，對元信息存儲集群進(jìn)行更新。

20、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述邊緣集群的狀態(tài)包括：注冊或上線，以及離線；

21、所述根據(jù)邊緣集群的狀態(tài)，對元信息存儲集群進(jìn)行更新，包括：

22、當(dāng)有新的邊緣集群注冊或上線時(shí)，

23、根據(jù)注冊或上線時(shí)上傳的邊緣集群對應(yīng)的邊緣端服務(wù)器的網(wǎng)絡(luò)地址，將所述新的邊緣集群加入哈希環(huán)中；

24、當(dāng)有邊緣集群離線時(shí)，

25、根據(jù)離線的邊緣集群對應(yīng)的邊緣端服務(wù)器的網(wǎng)絡(luò)地址，將離線的邊緣集群從哈希環(huán)中刪除。

26、根據(jù)本公開的第二方面，提供了一種基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲裝置，應(yīng)用于云端服務(wù)器。該裝置包括：

27、請求接收模塊，用于接收用戶端發(fā)送的數(shù)據(jù)查詢請求；所述數(shù)據(jù)查詢請求包括目標(biāo)信息；

28、信息查找模塊，用于根據(jù)所述目標(biāo)信息從預(yù)設(shè)哈希環(huán)中確定目標(biāo)邊緣集群信息；其中，所述預(yù)設(shè)哈希環(huán)通過以下步驟生成：對邊緣端服務(wù)器的網(wǎng)絡(luò)地址進(jìn)行哈希計(jì)算，得到對應(yīng)的哈希值，將所述哈希值按順時(shí)針方向進(jìn)行映射存儲，形成初始哈希環(huán)，根據(jù)預(yù)設(shè)步長將所述初始哈希環(huán)進(jìn)行分段，將所述初始哈希環(huán)劃分為多個(gè)環(huán)段，對每個(gè)環(huán)段中的邊緣集群信息的密度進(jìn)行檢測，響應(yīng)于環(huán)段中的邊緣集群信息的密度大于預(yù)設(shè)閾值，將對應(yīng)環(huán)段中的預(yù)設(shè)數(shù)量的邊緣集群信息存儲在后續(xù)環(huán)段中的對應(yīng)位置處，并生成對應(yīng)的映射關(guān)系；

29、信息返回模塊，用于將所述目標(biāo)邊緣集群信息返回給所述用戶端，以令用戶端從對應(yīng)的邊緣集群獲取需要查詢的數(shù)據(jù)。

30、根據(jù)本公開的第三方面，提供了一種電子設(shè)備。該電子設(shè)備包括：存儲器和處理器，所述存儲器上存儲有計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如以上所述的方法。

31、根據(jù)本公開的第四方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如根據(jù)本公開的第一方面所述的方法。

32、本公開的實(shí)施例提供的基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲方法和裝置，通過在云端部署基于raft一致性協(xié)議的元信息存儲集群，使用哈希環(huán)來存儲每個(gè)邊緣端存儲集群的信息，以及在邊緣端部署基于raft一致性協(xié)議的數(shù)據(jù)存儲集群，專門負(fù)責(zé)實(shí)際數(shù)據(jù)的存儲，以此可以實(shí)現(xiàn)對于接收到的客戶查詢數(shù)據(jù)的請求，能夠?qū)崿F(xiàn)快速檢索且短時(shí)間內(nèi)響應(yīng)客戶需求，提升用戶體驗(yàn)感；此外，由于云、邊端均基于raft一致性協(xié)議進(jìn)行部署，能夠提升網(wǎng)絡(luò)節(jié)點(diǎn)在整個(gè)存儲系統(tǒng)中擴(kuò)展的靈活性。

33、應(yīng)當(dāng)理解，
技術(shù)實(shí)現(xiàn)要素：
部分中所描述的內(nèi)容并非旨在限定本公開的實(shí)施例的關(guān)鍵或重要特征，亦非用于限制本公開的范圍。本公開的其它特征將通過以下的描述變得容易理解。

技術(shù)特征：

1.一種基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲方法，應(yīng)用于云端服務(wù)器，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對每個(gè)環(huán)段中的邊緣集群信息的密度進(jìn)行檢測，響應(yīng)于環(huán)段中的邊緣集群信息的密度大于預(yù)設(shè)閾值，將對應(yīng)環(huán)段中的預(yù)設(shè)數(shù)量的邊緣集群信息存儲在后續(xù)環(huán)段中的對應(yīng)位置處，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，

8.一種基于雙層raft一致性協(xié)議的云邊協(xié)同分布式存儲裝置，應(yīng)用于云端服務(wù)器，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1-7中任一權(quán)利要求所述的方法。

技術(shù)總結(jié)
本公開的實(shí)施例提供了基于雙層Raft一致性協(xié)議的云邊協(xié)同分布式存儲方法和裝置，應(yīng)用于大數(shù)據(jù)處理技術(shù)領(lǐng)域。所述方法包括接收用戶端發(fā)送的數(shù)據(jù)查詢請求；所述數(shù)據(jù)查詢請求包括目標(biāo)信息；根據(jù)所述目標(biāo)信息從預(yù)設(shè)哈希環(huán)中確定目標(biāo)邊緣集群信息；將所述目標(biāo)邊緣集群信息返回給所述用戶端，以令用戶端從對應(yīng)的邊緣集群獲取需要查詢的數(shù)據(jù)。以此方式，可以在確保網(wǎng)絡(luò)節(jié)點(diǎn)可以靈活擴(kuò)展的同時(shí)，進(jìn)一步提高數(shù)據(jù)檢索效率。

技術(shù)研發(fā)人員：黃靜,章涵博,郭協(xié)恒
受保護(hù)的技術(shù)使用者：浙江理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9