一種集成本地文件系統(tǒng)的云存儲服務(wù)方法
【專利摘要】本發(fā)明涉及云存儲【技術(shù)領(lǐng)域】，尤其是一種集成本地文件系統(tǒng)的云存儲服務(wù)方法。本發(fā)明的云存儲服務(wù)包括三個模塊：文件校驗?zāi)K、視圖管理器和云存儲輔助器；文件校驗服務(wù)用于對文件進(jìn)行校驗值管理；視圖管理器維護(hù)兩個視圖：活動視圖、凍結(jié)視圖，主要用于管理本地文件的狀態(tài)變化情況；云存儲輔助器用于處理本地文件系統(tǒng)和遠(yuǎn)程云存儲平臺之間的通信服務(wù)，維護(hù)文件同步時的同步視圖。本發(fā)明能有效的防止由于本地操作系統(tǒng)的數(shù)據(jù)損壞、硬件崩潰等情況造成的數(shù)據(jù)丟失從而影響到云存儲服務(wù)端數(shù)據(jù)的不一致性問題以及由此引起的同一個云存儲平臺不同的客戶端間不一致性擴散問題；可廣泛應(yīng)用于各種云存儲平臺。
【專利說明】一種集成本地文件系統(tǒng)的云存儲服務(wù)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云存儲【技術(shù)領(lǐng)域】，尤其是一種集成本地文件系統(tǒng)的云存儲服務(wù)方法。

【背景技術(shù)】
[0002]在云計算日益普及的今天，大家張口閉口談的幾乎都是跟“云”相關(guān)的事情。在云計算的各種應(yīng)用中，云存儲是最被廣泛使用的?？梢哉f信息時代，基本上每一個人都在使用云存儲技術(shù)。顯式的國內(nèi)外著名的云存儲平臺如dropbox、icloud、亞馬遜S3、googledrive、百度云、360云盤等等，隱式的各種云存儲應(yīng)用如云通訊錄、云備份、云筆記、云音樂等，無不跟云存儲有關(guān)。
[0003]由于終端設(shè)備越來越多，不同的終端設(shè)備采用的技術(shù)體系不同，這極大地增加了云端存儲技術(shù)的復(fù)雜性。如果某個云存儲平臺的一個終端應(yīng)用上出現(xiàn)了問題，那么這個問題可能會通過云存儲平臺擴散到所有其他終端應(yīng)用里，從而造成數(shù)據(jù)紊亂；對云存儲平臺里數(shù)據(jù)的安全性、一致性和穩(wěn)定性帶來了極大地隱患。


【發(fā)明內(nèi)容】

[0004]本發(fā)明解決的技術(shù)問題在于提供一種集成了本地文件系統(tǒng)的云存儲服務(wù)方法，可以防止因數(shù)據(jù)發(fā)生錯誤或者出現(xiàn)不一致性問題時由于云存儲的特性造成問題的擴散最終影響到云存儲平臺的一致性和穩(wěn)定性的情況。
[0005]本發(fā)明解決上述技術(shù)問題的技術(shù)方案是:
[0006]所述的方法由文件校驗?zāi)K、視圖管理器和云存儲輔助器構(gòu)成的系統(tǒng)完成；
[0007]所述的文件校驗?zāi)K是基于目前主流的文件系統(tǒng)的一個模塊，主要用于在文件塊寫入或者從磁盤上讀取時進(jìn)行CRC32C校驗；
[0008]所述的視圖管理器是一個輕型的文件系統(tǒng)內(nèi)核模塊，用于在本地文件系統(tǒng)上創(chuàng)建視圖，主要維護(hù)活動視圖和凍結(jié)視圖兩個文件視圖；
[0009]所述的云存儲輔助器是指本地文件系統(tǒng)與遠(yuǎn)程云存儲平臺之間的數(shù)據(jù)交互接口，維護(hù)一個或者多個同步視圖；
[0010]所述的活動視圖是指從上一次開始與云存儲平臺同步的時間點到當(dāng)前時間點這個時間范圍內(nèi)本地文件或文件夾狀態(tài)發(fā)生的變化；
[0011]所述的凍結(jié)視圖是指視圖管理器對當(dāng)前活動時間點位置活動視圖的一個快照，快照內(nèi)容是靜態(tài)的、后續(xù)不會發(fā)生變化；通過對活動視圖在不同時間點的快照遞增式生成；
[0012]所述的同步視圖是指將當(dāng)前凍結(jié)視圖里的文件和遠(yuǎn)程云存儲平臺進(jìn)行同步時產(chǎn)生的一個文件狀態(tài)和行為描述，此時凍結(jié)視圖被銷毀；
[0013]每一次同步時產(chǎn)生的同步視圖都存在于云存儲輔助器中，當(dāng)本地文件系統(tǒng)出現(xiàn)不一致性問題時，從對應(yīng)時間點的同步視圖中獲取待恢復(fù)的文件列表。
[0014]所述的文件校驗?zāi)K基于目前主流的EXT4、NTFS, HFS+等文件系統(tǒng)。
[0015]所述的視圖管理器同一時間點只會存在一個活動視圖和一個凍結(jié)視圖。
[0016]所述的文件校驗?zāi)K寫入文件到磁盤時在物理數(shù)據(jù)塊前添加一個校驗區(qū)域，填充該數(shù)據(jù)塊的校驗值；從磁盤中讀取文件塊時也需要根據(jù)預(yù)先填充的校驗值和實際的數(shù)據(jù)進(jìn)行校驗值匹配，以防磁盤發(fā)生損壞時破壞數(shù)據(jù)的一致性；
[0017]當(dāng)本地文件讀出的數(shù)據(jù)與校驗值不一致時，表示該數(shù)據(jù)已損壞，此時文件校驗?zāi)K將會直接向云存儲輔助器發(fā)送請求，通過云存儲輔助器獲取在云存儲平臺上該數(shù)據(jù)最近最新的一個版本；此種情況下的數(shù)據(jù)不會提交到云存儲平臺或者從云存儲平臺更新到本地，以防止這種不一致性擴散到云存儲平臺其他應(yīng)用端，造成數(shù)據(jù)的混亂。
[0018]所述的方法中數(shù)據(jù)讀寫的處理方式是:
[0019]讀取數(shù)據(jù)時，文件校驗?zāi)K根據(jù)對應(yīng)數(shù)據(jù)塊的實時生成的實際校驗值和填充校驗值進(jìn)行比較，若一致則說明數(shù)據(jù)完好，操作繼續(xù)；不一致則說明數(shù)據(jù)出現(xiàn)錯誤，此時向云存儲輔助器發(fā)送請求以從云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地；
[0020]寫入數(shù)據(jù)時，如果是本地新增數(shù)據(jù)，那么針對該數(shù)據(jù)生成校驗值，并將該校驗值寫入到物理數(shù)據(jù)塊的最前端的校驗區(qū)域；如果是從云端更新下來的數(shù)據(jù)，那么以該數(shù)據(jù)生成的校驗值和附隨數(shù)據(jù)塊的預(yù)填充校驗值進(jìn)行比較，若一致則寫入本地磁盤，否則向云存儲輔助器發(fā)送一條請求，再次從遠(yuǎn)程云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地，再次進(jìn)行本過程，直到數(shù)據(jù)完好為止。
[0021]本發(fā)明通過三個模塊加上三種視圖的方式，既保證了正常模式下數(shù)據(jù)同步的正確性，又保證了本地數(shù)據(jù)的強一致性，同時還防止由于數(shù)據(jù)的錯誤或者本地文件系統(tǒng)損壞帶來的錯誤數(shù)據(jù)擴散問題，從而保證了云存儲平臺的數(shù)據(jù)一致性和穩(wěn)定性。

【專利附圖】

【附圖說明】
[0022]下面結(jié)合附圖對本發(fā)明進(jìn)一步說明:
[0023]圖1是本發(fā)明的框架結(jié)構(gòu)圖；
[0024]圖2是本發(fā)明的數(shù)據(jù)校驗流程圖；
[0025]圖3是本發(fā)明的三種視圖之間的轉(zhuǎn)換關(guān)系圖。

【具體實施方式】
[0026]如附圖1所示，本發(fā)明包括三個模塊和三種視圖，分別是文件校驗?zāi)K、視圖管理器、云存儲輔助器；其中視圖管理器維護(hù)兩個視圖:活動視圖、凍結(jié)視圖，云存儲輔助器維護(hù)同步視圖；
[0027]文件校驗?zāi)K對所有讀寫操作的數(shù)據(jù)進(jìn)行正確性校驗，當(dāng)實際校驗值和填充校驗值一致時讀寫操作才成功，否則執(zhí)行相應(yīng)地糾錯操作；
[0028]視圖管理器在同一時間點中只存在一個活動視圖和一個凍結(jié)視圖，凍結(jié)視圖是由活動視圖定時的快照遞增生成的；
[0029]云存儲輔助器負(fù)責(zé)本地文件系統(tǒng)和遠(yuǎn)程云存儲之間的數(shù)據(jù)交互問題，同時存在著多個同步視圖；
[0030]本地文件系統(tǒng)出現(xiàn)損壞且不能通過其自身進(jìn)行恢復(fù)時，云存儲模塊就需要根據(jù)相應(yīng)時間點的同步視圖從云存儲平臺恢復(fù)數(shù)據(jù)到本地。
[0031]如附圖2所示，本發(fā)明中針對每次文件操作，文件校驗?zāi)K需進(jìn)行如下步驟以保持?jǐn)?shù)據(jù)的一致性:
[0032]讀取數(shù)據(jù)時，文件校驗?zāi)K根據(jù)對應(yīng)數(shù)據(jù)塊的實時生成的實際校驗值和填充校驗值進(jìn)行比較，若一致則說明數(shù)據(jù)完好，操作繼續(xù)；不一致則說明數(shù)據(jù)出現(xiàn)錯誤，此時向云存儲輔助器發(fā)送請求以從云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地；
[0033]寫入數(shù)據(jù)時，如果是本地新增數(shù)據(jù)，那么針對該數(shù)據(jù)生成校驗值，并將該校驗值寫入到物理數(shù)據(jù)塊的最前端的校驗區(qū)域；如果是從云端更新下來的數(shù)據(jù)，那么以該數(shù)據(jù)生成的校驗值和附隨數(shù)據(jù)塊的預(yù)填充校驗值進(jìn)行比較，若一致則寫入本地磁盤，否則將先云存儲輔助器發(fā)送一條請求，再次從遠(yuǎn)程云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地，再次進(jìn)行本過程，直到數(shù)據(jù)完好為止。
[0034]如附圖3所示，本發(fā)明中三種視圖的轉(zhuǎn)換關(guān)系遵循以下的步驟:
[0035]活動視圖指到某個時間點為止的一個時間范圍內(nèi)文件或者文件夾發(fā)生變化的日志記錄情況；
[0036]凍結(jié)視圖是由活動視圖定時的快照生成的，是某個時間點活動視圖內(nèi)所有內(nèi)容的一個記錄；凍結(jié)視圖是遞增式生成的，在時間上凍結(jié)視圖生成的時間點是一個新的活動視圖的生成時間；
[0037]活動視圖和凍結(jié)視圖是一對一的關(guān)系存在于視圖管理器中；
[0038]同步視圖是由云存儲輔助管理器根據(jù)凍結(jié)視圖里的文件變化狀況與遠(yuǎn)程云存儲里的數(shù)據(jù)進(jìn)行比較后生成的文件操作記錄情況，由于同步視圖是右某個時間點的凍結(jié)視圖提交而生成，因此云存儲輔助管理器里同時存在多個同步視圖。
【權(quán)利要求】
1.一種集成本地文件系統(tǒng)的云存儲服務(wù)方法，其特征在于:所述的方法由文件校驗?zāi)K、視圖管理器和云存儲輔助器構(gòu)成的系統(tǒng)完成； 所述的文件校驗?zāi)K是基于目前主流的文件系統(tǒng)的一個模塊，主要用于在文件塊寫入或者從磁盤上讀取時進(jìn)行CRC32C校驗； 所述的視圖管理器是一個輕型的文件系統(tǒng)內(nèi)核模塊，用于在本地文件系統(tǒng)上創(chuàng)建視圖，主要維護(hù)活動視圖和凍結(jié)視圖兩個文件視圖； 所述的云存儲輔助器是指本地文件系統(tǒng)與遠(yuǎn)程云存儲平臺之間的數(shù)據(jù)交互接口，維護(hù)一個或者多個同步視圖； 所述的活動視圖是指從上一次開始與云存儲平臺同步的時間點到當(dāng)前時間點這個時間范圍內(nèi)本地文件或文件夾狀態(tài)發(fā)生的變化； 所述的凍結(jié)視圖是指視圖管理器對當(dāng)前活動時間點位置活動視圖的一個快照，快照內(nèi)容是靜態(tài)的、后續(xù)不會發(fā)生變化；通過對活動視圖在不同時間點的快照遞增式生成； 所述的同步視圖是指將當(dāng)前凍結(jié)視圖里的文件和遠(yuǎn)程云存儲平臺進(jìn)行同步時產(chǎn)生的一個文件狀態(tài)和行為描述，此時凍結(jié)視圖被銷毀； 每一次同步時產(chǎn)生的同步視圖都存在于云存儲輔助器中，當(dāng)本地文件系統(tǒng)出現(xiàn)不一致性問題時，從對應(yīng)時間點的同步視圖中獲取待恢復(fù)的文件列表。
2.根據(jù)權(quán)利要求1所述的云存儲服務(wù)方法，其特征在于:所述的文件校驗?zāi)K基于目前主流的EXT4、NTFS, HFS+等文件系統(tǒng)。
3.根據(jù)權(quán)利要求1所述的云存儲服務(wù)方法，其特征在于:所述的視圖管理器同一時間點只會存在一個活動視圖和一個凍結(jié)視圖。
4.根據(jù)權(quán)利要求2所述的云存儲服務(wù)方法，其特征在于:所述的視圖管理器同一時間點只會存在一個活動視圖和一個凍結(jié)視圖。
5.根據(jù)權(quán)利要求1至4任一項所述的云存儲服務(wù)方法，其特征在于:所述的文件校驗?zāi)K寫入文件到磁盤時在物理數(shù)據(jù)塊前添加一個校驗區(qū)域，填充該數(shù)據(jù)塊的校驗值；從磁盤中讀取文件塊時也需要根據(jù)預(yù)先填充的校驗值和實際的數(shù)據(jù)進(jìn)行校驗值匹配，以防磁盤發(fā)生損壞時破壞數(shù)據(jù)的一致性； 當(dāng)本地文件讀出的數(shù)據(jù)與校驗值不一致時，表示該數(shù)據(jù)已損壞，此時文件校驗?zāi)K將會直接向云存儲輔助器發(fā)送請求，通過云存儲輔助器獲取在云存儲平臺上該數(shù)據(jù)最近最新的一個版本；此種情況下的數(shù)據(jù)不會提交到云存儲平臺或者從云存儲平臺更新到本地，以防止這種不一致性擴散到云存儲平臺其他應(yīng)用端，造成數(shù)據(jù)的混亂。
6.根據(jù)權(quán)利要求1至4任一項所述的云存儲服務(wù)方法，其特征在于:所述的方法中數(shù)據(jù)讀寫的處理方式是: 讀取數(shù)據(jù)時，文件校驗?zāi)K根據(jù)對應(yīng)數(shù)據(jù)塊的實時生成的實際校驗值和填充校驗值進(jìn)行比較，若一致則說明數(shù)據(jù)完好，操作繼續(xù)；不一致則說明數(shù)據(jù)出現(xiàn)錯誤，此時向云存儲輔助器發(fā)送請求以從云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地； 寫入數(shù)據(jù)時，如果是本地新增數(shù)據(jù)，那么針對該數(shù)據(jù)生成校驗值，并將該校驗值寫入到物理數(shù)據(jù)塊的最前端的校驗區(qū)域；如果是從云端更新下來的數(shù)據(jù)，那么以該數(shù)據(jù)生成的校驗值和附隨數(shù)據(jù)塊的預(yù)填充校驗值進(jìn)行比較，若一致則寫入本地磁盤，否則向云存儲輔助器發(fā)送一條請求，再次從遠(yuǎn)程云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地，再次進(jìn)行本過程，直到數(shù)據(jù)完好為止。
7.根據(jù)權(quán)利要求5所述的云存儲服務(wù)方法，其特征在于:所述的方法中數(shù)據(jù)讀寫的處理方式是: 讀取數(shù)據(jù)時，文件校驗?zāi)K根據(jù)對應(yīng)數(shù)據(jù)塊的實時生成的實際校驗值和填充校驗值進(jìn)行比較，若一致則說明數(shù)據(jù)完好，操作繼續(xù)；不一致則說明數(shù)據(jù)出現(xiàn)錯誤，此時向云存儲輔助器發(fā)送請求以從云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地； 寫入數(shù)據(jù)時，如果是本地新增數(shù)據(jù)，那么針對該數(shù)據(jù)生成校驗值，并將該校驗值寫入到物理數(shù)據(jù)塊的最前端的校驗區(qū)域；如果是從云端更新下來的數(shù)據(jù)，那么以該數(shù)據(jù)生成的校驗值和附隨數(shù)據(jù)塊的預(yù)填充校驗值進(jìn)行比較，若一致則寫入本地磁盤，否則向云存儲輔助器發(fā)送一條請求，再次從遠(yuǎn)程云存儲平臺獲取該數(shù)據(jù)的最新有效數(shù)據(jù)副本到本地，再次進(jìn)行本過程，直到數(shù)據(jù)完好為止。
【文檔編號】G06F17/30GK104361069SQ201410625868
【公開日】2015年2月18日 申請日期:2014年11月7日 優(yōu)先權(quán)日:2014年11月7日
【發(fā)明者】肖翱, 施魏松 申請人:廣東電子工業(yè)研究院有限公司