互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)及其讀寫方法
【專利摘要】本申請公開了一種互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，包括：存取管理模塊，用于向存取適配模塊發(fā)出文件存取請求，還將欲寫入文件寫入到存儲資源模塊的一個或多個數(shù)據(jù)單元中，還從存儲資源模塊的一個或多個數(shù)據(jù)單元中讀取并合并為欲讀取文件。存取適配模塊，負責(zé)管理整個數(shù)據(jù)管理系統(tǒng)的命名空間、以及分配欲寫入文件在存取資源模塊的哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置、以及查找欲讀取文件在存取資源模塊的哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置。存取資源模塊，包括多個數(shù)據(jù)單元，各個數(shù)據(jù)單元的大小相同。本申請還公開了所述互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀寫方法。本申請可以提高海量數(shù)據(jù)的管理效率，特別適用于對非結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)管理。
【專利說明】互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)及其讀寫方法

【技術(shù)領(lǐng)域】
[0001] 本申請涉及一種數(shù)據(jù)管理系統(tǒng)。

【背景技術(shù)】
[0002] 當(dāng)下我們生活在一個數(shù)據(jù)的時代，但很難計算或是估計全球以電子方式存儲的數(shù) 據(jù)總量有多少。單以互聯(lián)網(wǎng)公司在日常運營中生成、累積的用戶網(wǎng)絡(luò)行為數(shù)據(jù)。這些數(shù)據(jù) 的規(guī)模是如此龐大，以至于不能用G或T來衡量，大數(shù)據(jù)的起始計量單位至少是P (1000個 T)、E (100萬個T)或Z (10億個T)。一組名為"互聯(lián)網(wǎng)上一天"的數(shù)據(jù)告訴我們，一天之 中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1. 68億張DVD ;發(fā)出的郵件有2940億封之多（相當(dāng)于 美國兩年的紙質(zhì)信件數(shù)量）;發(fā)出的社區(qū)帖子達200萬個(相當(dāng)于《時代》雜志770年的文字 量）；賣出的手機為37. 8萬臺，高于全球每天出生的嬰兒數(shù)量37. 1萬……
[0003] 不僅僅互聯(lián)網(wǎng)數(shù)據(jù)，數(shù)據(jù)還有很多其他的來源：
[0004] >紐約證券交易所每天產(chǎn)生1TB的交易數(shù)據(jù)。
[0005] > Facebook存儲著100億張照片，約1PB存儲容量。
[0006] >瑞士日內(nèi)瓦附近的大型強子對撞機每年產(chǎn)生約15PB的數(shù)據(jù)。
[0007] 截止到2012年，數(shù)據(jù)量已經(jīng)從TB (1024GB=1TB)級別躍升到PB (1024TB=1PB)、EB (1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司（IDC)的研究結(jié)果表明，2008年全 球產(chǎn)生的數(shù)據(jù)量為0. 49ZB，2009年的數(shù)據(jù)量為0. 8ZB，2010年增長為1. 2ZB，2011年的數(shù)量 更是高達1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的 所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的 研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。而到了 2020年， 全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到今天的44倍。
[0008] 面對已經(jīng)存在的如此大量的數(shù)據(jù)，我們今天不得不面對如何存儲和分析這些數(shù) 據(jù)。
[0009] 數(shù)據(jù)管理是利用計算機技術(shù)對數(shù)據(jù)進行有效的收集、存儲、處理和應(yīng)用的過程。從 數(shù)據(jù)管理的角度出發(fā)，互聯(lián)網(wǎng)上的信息可分為結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)兩類。所述結(jié)構(gòu) 化數(shù)據(jù)是指可用二維邏輯表結(jié)構(gòu)來表達的數(shù)據(jù)，例如存儲在關(guān)系數(shù)據(jù)庫或面向?qū)ο髷?shù)據(jù)庫 中的數(shù)據(jù)。所述非結(jié)構(gòu)化數(shù)據(jù)是指無法用二維邏輯表結(jié)構(gòu)來表達的數(shù)據(jù)，包括自然語言文 本、圖像、音頻、視頻資源等。互聯(lián)網(wǎng)上的大量信息都是非結(jié)構(gòu)化數(shù)據(jù)，對其進行數(shù)據(jù)管理就 成為一個難點。
[0010] 現(xiàn)有的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)往往采用分布式數(shù)據(jù)庫（distributed database),例 如0racle、DB2、SQLserver等。這些分布式數(shù)據(jù)庫可以較好地支持結(jié)構(gòu)化數(shù)據(jù)，但在存儲和 管理非結(jié)構(gòu)化數(shù)據(jù)方面仍有不足，主要表現(xiàn)在查詢和統(tǒng)計的支持較弱、效率較低等。


【發(fā)明內(nèi)容】

[0011] 本申請所要解決的技術(shù)問題是提供一種互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，特別適用于處理互 聯(lián)網(wǎng)上的非結(jié)構(gòu)化數(shù)據(jù)，同時兼容結(jié)構(gòu)化數(shù)據(jù)。為此，本申請還要提供所述互聯(lián)網(wǎng)數(shù)據(jù)管理 系統(tǒng)的讀寫方法。
[0012] 為解決上述技術(shù)問題，本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)包括：
[0013] -存取管理模塊，用于向存取適配模塊發(fā)出文件存取請求，還將欲寫入文件寫 入到存儲資源模塊的一個或多個數(shù)據(jù)單元中，還從存儲資源模塊的一個或多個數(shù)據(jù)單元中 讀取并合并為欲讀取文件；
[0014] -存取適配模塊，負責(zé)管理整個數(shù)據(jù)管理系統(tǒng)的命名空間、以及分配欲寫入文 件存儲在哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置、以及查找欲讀取文件在哪些 數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置；
[0015] -存取資源模塊，包括多個數(shù)據(jù)單元，各個數(shù)據(jù)單元的大小相同。
[0016] 本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的寫入方法為：
[0017] 第1步，存取管理模塊發(fā)出文件寫入的請求；
[0018] 第2步，存取適配模塊接收該請求后，根據(jù)欲寫入文件的大小和當(dāng)前的數(shù)據(jù)單元 配置信息，分配該欲寫入文件存儲在哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置， 并將分配結(jié)果告知存取管理模塊；
[0019] 第3步，存取管理模塊根據(jù)所述分配結(jié)果將欲寫入文件分割為一個或多個部分， 并寫入到所分配的一個或多個數(shù)據(jù)單元中。
[0020] 本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀取方法為：
[0021] 第1步，存取管理模塊發(fā)出文件讀取請求；
[0022] 第2步，存取適配模塊接收該請求后，根據(jù)欲讀取文件的名稱查找欲讀取文件在 哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置，并將查找結(jié)果告知存取管理模塊；
[0023] 第3步，存取管理模塊根據(jù)所述查找結(jié)果在所查到的各個數(shù)據(jù)單元中讀取欲讀取 文件的各個部分，并合并為欲讀取文件。
[0024] 本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)及其讀寫方法，可以提高海量數(shù)據(jù)的管理效率，減輕 計算機網(wǎng)絡(luò)負擔(dān)。該系統(tǒng)對互聯(lián)網(wǎng)上的各種非結(jié)構(gòu)化數(shù)據(jù)進行分布式存儲和分布式管理， 具有可伸縮性和高容錯性，既可滿足行業(yè)應(yīng)用對局部海量數(shù)據(jù)的處理要求，又可滿足對整 體海量數(shù)據(jù)進行分布式全局處理要求。采用該系統(tǒng)，除可進行增、刪、改、查等初級信息應(yīng) 用，在信息挖掘分析、研判、分類等方面更具有重要的現(xiàn)實意義。

【專利附圖】

【附圖說明】
[0025] 圖1是本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)示意圖；
[0026] 圖2是本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的寫入方法流程圖；
[0027] 圖3是本申請互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀取方法流程圖。
[0028] 圖中附圖標(biāo)記說明：
[0029] 10為存取管理模塊；20為存取適配模塊；30為存取資源模塊；31為數(shù)據(jù)單元。

【具體實施方式】
[0030] 請參閱圖1，本申請所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)包括：
[0031] -存取管理模塊10,對外具有統(tǒng)一接口，用來接收各種應(yīng)用程序?qū)λ龌ヂ?lián)網(wǎng) 數(shù)據(jù)管理系統(tǒng)的操作請求，主要包括文件寫入請求和文件讀取請求。所述存取管理模塊10 再向存取適配模塊20發(fā)出文件存取請求，還將欲寫入文件寫入到存取資源模塊30的一個 或多個數(shù)據(jù)單元31中，還從存取資源模塊30的一個或多個數(shù)據(jù)單元31中讀取并合并為欲 讀取文件。
[0032] --存取適配模塊20,負責(zé)管理整個數(shù)據(jù)管理系統(tǒng)的命名空間、以及分配欲寫入 文件在哪些數(shù)據(jù)單元31中存儲以及在這些數(shù)據(jù)單元31中的存儲位置、以及查找欲讀取文 件在哪些數(shù)據(jù)單元31中存儲以及在這些數(shù)據(jù)單元31中的存儲位置；所述命名空間包括： [0033] (1)各個文件的名稱、描述等信息；
[0034] (2)各個數(shù)據(jù)單元31在存取資料模塊30中的路徑；
[0035] (3)每個文件存儲于哪些數(shù)據(jù)單元31中、每個文件的各個部分在這些數(shù)據(jù)單元31 中的存儲位置。
[0036] --存取資源模塊30,包括多個數(shù)據(jù)單元31，各個數(shù)據(jù)單元31的大小是相同的。 例如，存取資源模塊30可以是一塊或多塊磁盤驅(qū)動器，優(yōu)選為硬盤。數(shù)據(jù)單元31可以是硬 盤的扇區(qū)（sector)、磁道（track)、柱面（cylinder)、塊（block)、簇（cluster)之一。
[0037] 所述存取適配模塊20在分配欲寫入文件在哪些數(shù)據(jù)單元31中存儲、以及在這些 數(shù)據(jù)單元31中的存儲位置時，優(yōu)先將已使用、但還具有空閑空間的數(shù)據(jù)單元31填充滿，然 后再使用全新的數(shù)據(jù)單元31。假設(shè)A文件為32MB，其寫入時沒有部分空閑的數(shù)據(jù)單元31， 則將A文件置于一個全新的數(shù)據(jù)單元31中，該數(shù)據(jù)單元31還有32MB空閑。假設(shè)B文件為 100MB，其寫入時有一個數(shù)據(jù)單元31有32MB的空閑空間，那么將B文件分割為三部分，第一 部分填滿32MB的空閑空間，第二部分占據(jù)一個全新的數(shù)據(jù)單元31，第三部分填充另一個全 新的數(shù)據(jù)單元31中的4MB空間。
[0038] 如果數(shù)據(jù)單元31設(shè)置得足夠大，從存取資源模塊30存、取數(shù)據(jù)的時間將明顯大于 在存取資源模塊30定位數(shù)據(jù)單元31所需的時間。當(dāng)存取資源模塊30采用磁盤時，存、取 一個位于多個數(shù)據(jù)單元31中的文件的時間就主要取決于數(shù)據(jù)在磁盤上的寫入、讀取速度。 例如：如果尋址時間為l〇ms，而磁盤上數(shù)據(jù)傳輸速率為lOOMB/s，以傳輸100MB大小的文件 為例，為了使尋址時間僅占數(shù)據(jù)傳輸時間的1%，將數(shù)據(jù)單元31的大小設(shè)為100MB。優(yōu)選地， 數(shù)據(jù)單元31的大小設(shè)置為64MB或128MB。隨著磁盤驅(qū)動器傳輸速率的提升，數(shù)據(jù)單元31 的大小還可設(shè)置得更大。
[0039] 優(yōu)選地，各個數(shù)據(jù)單元31均周期性地將其存儲數(shù)據(jù)的名稱、描述、存儲位置等信 息、以及心跳信息發(fā)送給存取適配模塊20。所述心跳信息用于表明該數(shù)據(jù)單元31的狀態(tài)是 否正常。
[0040] 優(yōu)選地，所述互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)為所有的數(shù)據(jù)單元31建立備份，并為每個數(shù)據(jù) 單元31至少創(chuàng)建一個副本，每個數(shù)據(jù)單元31及其副本至少存儲在兩個不同的磁盤上，并優(yōu) 選存儲在兩臺不同的計算機上，以保證在部分數(shù)據(jù)單元31、部分磁盤、乃至部分計算機出故 障的情況下數(shù)據(jù)存儲的安全性。并且，各個數(shù)據(jù)單元31的大小、各個數(shù)據(jù)單元31的副本數(shù) 量都是可以配置的。所述存儲適配模塊20負責(zé)管理各個數(shù)據(jù)單元31的副本信息，包括副 本數(shù)量及存儲路徑等。如果發(fā)現(xiàn)一個數(shù)據(jù)單元31不可用，存取管理模塊10會從其他位置 讀取該數(shù)據(jù)單元31的副本，并基于該數(shù)據(jù)單元31的副本修復(fù)或替換不可用的該數(shù)據(jù)單元 31，確保該數(shù)據(jù)單元31及其至少一個副本的可用性，整個過程對用戶是透明的。
[0041] 請參閱圖2,本申請所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的寫入方法為：
[0042] 第2. 1步，存取管理模塊10根據(jù)上層應(yīng)用程序的操作，發(fā)出文件寫入的請求。所 述請求中包括欲寫入文件的名稱、大小等信息。
[0043] 第2. 2步，存取適配模塊20接收該請求后，根據(jù)欲寫入文件的大小和當(dāng)前的數(shù)據(jù) 單元配置信息(包括每個數(shù)據(jù)單元31的大小、每個數(shù)據(jù)單元31的副本數(shù)量、當(dāng)前各個數(shù)據(jù) 單元31的使用情況等)，將欲寫入的文件分配在存取資源模塊30的一個或多個數(shù)據(jù)單元31 中，并具體到在這些數(shù)據(jù)單元31中的哪個存儲位置，以及這些數(shù)據(jù)單元31可容納的數(shù)據(jù) 大小，以及這些數(shù)據(jù)單元31中所容納的數(shù)據(jù)的相互順序，并將分配結(jié)果告知存取管理模塊 10。存取適配模塊20還記錄上述分配結(jié)果。
[0044] 第2. 3步，存取管理模塊10將欲寫入文件根據(jù)所述分配結(jié)果分割為一個或多個部 分，并寫入到所分配的一個或多個數(shù)據(jù)單元31中。
[0045] 可選地，如果要為各個數(shù)據(jù)單元31創(chuàng)建副本，那么在第2. 2步中，所述分配結(jié)果中 還包括所分配的各個數(shù)據(jù)單元31的副本的存儲位置。同時在第2. 3步中，所述存取管理模 塊10將數(shù)據(jù)同時寫入到所分配的各個數(shù)據(jù)單元及其副本中。
[0046] 請參閱圖3,本申請所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀取方法為：
[0047] 第3. 1步，存取管理模塊10根據(jù)上層應(yīng)用程序的操作，發(fā)出文件讀取請求。所述 請求中包括欲讀取文件的名稱等信息。
[0048] 第3. 2步，存取適配模塊20接收該請求后，根據(jù)欲讀取文件的名稱查找其被存儲 于哪些數(shù)據(jù)單元31中，以及具體在這些數(shù)據(jù)單元31中的哪個存儲位置，以及這些數(shù)據(jù)單元 31中所容納的數(shù)據(jù)的相互順序，并將查找結(jié)果告知存取管理模塊10。
[0049] 第3. 3步，存取管理模塊10根據(jù)所述查找結(jié)果在所查到的一個或多個數(shù)據(jù)單元31 中讀取欲讀取文件的各個部分，并合并為欲讀取文件。
[0050] 可選地，如果每個數(shù)據(jù)單元31都有副本。那么在第3. 2步中，所述查找結(jié)果中還 包括所查到的各個數(shù)據(jù)單元31的副本的存儲位置。同時在第3. 3步中，當(dāng)某一數(shù)據(jù)單元31 讀取失敗后，所述存取管理模塊10改從其副本讀取。
[0051] 通常情況下，磁盤或網(wǎng)絡(luò)上的I/O操作基本不會將錯誤引入到正在讀寫的數(shù)據(jù)單 元31，但是當(dāng)所述互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)所要處理的數(shù)據(jù)量達到或接近極限時，數(shù)據(jù)單元31 被損壞的概率將會增加。檢測數(shù)據(jù)單元31是否損壞的常見措施是，在數(shù)據(jù)單元31第一次 存儲進入時計算初始校驗和，并在數(shù)據(jù)單元31通過一個不可靠的通道進行傳輸時再次計 算校驗和，新的校驗和與初始校驗和相同就認為數(shù)據(jù)單元31正常，否則就認為數(shù)據(jù)單元31 已損壞。本申請中，存取管理模塊10對寫入的所有數(shù)據(jù)單元31計算初始校驗和，并保存一 個包含各個數(shù)據(jù)單元31的初始校驗和的日志用于后續(xù)的驗證校驗證。存取管理模塊10還 在日志中記載每個數(shù)據(jù)單元31的最后一次驗證時間、每個數(shù)據(jù)單元31的校驗和驗證的次 數(shù)、損害概率等統(tǒng)計信息。存取管理模塊10在讀取數(shù)據(jù)單元31時還進行校驗和的驗證，如 果檢測到校驗和驗證錯誤，就向存取適配模塊20報告該已損壞的數(shù)據(jù)單元31。存儲適配模 塊20將這個數(shù)據(jù)單元31標(biāo)識為已損壞，并將這個數(shù)據(jù)單元31的一個復(fù)本復(fù)制到另一個存 儲位置，這便保持了該數(shù)據(jù)單元31的副本數(shù)量。隨后，已損壞的數(shù)據(jù)單元31將被存儲適配 豐旲塊20刪除。
[0052] 以上僅為本申請的優(yōu)選實施例，并不用于限定本申請。對于本領(lǐng)域的技術(shù)人員來 說，本申請可以有各種更改和變化。凡在本申請的精神和原則之內(nèi)，所作的任何修改、等同 替換、改進等，均應(yīng)包含在本申請的保護范圍之內(nèi)。
【權(quán)利要求】
1. 一種互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，其特征是，包括： -存取管理模塊，用于向存取適配模塊發(fā)出文件存取請求，還將欲寫入文件寫入到 存儲資源模塊的一個或多個數(shù)據(jù)單元中，還從存儲資源模塊的一個或多個數(shù)據(jù)單元中讀取 并合并為欲讀取文件； -存取適配模塊，負責(zé)管理整個數(shù)據(jù)管理系統(tǒng)的命名空間、以及分配欲寫入文件存 儲在哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置、以及查找欲讀取文件在哪些數(shù)據(jù) 單元中以及在這些數(shù)據(jù)單元中的存儲位置； -存取資源模塊，包括多個數(shù)據(jù)單元，各個數(shù)據(jù)單元的大小相同。
2. 根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，其特征是，每個文件或者直接寫入到 一個數(shù)據(jù)單元中，或者分為多個部分且各個部分各自寫入到一個數(shù)據(jù)單元中；各個文件的 各個部分均小于或等于所述數(shù)據(jù)單元的大小。
3. 根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，其特征是，所述存取適配模塊在分配 欲寫入文件在哪些數(shù)據(jù)單元以及在這些數(shù)據(jù)單元中的存儲位置時，優(yōu)先將已使用、但還具 有空閑空間的數(shù)據(jù)單元填充滿，然后再使用全新的數(shù)據(jù)單元。
4. 根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，其特征是，各個數(shù)據(jù)單元均周期性地 將其心跳信息發(fā)送給存取適配模塊；所述心跳信息用于表明該數(shù)據(jù)單元的狀態(tài)是否正常。
5. 根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)，其特征是，所述存儲適配模塊為每個 數(shù)據(jù)單元至少創(chuàng)建一個副本，每個數(shù)據(jù)單元及其副本至少存儲在兩個不同的磁盤上；所述 存儲適配模塊負責(zé)管理各個數(shù)據(jù)單元的副本信息，包括副本數(shù)量及路徑；當(dāng)發(fā)現(xiàn)一個數(shù)據(jù) 單元不可用，存儲適配模塊將讀取該數(shù)據(jù)單元的副本，并基于該數(shù)據(jù)單元的副本修復(fù)或替 換該不可用的數(shù)據(jù)單元。
6. -種互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的寫入方法，其特征是，包括如下步驟： 第1步，存取管理模塊發(fā)出文件寫入的請求； 第2步，存取適配模塊接收該請求后，根據(jù)欲寫入文件的大小和當(dāng)前的數(shù)據(jù)單元配置 信息，分配該欲寫入文件存儲在哪些數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置，并將 分配結(jié)果告知存取管理模塊； 第3步，存取管理模塊根據(jù)所述分配結(jié)果將欲寫入文件分割為一個或多個部分，并寫 入到所分配的一個或多個數(shù)據(jù)單元中。
7. 根據(jù)權(quán)利要求6所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的寫入方法，其特征是， 所述方法第2步中，所述分配結(jié)果還包括所分配的各個數(shù)據(jù)單元的副本的存儲位置； 所述方法第3步中，所述存取管理模塊將數(shù)據(jù)同時寫入所分配的各個數(shù)據(jù)單元及其副 本中。
8. -種互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀取方法，其特征是，包括如下步驟： 第1步，存取管理模塊發(fā)出文件讀取請求； 第2步，存取適配模塊接收該請求后，根據(jù)欲讀取文件的名稱查找欲讀取文件在哪些 數(shù)據(jù)單元中以及在這些數(shù)據(jù)單元中的存儲位置，并將查找結(jié)果告知存取管理模塊； 第3步，存取管理模塊根據(jù)所述查找結(jié)果在所查到的各個數(shù)據(jù)單元中讀取欲讀取文件 的各個部分，并合并為欲讀取文件。
9. 根據(jù)權(quán)利要求8所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀取方法，其特征是， 所述方法第2步中，所述查找結(jié)果還包括所查到的各個數(shù)據(jù)單元的副本的存儲位置； 所述方法第3步中，當(dāng)某一數(shù)據(jù)單元讀取失敗后，所述存取管理模塊改讀取其副本。
10.根據(jù)權(quán)利要求8所述的互聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的讀取方法，其特征是，所述存取管理 模塊在各個數(shù)據(jù)單元第一次寫入時計算初始校驗和，并保存一個包含各個數(shù)據(jù)單元的初始 校驗和的日志用于后續(xù)的驗證校驗證；所述存取管理模塊還在讀取各個數(shù)據(jù)單元時驗證校 驗和，如果檢測到校驗和驗證錯誤，就向存取適配模塊報告該已損壞的數(shù)據(jù)單元；存儲適配 模塊將這個數(shù)據(jù)單元的一個復(fù)本復(fù)制到另一個存儲位置，并刪除已損壞的數(shù)據(jù)單元。
【文檔編號】G06F17/30GK104216908SQ201310217587
【公開日】2014年12月17日 申請日期:2013年6月3日 優(yōu)先權(quán)日:2013年6月3日
【發(fā)明者】顧青, 倪慶洋, 謝超, 梁佐泉, 馮四風(fēng), 梁艷敏, 張士鵬, 田文晉, 賈偉峰 申請人:上海普華誠信信息技術(shù)有限公司