本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域,尤其涉及一種用于管理元信息的方法和裝置。
背景技術(shù):
基于現(xiàn)有技術(shù)的數(shù)據(jù)存儲(chǔ)系統(tǒng)一般將元信息持久地存儲(chǔ)到磁盤(pán)等介質(zhì)中。該方式存在以下缺陷:1)系統(tǒng)啟動(dòng)時(shí)需要較長(zhǎng)的時(shí)間來(lái)加載和恢復(fù)元信息。元信息文件的讀取以及信息反序列化到指定的內(nèi)存數(shù)據(jù)結(jié)構(gòu)會(huì)消耗相當(dāng)長(zhǎng)的時(shí)間,從而影響系統(tǒng)的啟動(dòng)速度;2)元信息以單獨(dú)的文件組織在磁盤(pán)上,單獨(dú)的文件容易因諸如磁盤(pán)壞塊等問(wèn)題而損壞,而一旦文件損壞,會(huì)導(dǎo)致整個(gè)節(jié)點(diǎn)上的大量數(shù)據(jù)的丟失。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是提供一種用于管理元信息的方法和裝置。
根據(jù)本發(fā)明的一個(gè)方面,提供了一種用于管理元信息的方法,其中,所述方法包括以下步驟:
-在目標(biāo)系統(tǒng)的各個(gè)數(shù)據(jù)塊中存儲(chǔ)或更新其對(duì)應(yīng)的元信息。
根據(jù)本發(fā)明的一個(gè)方面,提供了一種用于管理元信息的信息管理裝置,其中,所述信息管理裝置包括:
用于在目標(biāo)系統(tǒng)的各個(gè)數(shù)據(jù)塊中存儲(chǔ)或更新其對(duì)應(yīng)的元信息的裝置。
與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn):通過(guò)將元信息存儲(chǔ)于數(shù)據(jù)塊中,可避免由于文件損壞而導(dǎo)致大量數(shù)據(jù)的丟失,提升了數(shù)據(jù)存儲(chǔ)的安全性;并且,根據(jù)本發(fā)明的方案可創(chuàng)建多個(gè)線(xiàn)程以并行的方式加載元信息,從而提升了系統(tǒng)啟動(dòng)速度。
附圖說(shuō)明
通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
圖1示意出了根據(jù)本發(fā)明的一種用于管理元信息的方法流程圖;
圖2示意出了根據(jù)本發(fā)明的一種用于管理元信息的信息管理裝置的結(jié)構(gòu)示意圖。
附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
圖1示意出了根據(jù)本發(fā)明的一種用于管理元信息的方法流程圖。根據(jù)本發(fā)明的方法包括步驟S1。
其中,根據(jù)本發(fā)明的方法通過(guò)包含于計(jì)算機(jī)設(shè)備中的信息管理裝置來(lái)實(shí)現(xiàn)。所述計(jì)算機(jī)設(shè)備包括一種能夠按照事先設(shè)定或存儲(chǔ)的指令,自動(dòng)進(jìn)行數(shù)值計(jì)算和/或信息處理的電子設(shè)備,其硬件包括但不限于微處理器、專(zhuān)用集成電路(ASIC)、可編程門(mén)陣列(FPGA)、數(shù)字處理器(DSP)、嵌入式設(shè)備等。所述計(jì)算機(jī)設(shè)備包括網(wǎng)絡(luò)設(shè)備和/或用戶(hù)設(shè)備。其中,所述網(wǎng)絡(luò)設(shè)備包括但不限于單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器組成的服務(wù)器組或基于云計(jì)算(Cloud Computing)的由大量主機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成的云,其中,云計(jì)算是分布式計(jì)算的一種,由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)。所述用戶(hù)設(shè)備包括但不限于任何一種可與用戶(hù)通過(guò)鍵盤(pán)、鼠標(biāo)、遙控器、觸摸板、或聲控設(shè)備等方式進(jìn)行人機(jī)交互的電子產(chǎn)品,例如,個(gè)人計(jì)算機(jī)、平板電腦、智能手機(jī)、PDA、游戲機(jī)、或IPTV等。其中,所述用戶(hù)設(shè)備及網(wǎng)絡(luò)設(shè)備所處的網(wǎng)絡(luò)包括但不限于互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、VPN網(wǎng)絡(luò)等。
優(yōu)選地,根據(jù)本發(fā)明的信息管理裝置所在的設(shè)備包含于目標(biāo)系統(tǒng)中。其中,所述目標(biāo)系統(tǒng)包括各種數(shù)據(jù)存儲(chǔ)系統(tǒng)。
需要說(shuō)明的是,所述用戶(hù)設(shè)備、網(wǎng)絡(luò)設(shè)備以及網(wǎng)絡(luò)僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的用戶(hù)設(shè)備、網(wǎng)絡(luò)設(shè)備以及網(wǎng)絡(luò)如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以?xún)?nèi),并以引用方式包含于此。
參照?qǐng)D1,在步驟S1中,信息管理裝置在目標(biāo)系統(tǒng)的各個(gè)數(shù)據(jù)塊中存儲(chǔ)或更新其對(duì)應(yīng)的元信息。
優(yōu)選地,信息管理裝置存儲(chǔ)元信息的方式包括但不限于以下至少任一種:
1)將元信息存儲(chǔ)于底層文件系統(tǒng);優(yōu)選地,這類(lèi)元信息包括數(shù)據(jù)塊的長(zhǎng)度、所在設(shè)備的標(biāo)識(shí)信息等;
2)將元信息存儲(chǔ)于數(shù)據(jù)塊名稱(chēng)中;優(yōu)選地,這類(lèi)元信息包括數(shù)據(jù)塊的標(biāo)識(shí)信息、數(shù)據(jù)塊的壓縮方式信息等等;
3)將元信息存儲(chǔ)于數(shù)據(jù)塊的數(shù)據(jù)頭部;優(yōu)選地,這類(lèi)元信息包括不需要在系統(tǒng)啟動(dòng)時(shí)立即構(gòu)建的元信息,主要包括文件的壓縮塊索引信息等等。
根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例,信息管理裝置基于待存儲(chǔ)數(shù)據(jù)的業(yè)務(wù)類(lèi)型信息,將與該待存儲(chǔ)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)塊及其元信息存儲(chǔ)至特定的存儲(chǔ)介質(zhì)中,以分別對(duì)各個(gè)存儲(chǔ)介質(zhì)中的元信息進(jìn)行管理。
其中,所述存儲(chǔ)介質(zhì)包括各種類(lèi)型的媒體介質(zhì),例如,串行高級(jí)技術(shù)附件(Serial Advanced Technology Attachment,SATA)、固態(tài)硬盤(pán)(Solid State Disk,SSD)、內(nèi)存文件、歸檔盤(pán)和云盤(pán)等等。
優(yōu)選地,信息管理裝置分別對(duì)各個(gè)存儲(chǔ)介質(zhì)中的數(shù)據(jù)塊的元信息進(jìn)行管理。
更優(yōu)選地,對(duì)于同一存儲(chǔ)介質(zhì),信息管理裝置可分別對(duì)存儲(chǔ)于不同設(shè)備的數(shù)據(jù)塊的元信息進(jìn)行管理。
根據(jù)本優(yōu)選實(shí)施例的方法,可基于數(shù)據(jù)的業(yè)務(wù)類(lèi)型選擇不同的存儲(chǔ)介質(zhì)進(jìn)行存儲(chǔ),對(duì)不同存儲(chǔ)介質(zhì)中的元信息進(jìn)行管理,從而減小不同業(yè)務(wù)之間的競(jìng)爭(zhēng)關(guān)系,避免低優(yōu)先級(jí)業(yè)務(wù)對(duì)高優(yōu)先級(jí)業(yè)務(wù)帶來(lái)性能上的影響;并且可對(duì)不同設(shè)備的元信息進(jìn)行獨(dú)立的管理,從而減小跨設(shè)備之間的競(jìng)爭(zhēng)關(guān)系。
優(yōu)選地,根據(jù)本發(fā)明的方法包括步驟S2(圖未示)。
在步驟S2中,在需要加載系統(tǒng)的元信息時(shí),信息管理裝置創(chuàng)建多個(gè)線(xiàn)程來(lái)分別加載多個(gè)磁盤(pán)中的數(shù)據(jù)塊的元數(shù)據(jù)信息。
根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施方案,在目標(biāo)系統(tǒng)的啟動(dòng)階段,所述方法包括步驟S3(圖未示),所述步驟S2包括步驟S201(圖未示)。
在步驟S3中,信息管理裝置根據(jù)目標(biāo)系統(tǒng)的黑名單信息,確定需要過(guò)濾掉的磁盤(pán)信息,從而得到可使用的一個(gè)或多個(gè)磁盤(pán)信息。
優(yōu)選地,所述需要過(guò)濾掉的磁盤(pán)信息包括壞掉的磁盤(pán),或者因其它原因而無(wú)法被使用的存儲(chǔ)介質(zhì)。
在步驟S201中,信息管理裝置基于所述可使用的一個(gè)或多個(gè)磁盤(pán)信息,創(chuàng)建多個(gè)線(xiàn)程來(lái)分別加載各個(gè)磁盤(pán)中的數(shù)據(jù)塊的元數(shù)據(jù)信息。
優(yōu)選地,根據(jù)本優(yōu)選實(shí)施方案的方法包括步驟S4(圖未示)。
在步驟S4中,信息管理裝置加載每個(gè)磁盤(pán)的低壓縮率的數(shù)據(jù)塊信息,從而在目標(biāo)系統(tǒng)進(jìn)行透明壓縮時(shí)跳過(guò)各個(gè)低壓縮率的數(shù)據(jù)塊。
其中,所述低壓縮率的數(shù)據(jù)塊信息用于在透明壓縮時(shí)直接跳過(guò)。其中,透明壓縮是一種后臺(tái)進(jìn)行的定期把非壓縮類(lèi)型的數(shù)據(jù)壓縮為指定類(lèi)型數(shù)據(jù)的一種定時(shí)工作任務(wù),以一種后臺(tái)進(jìn)行的定期把非壓縮類(lèi)型的數(shù)據(jù)壓縮為指定類(lèi)型數(shù)據(jù)的一種定時(shí)工作任務(wù)。
優(yōu)選地,根據(jù)本優(yōu)選實(shí)施方案的方法包括步驟S5(圖未示)。
在步驟S5中,信息管理裝置根據(jù)已掃描的各個(gè)磁盤(pán)的使用信息和狀態(tài)信息,對(duì)各個(gè)磁盤(pán)加載的數(shù)據(jù)塊進(jìn)行去重處理。
根據(jù)本發(fā)明的方法,通過(guò)將元信息存儲(chǔ)于數(shù)據(jù)塊中,可避免由于文件損壞而導(dǎo)致大量數(shù)據(jù)的丟失,提升了數(shù)據(jù)存儲(chǔ)的安全性;并且,根據(jù)本發(fā)明的方案可創(chuàng)建多個(gè)線(xiàn)程以并行的方式加載元信息,從而提升了系統(tǒng)啟動(dòng)速度。
圖2示意出了根據(jù)本發(fā)明的一種用于管理元信息的信息管理裝置的結(jié)構(gòu)示意圖。所述信息管理裝置包括用于在目標(biāo)系統(tǒng)的各個(gè)數(shù)據(jù)塊中存儲(chǔ)或更新其對(duì)應(yīng)的元信息的裝置(以下簡(jiǎn)稱(chēng)“存儲(chǔ)裝置1”)。
存儲(chǔ)裝置1在目標(biāo)系統(tǒng)的各個(gè)數(shù)據(jù)塊中存儲(chǔ)或更新其對(duì)應(yīng)的元信息。
優(yōu)選地,存儲(chǔ)裝置1存儲(chǔ)元信息的方式包括但不限于以下至少任一種:
1)將元信息存儲(chǔ)于底層文件系統(tǒng);優(yōu)選地,這類(lèi)元信息包括數(shù)據(jù)塊的長(zhǎng)度、所在設(shè)備的標(biāo)識(shí)信息等;
2)將元信息存儲(chǔ)于數(shù)據(jù)塊名稱(chēng)中;優(yōu)選地,這類(lèi)元信息包括數(shù)據(jù)塊的標(biāo)識(shí)信息、數(shù)據(jù)塊的壓縮方式信息等等;
3)將元信息存儲(chǔ)于數(shù)據(jù)塊的數(shù)據(jù)頭部;優(yōu)選地,這類(lèi)元信息包括不需要在系統(tǒng)啟動(dòng)時(shí)立即構(gòu)建的元信息,主要包括文件的壓縮塊索引信息等等。
根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例,存儲(chǔ)裝置1基于待存儲(chǔ)數(shù)據(jù)的業(yè)務(wù)類(lèi)型信息,將與該待存儲(chǔ)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)塊及其元信息存儲(chǔ)至特定的存儲(chǔ)介質(zhì)中,以分別對(duì)各個(gè)存儲(chǔ)介質(zhì)中的元信息進(jìn)行管理。
其中,所述存儲(chǔ)介質(zhì)包括各種類(lèi)型的媒體介質(zhì),例如,串行高級(jí)技術(shù)附件(Serial Advanced Technology Attachment,SATA)、固態(tài)硬盤(pán)(Solid State Disk,SSD)、內(nèi)存文件、歸檔盤(pán)和云盤(pán)等等。
優(yōu)選地,信息管理裝置分別對(duì)各個(gè)存儲(chǔ)介質(zhì)中的數(shù)據(jù)塊的元信息進(jìn)行管理。
更優(yōu)選地,對(duì)于同一存儲(chǔ)介質(zhì),信息管理裝置可分別對(duì)存儲(chǔ)于不同設(shè)備的數(shù)據(jù)塊的元信息進(jìn)行管理。
根據(jù)本優(yōu)選實(shí)施例的方案,可基于數(shù)據(jù)的業(yè)務(wù)類(lèi)型選擇不同的存儲(chǔ)介質(zhì)進(jìn)行存儲(chǔ),對(duì)不同存儲(chǔ)介質(zhì)中的元信息進(jìn)行管理,從而減小不同業(yè)務(wù)之間的競(jìng)爭(zhēng)關(guān)系,避免低優(yōu)先級(jí)業(yè)務(wù)對(duì)高優(yōu)先級(jí)業(yè)務(wù)帶來(lái)性能上的影響;并且可對(duì)不同設(shè)備的元信息進(jìn)行獨(dú)立的管理,從而減小跨設(shè)備之間的競(jìng)爭(zhēng)關(guān)系。
優(yōu)選地,根據(jù)本發(fā)明的信息管理裝置包括用于在需要加載系統(tǒng)的元信息時(shí),創(chuàng)建多個(gè)線(xiàn)程來(lái)分別加載多個(gè)磁盤(pán)中的數(shù)據(jù)塊的元數(shù)據(jù)信息(圖未示,以下簡(jiǎn)稱(chēng)“加載裝置”)。
在需要加載系統(tǒng)的元信息時(shí),加載裝置創(chuàng)建多個(gè)線(xiàn)程來(lái)分別加載多個(gè)磁盤(pán)中的數(shù)據(jù)塊的元數(shù)據(jù)信息。
根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施方案,在目標(biāo)系統(tǒng)的啟動(dòng)階段,所述信息管理裝置包括用于根據(jù)目標(biāo)系統(tǒng)的黑名單信息,確定需要過(guò)濾掉的磁盤(pán)信息,從而得到可使用的一個(gè)或多個(gè)磁盤(pán)信息的裝置(圖未示,以下簡(jiǎn)稱(chēng)“確定裝置”)。
確定裝置根據(jù)目標(biāo)系統(tǒng)的黑名單信息,確定需要過(guò)濾掉的磁盤(pán)信息,從而得到可使用的一個(gè)或多個(gè)磁盤(pán)信息。
優(yōu)選地,所述需要過(guò)濾掉的磁盤(pán)信息包括壞掉的磁盤(pán),或者因其它原因而無(wú)法被使用的存儲(chǔ)介質(zhì)。
加載裝置基于所述可使用的一個(gè)或多個(gè)磁盤(pán)信息,創(chuàng)建多個(gè)線(xiàn)程來(lái)分別加載各個(gè)磁盤(pán)中的數(shù)據(jù)塊的元數(shù)據(jù)信息。
優(yōu)選地,根據(jù)本優(yōu)選實(shí)施方案的信息管理裝置包括用于加載每個(gè)磁盤(pán)的低壓縮率的數(shù)據(jù)塊信息,從而在目標(biāo)系統(tǒng)進(jìn)行透明壓縮時(shí)跳過(guò)各個(gè)低壓縮率的數(shù)據(jù)塊的裝置(圖未示,以下簡(jiǎn)稱(chēng)“數(shù)據(jù)加載裝置”)。
數(shù)據(jù)加載裝置加載每個(gè)磁盤(pán)的低壓縮率的數(shù)據(jù)塊信息,從而在目標(biāo)系統(tǒng)進(jìn)行透明壓縮時(shí)跳過(guò)各個(gè)低壓縮率的數(shù)據(jù)塊。
其中,所述低壓縮率的數(shù)據(jù)塊信息用于在透明壓縮時(shí)直接跳過(guò)。其中,透明壓縮是一種后臺(tái)進(jìn)行的定期把非壓縮類(lèi)型的數(shù)據(jù)壓縮為指定類(lèi)型數(shù)據(jù)的一種定時(shí)工作任務(wù),以一種后臺(tái)進(jìn)行的定期把非壓縮類(lèi)型的數(shù)據(jù)壓縮為指定類(lèi)型數(shù)據(jù)的一種定時(shí)工作任務(wù)。
優(yōu)選地,根據(jù)本優(yōu)選實(shí)施方案的信息管理裝置包括用于根據(jù)已掃描的各個(gè)磁盤(pán)的使用信息和狀態(tài)信息,對(duì)各個(gè)磁盤(pán)加載的數(shù)據(jù)塊進(jìn)行去重處理的裝置(圖未示,以下簡(jiǎn)稱(chēng)“去重處理裝置”)。
去重處理裝置根據(jù)已掃描的各個(gè)磁盤(pán)的使用信息和狀態(tài)信息,對(duì)各個(gè)磁盤(pán)加載的數(shù)據(jù)塊進(jìn)行去重處理。
根據(jù)本發(fā)明的方案,通過(guò)將元信息存儲(chǔ)于數(shù)據(jù)塊中,可避免由于文件損壞而導(dǎo)致大量數(shù)據(jù)的丟失,提升了數(shù)據(jù)存儲(chǔ)的安全性;并且,根據(jù)本發(fā)明的方案可創(chuàng)建多個(gè)線(xiàn)程以并行的方式加載元信息,從而提升了系統(tǒng)啟動(dòng)速度。
本發(fā)明的軟件程序可以通過(guò)處理器執(zhí)行以實(shí)現(xiàn)上文所述步驟或功能。同樣地,本發(fā)明的軟件程序(包括相關(guān)的數(shù)據(jù)結(jié)構(gòu))可以被存儲(chǔ)到計(jì)算機(jī)可讀記錄介質(zhì)中,例如,RAM存儲(chǔ)器,磁或光驅(qū)動(dòng)器或軟磁盤(pán)及類(lèi)似設(shè)備。另外,本發(fā)明的一些步驟或功能可采用硬件來(lái)實(shí)現(xiàn),例如,作為與處理器配合從而執(zhí)行各個(gè)功能或步驟的電路。
另外,本發(fā)明的一部分可被應(yīng)用為計(jì)算機(jī)程序產(chǎn)品,例如計(jì)算機(jī)程序指令,當(dāng)其被計(jì)算機(jī)執(zhí)行時(shí),通過(guò)該計(jì)算機(jī)的操作,可以調(diào)用或提供根據(jù)本發(fā)明的方法和/或技術(shù)方案。而調(diào)用本發(fā)明的方法的程序指令,可能被存儲(chǔ)在固定的或可移動(dòng)的記錄介質(zhì)中,和/或通過(guò)廣播或其他信號(hào)承載媒體中的數(shù)據(jù)流而被傳輸,和/或被存儲(chǔ)在根據(jù)所述程序指令運(yùn)行的計(jì)算機(jī)設(shè)備的工作存儲(chǔ)器中。在此,根據(jù)本發(fā)明的一個(gè)實(shí)施例包括一個(gè)裝置,該裝置包括用于存儲(chǔ)計(jì)算機(jī)程序指令的存儲(chǔ)器和用于執(zhí)行程序指令的處理器,其中,當(dāng)該計(jì)算機(jī)程序指令被該處理器執(zhí)行時(shí),觸發(fā)該裝置運(yùn)行基于前述根據(jù)本發(fā)明的多個(gè)實(shí)施例的方法和/或技術(shù)方案。
對(duì)于本領(lǐng)域技術(shù)人員而言,顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié),而且在不背離本發(fā)明的精神或基本特征的情況下,能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。因此,無(wú)論從哪一點(diǎn)來(lái)看,均應(yīng)將實(shí)施例看作是示范性的,而且是非限制性的,本發(fā)明的范圍由所附權(quán)利要求而不是上述說(shuō)明限定,因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。此外,顯然“包括”一詞不排除其他單元或步驟,單數(shù)不排除復(fù)數(shù)。系統(tǒng)權(quán)利要求中陳述的多個(gè)單元或裝置也可以由一個(gè)單元或裝置通過(guò)軟件或者硬件來(lái)實(shí)現(xiàn)。第一,第二等詞語(yǔ)用來(lái)表示名稱(chēng),而并不表示任何特定的順序。