本發(fā)明涉及計(jì)算機(jī)領(lǐng)域,特別是涉及基于特征分析的數(shù)據(jù)存取方法、存儲(chǔ)設(shè)備及存儲(chǔ)系統(tǒng)。
背景技術(shù):
隨著互聯(lián)網(wǎng)的普及,以及涉及各個(gè)領(lǐng)域的物聯(lián)網(wǎng)和大數(shù)據(jù)運(yùn)算等科技技術(shù)的快速發(fā)展,數(shù)據(jù)的產(chǎn)生也在呈爆發(fā)式的增長;從而使得現(xiàn)有技術(shù)中存儲(chǔ)系統(tǒng)的性能和效率越來越無法滿足當(dāng)前的需求。
具體來說,當(dāng)前的存儲(chǔ)系統(tǒng)需要處理數(shù)據(jù)的數(shù)據(jù)量越來越大,而且,對(duì)于數(shù)據(jù)處理的效率要求也越來高?,F(xiàn)有技術(shù)中,存儲(chǔ)系統(tǒng)可以通過在一個(gè)特定的存儲(chǔ)服務(wù)器中設(shè)有的控制裝置,來對(duì)整個(gè)存儲(chǔ)系統(tǒng)的存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)的存取和管理的控制。
發(fā)明人經(jīng)過研究發(fā)現(xiàn),現(xiàn)有技術(shù)中,至少還存在以下缺陷:
隨著數(shù)據(jù)量的不斷增長,存儲(chǔ)系統(tǒng)的性能和效率會(huì)不斷地下降。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問題是提高存儲(chǔ)系統(tǒng)的性能和效率,具體的:
本發(fā)明實(shí)施例提供了一種基于特征分析的數(shù)據(jù)存取方法,包括步驟:
s11、存儲(chǔ)設(shè)備在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;
s12、存儲(chǔ)設(shè)備根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與所述待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;
s13、當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與所述數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;所述條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;
s14、所述存儲(chǔ)設(shè)備根據(jù)條件文件特征值與所述預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件。
優(yōu)選的,在本發(fā)明實(shí)施例中,所述屬性特性包括:
所述存儲(chǔ)文件的獲取時(shí)間、地點(diǎn)和文件類型。
優(yōu)選的,在本發(fā)明實(shí)施例中,所述屬性特性集包括:
當(dāng)所述存儲(chǔ)文件為包括人物的圖像文件時(shí),所述屬性特性包括:人物的年齡、性別和容貌體態(tài)特點(diǎn);當(dāng)所述存儲(chǔ)文件為包括車輛的圖像文件時(shí),所述屬性特性包括:車輛的品牌和車牌號(hào)碼。
優(yōu)選的,在本發(fā)明實(shí)施例中,
所述根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表,包括:
根據(jù)所述待存儲(chǔ)文件的文件特征值生成對(duì)應(yīng)的哈希值;
建立所述待存儲(chǔ)文件的文件名與所述哈希值的位映射表。
在本發(fā)明實(shí)施例的另一面,還提供了一種基于特征分析的存儲(chǔ)設(shè)備,包括數(shù)據(jù)接口、處理器、功能單元和用于存儲(chǔ)文件的存儲(chǔ)介質(zhì);
所述數(shù)據(jù)接口包括用于與存儲(chǔ)服務(wù)器數(shù)據(jù)交互的主機(jī)接口;
所述功能單元包括:
特征解析模塊,用于在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;
關(guān)聯(lián)模塊,用于根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;
命令解析模塊,用于當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與所述數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;所述條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;
匹配模塊,用于根據(jù)條件文件特征值與所述預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件;
所述處理器用于為所述功能單元中的各模塊提供數(shù)據(jù)處理能力。
優(yōu)選的,在本發(fā)明實(shí)施例中,所述存儲(chǔ)介質(zhì)包括閃存類存儲(chǔ)單元。
優(yōu)選的,在本發(fā)明實(shí)施例中,所述數(shù)據(jù)接口還包括:
同級(jí)接口,用于實(shí)現(xiàn)與存儲(chǔ)系統(tǒng)中相鄰存儲(chǔ)設(shè)備的存儲(chǔ)介質(zhì)的數(shù)據(jù)通信連接。
優(yōu)選的,在本發(fā)明實(shí)施例中,所述主機(jī)接口包括pcie接口、sas接口、sata接口、rapid-io接口和nvme接口中的一種或任意組合;
所述同級(jí)接口包括ethernet接口、fc接口、iscsi接口和san接口中的一種或任意組合。
在本發(fā)明實(shí)施例的另一面,還提供了一種基于特征分析的存儲(chǔ)系統(tǒng),包括存儲(chǔ)服務(wù)器和存儲(chǔ)設(shè)備;
所述存儲(chǔ)設(shè)備包括數(shù)據(jù)接口、處理器、功能單元和用于存儲(chǔ)文件的存儲(chǔ)介質(zhì);
所述數(shù)據(jù)接口包括用于與存儲(chǔ)服務(wù)器數(shù)據(jù)交互的主機(jī)接口;
所述功能單元包括:
特征解析模塊,用于在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;
關(guān)聯(lián)模塊,用于根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;
命令解析模塊,用于當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與所述數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;所述條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;
匹配模塊,用于根據(jù)條件文件特征值與所述預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件;
所述處理器用于為所述功能單元中的各模塊提供數(shù)據(jù)處理能力。
優(yōu)選的,在本發(fā)明實(shí)施例中,所述存儲(chǔ)設(shè)備包括有兩個(gè)以上。
本發(fā)明實(shí)施中的存儲(chǔ)系統(tǒng)為分布處理式結(jié)構(gòu),即,存儲(chǔ)服務(wù)器端和存儲(chǔ)設(shè)備端均具有數(shù)據(jù)處理的功能;在存儲(chǔ)文件時(shí),首先將待存儲(chǔ)的文件預(yù)先進(jìn)行特征的提取,獲取對(duì)應(yīng)的文件特征值;接著,將文件的文件名與文件特征值進(jìn)行關(guān)聯(lián),并將該關(guān)聯(lián)關(guān)系記錄至預(yù)設(shè)的映射表,然后再將文件進(jìn)行存儲(chǔ);這樣,當(dāng)進(jìn)行文件的調(diào)用和查找時(shí),存儲(chǔ)設(shè)備根據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)管理指令,可以獲取或生成相應(yīng)的條件文件特征值,接著,可以獲得可以以條件文件特征值為匹配參數(shù),通過預(yù)設(shè)的映射表在存儲(chǔ)介質(zhì)中檢索對(duì)應(yīng)目標(biāo)文件的文件名或是目標(biāo)文件在存儲(chǔ)設(shè)備的物理地址,然后再將目標(biāo)文件上傳至存儲(chǔ)服務(wù)器。
現(xiàn)有技術(shù)中,與本申請(qǐng)較為接近的基于數(shù)據(jù)內(nèi)容的存儲(chǔ)技術(shù)(contentaddressablestorage,cas)中,一般的做法是,計(jì)算生成每個(gè)數(shù)據(jù)存取單元的內(nèi)容(如一個(gè)文件或是一個(gè)數(shù)據(jù)塊)的指紋,并依據(jù)該指紋來進(jìn)行文件或數(shù)據(jù)的匹配與查找。上述現(xiàn)有技術(shù)中,雖然能夠有效地在海量數(shù)據(jù)中查找與文件或數(shù)據(jù)塊內(nèi)容完全匹配的數(shù)據(jù),但是很難實(shí)現(xiàn)對(duì)于含有某一特性的所有文件或數(shù)據(jù)進(jìn)行分類的查找和檢索。而通過本發(fā)明實(shí)施例,可以檢索出存儲(chǔ)設(shè)備中所有符合條件文件特征值的文件,從而提高了數(shù)據(jù)的檢索效率。這樣,通過本發(fā)明實(shí)施例,通過對(duì)存儲(chǔ)文件的文件特征值提取和匹配過程,可以提高文件的檢索查找效率,方便和精確的獲取所需的文件,從而提高文件檢索效率;
另一方面,由于本發(fā)明實(shí)施例可以在存儲(chǔ)設(shè)備中進(jìn)行文件管理的初步處理,可以進(jìn)行文件的初步篩選,可以有效地減少從存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)器的數(shù)據(jù)傳輸量,所以還可以有效地減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,提高了有效文件的傳輸效率,進(jìn)而也從另一方面提高了存儲(chǔ)系統(tǒng)的效能。
附圖說明
為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請(qǐng)中所述數(shù)據(jù)存取方法的步驟示意圖;
圖2為本申請(qǐng)中所述存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖;
圖3為本申請(qǐng)中所述存儲(chǔ)設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
發(fā)明人經(jīng)過研究發(fā)現(xiàn),現(xiàn)有技術(shù)中,隨著數(shù)據(jù)量的不斷增長,存儲(chǔ)系統(tǒng)的性能和效率會(huì)不斷地下降,究其原因,是因?yàn)閿?shù)據(jù)量的不斷增大也會(huì)相應(yīng)的增加存儲(chǔ)系統(tǒng)中存儲(chǔ)服務(wù)器的處理負(fù)荷;此外,數(shù)據(jù)量的不斷增大也會(huì)相應(yīng)的增加存儲(chǔ)單元的數(shù)量和整個(gè)存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)的數(shù)據(jù)傳輸負(fù)荷,從而也會(huì)降低整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理的執(zhí)行效能;
基于以上研究,本發(fā)明實(shí)施例提供了一種基于特征分析的數(shù)據(jù)存取方法,參考圖1至圖3,包括步驟:
s11、存儲(chǔ)設(shè)備在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;
在本發(fā)明實(shí)施例中,其核心思想是將整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理的處理過程分布式設(shè)計(jì)為由服務(wù)器端和終端兩部分來實(shí)現(xiàn),具體來說,一部分處理過程可以由存儲(chǔ)服務(wù)器02(作為服務(wù)器端)來完成,另一部分可以由存儲(chǔ)設(shè)備01(作為終端)來完成;比如,可以由控制存儲(chǔ)設(shè)備01完成的本地?cái)?shù)據(jù)管理可以包括對(duì)于數(shù)據(jù)的查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換等;也就是說,上述這些數(shù)據(jù)管理的運(yùn)算和處理不是由存儲(chǔ)服務(wù)器02完成的。
需要說明的是,本發(fā)明實(shí)施例中所提及的本地?cái)?shù)據(jù)管理的幾種數(shù)據(jù)處理方式(查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換)的只是存儲(chǔ)設(shè)備01進(jìn)行數(shù)據(jù)管理處理所涉及的具體應(yīng)用的典型舉例,而非限定,本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際的需要進(jìn)行相應(yīng)的處理功能的設(shè)計(jì),這些設(shè)計(jì)并不超出本發(fā)明實(shí)施例的保護(hù)范圍。
本發(fā)明實(shí)施例中,通過存儲(chǔ)系統(tǒng)可以實(shí)現(xiàn)基于不同應(yīng)用的文件(數(shù)據(jù))的存儲(chǔ)和讀取等操作;比如,可以是存儲(chǔ)由攝像頭所獲取的視頻幀文件。
以存儲(chǔ)設(shè)備為執(zhí)行主體,文件存取的過程分為文件存儲(chǔ)過程和文件的檢索讀取過程;
根據(jù)存儲(chǔ)服務(wù)器的指令,存儲(chǔ)設(shè)備可以接收待存儲(chǔ)文件,在將待存儲(chǔ)文件進(jìn)行存儲(chǔ)之前,首先要對(duì)待存儲(chǔ)文件進(jìn)行文件特征值分析,從而獲取文件的文件特征值;本發(fā)明實(shí)施例中,文件特征值是指預(yù)定義的用于表征存儲(chǔ)文件的屬性特征的屬性特性集,在實(shí)際應(yīng)用中,文件屬性特征可以是多方面的,根據(jù)不同的應(yīng)用來自定義的,當(dāng)所述存儲(chǔ)文件為包括人物的圖像文件時(shí),所述屬性特性包括:人物的年齡、性別和容貌體態(tài)特點(diǎn);當(dāng)所述存儲(chǔ)文件為包括車輛的圖像文件時(shí),所述屬性特性包括:車輛的品牌和車牌號(hào)碼;比如,針對(duì)攝像頭所獲取的視頻幀文件,可以將視頻幀的圖片中的內(nèi)容特性定義為文件特征值,具體來說可以是,可以將車輛的品牌和車牌號(hào)分別預(yù)定義為文件特征值,同時(shí),還可以分別將人物的性別、年齡或容貌體態(tài)特點(diǎn)等也當(dāng)預(yù)定義為文件特征值,將這些屬性特征構(gòu)成屬性特征集作為文件特征值;這樣,在分析待存儲(chǔ)文件的文件特性過程中,當(dāng)從圖片中包括車輛時(shí),可以在文件特征值中記錄車輛的品牌和車牌號(hào)碼,當(dāng)圖片中出現(xiàn)人物時(shí),在文件特征值中記載任務(wù)的性別年齡等特征。
此外,在實(shí)際應(yīng)用中,還可以將待存儲(chǔ)文件的其他屬性(如文件的文件類型、生成時(shí)間和地點(diǎn)等屬性)也生成相應(yīng)的文件特征值,從而可以更加全面的通過文件屬性來記載。
s12、存儲(chǔ)設(shè)備根據(jù)待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;
在獲取了待存儲(chǔ)文件的文件特性后,可以生成文件特征值記錄,文件特征值記錄可以用來記載待存儲(chǔ)文件的屬性,每個(gè)待存儲(chǔ)文件對(duì)應(yīng)有文件特征值記錄;通過將文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表,可以為后續(xù)的文件的檢索和讀取等數(shù)據(jù)管理操作提供依據(jù)。
舉例來說,文件a(文件名為a)作為待存儲(chǔ)文件,進(jìn)行了文件特征值分析后生成了對(duì)應(yīng)的文件特征值記錄為“xyz”,其中,屬性特征x的值用于標(biāo)識(shí)車輛的品牌;此時(shí)映射表中所對(duì)應(yīng)的記錄中的內(nèi)容可以包括“xyza”。
優(yōu)選的,在本發(fā)明實(shí)施例中,還可以采用哈希算法來提高文件(數(shù)據(jù))的存儲(chǔ)效率和后期的文件(數(shù)據(jù))檢索效率,具體步驟可以如下:
根據(jù)所述待存儲(chǔ)文件的文件特征值生成對(duì)應(yīng)的哈希值;
建立所述待存儲(chǔ)文件的文件名(或是存儲(chǔ)文件在存儲(chǔ)設(shè)備的物理地址)與所述哈希值的位映射表。
s13、當(dāng)存儲(chǔ)設(shè)備接收到存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;
本步驟記載的是文件的訪問讀取過程;在實(shí)際應(yīng)用中,典型的數(shù)據(jù)管理命令可以是檢索命令,用于查詢特定的文件,比如,檢索命令可以用于從視頻幀數(shù)據(jù)中查詢包括品牌為“福特”的車輛視頻文件;通常,檢索命令中一般會(huì)包含“車輛品牌為福特”這一查詢條件。
此時(shí),根據(jù)檢索命令,可以獲取“車輛品牌”這一條件文件特征值,即,本次檢索的查詢條件是“車輛品牌”的取值應(yīng)當(dāng)為“福特”,即,符合上述查詢條件的存儲(chǔ)文件即為目標(biāo)文件。
s14、存儲(chǔ)設(shè)備根據(jù)條件文件特征值與預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件的文件名或是目標(biāo)文件在存儲(chǔ)設(shè)備的物理地址。
根據(jù)查詢條件進(jìn)行文件名的檢索,可以找到相應(yīng)的目標(biāo)文件的文件名;比如,可以方便的查詢到包括有“福特”車的視頻文件。當(dāng)然,在本發(fā)明實(shí)施例中,查詢條件的設(shè)置是可以根據(jù)需要來設(shè)定的,不同的查詢條件可以映射為不同的文件特征值,從而可以作為文件檢索是的匹配條件。
由上可知,在本發(fā)明實(shí)施例中存儲(chǔ)系統(tǒng)為分布處理式結(jié)構(gòu),即,存儲(chǔ)服務(wù)器端和存儲(chǔ)設(shè)備端均具有數(shù)據(jù)處理的功能;在存儲(chǔ)文件時(shí),首先將待存儲(chǔ)的文件預(yù)先進(jìn)行特征的提取,并將文件的文件名與文件特征值進(jìn)行關(guān)聯(lián),然后再將文件進(jìn)行存儲(chǔ);這樣,當(dāng)進(jìn)行文件的調(diào)用和查找時(shí),存儲(chǔ)設(shè)備根據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)管理指令,可以獲取或生成相應(yīng)的文件特征值,接著,可以獲得可以以文件特征值為匹配參數(shù),在存儲(chǔ)介質(zhì)中獲取對(duì)應(yīng)的目標(biāo)文件,然后再將目標(biāo)文件上傳至存儲(chǔ)服務(wù)器。
通過本發(fā)明實(shí)施例,對(duì)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)處理過程進(jìn)行了劃分,賦予了存儲(chǔ)設(shè)備端進(jìn)行文件特征值提取和文件特征值匹配等數(shù)據(jù)功能,通過對(duì)存儲(chǔ)文件的文件特征值提取和匹配過程,首先可以提高文件的檢索查找效率,方便和精確的獲取所需的文件,從而提高文件檢索效率;另一方面,由于本發(fā)明實(shí)施例可以在存儲(chǔ)設(shè)備中進(jìn)行文件管理的初步處理,可以進(jìn)行文件的初步篩選,可以有效地減少從存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)器的數(shù)據(jù)傳輸量,所以還可以有效地減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,提高了有效文件的傳輸效率,進(jìn)而也從另一方面提高了存儲(chǔ)系統(tǒng)的效能。
在本發(fā)明實(shí)施實(shí)施例的另一面,還提供了一種基于特征分析的存儲(chǔ)設(shè)備,參考圖2和圖3,包括數(shù)據(jù)接口11、處理器12、功能單元13和用于存儲(chǔ)文件的存儲(chǔ)介質(zhì)14;
數(shù)據(jù)接口11包括用于與存儲(chǔ)服務(wù)器02數(shù)據(jù)交互的主機(jī)接口;
功能單元13包括:特征解析模塊(圖中未示出),用于在將獲取自存儲(chǔ)服務(wù)器02的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)待存儲(chǔ)文件進(jìn)行文件特征值分析,獲取待存儲(chǔ)文件的文件特征值;文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;屬性特性集包括用于表征存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;關(guān)聯(lián)模塊(圖中未示出),用于建立并存儲(chǔ)待存儲(chǔ)文件的文件特征值與文件名的對(duì)應(yīng)關(guān)系;命令解析模塊(圖中未示出),用于當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器02的查詢命令時(shí),生成與所述查詢命令對(duì)應(yīng)的文件特征值;匹配模塊(圖中未示出),用于根據(jù)存儲(chǔ)文件的文件特征值與文件名的對(duì)應(yīng)關(guān)系,進(jìn)行所述文件特征值的匹配,獲取目標(biāo)文件的文件名,并獲取所述目標(biāo)文件;
處理器12用于為功能單元13中的各模塊提供數(shù)據(jù)處理能力。
在本發(fā)明實(shí)施例中,其核心思想是將整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理的處理過程分布式設(shè)計(jì)為由服務(wù)器端和終端兩部分來實(shí)現(xiàn),具體來說,一部分處理過程可以由存儲(chǔ)服務(wù)器02(作為服務(wù)器端)來完成,另一部分可以由存儲(chǔ)設(shè)備01(作為終端)來完成;比如,可以由控制存儲(chǔ)設(shè)備01完成的本地?cái)?shù)據(jù)管理可以包括對(duì)于文件的查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換等;也就是說,上述這些數(shù)據(jù)管理的運(yùn)算和處理不是由存儲(chǔ)服務(wù)器02完成的。
需要說明的是,本發(fā)明實(shí)施例中所提及的本地?cái)?shù)據(jù)管理的幾種數(shù)據(jù)處理方式(查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換)的只是控存儲(chǔ)設(shè)備01進(jìn)行數(shù)據(jù)管理處理所涉及的具體應(yīng)用的典型舉例,而非限定,本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際的需要進(jìn)行相應(yīng)的處理功能的設(shè)計(jì),這些設(shè)計(jì)并不超出本發(fā)明實(shí)施例的保護(hù)范圍。
本發(fā)明實(shí)施例中的存儲(chǔ)設(shè)備作為存儲(chǔ)系統(tǒng)中的一部分,通過與存儲(chǔ)服務(wù)器的網(wǎng)絡(luò)通訊來協(xié)同實(shí)現(xiàn)文件的存?。辉趯?shí)際應(yīng)用中,一個(gè)存儲(chǔ)服務(wù)器可以同時(shí)與多個(gè)存儲(chǔ)設(shè)備網(wǎng)絡(luò)連接構(gòu)成一個(gè)存儲(chǔ)系統(tǒng)。
本發(fā)明實(shí)施例中的存儲(chǔ)設(shè)備承擔(dān)了擔(dān)部分運(yùn)算處理功能,不但可以分擔(dān)存儲(chǔ)服務(wù)器的運(yùn)算負(fù)荷,還可以有效的減少存儲(chǔ)系統(tǒng)中的網(wǎng)絡(luò)負(fù)載,為此,本發(fā)明實(shí)施例中的存儲(chǔ)設(shè)備從硬件構(gòu)成上來說,不但需要用于與存儲(chǔ)服務(wù)器02通訊的數(shù)據(jù)接口11和數(shù)據(jù)文件的存儲(chǔ)實(shí)體(即,存儲(chǔ)介質(zhì)14),還需要包括處理器12和功能單元13,其中,處理器12用于實(shí)現(xiàn)數(shù)據(jù)的運(yùn)算處理,功能單元13則可以是用于實(shí)現(xiàn)本發(fā)明實(shí)施例中的數(shù)據(jù)文件管理功能的軟件,當(dāng)然功能軟件也可由硬件構(gòu)成。只要能夠?qū)崿F(xiàn)存儲(chǔ)設(shè)備01的數(shù)據(jù)文件管理功能即可。
在本發(fā)明實(shí)施例中,存儲(chǔ)介質(zhì)14具體可以是閃存類存儲(chǔ)單元;此外,為了進(jìn)一步減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,存儲(chǔ)設(shè)備還可以包括有同級(jí)接口,來直接與存儲(chǔ)系統(tǒng)中相鄰的存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)通信。
在實(shí)際應(yīng)用中,主機(jī)接口具體可以包括pcie接口、sas接口、sata接口、rapid-io接口和nvme接口中的一種或任意組合;級(jí)接口具體可以包括ethernet接口、fc接口、iscsi接口和san接口中的一種或任意組合。
功能單元13的具體可以描述如下:
本發(fā)明實(shí)施例中,通過存儲(chǔ)系統(tǒng)可以實(shí)現(xiàn)基于不同應(yīng)用的文件(數(shù)據(jù))的存儲(chǔ)和讀取等操作;比如,可以是存儲(chǔ)由攝像頭所獲取的視頻幀文件。
存儲(chǔ)設(shè)備01作為執(zhí)行主體時(shí),文件存取的過程分為文件存儲(chǔ)過程和文件的檢索讀取過程;
根據(jù)存儲(chǔ)服務(wù)器02的指令,存儲(chǔ)設(shè)備01可以接收待存儲(chǔ)文件,在將待存儲(chǔ)文件進(jìn)行存儲(chǔ)之前,特征解析模塊首先要對(duì)待存儲(chǔ)文件進(jìn)行文件特征值分析,從而獲取文件的文件特征值;本發(fā)明實(shí)施例中,文件特征值是指預(yù)定義的用于表征存儲(chǔ)文件的屬性特征的屬性特性集,在實(shí)際應(yīng)用中,文件屬性特征可以是多方面的,根據(jù)不同的應(yīng)用來自定義的,當(dāng)所述存儲(chǔ)文件為包括人物的圖像文件時(shí),所述屬性特性包括:人物的年齡、性別和容貌體態(tài)特點(diǎn);當(dāng)所述存儲(chǔ)文件為包括車輛的圖像文件時(shí),所述屬性特性包括:車輛的品牌和車牌號(hào)碼;比如,針對(duì)攝像頭所獲取的視頻幀文件,可以將視頻幀的圖片中的內(nèi)容特性定義為文件特征值,具體來說可以是,可以將車輛的品牌和車牌號(hào)分別預(yù)定義為文件特征值,同時(shí),還可以分別將人物的性別、年齡或容貌體態(tài)特點(diǎn)等也當(dāng)預(yù)定義為文件特征值,將這些屬性特征構(gòu)成屬性特征集作為文件特征值;這樣,在分析待存儲(chǔ)文件的文件特性過程中,當(dāng)從圖片中包括車輛時(shí),可以在文件特征值中記錄車輛的品牌和車牌號(hào)碼,當(dāng)圖片中出現(xiàn)人物時(shí),在文件特征值中記載任務(wù)的性別年齡等特征。
此外,在實(shí)際應(yīng)用中,還可以將待存儲(chǔ)文件的其他特性(如文件的文件類型、生成時(shí)間和地點(diǎn)等屬性)也為其生成對(duì)應(yīng)的文件特征值,從而可以更加全面的通過文件屬性來記載。
在獲取了待存儲(chǔ)文件的文件特性后,關(guān)聯(lián)模塊可以生成文件特征值記錄,文件特征值記錄可以用來記載待存儲(chǔ)文件的屬性,每個(gè)待存儲(chǔ)文件對(duì)應(yīng)有文件特征值記錄;通過將文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表,可以為后續(xù)的文件的檢索和讀取等數(shù)據(jù)管理操作提供依據(jù)。
舉例來說,文件a(文件名為a)作為待存儲(chǔ)文件,進(jìn)行了文件特征值分析后生成了對(duì)應(yīng)的文件特征值記錄為“xyz”,其中,屬性特征x的值用于標(biāo)識(shí)車輛的品牌;此時(shí)映射表中所對(duì)應(yīng)的記錄中的內(nèi)容可以包括“xyza”。
優(yōu)選的,在本發(fā)明實(shí)施例中,還可以采用哈希算法來提高文件(數(shù)據(jù))的存儲(chǔ)效率和后期的文件(數(shù)據(jù))檢索效率,具體步驟可以如下:
根據(jù)所述待存儲(chǔ)文件的文件特征值生成對(duì)應(yīng)的哈希值;
建立所述待存儲(chǔ)文件的文件名與所述哈希值的位映射表。
在實(shí)際應(yīng)用中,典型的數(shù)據(jù)管理命令可以是檢索命令,用于查詢特定的文件,比如,檢索命令可以用于從視頻幀數(shù)據(jù)中查詢包括品牌為“福特”的車輛視頻文件;通常,檢索命令中一般會(huì)包含“車輛品牌為福特”這一查詢條件。
此時(shí),命令解析模塊根據(jù)檢索命令,可以獲取“車輛品牌”這一條件文件特征值,即,本次檢索的查詢條件是“車輛品牌”的取值應(yīng)當(dāng)為“福特”,即,符合上述查詢條件的存儲(chǔ)文件即為目標(biāo)文件。
匹配模塊根據(jù)查詢條件在預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,可以找到相應(yīng)的目標(biāo)文件的文件名或目標(biāo)文件在存儲(chǔ)設(shè)備的物理地址;比如,可以方便的查詢到包括有“福特”車的視頻文件。當(dāng)然,在本發(fā)明實(shí)施例中,查詢條件的設(shè)置是可以根據(jù)需要來設(shè)定的,不同的查詢條件可以映射為不同的文件特征值,從而可以作為文件檢索是的匹配條件。
由上可知,在本發(fā)明實(shí)施例中存儲(chǔ)系統(tǒng)為分布處理式結(jié)構(gòu),即,存儲(chǔ)服務(wù)器端和存儲(chǔ)設(shè)備端均具有數(shù)據(jù)處理的功能;在存儲(chǔ)文件時(shí),首先將待存儲(chǔ)的文件預(yù)先進(jìn)行特征的提取,并將文件的文件名與文件特征值進(jìn)行關(guān)聯(lián),然后再將文件進(jìn)行存儲(chǔ);這樣,當(dāng)進(jìn)行文件的調(diào)用和查找時(shí),存儲(chǔ)設(shè)備根據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)管理指令,可以獲取或生成相應(yīng)的文件特征值,接著,可以獲得可以以文件特征值為匹配參數(shù),在存儲(chǔ)介質(zhì)中獲取對(duì)應(yīng)的目標(biāo)文件,然后再將目標(biāo)文件上傳至存儲(chǔ)服務(wù)器。
通過本發(fā)明實(shí)施例,對(duì)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)處理過程進(jìn)行了劃分,賦予了存儲(chǔ)設(shè)備端進(jìn)行文件特征值提取和文件特征值匹配等數(shù)據(jù)功能,通過對(duì)存儲(chǔ)文件的文件特征值提取和匹配過程,首先可以提高文件的檢索查找效率,方便和精確的獲取所需的文件,從而提高文件檢索效率;另一方面,由于本發(fā)明實(shí)施例可以在存儲(chǔ)設(shè)備中進(jìn)行文件管理的初步處理,可以進(jìn)行文件的初步篩選,可以有效地減少從存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)器的數(shù)據(jù)傳輸量,所以還可以有效地減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,提高了有效文件的傳輸效率,進(jìn)而也從另一方面提高了存儲(chǔ)系統(tǒng)的效能。
在本發(fā)明實(shí)施例的另一面,還提供了一種存儲(chǔ)系統(tǒng),參考圖2和圖3,存儲(chǔ)系統(tǒng)包括存儲(chǔ)設(shè)備01和存儲(chǔ)服務(wù)器02;
本發(fā)明實(shí)施例中的技術(shù)方案、工作原理和能達(dá)到的有益效果在上述存儲(chǔ)設(shè)備的實(shí)施例中已經(jīng)進(jìn)行了記載和描述,在此就不再贅述。
在本發(fā)明實(shí)施例所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom,read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、reram、mram、pcm、nandflash,norflash,memristor、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
以上所述,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。