一種基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種云計(jì)算與大數(shù)據(jù)領(lǐng)域，尤其涉及一種基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)及方法。
【背景技術(shù)】
[0002]HDFS對(duì)小文件的讀寫性能較差，當(dāng)前的普通圖片幾乎都是小文件，如果需要在HDFS中存儲(chǔ)海量圖片，需要把小文件合并成大文件，建立索引，再存入HDFS。在使用圖像檢索服務(wù)時(shí)，圖像檢索得到的結(jié)果經(jīng)常是一個(gè)N個(gè)圖片集合，在最壞情況下，要得到N個(gè)圖片，若每個(gè)圖片在不同的大文件中，則需要去打開并讀取N個(gè)大文件。N個(gè)圖片的集合，由于是通過特征相似性匹配得出的，其實(shí)是特征相似的。特征相似的圖片，在以后的檢索中，很可能會(huì)再次一起出現(xiàn)。但是現(xiàn)在沒有對(duì)這樣的情況進(jìn)行優(yōu)化，存儲(chǔ)于HDFS中圖片有可能有重復(fù)的，或者特征相似度最接近的圖片被存儲(chǔ)在不同大文件中，當(dāng)檢索后需要提取這些相似圖片時(shí)，需要打開多個(gè)大文件進(jìn)行讀取，降低了效率。

【發(fā)明內(nèi)容】

[0003]為了解決上述問題，本發(fā)明提供一種能夠提高圖片檢索效率和準(zhǔn)確度的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)及方法。
[0004]本發(fā)明的一種基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，包括接收需要存儲(chǔ)和需要檢索的圖片的圖片接收模塊、對(duì)所述圖片接收模塊接收到的圖片根據(jù)圖像特征提取算法提取圖片特征的特征分析模塊、將所述特征分析模塊提取的需要存儲(chǔ)的圖片的圖片特征進(jìn)行存儲(chǔ)的特征庫、將所述圖片接收模塊接收到需要存儲(chǔ)的圖片存入緩存并根據(jù)所述特征分析模塊提取到需要存儲(chǔ)的圖片的圖片特征相似性對(duì)圖片進(jìn)行分類合并的圖片緩存服務(wù)器、用于存儲(chǔ)由所述圖片緩存模塊合并的圖片組成的大文件的HDFS、將所述特征分析模塊提取的需要檢索的圖片的圖片特征與所述特征庫中的特征進(jìn)行匹配的特征匹配模塊、對(duì)檢索圖片產(chǎn)生的檢索結(jié)果進(jìn)行分布式緩存以備下一次直接使用的緩存管理模塊、輸出圖片檢索結(jié)果的圖片輸出模塊、根據(jù)圖片檢索結(jié)果進(jìn)行相似圖片合并處理并再次存入所述HDFS以優(yōu)化圖片存儲(chǔ)提高同一大文件中的圖片相似度的反饋處理模塊、對(duì)所述HDFS中的大文件進(jìn)行離線分拆去重和整合處理以得到新的大文件和索引的離線文件優(yōu)化模塊、對(duì)所述HDFS中存儲(chǔ)的圖片進(jìn)行圖像分析和處理以優(yōu)化圖像存儲(chǔ)的圖像優(yōu)化模塊。
[0005]本發(fā)明的一種基于分布式存儲(chǔ)的圖像服務(wù)方法，通過基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)來實(shí)現(xiàn)圖片存儲(chǔ)管理、圖片檢索管理、緩存管理以及優(yōu)化處理。
[0006]其中，所述圖片存儲(chǔ)管理包括如下步驟:
[0007]sll、通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖片接收模塊接收需要存儲(chǔ)的圖片，進(jìn)入步驟s2;
[0008]sl2、通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的特征分析模塊提取所述步驟Si中接收到的圖片的特征，同時(shí)將接收到的圖片存入所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖片緩存服務(wù)器，同時(shí)進(jìn)入步驟S3;
[0009]sl3、將所述步驟s2中提取到的圖片特征存入所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的特征庫，進(jìn)入步驟s4;
[0010]sl4、將所述步驟s2中提取到的圖片特征發(fā)送到圖片緩存服務(wù)器，由所述圖片緩存服務(wù)器根據(jù)圖片特征對(duì)相似圖片進(jìn)行合并處理，將由合并處理后的圖片組成的大文件存入HDFS中，進(jìn)入步驟s5;
[0011]sl5、通過所述圖片緩存服務(wù)器建立圖片在大文件中的索引以及圖片特征與圖片存儲(chǔ)地址的映射關(guān)系。
[0012]所述圖片檢索管理包括如下步驟:
[0013]s21、輸入需要檢索的圖片，通過所述圖片接收模塊接收圖片，進(jìn)入步驟s22;
[0014]s22、通過所述特征分析模塊根據(jù)圖像特征提取算法對(duì)所述步驟s21中接收到的待檢索圖片進(jìn)行特征分析，提取待檢索圖片的圖片特征，進(jìn)入步驟s23;
[0015]s23、將所述步驟s22中分分析出的待檢索圖片的圖片特征通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的特征分析模塊與所述特征庫中的特征進(jìn)行匹配，在特征庫中根據(jù)待檢索圖片的圖片特征匹配相似的特征，進(jìn)入步驟s24;
[0016]s24、根據(jù)所述步驟s23中匹配的特征找到圖片特征與圖片地址的映射關(guān)系，依據(jù)該映射關(guān)系查到HDFS中相關(guān)的所有大文件，進(jìn)入步驟s25;
[0017]s25、根據(jù)圖片特征對(duì)應(yīng)的圖片在大文件中的索引，得到與所述步驟s23中匹配的特征匹配的具體圖片，進(jìn)入步驟s26;
[0018]s26、判斷所述步驟s25中得到的具體圖片是否在緩存中，若是，進(jìn)入步驟s27;若不是，進(jìn)入步驟s28 ；
[0019]s27、直徑從緩存中提取圖片通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖片輸出模塊作為檢索結(jié)果展示;進(jìn)入步驟s210;
[0020]s28、從HDFS中提取所述步驟s25中得到的圖片并通過所述圖片輸出模塊作為檢索結(jié)果展示，進(jìn)入步驟s29;
[0021]s29、根據(jù)展示結(jié)果通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的緩存管理模塊更新緩存，進(jìn)入步驟s210;
[0022]s210、圖片檢索結(jié)束。
[0023]所述緩存管理包括如下步驟:
[0024]s31、獲取圖片檢索結(jié)果，進(jìn)入步驟s32;
[0025]s32、對(duì)圖片檢索結(jié)果按照特征相似度進(jìn)行合并處理，進(jìn)入步驟s33;
[0026]s33、經(jīng)過合并處理后的圖片組成的文件存入HDFS中，進(jìn)入步驟s34;
[0027]s34、根據(jù)所述步驟s33中更新HDFS中圖片存儲(chǔ)帶來的改變，更新圖片在大文件中的索引以及圖片特征與圖片存儲(chǔ)地址的映射關(guān)系。
[0028]所述優(yōu)化處理是通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的離線文件優(yōu)化模塊對(duì)HDFS中的大文件進(jìn)行離線分拆去重和整合處理以得到新的大文件和索引的文件優(yōu)化以及通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖像優(yōu)化模塊對(duì)所述HDFS中存儲(chǔ)的大文件中的圖片重新進(jìn)行圖像分析處理以提高圖片存儲(chǔ)性能和圖片特征相似度的圖片優(yōu)化。
[0029]采用本發(fā)明的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)及方法，通過三個(gè)相似圖片合并策略，即通過圖片緩存服務(wù)器、離線文件處理模塊、反饋處理模塊對(duì)相似圖片的存儲(chǔ)進(jìn)行優(yōu)化，提高存儲(chǔ)圖片的特征相似度，以提高圖片檢索的準(zhǔn)確性和效率。同時(shí)，用HDFS里的圖片數(shù)據(jù)，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得到的網(wǎng)絡(luò)可以去提取圖片特征;通過MapReduce或Spark進(jìn)行聚類或其他分析服務(wù);對(duì)查詢結(jié)果進(jìn)行圖像處理，極大的優(yōu)化了圖片存儲(chǔ)。
【附圖說明】
[0030]圖1是本發(fā)明的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)的架構(gòu)組成示意圖；
[0031]圖2是本發(fā)明的基于分布式存儲(chǔ)的圖像服務(wù)方法主流程示意圖；
[0032]圖3是本發(fā)明的基于分布式存儲(chǔ)的圖像服務(wù)方法中的圖片存儲(chǔ)管理流程示意圖；
[0033]圖4是本發(fā)明的基于分布式存儲(chǔ)的圖像服務(wù)方法中的圖片檢索管理流程示意圖；
[0034]圖5是本發(fā)明的基于分布式存儲(chǔ)的圖像服務(wù)方法中的緩存管理流程示意圖。
【具體實(shí)施方式】
[0035]為了更好的理解本發(fā)明，下面結(jié)合附圖詳細(xì)說明本發(fā)明。
[0036]如圖1所示，本發(fā)明的一種基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，包括接收需要存儲(chǔ)和需要檢索的圖片的圖片接收模塊、對(duì)所述圖片接收模塊接收到的圖片根據(jù)圖像特征提取算法提取圖片特征的特征分析模塊、將所述特征分析模塊提取的需要存儲(chǔ)的圖片的圖片特征進(jìn)行存儲(chǔ)的特征庫、將所述圖片接收模塊接收到需要存儲(chǔ)的圖片存入緩存并根據(jù)所述特征分析模塊提取到需要存儲(chǔ)的圖片的圖片特征