專利名稱：一種構建圖像數(shù)據(jù)庫的方法與系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像處理技術領域，特別涉及一種含物體分類和精細輪廓分割標注的圖像數(shù)據(jù)庫的半自動構建方法與系統(tǒng)。
背景技術：
隨著多媒體技術的迅速發(fā)展，各種圖像視頻資源極大豐富，互聯(lián)網(wǎng)上每天都會增加大量用戶拍攝和創(chuàng)作的圖像。然而這些圖像往往只含有文字標簽，而且標注的準確性缺乏保證，用戶要在海量圖像中搜尋符合其意愿的物體和角色往往需要先通過關鍵詞搜索，然后在海量結果中逐一尋找。近些年來，為解決這一問題，計算機圖形學和多媒體領域的科研人員做了關于基 于內容的大量互聯(lián)網(wǎng)圖像檢索的研究，例如現(xiàn)有技術中提出了一種基于草圖的互聯(lián)網(wǎng)圖像檢索方法以及一種跨類型圖像檢索的方法，只是這些方法均不能實時地檢索出用戶需要的圖像內容，于是為每類物體構建大量的具有精細輪廓分割標注的圖像數(shù)據(jù)庫，成為解決這一問題的一種方案，但是現(xiàn)有的數(shù)據(jù)庫通常是通過人工構建，其速度慢，耗費人力，最終生成的數(shù)據(jù)庫規(guī)模小。因此需要一種能夠快速構建大規(guī)模含物體分類和精細輪廓分割標注的圖像數(shù)據(jù)庫的有效方法，來改善現(xiàn)有技術存在的不足。

發(fā)明內容
為了解決上述問題，本發(fā)明提供了一種構建圖像數(shù)據(jù)庫的方法及其系統(tǒng)，通過提供一種能夠快速構建的含有物體分類和精細輪廓分割標注的圖像數(shù)據(jù)庫，使用戶在對圖像數(shù)據(jù)庫進行基于內容的檢索時，可以快速的找到其所需要的圖像合成與創(chuàng)作資源。為到達上述目的，本發(fā)明通過以下的技術方案予以實現(xiàn)一種構建圖像數(shù)據(jù)庫的方法，包括以下步驟A、利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像、對下載的圖像進行物體檢測并進行初步過濾；C、對檢測到的物體進行精細輪廓分害I]，得到分割圖元；D、對分割圖元進行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫；其中，每一個圖像中被分割出的前景物體稱為分割圖元。優(yōu)選的，所述步驟B中，對符合關鍵詞描述的物體檢測時，利用計算機視覺中對應的前景物體檢測或顯著性區(qū)域檢測算法進行檢測。優(yōu)選的，所述步驟B中，檢測為符合該類別關鍵詞的物體的概率需大于O. 3。優(yōu)選的，所述步驟B中，對檢測后的圖像根據(jù)圖像背景復雜程度進行過濾。優(yōu)選的，所述步驟B中，進一步包括以下步驟B1 :將每個圖像中位于檢測到的物體包圍盒之外的圖像進行分割；B2 :計算分割塊數(shù)；B3 :基于B2所得塊數(shù)，按照所述塊數(shù)從少到多的順序對同一關鍵詞下載到的圖像進行排序；B4 :過濾出排序靠前的部分圖像。優(yōu)選的，所述步驟BI采用圖像超像素過分割算法對圖像進行分割。優(yōu)選的，所述步驟C采用基于圖分割的圖像自動分割算法對檢測到的物體進行精細輪廓分割。
優(yōu)選的，所述步驟C中采用集合F和集合M作為圖分割算法的約束區(qū)域，初始前景物體的檢測區(qū)域作為圖分割算法的初始區(qū)域，其中集合F包括物體檢測中每個局部區(qū)域的中心點和檢測概率較高的像素，集合M包括物體檢測中檢測概率最低的像素。優(yōu)選的，所述步驟D中的過濾為級聯(lián)形狀的過濾。優(yōu)選的，所述步驟D進一步包括D1 :從步驟C生成的分割圖元中選擇至少一個作為參考依據(jù)；D2 :根據(jù)作為參考依據(jù)的分割圖元的輪廓對步驟C中生成的分割圖元的輪廓進行仿射變換，獲得和作為參考依據(jù)的分割圖元的輪廓相匹配的分割圖元；D3 :對匹配的分割圖元進行重新排序，獲得排序靠前的部分分割圖元。優(yōu)選的，所述步驟進一步包括將所述部分分割圖元使用分層數(shù)的形狀匹配算法進行排序。 一種構建圖像數(shù)據(jù)庫的處理系統(tǒng)，包括有圖像下載模塊、圖像處理模塊和最終過濾模塊；所述圖像下載模塊用于利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像；圖像處理模塊用于將下載的圖片進行物體檢測并初步過濾，進而將其進行精細輪廓分割，得到分割圖元；最終過濾模塊用于對分割圖元進行基于輪廓匹配的過濾，最終生成圖像數(shù)據(jù)庫。本發(fā)明通過圖像處理和計算機視覺技術將互聯(lián)網(wǎng)上下載的海量圖像進行分割、過濾，使其成為含物體類別標注和精細分割標注的圖像數(shù)據(jù)庫，該圖像數(shù)據(jù)庫通常能達到80%-90%的標注準確率；用戶可以通過繪制草圖或者調整骨架等方式快速地對圖像數(shù)據(jù)庫進行基于內容的檢索，從而快速找到其所需要的圖像合成與創(chuàng)作資源。


圖I為本發(fā)明的流程圖；圖2為本發(fā)明的系統(tǒng)框圖。
具體實施例方式下面對于本發(fā)明所提出的一種圖像數(shù)據(jù)庫半自動構建方法，結合附圖和實施例詳細說明。實施例I :如圖I所示，本發(fā)明提出的一種圖像數(shù)據(jù)庫半自動構建方法按以下步驟實現(xiàn):A、利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像、對下載的圖像進行物體檢測并進行初步過濾；C、對檢測到的物體進行精細輪廓分割，得到分割圖元；D、對分割圖元進行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫；其中，每一個圖像中被分割出的前景物體稱為分割圖元。優(yōu)選的，所述步驟B中，對符合關鍵詞描述的物體檢測時，利用計算機視覺中對應的前景物體檢測或顯著性區(qū)域檢測算法進行檢測。優(yōu)選的，所述步驟B中，檢測為符合該類別關鍵詞的物體的概率需大于O. 3。優(yōu)選的，所述步驟B中，對檢測后的圖像根據(jù)圖像背景復雜程度進行過濾。優(yōu)選的，所述步驟B中，進一步包括以下步驟B1將每個圖像中位于檢測到的物體包圍盒之外的圖像進行分割；B2 :計算分割塊數(shù)；B3 :基于B2所得塊數(shù)，按照所述塊數(shù)從少到多的順序對同一關鍵詞下載到的圖像進行排序；B4 :過濾出排序靠前的部分圖像優(yōu)選的，所述步驟BI采用圖像超像素過分割算法對圖像進行分割。
優(yōu)選的，所述步驟C采用基于圖分割的圖像自動分割算法對檢測到的物體進行精細輪廓分割。優(yōu)選的，所述步驟C中采用集合F和集合M作為圖分割算法的約束區(qū)域，初始前景物體的檢測區(qū)域作為圖分割算法的初始區(qū)域，其中集合F包括物體檢測中每個局部區(qū)域的中心點和檢測概率較高的像素，集合M包括物體檢測中檢測概率最低的像素。優(yōu)選的，所述步驟D中的過濾為級聯(lián)形狀的過濾。優(yōu)選的，所述步驟D進一步包括D1 :從步驟C生成的分割圖元中選擇至少一個作為參考依據(jù)；D2 :根據(jù)作為參考依據(jù)的分割圖元的輪廓對步驟C中生成的分割圖元的輪廓進行仿射變換，獲得和作為參考依據(jù)的分割圖元的輪廓相匹配的分割圖元；D3 :對匹配的分割圖元進行重新排序，獲得排序靠前的部分分割圖元。
優(yōu)選的，所述步驟進一步包括將所述部分分割圖元使用分層數(shù)的形狀匹配算法進行排序。實施例2 如圖I所示，對于A步驟，為從互聯(lián)網(wǎng)上下載高質量圖像數(shù)據(jù)，首先為每一類物體指定一個關鍵詞，這些關鍵詞一般由一個動詞或形容詞加一個名字組成，從而增加從互聯(lián)網(wǎng)上下載圖像的初始正確率，例如“奔跑的男人”、“跳躍的狗”、“紅色的小汽車”;然后將這些關鍵詞放入互聯(lián)網(wǎng)圖像搜索引擎中(例如谷歌、Flickr、百度)進行關鍵詞搜索，每個查詢結果中最多保留3000張圖像；其中，每幅圖像都有一個初始的關鍵詞標簽，在下面幾步中，將去除初始圖像集合中不含該關鍵詞所指代物體的圖像，并對關鍵詞所指代的物體進行精細輪廓分割。對于B步驟，對每一幅下載的圖像，本發(fā)明采用計算機視覺中的前景物體檢測算法來檢測圖像中符合關鍵詞描述的物體的大致區(qū)域。例如對“奔跑的男人”這類圖像，采用人體檢測算法；對“跳躍的狗”，采用四肢類動物檢測算法；對“紅色的小汽車”，采用小汽車檢測算法；對于在計算機視覺中缺乏針對性檢測算法的一般類物體，可以使用機器學習的方法訓練一個分類器，也可以采用計算機視覺中的顯著性檢測算法來計算前景物體的大致區(qū)域。為達到更好的檢測和分割結果，在檢測時應使用偏保守的參數(shù)，即檢測為符合該類別關鍵詞的物體的概率需大于O. 3，以去除一些模棱兩可的檢測結果，在檢測后，所有沒有檢測到符合該類別關鍵詞的物體的圖像都被丟棄掉；對于檢測出多個符合該類別關鍵詞的物體的圖像，只保留那些沒有相互重疊的檢測結果。然后，根據(jù)圖像背景的復雜程度，對剩余的圖像繼續(xù)進行過濾，只保留背景簡單的圖像，因為這些圖像的前景可以較好的從背景中自動分割出來。首先采用圖像超像素過分割算法將剩余圖像進行分割，其中選用參數(shù)k=500 ;然后計算每個圖像在檢測到的物體包圍盒之外的分割塊數(shù)，通過這個塊數(shù)，對所有通過同一個關鍵詞下載到的圖像進行排序，只保留前50%較少塊數(shù)的圖像。對于C步驟，每個檢測到的符合該類別關鍵詞的物體繼而通過基于圖分割的前景分割算法從圖像的背景中提取出來。首先，一些前景像素的集合F被標記為“確定的前景像素”，一些背景的像素集合M被標記為“確定的背景像素”，然后通過圖分割算法計算物體的輪廓邊界；集合F可以包括物體檢測中每個局部區(qū)域的中心點和檢測概率較高的像素；集合M可以包括物體檢測中檢測概率最低的像素；使用這些輔助確定像素集合以及初始前景物體檢測區(qū)域的膨脹作為圖分割算法的約束和初始區(qū)域，進行迭代的圖分割即可得到較好的前景物體分割結果，每一個圖像中被分割出的結果被稱為分割圖元，但是在其中還存在部分分割結果錯誤或者物體檢測錯誤的分割圖元。對于步驟D，利用步驟C中分割的輪廓信息進行基于輪廓匹配的過濾，把圖像庫中不正確的分割圖元去除；在該步驟中需要提供一個初始的正確輪廓作為匹配依據(jù)，因此需要用戶為每一個關鍵詞類別在對應的分割圖元中挑選1-5個具有較好分割的物體，用他們的輪廓作為該關鍵詞具有代表性的關鍵輪廓，通常，它們是物體的同一個動作或姿態(tài)在不同階段和不同視角的輪廓剪影。然后檢查每個類別中所有圖元與該類別所有代表性關鍵姿態(tài)的輪廓形狀的一致性；為構建一個規(guī)模足夠大，質量足夠高的人物角色圖像數(shù)據(jù)庫，本實施例采用多種形狀匹配算法進行過濾，利用這些方法的互補性可以得到更小的假正率，并得到可以接受的處理效率。在本實施例中，首先采用仿射變換算法對圖元的輪廓和代表性姿態(tài)輪廓進行仿射注冊；如果計算得到的仿射變換具有明顯的錯切、長寬比改變和旋轉，則認為對應的圖元具有不正確的分割，并把它丟棄掉；下一步，使用形狀相似性依據(jù)對剩下的 圖元進行重新排序，并只保留前一半圖元；最后，使用分層樹的形狀匹配算法進行最后一步排序，最后最多只保留前500個圖元。在每一步中，如果該類別有多個代表性輪廓，則選用匹配值最高的一個作為排序依據(jù)；最終所有類別的過濾結果組成含這些物體類別標注和精細分割標注的圖像數(shù)據(jù)庫。實施例3 如圖2所示，本發(fā)明還提供一種構建圖像數(shù)據(jù)庫的處理系統(tǒng)，包括有圖像下載模塊、圖像處理模塊和最終過濾模塊；所述圖像下載模塊用于利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像；圖像處理模塊是將下載的圖片進行物體檢測并初步過濾，進而將其進行精細輪廓分割，得到分割圖元；最終過濾模塊對分割圖元進行基于輪廓匹配的過濾，最終生成圖像數(shù)據(jù)庫。由以上實施例可以看出，本發(fā)明通過圖像處理和計算機視覺技術將互聯(lián)網(wǎng)上下載的海量圖像進行分割、過濾，使其成為含物體類別標注和精細分割標注的圖像數(shù)據(jù)庫，該圖像數(shù)據(jù)庫通常能達到80%-90%的標注準確率，用戶可以通過繪制草圖或者調整骨架等方式快速地對圖像數(shù)據(jù)庫進行基于內容的檢索，從而快速找到其所需要的圖像合成與創(chuàng)作資源。以上實施方式僅用于說明本發(fā)明，而并非對本發(fā)明的限制，有關技術領域的普通技術人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護范圍應由權利要求限定。
權利要求
1.一種構建圖像數(shù)據(jù)庫的方法，其特征在于，包括以下步驟 A、利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像； B、對下載的圖像進行物體檢測并進行初步過濾； C、對檢測到的物體進行精細輪廓分割，得到分割圖元； D、對分割圖元進行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫； 其中，每一個圖像中被分割出的前景物體稱為分割圖元。
2.如權利要求I所述的方法，其特征在于，所述步驟B中，對符合關鍵詞描述的物體檢測時，利用計算機視覺中對應的前景物體檢測或顯著性區(qū)域檢測算法進行檢測。
3.如權利要求I所述的方法，其特征在于，所述步驟B中，檢測為符合該類別關鍵詞的物體的概率需大于O. 3。
4.如權利要求I所述的方法，其特征在于，所述步驟B中，對檢測后的圖像根據(jù)圖像背景復雜程度進行過濾。
5.如權利要求2所述的方法，其特征在于，所述步驟B中，進一步包括以下步驟 BI :將每個圖像中位于檢測到的物體包圍盒之外的圖像進行分割； B2 :計算分割塊數(shù)； B3 :基于B2所得塊數(shù)，按照所述塊數(shù)從少到多的順序對同一關鍵詞下載到的圖像進行排序； B4 :過濾出排序靠前的部分圖像。
6.如權利要求5所述的方法，其特征在于，所述步驟BI采用圖像超像素過分割算法對圖像進行分割。
7.如權利要求I所述的方法，其特征在于，所述步驟C采用基于圖分割的圖像自動分割算法對檢測到的物體進行精細輪廓分割。
8.如權利要求7所述的方法，其特征在于，所述步驟C中采用集合F和集合M作為圖分割算法的約束區(qū)域，初始前景物體的檢測區(qū)域作為圖分割算法的初始區(qū)域，其中集合F包括物體檢測中每個局部區(qū)域的中心點和檢測概率較高的像素，集合M包括物體檢測中檢測概率最低的像素。
9.如權利要求I所述的方法，其特征在于，所述步驟D中的過濾為級聯(lián)形狀的過濾。
10.如權利要求9所述的方法，其特征在于，所述步驟D進一步包括 Dl :從步驟C生成的分割圖元中選擇至少一個作為參考依據(jù)； D2 :根據(jù)作為參考依據(jù)的分割圖元的輪廓，對步驟C中生成的分割圖元的輪廓進行仿射變換，獲得和作為參考依據(jù)的分割圖元的輪廓相匹配的分割圖元； D3:對匹配的分割圖元進行重新排序，獲得排序靠前的部分分割圖元。
11.如權利要求10所述的方法，其特征在于，所述步驟進一步包括將所述部分分割圖元使用分層數(shù)的形狀匹配算法進行排序。
12.—種構建圖像數(shù)據(jù)庫的處理系統(tǒng)，其特征在于，包括有圖像下載模塊、圖像處理模塊和最終過濾模塊，其中 圖像下載模塊，用于利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像； 圖像處理模塊，用于將下載的圖片進行物體檢測并初步過濾，進而將其進行精細輪廓分割，得到分割圖元；最終過濾模塊，用于對分割圖元進行基于輪廓匹配的過濾，最終生成圖像數(shù)據(jù)庫 。
全文摘要
本發(fā)明公開了一種構建圖像數(shù)據(jù)庫的方法及系統(tǒng)，包括以下步驟利用關鍵詞從互聯(lián)網(wǎng)上自動下載圖像，對下載的圖像進行物體檢測并進行初步過濾，對檢測到的物體進行精細輪廓分割，得到分割圖元，將得到的分割圖元進行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫；該數(shù)據(jù)庫通常能達到80%-90%的標注準確率，用戶可以通過繪制草圖或者調整骨架等方式快速地對圖像數(shù)據(jù)庫進行基于內容的檢索，從而快速找到其所需要的圖像合成與創(chuàng)作資源。
文檔編號G06F17/30GK102831239SQ20121032433
公開日2012年12月19日 申請日期2012年9月4日 優(yōu)先權日2012年9月4日
發(fā)明者胡事民, 陳韜, 馬里千, 程明明 申請人:清華大學