專利名稱：一種基于輪廓帶圖的相似單元的檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種目標(biāo)的檢測方法，更具體地，涉及一種基 于輪廓帶圖的相似單元的檢測方法。
背景技術(shù)：
相似單元不論是在自然場景或是在人工場景中都大量存在。由于受到遮擋、部分 缺失、相似單元間形狀差異、光照變化等因素的影響，在編輯這些重復(fù)圖像元素的過程中， 要保持它們之間協(xié)調(diào)一致的編輯難度非常大?，F(xiàn)有的圖像編輯方法大多直接操作底層圖像 元素，編輯對象過于底層，用戶操作不便。人們迫切希望能夠通過更加感性的簡單操作來實(shí) 現(xiàn)對圖像的高效編輯， 并對圖像中的語義單元進(jìn)行直接操作。重復(fù)物體檢測在很長的一段時間都受到了很多研究者的關(guān)注。Leimg和Malik 于 1996 年提出了 "Detecting, localizing and groupingrepeated scene elements from an image”，該方法通過對每個獨(dú)立的圖像單元建立一個節(jié)點(diǎn)，把它們之間的仿 射變換作為邊，并通過圖的方式尋找圖像中的重復(fù)元素；Liu等人于2003年提出了 “k computationalmodel for periodic pattern perception based on frieze and wallpapergroups”，用于發(fā)現(xiàn)周期性紋理，雖然上述兩種方法都能找出圖像中的重復(fù)單元， 但是所針對的重復(fù)單元仍然局限于小區(qū)域，處理對象本身不具備語義性，而且不能處理有 著明顯遮擋關(guān)系、形狀變化等復(fù)雜情況。Ahuja和Todorovic于2007年提出了“Extracting texels in 2. IDnatural textures”，該方法雖然能夠從圖像中檢測具有一定語義性的相 似單元，并處理遮擋的情況，但是該方法需要數(shù)十秒的計(jì)算時間。雖然現(xiàn)有的用于圖像中相似單元檢測的計(jì)算機(jī)視覺方法離應(yīng)用還有很大距離，但 一些最近的圖形學(xué)交互手段為我們簡化這一問題提供了技術(shù)支持。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題本發(fā)明要解決的技術(shù)問題是如何從含有相似單元的圖像中尋找出相似單元及其 精確位置。通過檢測這些相似單元，可以使得一系列高層次的圖像編輯應(yīng)用變成可能。( 二 )技術(shù)方案為了解決上述技術(shù)問題，本發(fā)明提出了一種用于檢測圖像中相似單元的方法，利 用簡單的用戶交互手段提供初始信息，并從圖像中檢測出相似單元。這些檢測結(jié)果可以用 于一系列場景物體級別的圖像編輯應(yīng)用。本發(fā)明提供的基于輪廓帶圖的相似單元的檢測方法，包括以下步驟Sl 使用簡單筆畫標(biāo)定被檢測圖像中多個相似單元中的其中一個，并標(biāo)定被檢測 圖像的背景區(qū)域；S2:對所標(biāo)定的被檢測圖像進(jìn)行分割，提取出所標(biāo)定的相似單元的樣例，并去除被 檢測圖像的背景區(qū)域，保留由所述多個相似單元組成的前景區(qū)域；
S3 從所述前景區(qū)域中獲取輪廓圖，得到被檢測圖像中潛在的物體輪廓邊界；S4:由所述輪廓圖中輪廓點(diǎn)附近區(qū)域的范圍構(gòu)建輪廓帶圖，所述輪廓圖中輪廓點(diǎn)附近區(qū)域的范圍為輪廓帶；S5:將所標(biāo)定的相似單元的樣例和所述輪廓帶圖進(jìn)行匹配，確定被檢測圖像中所 述多個相似單元的位置。其中，所述步驟S3中獲取輪廓圖的方法為對所述前景區(qū)域進(jìn)行層次化的均值漂 移分割。其中，所述步驟S4中構(gòu)建輪廓帶圖的方法為對輪廓圖引入其局部幾何信息以構(gòu) 建輪廓帶圖。其中，所述步驟S4中構(gòu)建的輪廓帶圖為二維向量組成的數(shù)組M = {mp}HXW，其中， mP為被檢測圖像中的每個像素P對應(yīng)的二維向量，HXff為被檢測圖像的大小。其中，所述步驟S5中將所標(biāo)定的相似單元的樣例和所述輪廓帶圖進(jìn)行匹配時，將 所標(biāo)定的相似單元的樣例的輪廓構(gòu)建成二維向量組成的數(shù)組T = {tp}hXw，其中，tp為相似 單元的樣例中每個像素P對應(yīng)的二維向量，hXw為相似單元的樣例的大小。其中，所述步驟S5中將所標(biāo)定的相似單元的樣例和所述輪廓帶圖進(jìn)行匹配時的 匹配程度的計(jì)算方法為<formula>formula see original document page 4</formula>
其中，(u，ν)為輪廓帶圖中被匹配點(diǎn)的坐標(biāo)；根據(jù)匹配程度確定被檢測圖像中所 述多個相似單元的位置。其中，確定被檢測圖像中所述多個相似單元的位置的方法為對匹配程度值進(jìn)行 非極大值抑制，選取匹配程度值中的極大值點(diǎn)，得到相似單元的位置。(三)有益效果上述技術(shù)方案具有如下優(yōu)點(diǎn)本發(fā)明所提出的用于檢測圖像中相似單元的方法利 用簡單的用戶交互手段提供初始信息，并從圖像中檢測出相似單元并對其定位，檢測方法 快速、精確，檢測結(jié)果還可以應(yīng)用于如圖像重排、編輯傳播、同步變形等基于圖像中場景物 體級別的編輯操作。


圖1為本發(fā)明基于輪廓帶圖的相似單元檢測方法的一個實(shí)施例的處理流程圖；圖2為本發(fā)明基于輪廓帶圖的相似單元檢測方法的一個實(shí)施例的輸入原始圖；圖3為本發(fā)明基于輪廓帶圖的相似單元檢測方法的一個實(shí)施例的檢測結(jié)果。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例，對本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述。以下實(shí)施 例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。本發(fā)明公開了一種通過簡單用戶交互方式檢測圖像中相似單元的方法，通過該方 法檢測出圖像中相似單元之后可以進(jìn)行一系列的物體級別的圖像編輯，包括圖像重排、同 步變形、編輯傳播等。
如圖1所示，為本發(fā)明基于輪廓帶圖的相似單元檢測方法的一個實(shí)施例的處理流 程圖，圖中表示的步驟包括a 用戶輸入簡單的筆畫粗略標(biāo)定被檢測圖像中相似單元中的一個，同時標(biāo)定圖像 的背景區(qū)域。輸入圖像中的相似單元可以有一定程度的遮擋，形狀差異，色彩差異等。用戶 只需要大致進(jìn)行標(biāo)定就可以滿足處理需要。b 獲取輪廓圖和樣例首先利用分割方法分別得到相似單元中的一個樣例和由 相似單元組成的前景區(qū)域。從前景區(qū)域中獲取輪廓圖。這里所指的輪廓圖是指從圖像中計(jì) 算出的潛在的物體輪廓邊界得到輪廓圖。一個可能的獲取輪廓圖具體方案是對前景區(qū)域采 用層次化的均值漂移分割。這里所指的層次化均值飄移分割在Paris和Durand在2007年 的工作"A topological approach to hierarchical segmentationusing mean shift，，中 有詳細(xì)介紹。其它獲取輪廓圖的方法也可以用于此步驟。輪廓圖(如圖1的b步驟左圖所 示)中每一個像素點(diǎn)的亮度值和該點(diǎn)的物體邊緣的概率相對應(yīng)。此圖中越暗的點(diǎn)是邊緣點(diǎn) 的概率越大。用戶所選取的樣例邊界(如圖1的b步驟右圖所示)是進(jìn)行進(jìn)一步檢測的重 要中間數(shù)據(jù)。c 構(gòu)建輪廓帶圖輪廓圖中輪廓點(diǎn)附近一定區(qū)域的范圍為輪廓帶。本實(shí)施例中的 輪廓帶圖是一個二維向量組成的數(shù)組，記為M= {mp}HXW。數(shù)組大小HXW和輸入的被檢測 圖像一致。輸入圖像中的每個像素P對應(yīng)一個二維向量mP。在輪廓帶范圍以外的向量值為 0，輪廓帶范圍之內(nèi)的向量大小為附近區(qū)域輪廓點(diǎn)可信度值的平均(圖1的c步驟圖為了打 印清晰，越暗的點(diǎn)代表作為邊緣的可信度越大)。向量的方向?yàn)樵擖c(diǎn)處的邊緣梯度方向。梯 度方向的獲取可參考常見的邊緣檢測方法，這些方法中都有梯度估計(jì)的步驟。d 利用輪廓帶圖進(jìn)行匹配，尋找相似單元對樣例的輪廓處的每一點(diǎn)也和輪廓帶 圖類似的賦予一個二維向量，得到模板圖T = {tp}hXw(通常數(shù)組大小hXw遠(yuǎn)遠(yuǎn)小于圖像大 小HXW)。輪廓點(diǎn)處的二維向量幅值為1，方向?yàn)樘荻确较颉Ｆ溆帱c(diǎn)處的二維向量為0。圖 像中每一點(diǎn)處存在待檢測相似單元的概率可以通過以下方法計(jì)算。采用輪廓帶圖進(jìn)行計(jì)算 某一點(diǎn)(u，ν)處的匹配程度為
h w2D(u v)(T,M) = Σ Σ(。). + ’-))
J=O =0這樣可以計(jì)算出每一點(diǎn)處的匹配程度。由于該方法實(shí)質(zhì)上是求解一些卷積值，可 以采用快速傅里葉變換方法加速求解，進(jìn)一步對這些匹配值進(jìn)行非極大值抑制，即選取匹 配值中的極大值點(diǎn)，就可以得到相似單元的位置。如圖2所示，為本發(fā)明基于輪廓帶圖的相似單元檢測方法的一個實(shí)施例的輸入原 始圖。用戶標(biāo)定輸入圖片中的一條魚為樣例，同時簡單的標(biāo)出背景區(qū)域。其中對魚的標(biāo)定 用暗色顯示，對背景的標(biāo)定用亮色顯示。如圖3所示，為本發(fā)明基于輪廓帶圖的相似單元檢測方法的一個實(shí)施例的檢測結(jié) 果。中心的圓圈內(nèi)部的亮度代表檢測結(jié)果的可信度，即該位置處的匹配程度。可以對模板 進(jìn)行一定的旋轉(zhuǎn)和縮放來檢測含有多個尺度和旋轉(zhuǎn)方向的相似單元的情況。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和替換，這些改進(jìn)和替換 也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種基于輪廓帶圖的相似單元的檢測方法，其特征在于，包括以下步驟S1使用簡單筆畫標(biāo)定被檢測圖像中多個相似單元中的其中一個，并標(biāo)定被檢測圖像的背景區(qū)域；S2對所標(biāo)定的被檢測圖像進(jìn)行分割，提取出所標(biāo)定的相似單元的樣例，并去除被檢測圖像的背景區(qū)域，保留由所述多個相似單元組成的前景區(qū)域；S3從所述前景區(qū)域中獲取輪廓圖，得到被檢測圖像中潛在的物體輪廓邊界；S4由所述輪廓圖中輪廓點(diǎn)附近區(qū)域的范圍構(gòu)建輪廓帶圖，所述輪廓圖中輪廓點(diǎn)附近區(qū)域的范圍為輪廓帶；S5將所標(biāo)定的相似單元的樣例和所述輪廓帶圖進(jìn)行匹配，確定被檢測圖像中所述多個相似單元的位置。
2.如權(quán)利要求1所述的基于輪廓帶圖的相似單元的檢測方法，其特征在于，所述步驟 S3中獲取輪廓圖的方法為對所述前景區(qū)域進(jìn)行層次化的均值漂移分割。
3.如權(quán)利要求1所述的基于輪廓帶圖的相似單元的檢測方法，其特征在于，所述步驟 S4中構(gòu)建輪廓帶圖的方法為對輪廓圖引入其局部幾何信息以構(gòu)建輪廓帶圖。
4.如權(quán)利要求1所述的基于輪廓帶圖的相似單元的檢測方法，其特征在于，所述步驟 S4中構(gòu)建的輪廓帶圖為二維向量組成的數(shù)組M= {mp}HXW，其中，mP為被檢測圖像中的每個 像素P對應(yīng)的二維向量，HXW為被檢測圖像的大小。
5.如權(quán)利要求1所述的基于輪廓帶圖的相似單元的檢測方法，其特征在于，所述步驟 S5中將所標(biāo)定的相似單元的樣例和所述輪廓帶圖進(jìn)行匹配時，將所標(biāo)定的相似單元的樣例 的輪廓構(gòu)建成二維向量組成的數(shù)組<formula>formula see original document page 2</formula>，其中，％為相似單元的樣例中每個像素P 對應(yīng)的二維向量，hXw為相似單元的樣例的大小。
6.如權(quán)利要求1所述的基于輪廓帶圖的相似單元的檢測方法，其特征在于，所述步驟 S5中將所標(biāo)定的相似單元的樣例和所述輪廓帶圖進(jìn)行匹配時的匹配程度的計(jì)算方法為<formula>formula see original document page 2</formula>其中，(U，v)為輪廓帶圖中被匹配點(diǎn)的坐標(biāo)；根據(jù)匹配程度確定被檢測圖像中所述多 個相似單元的位置。
7.如權(quán)利要求6所述的基于輪廓帶圖的相似單元的檢測方法，其特征在于，確定被檢 測圖像中所述多個相似單元的位置的方法為對匹配程度值進(jìn)行非極大值抑制，選取匹配 程度值中的極大值點(diǎn)，得到相似單元的位置。
全文摘要
本發(fā)明公開了一種基于輪廓帶圖的相似單元的檢測方法，其步驟為S1使用簡單筆畫標(biāo)定被檢測圖像中相似單元中的其中一個，以及標(biāo)定被檢測圖像的背景區(qū)域；S2對所標(biāo)定的被檢測圖像進(jìn)行分割，提取出相似單元的樣例，并去除被檢測圖像的背景區(qū)域，保留由相似單元組成的前景區(qū)域；S3從所述前景區(qū)域中獲取輪廓圖，得到圖像中潛在的物體輪廓邊界；S4由所述輪廓圖中輪廓點(diǎn)附近區(qū)域的范圍構(gòu)建輪廓帶圖；S5將所述相似單元的樣例和所述輪廓帶圖進(jìn)行匹配，確定被檢測圖像中相似單元的位置。本發(fā)明能夠根據(jù)用戶輸入的簡單提示，尋找圖像中的相似單元并對其定位，檢測結(jié)果可以應(yīng)用于如圖像重排、編輯傳播、同步變形等基于圖像中場景物體級別的編輯操作。
文檔編號G06K9/62GK101833668SQ20101015993
公開日2010年9月15日 申請日期2010年4月23日 優(yōu)先權(quán)日2010年4月23日
發(fā)明者張方略, 程明明, 胡事民 申請人:清華大學(xué)