專利名稱：基于幾何信息的相似對象隱藏部分自動補(bǔ)全方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種基于幾何信息的相似對象隱藏部分 自動補(bǔ)全方法。
背景技術(shù)：
隨著多媒體設(shè)備的普及和多媒體技術(shù)的不斷發(fā)展，數(shù)碼相機(jī)等設(shè)備被廣泛使用， 由此而產(chǎn)生的大量的照片處理需求，使得圖像編輯技術(shù)成為了目前計算機(jī)學(xué)科研究的熱點(diǎn) 之一。目前，市場上的圖像處理軟件，如Adobe Photoshop等，只能提供一些初級的像素級 操作，用戶需要復(fù)雜的交互、較強(qiáng)的藝術(shù)素養(yǎng)和熟練的操作技能，才能實(shí)現(xiàn)一些符合用戶最 終需求的圖像編輯效果。因此，圖像編輯技術(shù)的智能化、自動化成為最近技術(shù)發(fā)展的主要方 向。其中，圖像編輯的智能傳播有著廣泛的應(yīng)用前景和用戶需求，而把編輯傳播應(yīng)用到對象 級的圖像操作，是更具挑戰(zhàn)性和前沿性的工作。對象級的編輯傳播，需要首先對一張有著多 個重復(fù)/相似對象的圖像進(jìn)行重復(fù)/相似對象的提取，這方面比較 有代表性的技術(shù)有2. ID 方法(是一種在計算機(jī)視覺領(lǐng)域中用于提取相似紋理的方法)——利用樹的形式來表達(dá)圖 像，以匹配相似節(jié)點(diǎn)的方法——以及一些基于紋理的相似圖元檢測方法。上述方法雖然可以較好地找出相似的紋理部分，但對于對象被遮擋等幾何信息缺 失的情況無能為力。所以對象級的圖像操作必須要保留相似對象的幾何信息，而在已知對 象的形狀等幾何信息的情況下，被遮擋部分則需要進(jìn)一步的處理，從而保證提取出的圖片 中相似對象的完整性。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題本發(fā)明要解決的技術(shù)問題是如何在已知圖像中相似對象的幾何信息的情況下，在 對象被遮擋部分自動地完成缺失部分的補(bǔ)全。( 二 )技術(shù)方案為解決上述問題，本發(fā)明提供了一種基于幾何信息的相似對象隱藏部分自動補(bǔ)全 方法，包括以下步驟Si，利用圖像中待補(bǔ)全對象的輪廓幾何信息、該圖像中源對象的輪廓幾何信息，以 及所建立的待補(bǔ)全對象與源對象輪廓上所有像素點(diǎn)的一一對應(yīng)關(guān)系，將待補(bǔ)全對象劃分為 兩部分部分a)被遮擋部分，以及部分b)未被遮擋部分；S2，對于部分a)，采用變形后的源對象的各點(diǎn)的像素值進(jìn)行補(bǔ)全，其中，變形后的 源對象與待補(bǔ)全對象的形狀完全相同；其中，所述待補(bǔ)全對象和源對象為相似對象，S卩，為同一幅圖像中同一種物體(同 類物體)的不同個體。其中，對于部分b)，按照以下方式補(bǔ)全計算未被遮擋部分各點(diǎn)的像素值與所述 源對象對應(yīng)點(diǎn)的像素值之差，若差小于預(yù)設(shè)的閾值，則采用所述變形后的源對象各點(diǎn)的像素值補(bǔ)全所述未被遮擋部分的對應(yīng)點(diǎn)；否則，用最大圖分割(Graph-Cut)的方法找到一條 最優(yōu)路徑，使得能量<formula>formula see original document page 4</formula>最小，式中Ci,。_ 和Ci,別代表當(dāng)前路徑上的一個像素點(diǎn)位置對應(yīng)的待補(bǔ) 全對象各點(diǎn)的像素值和源對象對應(yīng)點(diǎn)的像素值；i、n均為整數(shù)，η表示當(dāng)前路徑上的像素點(diǎn) 的總數(shù)，優(yōu)化的目標(biāo)是整條路徑上η個點(diǎn)的差值絕對值和最小，因此從0計算到η。在該最 優(yōu)路徑的兩側(cè)分別采用所述未被遮擋部分的各點(diǎn)的像素值和所述變形后的源對象對應(yīng)點(diǎn) 的像素值來補(bǔ)全該未被遮擋部分的像素點(diǎn)。其中，在步驟Sl中，利用形狀上下文(Shape-Context)的方法建立待補(bǔ)全對 象與源對象二者輪廓上各像素點(diǎn)的一一對應(yīng)關(guān)系，然后利用薄板樣條插值(Thin Plate Interpolate)的方法建立待補(bǔ)全對象與源對象所有像素點(diǎn)的一一對應(yīng)關(guān)系。在步驟Sl與步驟S2之間包括將所述源對象變形的步驟。(三)有益效果本發(fā)明的技術(shù)方案通過同時補(bǔ)全相似對象中的被遮擋部分與未被遮擋部分，使得 圖像中補(bǔ)全后的相似對象具有幾何信息和語義信息上的雙重的完整性，以便于進(jìn)行真正意 義上的對象級的智能圖像處理；在補(bǔ)全未被遮擋部分時采用Graph-Cut的方法找到一條最 優(yōu)的路徑，用這條路徑作為分別采用源對象內(nèi)容和待補(bǔ)全對象自身內(nèi)容進(jìn)行填充的兩部分 的分界線，使得對未遮擋部分的補(bǔ)全達(dá)到了無縫拼接的效果。


圖1為本發(fā)明實(shí)施的方法流程圖；圖2為本發(fā)明實(shí)施例的方法中針對待補(bǔ)全對象的不同部分進(jìn)行補(bǔ)全的示意圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例，對本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)說明。以下實(shí)施 例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。圖1為本發(fā)明的方法流程圖。參照圖1，本發(fā)明首先利用圖像中待補(bǔ)全對象的輪廓 幾何信息、該圖像中與待補(bǔ)全對象屬于同一種物體的源對象(該源對象不需要形狀大小等 的準(zhǔn)確相同，只是需要是同一幅圖像上的同類物體，但完整顯示在圖像上)的輪廓幾何信 息，以及所建立的待補(bǔ)全對象與源對象輪廓上所有像素點(diǎn)的一一對應(yīng)關(guān)系，從而判斷出被 遮擋部分和其余部分的部分范圍。其中，利用形狀上下文的方法建立待補(bǔ)全對象與源對象 二者輪廓上各像素點(diǎn)的一一對應(yīng)關(guān)系，然后利用薄板樣條插值的方法建立待補(bǔ)全對象與源 對象所有像素點(diǎn)的一一對應(yīng)關(guān)系。具體來說，這些部分是通過和圖像大小相等的不同的蒙板(mask)來實(shí)現(xiàn)存儲和 使用的。同時，在已知輪廓幾何信息的情況下，本發(fā)明需要將源對象，通過變形(以達(dá)到 與待補(bǔ)全對象形狀完全相同的目的)的方式，來完成待補(bǔ)全對象與源對象的語義內(nèi)容上的 一一對應(yīng)。這樣，在進(jìn)行待補(bǔ)全對象任意位置的補(bǔ)全的時候，所要填充的內(nèi)容就都具有兩個 選擇a)本身自身的內(nèi)容；b)所參照的源對象對應(yīng)位置的內(nèi)容。
圖2表示的是對于填充內(nèi)容選擇的方法。針對待補(bǔ)全對象被遮擋的隱藏內(nèi)容，因 為本部分的內(nèi)容完全缺失，所以直接采用變形后的源對象的內(nèi)容進(jìn)行填充。而為了保證本 發(fā)明對對象補(bǔ)全后內(nèi)容的連續(xù)性和語義上的完整性，未被遮擋部分不能直接保留待補(bǔ)全對 象的自身內(nèi)容，而應(yīng)該為了使補(bǔ)全后的兩部分結(jié)果保持邊界處的連續(xù)性，同時，又為了保證 調(diào)整后的對象補(bǔ)全結(jié)果和自身原內(nèi)容的相似性，如圖2所示，本發(fā)明采取如下原則進(jìn)行內(nèi) 容的填充首先未被遮擋部分的自身內(nèi)容與所述源對象的內(nèi)容之間的差別，差別小于某一閾 值的，則直接采用自身內(nèi)容填充；針對差別大于該閾值的，則針對該部分，用Graph-Cut的 方法，找到一條最優(yōu)的路徑，使得能量E = ^Ci, origin - C !； reference I
i=0達(dá)到最小，式中Cwigil^P Ci,MfCTen。e分別代表當(dāng)前路徑上一 像素點(diǎn)位置對應(yīng)的待補(bǔ) 全對象各點(diǎn)的像素值和源對象對應(yīng)點(diǎn)的像素值；i、n均為整數(shù)，η表示一條路徑上的像素點(diǎn) 的總數(shù)。路徑的兩側(cè)分別采用自身內(nèi)容和源對象的內(nèi)容填充，從而可以認(rèn)為該路徑是由無 縫拼接起來的兩個不同方式補(bǔ)全的。本發(fā)明在上面這個步驟中，為了實(shí)現(xiàn)補(bǔ)全結(jié)果的最優(yōu)化，還可以選取多個不同的 源對象分別進(jìn)行補(bǔ)全，并取其中計算得到的E最小者，作為最終結(jié)果。由以上實(shí)施例可以看出，該技術(shù)方案通過同時補(bǔ)全相似對象中的被遮擋部分與未 被遮擋部分，使得圖像中提取出的相似對象具有幾何信息和語義信息上的雙重的完整性， 以便于進(jìn)行真正意義上的對象級的智能圖像處理；在補(bǔ)全未被遮擋部分時采用Graph-Cut 的方法找到一條最優(yōu)的路徑，用這條路徑作為分別采用源對象內(nèi)容和待補(bǔ)全對象自身內(nèi)容 進(jìn)行填充的兩部分的分界線，使得對未遮擋部分的補(bǔ)全達(dá)到了無縫拼接的效果。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變型，這些改進(jìn)和變型 也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種基于幾何信息的相似對象隱藏部分自動補(bǔ)全方法，其特征在于，包括以下步驟S1，利用圖像中待補(bǔ)全對象的輪廓幾何信息、該圖像中源對象的輪廓幾何信息，以及所建立的待補(bǔ)全對象與源對象輪廓上所有像素點(diǎn)的一一對應(yīng)關(guān)系，將待補(bǔ)全對象劃分為兩部分部分a)被遮擋部分，以及部分b)未被遮擋部分；S2，對于部分a)，采用變形后的源對象的各點(diǎn)的像素值進(jìn)行補(bǔ)全，其中，變形后的源對象與待補(bǔ)全對象的形狀完全相同；其中，所述待補(bǔ)全對象和源對象為同一幅圖像中同一種物體的不同個體。
2.如權(quán)利要求1所述的基于幾何信息的相似對象隱藏部分自動補(bǔ)全方法，其特征在 于，對于部分b)，按照以下方式補(bǔ)全計算未被遮擋部分各點(diǎn)的像素值與所述源對象對應(yīng) 點(diǎn)的像素值之差，若差小于預(yù)設(shè)的閾值，則采用所述變形后的源對象各點(diǎn)的像素值補(bǔ)全所 述未被遮擋部分的對應(yīng)點(diǎn)；否則，用最大圖分割的方法找到一條最優(yōu)路徑，使得能量<formula>formula see original document page 2</formula>最小，式中分別代表當(dāng)前路徑上的一個像素點(diǎn)位置對應(yīng)的待補(bǔ)全對 象各點(diǎn)的像素值和源對象對應(yīng)點(diǎn)的像素值；i、n均為整數(shù)，n表示當(dāng)前路徑上的像素點(diǎn)的總 數(shù)；在該最優(yōu)路徑的兩側(cè)分別采用所述未被遮擋部分的各點(diǎn)的像素值和所述變形后的源對 象對應(yīng)點(diǎn)的像素值來補(bǔ)全該未被遮擋部分的像素點(diǎn)。
3.如權(quán)利要求1所述的基于幾何信息的相似對象隱藏部分自動補(bǔ)全方法，其特征在 于，在步驟S1中，利用形狀上下文的方法建立待補(bǔ)全對象與源對象二者輪廓上各像素點(diǎn)的 一一對應(yīng)關(guān)系，然后利用薄板樣條插值的方法建立待補(bǔ)全對象與源對象所有像素點(diǎn)的一一 對應(yīng)關(guān)系。
4.如權(quán)利要求1或2或3所述的基于幾何信息的相似對象隱藏部分自動補(bǔ)全方法，其 特征在于，在步驟S1與步驟S2之間包括將所述源對象變形的步驟。
全文摘要
本發(fā)明公開了一種基于幾何信息的相似對象隱藏部分自動補(bǔ)全方法，包括步驟利用圖像中待補(bǔ)全對象的輪廓幾何信息、該圖像中源對象的輪廓幾何信息，以及所建立的待補(bǔ)全對象與源對象輪廓上所有像素點(diǎn)的一一對應(yīng)關(guān)系，將待補(bǔ)全對象劃分為兩部分部分a)被遮擋部分，以及部分b)未被遮擋部分；S2，對于部分a)，采用變形后的源對象的各點(diǎn)的像素值進(jìn)行補(bǔ)全，其中，變形后的源對象與待補(bǔ)全對象的形狀完全相同；其中，所述待補(bǔ)全對象和源對象為同一幅圖像中同一種物體的不同個體。本發(fā)明使補(bǔ)全后的相似對象具有幾何信息和語義信息上的雙重完整性，使對未遮擋部分的補(bǔ)全達(dá)到無縫拼接的效果。
文檔編號G06T11/20GK101833781SQ201010158440
公開日2010年9月15日 申請日期2010年4月22日 優(yōu)先權(quán)日2010年4月22日
發(fā)明者張方略, 程明明, 胡事民 申請人:清華大學(xué)