圖像修補方法和裝置制造方法
【專利摘要】本發(fā)明提供一種圖像修補方法和裝置，所述方法包括如下步驟：獲取目標(biāo)圖像的空洞區(qū)域；提取所述空洞區(qū)域的邊界紋理塊；根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊；根據(jù)所述無損紋理塊中的像素對所述邊界紋理塊中對應(yīng)位置的像素進行修補。上述圖像修補方法和裝置，同時根據(jù)紋理信息和深度信息查找用于修補的參考像素，可以提高參考像素的準(zhǔn)確性，從而提高對空洞區(qū)域進行填補的準(zhǔn)確性，從而使2維圖像轉(zhuǎn)3維圖像過程中輸出的3D圖像更加平滑自然。
【專利說明】圖像修補方法和裝置

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及數(shù)字圖像處理技術(shù)，特別是涉及一種圖像修補方法和裝置。

【背景技術(shù)】
[0002]對2D圖像轉(zhuǎn)3D圖像過程中產(chǎn)生的目標(biāo)圖像，通常使用的濾波器平滑等處理，雖然能夠?qū)斩磪^(qū)域進行填補，但是由于缺乏對紋理信息的判斷，導(dǎo)致采用空洞周圍錯誤的像素點進行填補，圖像修補不準(zhǔn)確，產(chǎn)生質(zhì)量較差的圖像。


【發(fā)明內(nèi)容】

[0003]基于此，有必要針對傳統(tǒng)圖像修補技術(shù)不夠準(zhǔn)確的問題，提供一種能夠提高準(zhǔn)確性的圖像修補方法。
[0004]此外，還有必要針對傳統(tǒng)圖像修補技術(shù)不夠準(zhǔn)確的問題，提供一種能夠提高準(zhǔn)確性的圖像修補裝置。
[0005]一種圖像修補方法，包括如下步驟:獲取目標(biāo)圖像的空洞區(qū)域；提取所述空洞區(qū)域的邊界紋理塊；根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊；根據(jù)所述無損紋理塊中的像素對所述邊界紋理塊中對應(yīng)位置的像素進行修補。
[0006]在其中一個實施例中，所述提取所述空洞區(qū)域的邊界紋理塊的步驟包括:對空洞區(qū)域的邊界紋理塊分配優(yōu)先級；根據(jù)所述優(yōu)先級從高到低提取邊界紋理塊。
[0007]在其中一個實施例中，所述根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊的步驟包括:搜索與所述邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊；篩選出平均深度值大于無損點區(qū)域的平均深度值的一個無損紋理塊，作為最匹配的無損紋理塊。
[0008]在其中一個實施例中，所述根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊的步驟包括:獲取所述邊界紋理塊與無損紋理塊之間的差異系數(shù)d(A，B)=SAD (A, B) +Lambda*ABS (AVG (Σ depth (a)) -AVG (Σ depth (b)))，其中 A 為邊界紋理塊中的像素點集合，B為無損點紋理塊中的像素點集合，SAD表示計算A與B之間的絕對差之和，a為A中的無損點，b為無損紋理塊B中的無損點，a與b的位置相對應(yīng)的相同，depth O表示像素點的深度值，Lambda為乘法因子；獲取差異系數(shù)最小的無損紋理塊作為與所述邊界紋理塊最匹配的無損紋理塊。
[0009]在其中一個實施例中，所述乘法因子Lambda為:當(dāng)滿足表達式AVG ((c))彡AVG ((b))時，取值為LambdaB，而當(dāng)滿足表達式AVG ((c)) > AVG ((b))時，取值為 LambdaF,其中 LambdaB < LambdaF, c 為 A 的受:損點。
[0010]一種圖像修補裝置，其特征在于，包括:獲取模塊，用于獲取目標(biāo)圖像的空洞區(qū)域；提取模塊，用于提取所述空洞區(qū)域的邊界紋理塊；搜索模塊，用于根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊；修補模塊，用于根據(jù)所述無損紋理塊中的像素對所述邊界紋理塊中對應(yīng)位置的像素進行修補。
[0011]在其中一個實施例中，所述提取模塊包括:分配單元，用于對空洞區(qū)域的邊界紋理塊分配優(yōu)先級；提取單元，用于根據(jù)所述優(yōu)先級從高到低提取邊界紋理塊。
[0012]在其中一個實施例中，所述搜索模塊包括:搜索單元，用于搜索與所述邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊；篩選單元，用于篩選出平均深度值大于無損點區(qū)域的平均深度值的一個無損紋理塊，作為最匹配的無損紋理塊。
[0013]在其中一個實施例中，所述搜索模塊包括:匹配單元，用于獲取所述邊界紋理塊與無損紋理塊之間的差異系數(shù) d (A, B) = SAD (A, B) +Lambda*ABS (AVG (Σ depth (a)) -AVG (Σ depth (b)))，其中A為邊界紋理塊中的像素點集合，B為無損點紋理塊中的像素點集合，SAD表示計算A與B之間的絕對差之和，a為A中的無損點，b為無損紋理塊B中的無損點，a與b的位置相對應(yīng)的相同，cbpthO表示像素點的深度值，Lambda為乘法因子；對比單元，用于獲取差異系數(shù)最小的無損紋理塊作為與所述邊界紋理塊最匹配的無損紋理塊。
[0014]在其中一個實施例中，所述搜索模塊還包括賦值單元，用于對乘法因子Lambda賦值:當(dāng)滿足表達式AVG ((c))彡AVG ((b))時，取值為LambdaB，而當(dāng)滿足表達式AVG ((c)) >AVG((b))時，取值為 LambdaF,其中 LambdaB < LambdaF, c 為 A 的受:損點。
[0015]上述圖像修補方法和裝置，通過獲取目標(biāo)圖像的空洞區(qū)域，提取空洞區(qū)域的邊界紋理塊，根據(jù)紋理信息和深度信息搜索與邊界紋理塊最匹配的無損紋理塊，根據(jù)無損紋理塊對邊界紋理塊進行修補，同時根據(jù)紋理信息和深度信息查找用于修補的參考像素，可以提高參考像素的準(zhǔn)確性，從而提高對空洞區(qū)域進行填補的準(zhǔn)確性，從而使2維圖像轉(zhuǎn)3維圖像過程中輸出的3D圖像更加平滑自然。

【專利附圖】

【附圖說明】
[0016]圖1為一個實施例中一種圖像修補方法流程示意圖；
[0017]圖2為另一個實施例中一種圖像修補方法流程示意圖；
[0018]圖3為又一個實施例中一種圖像修補方法流程示意圖；
[0019]圖4為又一個實施例中一種圖像修補方法流程示意圖；
[0020]圖5為一個實施例中一種圖像修補裝置結(jié)構(gòu)示意圖；
[0021]圖6為另一個實施例中一種圖像修補裝置結(jié)構(gòu)示意圖；
[0022]圖7為又一個實施例中一種圖像修補裝置結(jié)構(gòu)示意圖；
[0023]圖8為又一個實施例中一種圖像修補裝置結(jié)構(gòu)示意圖。

【具體實施方式】
[0024]下面結(jié)合具體的實施例及附圖對監(jiān)護數(shù)據(jù)的波形形成方法及裝置的技術(shù)方案進行詳細的描述，以使其更加清楚。
[0025]如圖1所示，一種圖像修補方法，包括如下步驟:
[0026]步驟S110，獲取目標(biāo)圖像的空洞區(qū)域。
[0027]本實施例中，在2D圖像轉(zhuǎn)3D圖像后產(chǎn)生目標(biāo)圖像，由于對二維的場景有進行位移，所以在場景邊緣位置會留下移動痕跡，即一些空洞區(qū)域，空洞區(qū)域通常為單一顏色，如灰色或者黑色，紋理比較單一，通過噪聲分析即可檢測出空洞區(qū)域所在，如將被噪聲區(qū)域包圍的噪聲單一的像素區(qū)域作為空洞區(qū)域。
[0028]步驟S130，提取空洞區(qū)域的邊界紋理塊。
[0029]本實施例中，在空洞區(qū)域的邊界部分往往包括受損點和無損點，通過對受損點和無損點的顏色進行對比，可以形成比較鮮明的邊界。由于相鄰的像素數(shù)據(jù)比較相似，所以保留邊界區(qū)域中的無損點，用于對受損點的紋理結(jié)構(gòu)進行預(yù)測。由于在不同邊界段的紋理變化趨勢是有所不同的，所以根據(jù)紋理變化程度對邊界進行分段，以分段處理邊界紋理塊，提取邊界段以及邊界段兩側(cè)的受損點和無損點形成空洞區(qū)域的邊界紋理塊。
[0030]步驟S150，根據(jù)紋理信息和深度信息搜索與邊界紋理塊最匹配的無損紋理塊。
[0031]本實施例中，搜索最匹配的無損紋理塊時，不僅考慮紋理上的相似度，而且考慮圖像深度上的匹配度，因為紋理可以分布在前景圖像中，也可能分布在背景圖像中，如果以前景圖像來修補背景圖像，將導(dǎo)致錯誤的修補，所以先根據(jù)紋理信息搜索相似的紋理塊，然后，分析深度值的匹配程度，獲取與邊界紋理塊最匹配的無損紋理塊。
[0032]步驟S170，根據(jù)無損紋理塊中的像素對邊界紋理塊中對應(yīng)位置的像素進行修補。
[0033]本實施例中，獲取搜索到的與邊界紋理塊最匹配的無損紋理塊，邊界紋理塊與無損紋理塊是大小形狀相同的，所以可以根據(jù)位置的對應(yīng)關(guān)系從無損紋理塊中抽取像素點到邊界紋理塊中進行填充，將邊界紋理塊中的受損像素點進行修補，而邊界紋理塊中的無損點則保留原有像素值不變；另外還可以從無損紋理塊中獲取顏色變化趨勢函數(shù)，然后根據(jù)該顏色變化趨勢函數(shù)對邊界紋理塊中的受損像素進行預(yù)測，從而對受損點進行修補。對邊界區(qū)域進行修補后，如果空洞區(qū)域還未修補完成，則重復(fù)上述步驟對新的邊界區(qū)域進行修補，直到空洞區(qū)域沒有邊界區(qū)域，即空洞區(qū)域完全被修補完成。對一個空洞區(qū)域修補完成后根據(jù)相同的步驟對其他空洞區(qū)域進行修補，直到目標(biāo)圖像的空洞區(qū)域都修補完成。
[0034]上述圖像修補方法，通過獲取目標(biāo)圖像的空洞區(qū)域，提取空洞區(qū)域的邊界紋理塊，根據(jù)紋理信息和深度信息搜索與邊界紋理塊最匹配的無損紋理塊，根據(jù)無損紋理塊對邊界紋理塊進行修補，同時根據(jù)紋理信息和深度信息查找用于修補的參考像素，可以提高參考像素的準(zhǔn)確性，從而提高對空洞區(qū)域進行填補的準(zhǔn)確性，從而使2維圖像轉(zhuǎn)3維圖像過程中輸出的3D圖像更加平滑自然。
[0035]如圖2所示，在一個實施例中，上述步驟S130包括如下步驟:
[0036]步驟S131，對空洞區(qū)域的邊界紋理塊分配優(yōu)先級。
[0037]本實施例中，在對邊界區(qū)域分塊后，由于不同位置的邊界紋理塊所涉及到的線條、形狀或者顏色等明顯程度有所差別，即圖像內(nèi)容的主次有所不同，所以需要對邊界紋理塊分配不同優(yōu)先級，如根據(jù)可以根據(jù)邊界紋理塊周圍的圖像內(nèi)容的豐富性對邊界紋理塊進行分配優(yōu)先級。
[0038]步驟S133，根據(jù)優(yōu)先級從高到低提取邊界紋理塊。
[0039]本實施例中，可以根據(jù)優(yōu)先級的編號依序從高到低提取邊界紋理塊的圖像內(nèi)容，包括邊界紋理塊的無損點和受損點的顏色值、深度值或者像素位置等。
[0040]對邊界紋理塊分優(yōu)先級處理，以便在邊界區(qū)域修補完成后可以作為對空洞區(qū)域剩余部分進行修補的參考基礎(chǔ)，以避免對目標(biāo)圖像中的明顯內(nèi)容進行錯誤修補。
[0041]如圖3所示,在一個實施例中，上述步驟S150包括如下步驟:
[0042]步驟S151，搜索與邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊。
[0043]本實施例中，在整個目標(biāo)圖像中搜索與邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊，紋理即像素及周圍像素空間的灰度分布，根據(jù)灰度分布特征搜索與邊界紋理塊紋理相似的像素塊。
[0044]步驟S153，篩選出平均深度值大于無損點區(qū)域的平均深度值的一個無損紋理塊，作為最匹配的無損紋理塊。
[0045]本實施例中，在搜索到的紋理相似的像素塊中，獲取每個紋理塊的深度平均值，與邊界紋理塊中的無損點區(qū)域的深度平均值進行對比，將大于無損點區(qū)域的深度平均值的無損紋理塊作為最匹配的無損紋理塊，對邊界紋理塊進行修補，如果有多個最匹配的無損紋理塊，則隨機抽取一個用于對邊界紋理塊進行修補。因為深度值相對較大的像素區(qū)域可以看作是背景圖像的像素區(qū)域，用背景圖像的像素點對空洞區(qū)域進行修補相比用前景圖像對空洞區(qū)域進行修補，對主觀效果影響相對較小，可以提高修補的準(zhǔn)確性。
[0046]如圖4所示,在另一個實施例中，上述步驟S150包括如下步驟:
[0047]步驟S155，獲取所邊界紋理塊與無損紋理塊之間的差異系數(shù)d(A，B) = SAD (A, B) +Lambda*ABS (AVG (Σ depth (a)) -AVG (Σ depth (b)))，其中A為邊界紋理塊中的像素點集合，B為無損點紋理塊中的像素點集合，SAD表示計算A與B之間的絕對差之和，a為A中的無損點，b為無損紋理塊B中的無損點，a與b的位置相對應(yīng)的相同，depthO表示像素點的深度值，Lambda為乘法因子。
[0048]本實施例中，SAD (A, B)計算邊界紋理塊A與無損紋理塊B之間的亮度值的絕對插值和，無損紋理塊可以是目標(biāo)圖像中任意一塊與邊界紋理塊形狀和大小相同的沒有無損像素點的像素區(qū)域，ABS是求絕對值，AVG是求平均值。Lambda*ABS (AVG (Σ depth (a)) -AVG (Σdepth(b)))是深度項，Lambda為乘法因子,乘法因子根據(jù)實驗經(jīng)驗和實際環(huán)境來選取。
[0049]具體的，乘法因子Lambda為:當(dāng)滿足表達式AVG((c)) ^ AVG ((b))時，取值為LambdaB,而當(dāng)滿足表達式AVG ((c)) > AVG ((b))時，取值為LambdaF,其中LambdaB< LambdaF，c為A的受損點，AVG((c))為受損點的平均深度值。即乘法因子還考慮邊界紋理塊中受損點的平均深度值，由于空洞區(qū)域也是基于圖像前景或者背景形成的，所以空洞區(qū)域的平均深度值先對較大時，乘法因子相應(yīng)按照預(yù)設(shè)倍數(shù)提高，進一步提高搜索無損紋理塊的準(zhǔn)確性。
[0050]步驟S157，獲取差異系數(shù)最小的無損紋理塊作為與邊界紋理塊最匹配的無損紋理塊。
[0051]本實施例中，從目標(biāo)圖像中搜索使d(A，B)值最小的無損紋理塊，差異系數(shù)越小，則與邊界紋理塊越匹配。
[0052]通過SAD項選擇紋理相近的像素，同時通過深度項限定對深度的匹配，可以搜索到最匹配的像素點，提高對空洞修補的準(zhǔn)確性。
[0053]如圖5所示，一種圖像修補裝置，包括獲取模塊110、提取模塊130、搜索模塊150和修補模塊170。其中:
[0054]獲取模塊110，用于獲取目標(biāo)圖像的空洞區(qū)域。
[0055]本實施例中，在2D圖像轉(zhuǎn)3D圖像后產(chǎn)生目標(biāo)圖像，由于對二維的場景有進行位移，所以在場景邊緣位置會留下移動痕跡，即一些空洞區(qū)域，空洞區(qū)域通常為單一顏色，如灰色或者黑色，紋理比較單一，獲取模塊110通過噪聲分析即可檢測出空洞區(qū)域所在，如將被噪聲區(qū)域包圍的噪聲單一的像素區(qū)域作為空洞區(qū)域。
[0056]提取模塊130，用于提取空洞區(qū)域的邊界紋理塊。
[0057]本實施例中，在空洞區(qū)域的邊界部分往往包括受損點和無損點，通過對受損點和無損點的顏色進行對比，可以形成比較鮮明的邊界。由于相鄰的像素數(shù)據(jù)比較相似，所以保留邊界區(qū)域中的無損點，用于對受損點的紋理結(jié)構(gòu)進行預(yù)測。由于在不同邊界段的紋理變化趨勢是有所不同的，提取模塊130根據(jù)紋理變化程度對邊界進行分段，以分段處理邊界紋理塊，提取邊界段以及邊界段兩側(cè)的受損點和無損點形成空洞區(qū)域的邊界紋理塊。
[0058]搜索模塊150，用于根據(jù)紋理信息和深度信息搜索與邊界紋理塊最匹配的無損紋理塊。
[0059]本實施例中，搜索最匹配的無損紋理塊時，不僅考慮紋理上的相似度，而且考慮圖像深度上的匹配度，因為紋理可以分布在前景圖像中，也可能分布在背景圖像中，如果以前景圖像來修補背景圖像，將導(dǎo)致錯誤的修補。搜索模塊150先根據(jù)紋理信息搜索相似的紋理塊，然后，分析深度值的匹配程度，獲取與邊界紋理塊最匹配的無損紋理塊。
[0060]修補模塊170，用于根據(jù)無損紋理塊中的像素對邊界紋理塊中對應(yīng)位置的像素進行修補。
[0061]本實施例中，修補模塊170獲取搜索到的與邊界紋理塊最匹配的無損紋理塊，邊界紋理塊與無損紋理塊是大小形狀相同的，所以可以根據(jù)位置的對應(yīng)關(guān)系從無損紋理塊中抽取像素點到邊界紋理塊中進行填充，將邊界紋理塊中的受損像素點進行修補，而邊界紋理塊中的無損點則保留原有像素值不變；另外還可以從無損紋理塊中獲取顏色變化趨勢函數(shù)，然后根據(jù)該顏色變化趨勢函數(shù)對邊界紋理塊中的受損像素進行預(yù)測，從而對受損點進行修補。對邊界區(qū)域進行修補后，如果空洞區(qū)域還未修補完成，則重復(fù)上述步驟對新的邊界區(qū)域進行修補，直到空洞區(qū)域沒有邊界區(qū)域，即空洞區(qū)域完全被修補完成。對一個空洞區(qū)域修補完成后根據(jù)相同的步驟對其他空洞區(qū)域進行修補，直到目標(biāo)圖像的空洞區(qū)域都修補完成。
[0062]上述圖像修補裝置，通過獲取目標(biāo)圖像的空洞區(qū)域，提取空洞區(qū)域的邊界紋理塊，根據(jù)紋理信息和深度信息搜索與邊界紋理塊最匹配的無損紋理塊，根據(jù)無損紋理塊對邊界紋理塊進行修補，從而對目標(biāo)圖像的空洞區(qū)域進行修補，同時根據(jù)紋理信息和深度信息查找用于修補的參考像素，可以提高參考像素的準(zhǔn)確性，從而提高對空洞區(qū)域進行填補的準(zhǔn)確性，從而使2維圖像轉(zhuǎn)3維圖像過程中輸出的3D圖像更加平滑自然。
[0063]如圖6所示，在一個實施例中，上述提取模塊130包括分配單元131和提取單元133。其中:
[0064]分配單元131，用于對空洞區(qū)域的邊界紋理塊分配優(yōu)先級。
[0065]本實施例中，分配單元131在對邊界區(qū)域分塊后，由于不同位置的邊界紋理塊所涉及到的線條、形狀或者顏色等明顯程度有所差別，即圖像內(nèi)容的主次有所不同，所以需要對邊界紋理塊分配不同優(yōu)先級，如根據(jù)可以根據(jù)邊界紋理塊周圍的圖像內(nèi)容的豐富性對邊界紋理塊進行分配優(yōu)先級。
[0066]提取單元133，用于根據(jù)優(yōu)先級從高到低提取邊界紋理塊。
[0067]本實施例中，提取單元133可以根據(jù)優(yōu)先級的編號依序從高到低提取邊界紋理塊的圖像內(nèi)容，包括邊界紋理塊的無損點和受損點的顏色值、深度值或者像素位置等。
[0068]對邊界紋理塊分優(yōu)先級處理，以便在邊界區(qū)域修補完成后可以作為對空洞區(qū)域剩余部分進行修補的參考基礎(chǔ)，以避免對目標(biāo)圖像中的明顯內(nèi)容進行錯誤修補。
[0069]如圖7所示,在一個實施例中，上述搜索模塊150包括搜索單元151和篩選單元153。其中:
[0070]搜索單元151，用于搜索與邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊。
[0071]本實施例中，搜索單元151在整個目標(biāo)圖像中搜索與邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊，紋理即像素及周圍像素空間的灰度分布，根據(jù)灰度分布特征搜索與邊界紋理塊紋理相似的像素塊。
[0072]篩選單元153，用于篩選出平均深度值大于無損點區(qū)域的平均深度值的一個無損紋理塊，作為最匹配的無損紋理塊。
[0073]本實施例中，篩選單元153在搜索到的紋理相似的像素塊中，獲取每個紋理塊的深度平均值，與邊界紋理塊中的無損點區(qū)域的深度平均值進行對比，將大于無損點區(qū)域的深度平均值的無損紋理塊作為最匹配的無損紋理塊，對邊界紋理塊進行修補，如果有多個最匹配的無損紋理塊，則隨機抽取一個用于對邊界紋理塊進行修補。因為深度值相對較大的像素區(qū)域可以看作是背景圖像的像素區(qū)域，用背景圖像的像素點對空洞區(qū)域進行修補相比用前景圖像對空洞區(qū)域進行修補，對主觀效果影響相對較小，可以提高修補的準(zhǔn)確性。
[0074]如圖8所示，在另一個實施例中，上述搜索模塊150包括匹配單元155和對比單元157。其中:
[0075]匹配單元155，用于獲取所邊界紋理塊與無損紋理塊之間的差異系數(shù)d(A，B) = SAD (A, B) +Lambda*ABS (AVG (Σ depth (a)) -AVG (Σ depth (b)))，其中 A 為邊界紋理塊中的像素點集合，B為無損點紋理塊中的像素點集合，SAD表示計算A與B之間的絕對差之和，a為A中的無損點，b為無損紋理塊B中的無損點，a與b的位置相對應(yīng)的相同，depth O表示像素點的深度值，Lambda為乘法因子。
[0076]本實施例中，SAD (A, B)計算邊界紋理塊A與無損紋理塊B之間的亮度值的絕對插值和，無損紋理塊可以是目標(biāo)圖像中任意一塊與邊界紋理塊形狀和大小相同的沒有無損像素點的像素區(qū)域，ABS是求絕對值，AVG是求平均值。Lambda*ABS (AVG (Σ depth (a)) -AVG (Σdepth(b)))是深度項，Lambda為乘法因子,乘法因子根據(jù)實驗經(jīng)驗和實際環(huán)境來選取。
[0077]具體的，乘法因子Lambda為:當(dāng)滿足表達式AVG((c)) ^ AVG ((b))時，取值為LambdaB,而當(dāng)滿足表達式AVG ((c)) > AVG ((b))時，取值為LambdaF,其中LambdaB<1^!1*(1&?，(3為六的受損點4￥6(((3))為受損點的平均深度值。即乘法因子還考慮邊界紋理塊中受損點的平均深度值，由于空洞區(qū)域也是基于圖像前景或者背景形成的，所以空洞區(qū)域的平均深度值先對較大時，乘法因子相應(yīng)按照預(yù)設(shè)倍數(shù)提高，進一步提高搜索無損紋理塊的準(zhǔn)確性。
[0078]對比單元157，用于獲取差異系數(shù)最小的無損紋理塊作為與邊界紋理塊最匹配的無損紋理塊。
[0079]本實施例中，對比單元157從目標(biāo)圖像中搜索使d(A，B)值最小的無損紋理塊，差異系數(shù)越小，則與邊界紋理塊越匹配。
[0080]通過深度項的限定可以減弱SAD項中錯誤紋理的生長，由此綜合在SAD項與深度項的共同作用下可以搜索到最匹配的像素點，使得修補空洞過程中錯誤紋理不會繼續(xù)生長，又不會對主觀效果有太大影響，可以提高對空洞修補的準(zhǔn)確性。
[0081] 以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【權(quán)利要求】
1.一種圖像修補方法，包括如下步驟: 獲取目標(biāo)圖像的空洞區(qū)域； 提取所述空洞區(qū)域的邊界紋理塊； 根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊； 根據(jù)所述無損紋理塊中的像素對所述邊界紋理塊中對應(yīng)位置的像素進行修補。
2.根據(jù)權(quán)利要求1所述的圖像修補方法，其特征在于，所述提取所述空洞區(qū)域的邊界紋理塊的步驟包括: 對空洞區(qū)域的邊界紋理塊分配優(yōu)先級； 根據(jù)所述優(yōu)先級從高到低提取邊界紋理塊。
3.根據(jù)權(quán)利要求1所述的圖像修補方法，其特征在于，所述根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊的步驟包括: 搜索與所述邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊； 篩選出平均深度值大于所述無損點區(qū)域的平均深度值的一個無損紋理塊，作為最匹配的無損紋理塊。
4.根據(jù)權(quán)利要求1所述的圖像修補方法，其特征在于，所述根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊的步驟包括: 獲取所述邊界紋理塊與無損紋理塊之間的差異系數(shù)d(A，B) = SAD(A，B)+Lambda*ABS(AVG (Σ depth (a)) -AVG (Σ depth (b)))，其中A為邊界紋理塊中的像素點集合，B為無損點紋理塊中的像素點集合，SAD表示計算A與B之間的絕對差之和，a為A中的無損點，b為無損紋理塊B中的無損點，a與b的位置相對應(yīng)的相同，cbpthO表示像素點的深度值，Lambda為乘法因子； 獲取差異系數(shù)最小的無損紋理塊作為與所述邊界紋理塊最匹配的無損紋理塊。
5.根據(jù)權(quán)利要求4所述的圖像修補方法，其特征在于，所述乘法因子Lambda為:當(dāng)滿足表達式 AVG((c)) ^ AVG ((b))時，取值為1^11*(1&8，而當(dāng)滿足表達式4￥6(((3)) > AVG ((b))時，取值為LambdaF,其中LambdaB < LambdaF, c為A的受:損點。
6.一種圖像修補裝置，其特征在于，包括: 獲取模塊，用于獲取目標(biāo)圖像的空洞區(qū)域； 提取模塊，用于提取所述空洞區(qū)域的邊界紋理塊； 搜索模塊，用于根據(jù)紋理信息和深度信息搜索與所述邊界紋理塊最匹配的無損紋理塊； 修補模塊，用于根據(jù)所述無損紋理塊中的像素對所述邊界紋理塊中對應(yīng)位置的像素進行修補。
7.根據(jù)權(quán)利要求6所述的圖像修補裝置，其特征在于，所述提取模塊包括: 分配單元，用于對空洞區(qū)域的邊界紋理塊分配優(yōu)先級； 提取單元，用于根據(jù)所述優(yōu)先級從高到低提取邊界紋理塊。
8.根據(jù)權(quán)利要求6所述的圖像修補裝置，其特征在于，所述搜索模塊包括: 搜索單元，用于搜索與所述邊界紋理塊中的無損點區(qū)域紋理相似的無損紋理塊； 篩選單元，用于篩選出平均深度值大于所述無損點區(qū)域的平均深度值的一個無損紋理塊，作為最匹配的無損紋理塊。
9.根據(jù)權(quán)利要求6所述的圖像修補裝置，其特征在于，所述搜索模塊包括: 匹配單元，用于獲取所述邊界紋理塊與無損紋理塊之間的差異系數(shù)d(A，B) = SAD (A,B) +Lambda*ABS (AVG (Σ depth (a)) -AVG (Σ depth (b)))，其中 A 為邊界紋理塊中的像素點集合，B為無損點紋理塊中的像素點集合，SAD表示計算A與B之間的絕對差之和，a為A中的無損點，b為無損紋理塊B中的無損點，a與b的位置相對應(yīng)的相同，depthO表示像素點的深度值，Lambda為乘法因子； 對比單元，用于獲取差異系數(shù)最小的無損紋理塊作為與所述邊界紋理塊最匹配的無損紋理塊。
10.根據(jù)權(quán)利要求9所述的圖像修補裝置，其特征在于，所述搜索模塊還包括賦值單元，用于對乘法因子Lambda賦值:當(dāng)滿足表達式AVG ((c)) ^ AVG ((b))時，取值為LambdaB，而當(dāng)滿足表達式 AVG ((c)) > AVG ((b))時，取值為 LambdaF,其中 LambdaB < LambdaF, c 為A的受損點。
【文檔編號】G06T11/40GK104240275SQ201310233876
【公開日】2014年12月24日 申請日期:2013年6月13日 優(yōu)先權(quán)日:2013年6月13日
【發(fā)明者】肖本, 汪大崴, 孔德明 申請人:深圳深訊和科技有限公司