圖像處理方法
【專利說明】圖像處理方法
[0001 ] 本申請要求于2014年11月25日提交到韓國知識產(chǎn)權(quán)局的第10-2014-0165505號韓國專利申請的優(yōu)先權(quán)，該申請的全部內(nèi)容通過引用完整地合并于此。
技術(shù)領(lǐng)域
[0002]至少一些示例實施例涉及一種圖像處理方法和設(shè)備，更具體地說，涉及用于恢復圖像中的孔洞的技術(shù)。
【背景技術(shù)】
[0003]響應(yīng)于有限數(shù)量的輸入視圖的產(chǎn)生，圖像處理設(shè)備可接收輸入視圖并基于接收的輸入視圖生成多視圖圖像(multiview image)。在輸入視圖中被前景對象遮蔽的區(qū)域(例如，遮擋區(qū)域)可被表示為多視圖圖像中的孔洞。

【發(fā)明內(nèi)容】

[0004]根據(jù)至少一些示例實施例，一種圖像處理方法包括:獲取定義第一圖像中的相似形態(tài)的分布的特征;并且基于所述特征恢復第二圖像中包括的孔洞。
[0005]所述特征可包括關(guān)于包括在第一圖像中的背景的結(jié)構(gòu)信息。
[0006]恢復的步驟可包括:基于所述特征確定與恢復塊相應(yīng)的候選塊，恢復塊包括孔洞的至少一部分;并且基于候選塊來對恢復塊進行恢復。
[0007]恢復塊可位于孔洞的邊界，并且對恢復塊進行恢復的步驟可包括:基于包括在恢復塊的一部分中的圖像信息從候選塊中選擇至少一個第一候選塊;并且基于所述至少一個第一候選塊來恢復包括在恢復塊的剩余部分中的孔洞。
[0008]獲取的步驟可包括:將第一圖像劃分為多個塊;將所述多個塊中的第一塊與其他塊進行比較，并且從所述其他塊之中檢測與第一塊具有相似形態(tài)的第二塊；累積第一塊與第二塊之間的相對位置的頻率值;并且基于累積的頻率值來生成所述特征。
[0009]獲取的步驟可包括:將第一圖像劃分為多個塊;檢測包括在第一圖像中的背景的結(jié)構(gòu)方向；將所述多個塊中的第一塊與相對于第一塊位于結(jié)構(gòu)方向上的其他塊進行比較，并從所述其他塊之中檢測與第一塊具有相似形態(tài)的第二塊;累積第一塊與第二塊之間的相對位置的頻率值;并且基于累積的頻率值來生成所述特征。
[0010]檢測結(jié)構(gòu)方向的步驟可包括:檢測第一圖像中包括的邊緣;基于檢測的邊緣的梯度確定主方向；并且將主方向確定為結(jié)構(gòu)方向。
[0011]獲取的步驟可包括:基于第一圖像的深度信息將第一圖像劃分為多個層;并且針對所述多個層中的每個層，檢測定義層中的相似形態(tài)的分布的層特征。
[0012]恢復孔洞的步驟可包括:檢驗包括與孔洞鄰近的區(qū)域的層;基于檢驗的層的層特征，確定與包括孔洞的至少一部分的恢復塊相應(yīng)的至少一個候選塊;并且基于所述至少一個候選塊來對恢復塊進行恢復。
[0013]獲取的步驟可包括:確定與孔洞的位置相應(yīng)的區(qū)域;并且檢測定義確定的區(qū)域中的相似形態(tài)的分布的區(qū)域特征。
[0014]恢復的步驟可包括:基于與孔洞的位置相應(yīng)的區(qū)域的區(qū)域特征來確定與恢復塊相應(yīng)的至少一個候選塊，恢復塊包括孔洞的至少一部分;并且基于所述至少一個候選塊來對恢復塊進行恢復。
[0015]所述方法還可包括:生成基于輸入圖像生成的參考視點圖像，其中，恢復的步驟可包括:基于參考視點圖像預測將被生成的多視圖圖像中的孔洞;并且基于所述特征恢復預測的孔洞。
[0016]所述方法還可包括:將關(guān)于孔洞的恢復信息分配到多視圖圖像中。
[0017]所述方法還可包括:確定是否在第一圖像中執(zhí)行場景轉(zhuǎn)換，其中獲取的步驟包括:響應(yīng)于確定執(zhí)行場景轉(zhuǎn)換，檢測定義第一圖像中的相似形態(tài)的分布的特征。
[0018]獲取的步驟可包括:響應(yīng)于確定不執(zhí)行場景轉(zhuǎn)換，基于從之前幀檢測到的特征，檢驗定義第一圖像中的相似形態(tài)的分布的特征。
[0019]獲取的步驟可包括:接收基于參考圖像生成的特征，其中，可通過轉(zhuǎn)換參考圖像來生成第二圖像。
[0020]可通過基于參考圖像的深度信息將參考圖像的像素投射到與第二圖像的視點相應(yīng)的位置上來生成第二圖像，使得:第二圖像中的像素中的每個的移動距離根據(jù)相應(yīng)像素的深度值的減小而增大，并且移動距離根據(jù)相應(yīng)像素的深度值的增大而減小。
[0021]可通過移動包括在參考圖像中的至少一個對象來生成第二圖像。
[0022]第一圖像可與第二圖像相同。
[0023]第一圖像可與第二圖像不同。
[0024]根據(jù)至少一些示例實施例，一種包含程序代碼的非暫時性計算機可讀介質(zhì)，當被處理器執(zhí)行時，所述程序代碼執(zhí)行包括獲取定義第一圖像中的相似形態(tài)的分布的特征并且基于所述特征恢復第二區(qū)域中包括的孔洞的操作。
[0025]根據(jù)至少一些示例實施例，一種圖像處理方法包括:將第一圖像劃分為多個塊;分析所述多個塊;基于所述分析將所述多個塊中的一部分確定為多個候選塊;并且基于所述多個候選塊來恢復第二圖像中包括的孔洞。
[0026]第一圖像可與第二圖像相同。
[0027]第一圖像可與第二圖像不同。
[0028]分析的步驟可包括:分析所述多個塊，并且獲取定義第一圖像中的相似形態(tài)的分布的特征;基于所述特征將所述多個塊中的一部分確定為所述多個候選塊。
[0029]恢復的步驟可包括:基于在位于孔洞的邊界的恢復塊的一部分中包括的圖像信息，來從所述多個候選塊之中選擇至少一個第一候選塊;并且基于所述至少一個第一候選塊來恢復包括在恢復塊的剩余部分中的孔洞。
[0030]劃分的步驟可包括:基于第一圖像的深度信息將第一圖像劃分為多個層;并且將所述多個層中的每個層劃分為多個塊。
[0031 ]分析的步驟可包括:分析與所述多個層中的每個層相應(yīng)的塊，并針對所述多個層中的每個層來檢測定義層的相似形態(tài)的分布的層特征;檢驗包括與孔洞鄰近的區(qū)域的層；并且基于檢驗的層特征，從在所述多個層中的每個層中包括的所述多個塊中選擇所述多個候選塊。
[0032]劃分的步驟可包括:確定與孔洞的位置相應(yīng)的區(qū)域;并且將確定的區(qū)域劃分為多個塊。
[0033]分析的步驟可包括:分析包括在確定的區(qū)域中的塊，并檢測定義相似形態(tài)的分布的區(qū)域特征;并且基于區(qū)域特征，從包括在確定的區(qū)域中的塊中選擇所述多個候選塊。
[0034]根據(jù)至少一些示例實施例，一種方法包括:接收包括背景和至少一個前景對象的至少一個圖像，所述至少一個前景對象具有相對于背景的第一位置;檢測所述至少一個圖像中的視覺相似區(qū)域的圖案;基于檢測的圖案生成相似形態(tài)分布特征，相似形態(tài)分布特征定義所述至少一個圖像的區(qū)域的陣列;基于所述至少一個圖像來生成至少一個圖像視圖，使得:所述至少一個圖像視圖中的所述至少一個前景對象具有與第一位置不同的相對于背景的第二位置，并且所述至少一個圖像視圖包括圖像孔洞;基于相似形態(tài)分布特征選擇所述至少一個圖像視圖的第一區(qū)域;通過基于所述至少一個圖像視圖的第一區(qū)域填充所述至少一個圖像視圖的圖像孔洞來生成輸出圖像。
[0035]生成所述至少一個圖像視圖的步驟可包括:生成所述至少一個圖像視圖使得圖像孔洞對應(yīng)于第一位置與第二位置之間的差。
[0036]選擇的步驟可包括:檢測所述至少一個圖像視圖的包括圖像孔洞的一部分和背景的一部分二者的區(qū)域;確定多個候選區(qū)域，所述多個候選區(qū)域是所述至少一個圖像視圖的與相似形態(tài)分布特征的區(qū)域的陣列相應(yīng)的區(qū)域;并且選擇所述多個候選區(qū)域中的一個作為第一區(qū)域。
[0037]選擇所述多個候選區(qū)域中的一個的步驟可包括:基于背景的所述一部分的視覺特征以及所述至少一個圖像視圖的多個候選區(qū)域的視覺特征來執(zhí)行比較;并且基于所述比較來選擇所述多個候選區(qū)域中的一個作為第一區(qū)域。
[0038]選擇的候選區(qū)域可以是所述多個候選區(qū)域之中的相對于背景的所述一部分具有最高相似度的區(qū)域。
[0039]填充所述至少一個圖像視圖的圖像孔洞的步驟可包括:使用第一區(qū)域的視覺特征來替換圖像孔洞。
[0040]所述方法還可包括:將所述至少一個圖像視圖劃分為多個塊，其中，第一區(qū)域是所述多個塊之中的塊，并且區(qū)域的陣列分別對應(yīng)于所述多個塊之中的塊的陣列。
【附圖說明】
[0041]通過參考附圖詳細地描述本發(fā)明構(gòu)思的示例實施例，本發(fā)明構(gòu)思的示例實施例的以上以及其他特征和優(yōu)點將變得更加清楚。附圖意在描繪本發(fā)明構(gòu)思的示例實施例，并且不應(yīng)該被解釋為限制權(quán)利要求的預期范圍。除非明確地指出，否則附圖將不認為是按比例繪制。
[0042]圖1示出根據(jù)至少一些示例實施例的圖像處理設(shè)備的操作；
[0043]圖2A至圖2C示出根據(jù)至少一些示例實施例的孔洞恢復方案的示例；
[0044]圖3和圖4示出根據(jù)至少一些示例實施例的應(yīng)用孔洞恢復方案的示例；
[0045]圖5示出根據(jù)至少一些示例實施例的檢測相似形態(tài)分布特征的方案；
[0046]圖6A至圖6C示出根據(jù)至少一些示例實施例的基于關(guān)于包括在圖像中的背景的結(jié)構(gòu)信息所形成的相似形態(tài)分布特征的示例；
[0047]圖7示出根據(jù)至少一些示例實施例的針對每層的相似形態(tài)分布特征；
[0048]圖8示出根據(jù)至少一些示例實施例的基于針對每層的相似形態(tài)分布特征來恢復孔洞的方案；
[0049]圖9示出根據(jù)至少一些示例實施例的基于針對每個區(qū)域的相似形態(tài)分布特征來恢復孔洞的方案；
[0050]圖10示出根據(jù)至少一些示例實施例的防止運動圖像中閃爍的發(fā)生的方案；
[0051]圖11示出根據(jù)至少一些示例實施例的圖像處理方法；
[0052]圖12示出根據(jù)至少一些示例實施例的圖像處理設(shè)備。
【具體實施方式】
[0053]在此公開本發(fā)明構(gòu)思的詳細的示例實施例。然而，在此公開的特定結(jié)構(gòu)和功能的細節(jié)僅表示為了描述本發(fā)明構(gòu)思的示例實施例的目的。然而，可以以許多替換形式來實現(xiàn)本發(fā)明構(gòu)思的示例實施例，并且本發(fā)明構(gòu)思的示例實施例不應(yīng)被解釋為僅限于在此闡述的實施例。
[0054]因此，雖然本發(fā)明構(gòu)思的示例實施例能夠具有各種修改和替換形式，但是其實施例通過示例的方式在附圖中被示出，并且在此將被詳細地描述。然而，應(yīng)理解，不意在將本發(fā)明構(gòu)思的示例實施例限制為所公開的具體形式，而是與此相反，本發(fā)明構(gòu)思的示例實施例將覆蓋落入本發(fā)明構(gòu)思的示例實施例的范圍內(nèi)的所有改變、等同物以及替換物。貫穿附圖的描述，相同的標號表示相同的元件。
[0055]將理解，雖然在此可使用術(shù)語“第一”、“第二”等來描述各種元件，但是這些元件不應(yīng)被這些術(shù)語所限制。這些術(shù)語僅用于將一個元件與另一元件進行區(qū)分。例如，在不脫離本發(fā)明構(gòu)思的示例實施例的范圍的情況下，第一元件可被稱為第二元件，類似地，第二元件可被稱為第一元件。如在此使用的，術(shù)語“和/或”包括相關(guān)列出項中的一個或多個的任意和全部組合。
[0056]將理解，當元件被稱為被“連接”或“親合”到另一元件時，該元件可被直接地連接到或耦合到該另一元件或者可存在中間元件。相反，當元件被稱為被“直接地連接”或“直接地耦合