本發(fā)明涉及圖像處理，尤其涉及一種聯(lián)合非局部自相似性與張量鏈分解的圖像填充方法。

背景技術(shù)：

1、圖像作為視覺(jué)信息的載體，在人們的溝通交流及信息傳遞的過(guò)程中至關(guān)重要。隨著計(jì)算機(jī)圖形處理技術(shù)的不斷發(fā)展，對(duì)圖像的質(zhì)量要求也不斷提高。然而圖像在傳輸過(guò)程中由于傳輸設(shè)備，網(wǎng)絡(luò)情況，采集方式等，可能會(huì)出現(xiàn)像素點(diǎn)丟失，文字覆蓋，局部破損等情況，嚴(yán)重影響了圖片的視覺(jué)效果和對(duì)它的后續(xù)使用，因此，需要對(duì)受損的圖像進(jìn)行圖像恢復(fù)處理，以提高圖像的視覺(jué)效果。

2、目前，通常采用張量補(bǔ)全技術(shù)實(shí)現(xiàn)圖像恢復(fù)處理。張量作為向量和矩陣的高階擴(kuò)展，能夠更好的捕捉數(shù)據(jù)之間的結(jié)構(gòu)信息，所以目前很多對(duì)圖像視頻等高維數(shù)據(jù)都采用張量的形式進(jìn)行存儲(chǔ)和處理，張量補(bǔ)全技術(shù)就是利用數(shù)據(jù)中未缺失位置點(diǎn)的數(shù)據(jù)估計(jì)預(yù)測(cè)缺失點(diǎn)位置的數(shù)據(jù)?；趶埩挎湻纸獾膹埩垦a(bǔ)全方法由于其規(guī)范化的展開(kāi)方式將張量矩陣化，可以很好的刻畫高階張量的全局相關(guān)性。然而，采用張量鏈分解的圖像恢復(fù)方法，存在容易產(chǎn)生塊偽影的情況，嚴(yán)重影響了圖像的視覺(jué)效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種聯(lián)合非局部自相似性與張量鏈分解的圖像填充方法，以減少恢復(fù)圖像的偽影現(xiàn)象，提高圖像的恢復(fù)性能。

2、根據(jù)本發(fā)明的第一方面，提供了一種聯(lián)合非局部自相似性與張量鏈分解的圖像填充方法，包括：

3、獲取待恢復(fù)圖像，將所述待恢復(fù)圖像劃分為多個(gè)預(yù)設(shè)大小的圖像塊；其中，所述待恢復(fù)圖像包含部分缺失像素；

4、對(duì)每個(gè)所述圖像塊，分別確定所述圖像塊對(duì)應(yīng)的多個(gè)相似圖像塊，將所述圖像塊和所述相似圖像塊確定為一個(gè)圖像塊組；

5、基于所述待恢復(fù)圖像張量對(duì)應(yīng)的張量鏈秩，構(gòu)建張量鏈秩最小化函數(shù)，基于各圖像塊組張量對(duì)應(yīng)的tucker秩，構(gòu)建tucker秩最小化函數(shù)；

6、基于所述張量鏈秩最小化函數(shù)和所述tucker秩最小化函數(shù)，構(gòu)建圖像填充優(yōu)化函數(shù)；

7、求解所述圖像填充優(yōu)化函數(shù)，得到與所述待恢復(fù)圖像對(duì)應(yīng)的恢復(fù)圖像張量，以基于所述恢復(fù)圖像張量確定目標(biāo)恢復(fù)圖像；其中，所述目標(biāo)恢復(fù)圖像為對(duì)所述待恢復(fù)圖像中的所述缺失像素進(jìn)行像素填充的圖像。

8、可選的，在所述獲取待恢復(fù)圖像之后，還包括：

9、確定所述待恢復(fù)圖像中的缺失像素和未缺失像素；

10、對(duì)每個(gè)缺失像素，基于位于所述缺失像素預(yù)設(shè)像素范圍內(nèi)的未缺失像素，確定待處理像素值；

11、將所述待處理像素值賦值到所述缺失像素上，以完成所述待恢復(fù)圖像的初始化操作。

12、可選的，所述基于位于所述缺失像素預(yù)設(shè)像素范圍內(nèi)的未缺失像素，確定待處理像素值，包括：

13、基于位于所述缺失像素預(yù)設(shè)像素范圍內(nèi)的未缺失像素的平均值，確定待處理像素值。

14、可選的，所述確定所述圖像塊對(duì)應(yīng)的多個(gè)相似圖像塊，包括：

15、確定以所述圖像塊為中心的預(yù)設(shè)圖像塊窗口；

16、將所述預(yù)設(shè)圖像塊窗口內(nèi)的各圖像塊確定為待處理圖像塊；

17、對(duì)各所述待處理像素塊，分別確定所述圖像塊與所述待處理圖像塊的歐幾里得距離值；

18、對(duì)各所述歐幾里得距離值進(jìn)行升序排列，將排名前預(yù)設(shè)距離閾值的歐幾里得距離值對(duì)應(yīng)的待處理圖像塊，確定為與所述圖像塊對(duì)應(yīng)的相似圖像塊。

19、可選的，所述基于所述待恢復(fù)圖像張量對(duì)應(yīng)的張量鏈秩，構(gòu)建張量鏈秩最小化函數(shù)，基于各圖像塊組張量對(duì)應(yīng)的tucker秩，構(gòu)建tucker秩最小化函數(shù)，包括：

20、將所述待恢復(fù)圖像張量分解為多階張量鏈，通過(guò)最小化各階所述張量鏈對(duì)應(yīng)的張量鏈秩，構(gòu)建張量鏈秩最小化函數(shù)；

21、通過(guò)最小化各所述圖像塊組張量對(duì)應(yīng)的tucker秩，構(gòu)建tucker秩最小化函數(shù)。

22、可選的，所述張量鏈秩最小化函數(shù)為：

23、

24、

25、所述tucker秩最小化函數(shù)為：

26、

27、

28、式中，表示待求解恢復(fù)圖像張量，表示待恢復(fù)圖像的觀測(cè)張量，ω表示未缺失像素的像素位置集合，表示待求解恢復(fù)圖像張量在位置集ω的值與待恢復(fù)圖像的觀測(cè)張量在位置集ω的值保持一致，為frobenius范數(shù)算子，用于表征所述張量鏈秩，表示待求解恢復(fù)圖像張量第k階張量鏈的矩陣化，pk和qk為的分解矩陣，其中，rk表示待求解恢復(fù)圖像張量第k階張量鏈秩，βk為預(yù)設(shè)常數(shù)，為圖像塊組張量，表示圖像塊組張量沿n-mode展開(kāi)的加權(quán)核范數(shù)，用于表征各所述圖像塊組張量對(duì)應(yīng)的tucker秩，i＝1,2,...,p，p表示圖像塊組總數(shù)，αn為預(yù)設(shè)加權(quán)常數(shù)，n3表示圖像通道數(shù)。

29、可選的，所述圖像填充優(yōu)化函數(shù)為：

30、

31、

32、可選的，其特征在于，所述求解所述圖像填充優(yōu)化函數(shù)，得到與所述待恢復(fù)圖像對(duì)應(yīng)的恢復(fù)圖像張量，包括：

33、將所述圖像填充優(yōu)化函數(shù)轉(zhuǎn)化為圖像填充拉格朗日函數(shù)；

34、根據(jù)所述圖像填充拉格朗日函數(shù)，采用交替方向乘子法，將所述圖像填充拉格朗日函數(shù)中的變量轉(zhuǎn)化為多個(gè)獨(dú)立的子函數(shù)；

35、對(duì)各所述子函數(shù)進(jìn)行迭代求解，當(dāng)滿足預(yù)設(shè)收斂條件時(shí)，停止迭代運(yùn)算；

36、將停止時(shí)的待求解恢復(fù)圖像張量，確定為與所述待恢復(fù)圖像對(duì)應(yīng)的恢復(fù)圖像張量。

37、可選的，所述預(yù)設(shè)收斂條件為：

38、當(dāng)前迭代次數(shù)達(dá)到預(yù)設(shè)次數(shù)閾值；或者，

39、所述待求解恢復(fù)圖像張量對(duì)應(yīng)的子函數(shù)滿足預(yù)設(shè)收斂函數(shù)；其中，所述預(yù)設(shè)收斂函數(shù)為：

40、

41、其中，是是本次所述待求解恢復(fù)圖像張量對(duì)應(yīng)的子函數(shù)的計(jì)算結(jié)果，是上一次所述待求解恢復(fù)圖像張量對(duì)應(yīng)的子函數(shù)的計(jì)算結(jié)果，ε是預(yù)設(shè)誤差閾值。

42、根據(jù)本發(fā)明的第二方面，提供了一種聯(lián)合非局部自相似性與張量鏈分解的圖像填充裝置，包括：

43、待處理圖像劃分模塊，用于獲取待恢復(fù)圖像，將所述待恢復(fù)圖像劃分為多個(gè)預(yù)設(shè)大小的圖像塊；其中，所述待恢復(fù)圖像包含部分缺失像素；

44、圖像塊組確定模塊，用于對(duì)每個(gè)所述圖像塊，分別確定所述圖像塊對(duì)應(yīng)的多個(gè)相似圖像塊，將所述圖像塊和所述相似圖像塊確定為一個(gè)圖像塊組；

45、最小化函數(shù)構(gòu)建模塊，用于基于所述待恢復(fù)圖像張量對(duì)應(yīng)的張量鏈秩，構(gòu)建張量鏈秩最小化函數(shù)，基于各圖像塊組張量對(duì)應(yīng)的tucker秩，構(gòu)建tucker秩最小化函數(shù)；

46、填充函數(shù)構(gòu)建模塊，用于基于所述張量鏈秩最小化函數(shù)和所述tucker秩最小化函數(shù)，構(gòu)建圖像填充優(yōu)化函數(shù)；

47、填充函數(shù)求解模塊，用于求解所述圖像填充優(yōu)化函數(shù)，得到與所述待恢復(fù)圖像對(duì)應(yīng)的恢復(fù)圖像張量，以基于所述恢復(fù)圖像張量確定目標(biāo)恢復(fù)圖像；其中，所述目標(biāo)恢復(fù)圖像為對(duì)所述待恢復(fù)圖像中的所述缺失像素進(jìn)行像素填充的圖像。

48、本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)獲取待恢復(fù)圖像，將待恢復(fù)圖像劃分為多個(gè)預(yù)設(shè)大小的圖像塊，其中，待恢復(fù)圖像包含部分缺失像素，進(jìn)而，對(duì)每個(gè)圖像塊，分別確定圖像塊對(duì)應(yīng)的多個(gè)相似圖像塊，將圖像塊和相似圖像塊確定為一個(gè)圖像塊組，體現(xiàn)了待恢復(fù)圖像的非局部自相似性。進(jìn)一步的，基于待恢復(fù)圖像張量對(duì)應(yīng)的張量鏈秩，構(gòu)建張量鏈秩最小化函數(shù)，基于各圖像塊組張量對(duì)應(yīng)的tucker秩，構(gòu)建tucker秩最小化函數(shù)，從而基于張量鏈秩最小化函數(shù)和tucker秩最小化函數(shù)，構(gòu)建圖像填充優(yōu)化函數(shù)，最后，求解圖像填充優(yōu)化函數(shù)，得到與待恢復(fù)圖像對(duì)應(yīng)的恢復(fù)圖像張量，以基于恢復(fù)圖像張量確定目標(biāo)恢復(fù)圖像，其中，目標(biāo)恢復(fù)圖像為對(duì)待恢復(fù)圖像中的缺失像素進(jìn)行像素填充的圖像。本發(fā)明實(shí)施例，通過(guò)相似塊組張量的tucker秩，構(gòu)建tucker秩最小化函數(shù)，從而約束單個(gè)相似塊組的低秩性，充分利用了待恢復(fù)圖像非局部自相似性的特性；通過(guò)待處理圖像對(duì)應(yīng)的張量鏈秩，構(gòu)建張量鏈秩最小化函數(shù)，約束圖像數(shù)據(jù)的全局低秩性，利用了待恢復(fù)圖像全局相似性的特性，本發(fā)明聯(lián)合了待處理圖像的非局部自相似性以及全局相似相，進(jìn)行張量補(bǔ)全運(yùn)算，實(shí)現(xiàn)視覺(jué)效果更佳的圖像恢復(fù)處理，減少了恢復(fù)圖像的偽影現(xiàn)象，提高了圖像的恢復(fù)性能。

49、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本發(fā)明的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過(guò)以下的說(shuō)明書而變得容易理解。