一種恢復(fù)深度信息的圖像處理的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理的方法，尤其涉及恢復(fù)深度信息的圖像處理的方法。
【背景技術(shù)】
[0002] 在通常情況下，通過(guò)相機(jī)采集圖像的過(guò)程是將三維的空間場(chǎng)景投影在二維的感光 平面上，而這一過(guò)程將丟失圖像中的深度信息；此外，相機(jī)使光通過(guò)光圈以采集圖像，而光 圈會(huì)對(duì)圖像的景深造成影響，即圖像中的場(chǎng)景在景深范圍內(nèi)是清晰的而在景深范圍外是模 糊的。通過(guò)圖像處理技術(shù)可將圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并對(duì)其進(jìn)行處理，而利用圖像處理 以恢復(fù)完全清晰的圖像（即全清晰圖像）的過(guò)程可被看作是對(duì)拍攝到的圖像的矩陣與根據(jù) 景深而模糊（即校準(zhǔn)的模糊內(nèi)核）的矩陣進(jìn)行反卷積。
[0003] 為恢復(fù)圖像中的深度信息，在一些圖像處理的現(xiàn)有技術(shù)中，采用大小不同的圓形 光圈以采集圖像，并且利用獲取的不同的圖像在同一像素位置的散焦程度的差異以計(jì)算場(chǎng) 景的深度信息，隨后對(duì)得出的包括深度信息的圖像的矩陣進(jìn)行反卷積以重建全清晰圖像。 然而，由不同大小的圓形光圈獲取的圖像，其在深度上的區(qū)分性較弱，并且其在圖像處理的 傅里葉頻譜中存在較多的零點(diǎn)幅值，由此導(dǎo)致反卷積后獲得的圖像的效果不理想。
[0004] 為改善上述技術(shù)中的缺陷，在一些現(xiàn)有技術(shù)中，提出了通過(guò)利用編碼光圈代替 傳統(tǒng)的圓形光圈的方法。例如，在2009年由C. Zhou等人發(fā)表于IEEE International Conference on Computational Photography(ICCP)的名為"What Are Good Apertures for Defocus Deblurring?"的會(huì)議文章中，提出了通過(guò)優(yōu)化概率公式并且使用基因算法 進(jìn)行枚舉，以得出可用于反卷積的性能較好的編碼光圈。又例如，在2007年由A. Levin 等人發(fā)表于 ACM Transactions on Graphics(TOG)的名為"Image and Depth From a Conventional Camera with a Coded Aperture"的匯報(bào)文章中，提出了通過(guò)分析不同光圈 尺度的能量譜的分布并且利用KL散度以求取在不同光圈尺度間的最大距離，以計(jì)算出存 在較大差異的編碼光圈。
[0005] 然而，通過(guò)上述算法得出的編碼光圈，其為在統(tǒng)計(jì)意義上，或平均的對(duì)自然圖像的 優(yōu)選的方法，而針對(duì)不同的圖像時(shí)其效果可能不佳。
[0006] 并且，上述算法有較高的計(jì)算復(fù)雜度。其為獲取編碼光圈需要對(duì)大量的矩陣進(jìn)行 搜索，而對(duì)圖像處理的求解算法也需要參考先驗(yàn)的統(tǒng)計(jì)結(jié)果，并因此在同等條件下增加了 圖像處理的總的耗時(shí)。
[0007] 此外，上述算法在優(yōu)化編碼光圈時(shí)所使用的準(zhǔn)則是單一的，即或者以重建全清晰 為標(biāo)準(zhǔn)，或者以恢復(fù)深度信息為標(biāo)準(zhǔn)。這是由于，編碼光圈的矩陣的傅里葉頻譜的高幅值有 利于反卷積以對(duì)圖像去模糊，而多零點(diǎn)幅值有利于計(jì)算圖像的深度信息。而在上述方法中， 這兩個(gè)標(biāo)準(zhǔn)的實(shí)現(xiàn)是相互矛盾的。例如，在以恢復(fù)深度為標(biāo)準(zhǔn)時(shí)，在其反卷積后得到的圖像 中可能存在圖像的部分高頻信息丟失的振鈴現(xiàn)象。

【發(fā)明內(nèi)容】

[0008] 為克服上述現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種恢復(fù)深度信息的圖像處理的方 法。本發(fā)明的目的可通過(guò)以下技術(shù)方案實(shí)現(xiàn)：
[0009] 首先，利用小光圈采集場(chǎng)景的第一圖像，并計(jì)算所述第一圖像的梯度，以確定所述 第一圖像的場(chǎng)景內(nèi)容的主方向；
[0010] 然后，用沿所述主方向排列的編碼光圈采集場(chǎng)景的第二圖像；
[0011] 然后，確定所述第二圖像與不同預(yù)測(cè)深度下的校準(zhǔn)內(nèi)核的反卷積，以獲取深度 圖；
[0012] 最后，利用所述深度圖，計(jì)算得到場(chǎng)景的全清晰圖像。
[0013] 所述編碼光圈的矩陣可以是在一個(gè)方向上的傅里葉頻譜有較高的幅值，在與所述 方向正交的方向上的傅里葉頻譜有較多的零點(diǎn)。
[0014] 所述編碼光圈的生成可包括以下步驟：
[0015] 首先，搜索一個(gè)在傅里葉變換后具有較多零點(diǎn)的第一向量；
[0016] 然后，搜索一個(gè)長(zhǎng)度與所述第一向量相等的在傅里葉變換后的最小幅值最大的第 二向量；
[0017] 最后，對(duì)搜索出的所述第一向量與所述第二向量進(jìn)行叉乘，以獲得用于表示所述 編碼光圈的矩陣。
[0018] 對(duì)比于現(xiàn)有技術(shù)，本發(fā)明的方法具有下列優(yōu)點(diǎn)：
[0019] 本發(fā)明分析由小光圈采集的圖像的場(chǎng)景內(nèi)容，并且根據(jù)分析后的結(jié)果進(jìn)行圖像處 理的求解來(lái)獲取圖像的深度信息。由此，本發(fā)明的圖像處理的方法有強(qiáng)針對(duì)性及通用性，其 可根據(jù)場(chǎng)景內(nèi)容對(duì)任意圖像進(jìn)行深度信息的計(jì)算。
[0020] 本發(fā)明的編碼光圈是通過(guò)分別對(duì)兩個(gè)一維向量進(jìn)行搜索后獲取，而非直接搜索二 維矩陣，由此，縮小了為獲取相同大小的編碼光圈的矩陣的搜索范圍。并且，本發(fā)明在利用 由小光圈采集的圖像的基礎(chǔ)上，在不降低圖像處理的質(zhì)量的情況下，對(duì)圖像處理的求解僅 需進(jìn)行傅里葉變換及簡(jiǎn)單的運(yùn)算。這是由于通過(guò)小光圈采集的圖像的景深范圍大，其更有 利于恢復(fù)圖像深度，并且通過(guò)仿真可發(fā)現(xiàn)由小光圈引入的高噪聲對(duì)本發(fā)明的圖像處理的結(jié) 果的影響較小。另一方面，使用小光圈，并且快速地采集圖像以降低曝光的時(shí)長(zhǎng)，由此，節(jié)省 下的時(shí)間可被用于充分地分析場(chǎng)景內(nèi)容以及進(jìn)行其他圖像處理的過(guò)程。
[0021] 本發(fā)明通過(guò)搜索生成的編碼光圈的矩陣，其在一個(gè)方向上的傅里葉頻譜具備有利 于反卷積去模糊的高幅值的特征，以及在與上述方向正交的方向上的傅里葉頻譜具備有利 于計(jì)算圖像的深度信息的多零點(diǎn)幅值的特征。由此，可利用生成的編碼光圈同時(shí)恢復(fù)圖像 的深度信息并重建全清晰圖像。
【附圖說(shuō)明】
[0022] 以下參照附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步說(shuō)明，其中：
[0023] 圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的恢復(fù)深度信息的圖像處理的方法的示意圖；
[0024] 圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的由小光圈拍攝的圖像In的示意圖；
[0025] 圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的場(chǎng)景內(nèi)容的像素的值在不同方向的分布示意 圖；
[0026] 圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的頻域內(nèi)的場(chǎng)景的圖像和與所述場(chǎng)景的圖像的 內(nèi)容相關(guān)的編碼光圈的圖像，其中，（a)是場(chǎng)景的圖像1"的傅里葉變換，（b)是編碼光圈的 圖像Ib的傅里葉變換的示意圖；
[0027] 圖5的（a)是編碼光圈的矩陣圖的示意圖，（b)是按照1"的場(chǎng)景的主方向排列的 (a)的編碼光圈的矩陣圖的示意圖；
[0028] 圖6的（i)到（viii)示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的，在不同的深度k時(shí)，通 過(guò)計(jì)算獲得的預(yù)計(jì)的清晰圖像的示意圖；
[0029] 圖7示出了根據(jù)本發(fā)明的圖像處理的方法的效果檢驗(yàn)的示意圖，其中，（a)是通過(guò) 小光圈拍攝到的圖像，（b)是（a)的場(chǎng)景內(nèi)容的像素的值在不同方向的分布圖，（c)是使用 與（a)的場(chǎng)景內(nèi)容相關(guān)的編碼光圈拍攝到的圖像，（d)是計(jì)算得出的深度圖，（e)是根據(jù)本 發(fā)明的方法計(jì)算恢復(fù)的全清晰的圖像，（f)是根據(jù)C. Zhou等人的方法計(jì)算恢復(fù)的全清晰的 圖像，（g)是根據(jù)C. Zhou等人的改進(jìn)方法計(jì)算恢復(fù)的全清晰的圖像，（h)是根據(jù)A. Levin等 人的方法計(jì)算恢復(fù)的全清晰的圖像，（ia)、（ic)、（ie)-(ih)分別是（a)、（c)、（e)-(h)的局 部放大圖。
【具體實(shí)施方式】
[0030] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作詳細(xì)說(shuō)明。
[0031] 圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的恢復(fù)深度信息的圖像處理的過(guò)程，包括：
[0032] Sl :利用通光直徑小的小光圈快速地采集場(chǎng)景的第一圖像，并計(jì)算該圖像的梯度 以確定該圖像的場(chǎng)景內(nèi)容的主方向。
[0033] 圖2示出了使用光圈值為F20的小光圈以及10毫秒的曝光時(shí)長(zhǎng)拍攝到的場(chǎng)景的 第一圖像In。計(jì)算圖像In的每個(gè)像素點(diǎn)的用于表示圖像灰度值的變化量及方向的梯度，并 對(duì)所獲得的梯度的幅角和幅值進(jìn)行以下處理：
[0034] 首先，將梯度的幅角變化的最大取值范圍，即0-360度平均分成10部分的梯度可 為1-36度、37-72度、73-144度等10個(gè)區(qū)