本發(fā)明涉及圖像處理技術(shù)領域，具體涉及一種圖像深度估計方法、深度圖生成方法及裝置。

背景技術(shù)：

目前，在重新對焦(refocusing)、增強現(xiàn)實(augmented reality)，以及目標檢測與識別(object detection and recognition)等圖像處理算法的實施過程中，均需要用到深度圖(depth map)。對圖像進行深度估計以獲得相應的深度圖，對圖像的處理具有重要的作用。

在實際應用中，圖像深度的估計過程如下：先對原始圖像進行圖像匹配(Image Alignment)，得到相應的視差估計圖；再根據(jù)所述視差估計圖進行原始深度估計，獲得原始深度估計圖(raw depth map estimation)；最后對所述原始深度估計圖進行過后處理(post-processing)，獲得最終的深度圖。

目前，在對原始圖像進行深度估計的過程中，主要是基于立體匹配(stereo matching)的算法進行計算。一方面，立體匹配過程的計算復雜度較高，不適合實時應用，另一方面，立體匹配過程需要使用兩個位于不同視角的攝像頭來分別獲得相應的原始圖像，導致硬件成本較高，由此導致上述圖像深度估計過程計算復雜度及硬件成本均較高。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題是如何降低圖像深度估計過程的復雜度及硬件成本。

為解決上述問題，本發(fā)明實施例提供了一種圖像深度估計方法，所述方法包括：

獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)；

分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖；

從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值。

可選地，所述分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖，包括：

對所獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理；

分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部方差圖。

本發(fā)明實施例還提供了一種深度圖的生成方法，所述方法包括：

計算各個像素點的深度估計值，包括：獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)；分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖；從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值；

根據(jù)所述深度估計值獲得對應的原始深度估計圖；

從所述原始深度估計圖中移除平滑區(qū)域，獲得對應的稀疏深度估計圖；

對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖。

可選地，所述分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖，包括：

對所獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理；

分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部方差圖。

可選地，所述從所述原始深度估計圖中移除平滑區(qū)域，獲得對應的稀疏深度估計圖，包括：

分別對各像素點的方差求平均，獲得與各所述局部方差圖分別對應的平均局部方差圖；

選取所述平均局部方差圖中，深度估計值小于預設值的像素點對應的區(qū) 域，并將所選取的區(qū)域作為所述平滑區(qū)域；

將所述平滑區(qū)域從所述原始深度估計圖中移除，并將移除后的原始深度估計圖作為所述稀疏深度估計圖。

可選地，所述對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖，包括：

對各所述對齊后的圖像求均值，獲得所述對齊后的圖像的平均圖像；

利用所述平均圖像，對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖。

可選地，所述對所述稀疏深度估計圖進行填充處理，包括：

采用2*2重疊窗口對所述稀疏深度估計圖進行填充處理。

本發(fā)明實施例還提供了一種圖像深度估計裝置，所述裝置包括：

圖像獲取單元，適于獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)；

局部方差圖生成單元，適于分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖；

深度計算單元，適于從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值。

可選地，所述局部方差圖生成單元包括：

對齊子單元，適于對所獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理；

計算子單元，適于分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部方差圖。

本發(fā)明實施例還提供了一種深度圖生成裝置，所述裝置包括：

圖像深度估計單元，適于計算各個像素點的深度估計值，包括：圖像獲取子單元，適于獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)；局部方差圖生成子單元，適于分別根據(jù) 所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖；深度計算子單元，適于從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值；

第一圖像生成單元，適于根據(jù)所述深度估計值獲得對應的原始深度估計圖；

第二圖像生成單元，適于從所述原始深度估計圖中移除平滑區(qū)域，獲得對應的稀疏深度估計圖；

第三圖像生成單元，適于對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖。

可選地，所述局部方差圖生成子單元包括：

對齊模塊，適于對所獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理；

計算模塊，適于分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部方差圖。

可選地，所述第二圖像生成單元包括：

計算子單元，適于分別對各像素點的方差求平均，獲得與各所述局部方差圖分部對應的平均局部方差圖；

選取子單元，適于選取所述原始深度估計圖中，深度估計值小于預設值的像素點對應的區(qū)域，并將所選取的區(qū)域作為所述平滑區(qū)域；

處理子單元，適于將所述平滑區(qū)域從所述原始深度估計圖中移除，并將移除后的原始深度估計圖作為所述稀疏深度估計圖。

可選地，所述第三圖像生成單元包括：

平均子單元，適于對各所述對齊后的圖像求均值，獲得所述對齊后的圖像的平均圖像；

填充子單元，適于利用所述平均圖像，對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖。

可選地，所述填充子單元適于采用2*2重疊窗口對所述稀疏深度估計圖 進行填充處理。

與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)方案至少具有以下優(yōu)點：

通過獲取N張在同一視角、相同焦距但不同像距拍攝的圖像，再分別根據(jù)所獲取到的圖像生成對應的局部方差圖，進而從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值，而無須通過立體匹配的方法進行深度估計，因此可以降低整個圖像深度估計過程中的復雜度。另外，由于所獲取的圖像為同一視角、相同焦距但不同像距的圖像，因此，僅須使用一個攝像頭即可獲得，由此可以降低整個圖像深度估計過程的硬件成本。

附圖說明

圖1是本發(fā)明實施例中一種圖像深度估計方法的流程圖；

圖2是本發(fā)明實施例中一種輸入圖像的示意圖；

圖3是圖2中的輸入圖像經(jīng)圖像對齊處理后的示意圖；

圖4是本發(fā)明實施例中一種深度圖生成方法的流程圖；

圖5是本發(fā)明實施例中一種稀疏深度圖的生成過程示意圖；

圖6是圖2中的輸入圖像對應的完整深度圖；

圖7是本發(fā)明實施例中一種完整深度圖的生成過程示意圖；

圖8是本發(fā)明實施例中一種圖像深度估計裝置的結(jié)構(gòu)示意圖；

圖9是本發(fā)明實施例中一種深度圖生成裝置的結(jié)構(gòu)示意圖。

具體實施方式

目前，在進行圖像深度估計時，先使用兩個位于不同視角的攝像頭來分別獲得相應的原始圖像，再對所獲得的兩個原始圖像進行立體匹配，得到相應的視差估計圖，最后根據(jù)所述視差估計圖進行深度估計。

在上述圖像深度估計過程中，一方面，由于立體匹配的過程復雜度較高，不適合實時應用，由此導致整個圖像深度估計過程復雜度較高。另一方面，原始圖像須由兩個不同視角的攝像頭獲得，由此導致整個圖像深度估計過程 硬件成本較高。

針對上述問題，本發(fā)明的實施例提供了一種圖像深度估計方法，所述方法首先獲取N張在同一視角、相同焦距但不同像距拍攝的圖像，再分別根據(jù)所獲取到的圖像生成對應的局部方差圖，進而從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值，而無須通過立體匹配的方法進行深度估計，因此可以降低整個圖像深度估計過程中的復雜度。另外，由于所獲取的圖像為同一視角、相同焦距但不同像距的圖像，因此，僅須使用一個攝像頭即可獲得，由此可以降低整個圖像深度估計過程的硬件成本。

為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂，下面結(jié)合附圖對本發(fā)明的具體實施例作詳細地說明。

如圖1所示，本發(fā)明實施例提供了一種圖像深度估計方法，所述方法可以包括如下步驟：

步驟11，獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)。

在具體實施中，由于所述圖像{I₁，I₂，...，I_N}均為同一視角的圖像，因此僅使用一攝像頭即可獲得。具體地，通過調(diào)整攝像頭的焦點，使得所述攝像頭在不同的位置對焦，從而可以使被拍攝物位于同一焦距內(nèi)。由于所述圖像{I₁，I₂，...，I_N}均為同一視角的圖像，因此，每個所述圖像包括的像素點的數(shù)量及各個像素點的像素值均相同。

例如，圖2為采用上述方法獲取到的8張圖像{I₁，I₂，...，I₈}。由圖像I₁至圖像I₈，對焦位置由近至遠。其中，圖像I₁的對焦位置最近，圖像I₈的對焦位置為無窮遠。

步驟12，分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖。

在具體實施中，在通過不斷調(diào)整對焦位置，來獲得圖像{I₁，I₂，...，I_N}時，對焦位置的變化以及相機的抖動，通常會使得所獲得的各個圖像間像素點之間的對應關系被破壞。例如，在圖1中，圖像I₁-I₈中的同一位置的像素點所對應的場景位置是不同的。

因此，為了減小對焦位置的變化以及相機的抖動對各個圖像間像素點之間的對應關系的影響，在分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖時，先對獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理，再分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部方差圖。

在具體實施中，可以采用多種方法對獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理。例如，圖3為采用基于仿射變換(affine transformation)的圖像對齊算法，對圖1中所獲取到的8張圖像進行圖像對齊處理，對應獲得對齊后的圖像{I₁’，I₂’，...，I₈’}。其中，圖像I₁’為圖像I₁進行圖像對齊處理后的圖像，圖像I₂’為圖像I₂進行圖像對齊處理后的圖像，......，圖像I₈’為圖像I₈進行圖像對齊處理后的圖像。經(jīng)圖像對齊處理后，在圖像I₁～I₈中的同一位置的像素點所對應的場景位置基本相同，即各對齊后的圖像間像素點的對應關系基本一致。

在具體實施中，為了獲得與所述圖像{I₁，I₂，...，I_N}一一對應的局部方差圖，對所述圖像{I₁，I₂，...，I_N}進行對齊處理后，根據(jù)各對齊后的圖像，計算所述圖像{I₁，I₂，...，I_N}的局部方差，也就是計算所述圖像{I₁，I₂，...，I_N}中各個像素點的局部方差。

在本發(fā)明的一實施例中，可以采用如下公式計算像素點(x，y)的局部方差g(x，y)：

其中，M為以(x，y)為中心的局部區(qū)域的大?。?x’，y’)為區(qū)域中的位置變量，表示其中的每一個像素點；μ(x，y)為區(qū)域中各個像素點的像素值的均值，且μ(x，y)滿足以下公式：

通過公式(1)及(2)，可以獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部 方差圖。

步驟13，從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值。

在具體實施中，同一位置的像素點(x，y)在各所述局部方差圖中具有不同的方差值，由于任一目標點的像距為以此目標點為焦點進行對焦(in focus)時，像平面到主平面之間的距離，此時該目標點對應的像素點在其所在的局部區(qū)域的方差為最大，因此，在獲得各所述局部方差圖后，從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，所搜索到的方差最大的圖像對應的物距即為所述像素點的深度估計值。

由上述內(nèi)容可知，本發(fā)明實施例中所述圖像深度估計方法，通過對焦測距來獲得各個像素點的深度估計值，即通過獲取N張在同一視角、相同焦距但不同像距拍攝的圖像，再分別根據(jù)所獲取到的圖像生成對應的局部方差圖，進而從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值，不僅可以降低整個圖像深度估計過程中的復雜度，而且可以降低整個圖像深度估計過程的硬件成本。

如圖4所示，本發(fā)明實施例還提供了一種深度圖生成方法，所述方法可以包括如下步驟：

步驟41，計算各個像素點的深度估計值。

在具體實施中，可以采用本發(fā)明實施例中所述圖像深度估計方法來獲得各個像素點的深度估計值。具體可以參照上述對圖1中所示實施例的描述進行實施，此處不再贅述。

步驟42，根據(jù)所述深度估計值獲得對應的原始深度估計圖。

在具體實施中，獲得各個像素點的深度估計值后，就可以獲得對應的原始深度估計圖

步驟43，從所述原始深度估計圖中移出平滑區(qū)域，獲得對應的稀疏深度估計圖。

在具體實施中，由于圖像{I₁，I₂，...，I_N}對應的自然目標場景中存在平滑區(qū)域，即缺少紋理的區(qū)域，而對所述平滑區(qū)域的深度估計并不可靠。因此，為了提高深度圖的精確性，可以先從所述原始深度估計圖中移出平滑區(qū)域，獲得對應的稀疏深度估計圖再對所述稀疏深度估計圖進行后續(xù)處理，以獲得完整的深度圖

在具體實施中，可以采用多種方法從所述原始深度估計圖中移出平滑區(qū)域。例如，可以先根據(jù)所述局部方差圖獲得平均局部方差圖，再利用閾值操作定位所述平滑區(qū)域，得到稀疏深度估計圖

具體地，根據(jù)公式(3)，先從各所述局部方差圖中，獲得像素點(x，y)的局部方差g_n(x，y)并求平均，獲得像素點(x，y)的平均局部方差其中，n為圖像I_n對應的局部方差圖，n∈[0，N]：

在獲得各個像素點的平均局部方差后，可以獲得一平均局部方差圖。

接著，從所述平均局部方差圖中選取深度估計值小于預設值H的像素點對應的區(qū)域，按照以下公式得到稀疏深度估計圖

其中，為像素點(x，y)的原始深度估計值，為像素點(x，y)的稀疏深度估計值。

如圖5所示，圖5a)及5b)分別為對圖1中輸入的圖像{I₁，I₂，...，I₈}進行深度估計時，獲得的原始深度估計圖及平均局部方差圖。其中，在圖5b)中，黑顏色部分對應的區(qū)域為所選取出的平滑區(qū)域，從圖5a)中移除所述黑色部分對應的區(qū)域，獲得圖5c)所示的稀疏深度估計圖。

步驟44，對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖。

在具體實施中，通過假設相鄰的具有相似亮度的像素點具有相似的深度估計值，對所述稀疏深度估計圖進行填充處理，可以將原始深度估計圖中對 于可靠區(qū)域即非平滑區(qū)域的估計值，擴散至整個圖像，以獲得完整的深度圖

在具體實施中，可以采用多種算法對所述稀疏深度估計圖進行填充處理。在本發(fā)明的一實施例中，可以先分別對所述對齊后的圖像求均值，獲得與各所述對齊后的圖像對應的平均圖像，再利用所述平均圖像，對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖

在具體實施中，獲得所述平均圖像后，可以根據(jù)如下公式，獲得對應的matting Laplacian矩陣L的值：

L為一個N*N矩陣，N為所述平均圖像的像素點總數(shù)，其中第(p，q)個元素對應像素點p和q之間的關系，p和q均為圖像二維坐標(x，y)所對應的一維坐標，p或q為以(x，y)為中心的局部區(qū)域中的任意像素點。δ_p，q為克羅內(nèi)克符號(Kronecker delta)，μ_x，y和g_x，y分別為區(qū)域的平均值和方差值，M為的大小，∈是一個為避免“除以零”發(fā)生的規(guī)則化參數(shù)(regularisation parameter)，通常設為1。I_p、I_q分別為像素點p和q的像素值。

需要說明的是，在具體實施中，每一區(qū)域?qū)淮翱?。根?jù)如上定義，若p和q不在同一窗口，則L(p，q)值為0。因此L為一個大型的稀疏矩陣，可以利用此特點進行運算優(yōu)化。另外，稀疏程度和相應的運算復雜度成反比，為了進一步降低復雜度，可以采用2*2重疊窗口進行計算獲得所述L的值。

獲得所述L的值后，可以通過二次規(guī)劃最小化公式(5)中的代價函數(shù)E，對所述稀疏深度估計圖進行填充處理：

其中，U是一個對角矩陣，當所述對角矩陣中一對角元素對于的像素點為可靠區(qū)域的像素點時，該對角元素為1，否則為0。標量λ為輸出圖像的光滑度的調(diào)節(jié)參數(shù)，可以由本領域人員根據(jù)實際情況進行設置，λ越小，所述完整的深度圖越光滑。

根據(jù)公式(5)，當E值取最小值時，我們得到最優(yōu)解通過進一步推導， 上述二次規(guī)劃問題可以簡化為一個Ax＝b問題，可以通過高效的L、U分解來實現(xiàn)，即

將所述稀疏深度估計圖中一像素點的稀疏深度估計值代入公式(6)，可以分別獲得該像素點在所述完整的深度圖中的深度估計值，從而可以獲得所述完整的深度圖

圖6為按照本發(fā)明實施例中深度圖的生成方法，對圖1中的輸入圖像{I₁，I₂，...，I₈}生成的完整的深度圖。從圖6中可以看出，所述完整的深度圖既保證了相似亮度的相鄰區(qū)域具有相似的深度值，也在輸入圖像的邊緣位置保留了深度中斷(depth discontinuety)。

如圖7所示，為了更加清楚地實施本發(fā)明實施例中所述深度圖的生成方法，本發(fā)明實施例還提供了一種所述深度圖的生成過程示意圖。如圖7所示，以不同階段圖像的處理結(jié)果為主線，結(jié)合不同的處理操作示意所述深度圖的生成過程。下面結(jié)合圖7，對所述深度圖的生成過程進行描述：

同一視角、相同焦距但不同像距的輸入圖像71，經(jīng)圖像對齊處理，獲得對應的對齊后的圖像72。分別對所述對齊后的圖像72求局部方差，獲得對應的局部方差圖73。再對所述局部方差圖73進行對焦測距的方法，獲得原始深度估計圖74。

為了進一步獲得完整深度圖75，在獲得原始深度估計圖74后，先對所述局部方差圖73求均值，得到平均局部方差圖76。再對所述原始深度估計圖74及平均局部方差圖76執(zhí)行閾值操作，獲得稀疏深度估計圖77。將所述對齊后的圖像求均值，獲得相應的平均圖像78。最后利用所述平均圖像78及稀疏深度估計圖77，獲得所述完整深度圖75。

為了使本領域技術(shù)人員更好地理解和實現(xiàn)本發(fā)明，以下對上述方法對應的裝置進行詳細描述。

如圖8所示，本發(fā)明實施例提供了一種圖像深度估計裝置80。所述裝置80可以包括：圖像獲取單元81，局部方差圖生成單元82以及深度計算單元83。其中：

所述圖像獲取單元81適于獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)。所述局部方差圖生成單元82適于分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖。所述深度計算單元83，適于從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值。

在具體實施中，所述局部方差圖生成單元82可以包括：對齊子單元821以及計算子單元822。其中，所述對齊子單元821適于對所獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理。所述計算子單元822適于分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的局部方差圖。

如圖9所示，本發(fā)明實施例還提供了一種深度圖生成裝置90。所述裝置90可以包括：圖像深度估計單元91，第一圖像生成單元92，第二圖像生成單元93以及第三圖像生成單元94。其中：

所述圖像深度估計單元91適于計算各個像素點的深度估計值。所述第一圖像生成單元92適于根據(jù)所述深度估計值獲得對應的原始深度估計圖第二圖像生成單元93適于從所述原始深度估計圖中移除平滑區(qū)域，獲得對應的稀疏深度估計圖第三圖像生成單元94適于對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖

在具體實施中，所述圖像深度估計單元91可以包括：圖像獲取子單元911，局部方差圖生成子單元912以及深度計算子單元913。其中，所述圖像獲取子單元911適于獲取N張在同一視角、相同焦距但不同像距拍攝的圖像{I₁，I₂，...，I_N}，N≥3，且N為正整數(shù)。所述局部方差圖生成子單元912，適于分別根據(jù)所述圖像{I₁，I₂，...，I_N}生成對應的局部方差圖。所述深度計算子單元913，適于從各所述局部方差圖中搜索每個像素點對應的方差最大的圖像，并將搜索到的方差最大的圖像對應的物距作為所述像素點的深度估計值。

其中，所述局部方差圖生成子單元912可以包括：對齊模塊(未示出)及計算模塊(未示出)。其中，所述對齊模塊適于對所獲取的N張圖像{I₁，I₂，...，I_N}進行圖像對齊處理。所述計算模塊適于分別根據(jù)各對齊后的圖像，對所述圖像{I₁，I₂，...，I_N}求局部方差，獲得與所述圖像{I₁，I₂，...，I_N}分別對應的 局部方差圖。

在具體實施中，所述第二圖像生成單元93可以包括：計算子單元931，選取子單元932以及處理子單元933。其中，所述計算子單元931適于分別對各像素點的方差求平均，獲得與各所述局部方差圖分部對應的平均局部方差圖。所述選取子單元932適于選取所述原始深度估計圖中，深度估計值小于預設值的像素點對應的區(qū)域，并將所選取的區(qū)域作為所述平滑區(qū)域。所述處理子單元933適于將所述平滑區(qū)域從所述原始深度估計圖中移除，并將移除后的原始深度估計圖作為所述稀疏深度估計圖

在具體實施中，所述第三圖像生成單元94可以包括：平均子單元941及填充子單元942。其中，所述平均子單元941適于對各所述對齊后的圖像求均值，獲得所述對齊后的圖像的平均圖像。所述填充子單元942適于利用所述平均圖像，對所述稀疏深度估計圖進行填充處理，獲得完整的深度圖

在具體實施中，所述填充子單元942在對所述稀疏深度估計圖進行填充處理時，可以采用2*2重疊窗口，對所述稀疏深度估計圖進行填充處理。

本領域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，該程序可以存儲于一計算機可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：ROM、RAM、磁盤或光盤等。

雖然本發(fā)明披露如上，但本發(fā)明并非限定于此。任何本領域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，均可作各種更動與修改，因此本發(fā)明的保護范圍應當以權(quán)利要求所限定的范圍為準。