[0052] dm_3、dm_14 :待修復(fù)深度圖；
[0053] dm_4、dm_l5 :優(yōu)化深度圖；
[0054] dl~d3 :主深度值；
[0055] hi~h4 :破洞；
[0056] dz_4 :主深度值；
[0057] Rl:限定范圍；
[0058] m_f:第一區(qū)塊分布圖群組；
[0059] m_c:第二區(qū)塊分布圖群組；
[0060] m_fl、m_f2 :第一區(qū)塊分布圖；
[0061] m_cl、m_c2 :第二區(qū)塊分布圖；
[0062] 14a、14b、14c:被攝物件；
[0063] 14：a_zone、14：b_zone、14：c_zone:相似物距區(qū)域；
[0064] d_pl、d_p2、d_p3、dp_ml~dp_mn:深度平面；
[0065] 14_1~14_m:區(qū)塊分布圖群組；
[0066] 14_11 ~14_ln、14_ml~14_mn:區(qū)塊分布圖；
[0067] S201 ~S204、S501 ~S506、S901 ~S909、S9021 ~S9023、S9051 ~S9052、S9081 ~ S9082,S1201~S1206、S12041~S12042 :優(yōu)化深度信息方法的各步驟。
【具體實施方式】
[0068] 圖1是本發(fā)明一實施例所示出的產(chǎn)生深度信息的裝置的方塊圖。請參照圖1，本實 施例的圖像處理裝置10例如是移動電話、平板電腦、臺式電腦、筆記本電腦或包含立體成 像系統(tǒng)（未示出）的立體像機，在此不設(shè)限。也就是說，圖像處理裝置10可以是包括立體 成像系統(tǒng)的圖像獲取裝置。另外，圖像處理裝置10也可以是與具有立體成像系統(tǒng)的圖像獲 取裝置相互耦接的其他電子裝置，本發(fā)明對此不設(shè)限。圖像處理裝置10包括儲存單元14 以及一個或多個處理單元（本實施例僅以處理單元16為例做說明，但不限于此），其功能如 下所述。
[0069] 儲存單元14例如是隨機存取存儲器（randomaccessmemory)、閃存（Flash)或其 他的存儲器，用以儲存數(shù)據(jù)與多個模塊。上述模塊包括深度估測模塊142、區(qū)塊分布圖獲取 模塊144、無效深度移除模塊146以及補洞模塊148,這些模塊例如是電腦程序，其可載入處 理單元16,從而執(zhí)行產(chǎn)生深度信息的功能。換言之，處理單元16耦接儲存單元14并用以執(zhí) 行這些模塊，從而控制圖像處理裝置10執(zhí)行產(chǎn)生深度信息的功能。處理單元16可以例如是 中央處理單兀（CentralProcessingUnit，CPU)、微處理器（Microprocessor)、專用集成電 路（ApplicationSpecificIntegratedCircuits，ASIC)、可編程邏輯器件（Programmable LogicDevice,PLD)或其他具備運算能力的硬件裝置。
[0070] 圖2是本發(fā)明一實施例所示出的產(chǎn)生深度信息的方法的流程圖。請參照圖2,本實 施例的方法適用于圖1的圖像處理裝置10,以下即搭配圖像處理裝置10中的各項元件說明 本實施例的產(chǎn)生深度信息的方法的詳細步驟。
[0071] 首先，深度估測模塊142取得由立體成像系統(tǒng)拍攝的左圖像及右圖像，并對左圖 像與右圖像進行三維深度估測，以獲取關(guān)聯(lián)于左圖像與右圖像其中之一且對應(yīng)至多個第一 像素的主深度圖（步驟S201)。此主深度圖記錄分別對應(yīng)至這些第一像素的多個主深度值。 進一步來說，在一實施例中，立體成像系統(tǒng)包括兩個圖像感測模塊，此兩個圖像感測模塊其 鏡頭設(shè)置位置可區(qū)分為左圖像感測模塊與右圖像感測模塊。基此，當(dāng)使用者按下快門鍵或 下達拍攝命令時，左圖像感測模塊與右圖像感測模塊可針對同一場景拍攝不同角度的圖像 (左圖像與右圖像）。
[0072] 詳細來說，左圖像包括多個左像素，而右圖像包括多個右像素。深度估測模塊142 可計算左圖像及右圖像上相互對應(yīng)的左像素與右像素的像差。其中，上述像差為相互對應(yīng) 的左像素與右像素在左圖像及右圖像上的位移?；?，深度估測模塊142可依據(jù)左鏡頭及 右鏡頭拍攝左圖像及右圖像的焦距、左鏡頭及右鏡頭的鏡頭間距，以及相對應(yīng)的左像素與 右像素之間的像差，估測左圖像上各個左像素的深度值與右圖像上各個右像素的深度值。 也就是說，深度估測模塊142可獲取以左圖像為基底的左深度圖以及以右圖像為基底的右 深度圖。
[0073] 需說明的是，本實施例的主深度圖可以是以左圖像為基底的左深度圖，也可以是 以右圖像為基底的右深度圖，本發(fā)明對此并不限制。也就是說，當(dāng)主深度圖是以左圖像為基 底的左深度圖時，主深度圖上會記錄分別對應(yīng)至這些左像素的多個主深度值。當(dāng)主深度圖 是以右圖像為基底的右深度圖時，右深度圖上會記錄分別對應(yīng)至這些右像素的多個主深度 值。
[0074] 回到圖2的流程，區(qū)塊分布圖獲取模塊144依據(jù)各第一像素的像素信息，將關(guān)聯(lián) 于主深度圖的左圖像或右圖像劃分成多個相關(guān)區(qū)塊，以獲取包括這些相關(guān)區(qū)塊的一區(qū)塊分 布圖（步驟S202)。也就是說，當(dāng)主深度圖為左深度圖時，區(qū)塊分布圖獲取模塊144依據(jù)各 個左像素的像素信息將左圖像劃分成多個相關(guān)區(qū)塊，以獲取包括這些相關(guān)區(qū)塊的區(qū)塊分布 圖。另一方面，當(dāng)主深度圖為右深度圖時，區(qū)塊分布圖獲取模塊144依據(jù)各個右像素的像素 信息將右圖像劃分成多個相關(guān)區(qū)塊，以獲取包括這些相關(guān)區(qū)塊的區(qū)塊分布圖。
[0075] 在一實施例中，區(qū)塊分布圖獲取模塊144比對這些左像素（右像素）中相互相鄰 的第一相鄰像素與第二相鄰像素，以判斷第一相鄰像素與第二相鄰像素之間的像素值差是 否小于一差異門檻值。在此，第一相鄰像素的像素值與第二相鄰像素的像素值相減會產(chǎn)生 像素值差。若此像素值差小于差異門檻值，區(qū)塊分布圖獲取模塊144連結(jié)第一相鄰像素與 第二相鄰像素而形成相關(guān)區(qū)塊中的第一相關(guān)區(qū)塊。此第一相關(guān)區(qū)塊至少包括第一相鄰像素 與第二相鄰像素。
[0076] 具體來說，當(dāng)主深度圖為左深度圖時，區(qū)塊分布圖獲取模塊144例如可計算各個 左像素的色彩參數(shù)而獲取各個左像素的像素值，以將這些像素值做為用以產(chǎn)生區(qū)塊分布圖 的像素信息。舉例而言，區(qū)塊分布圖獲取模塊144可計算左像素的紅、綠、藍（RGB)色度分 量，以獲取左像素于不同色度通道上的像素值。相似的，區(qū)塊分布圖獲取模塊144也可計算 左像素的亮度（Y)及色度分量（Cb、Cr)，以獲取左像素在亮度通道或色度通道上的像素值。
[0077] 藉此，區(qū)塊分布圖獲取模塊144通過比對相互相鄰的左像素的像素值而產(chǎn)生像素 值差，并依據(jù)兩相鄰像素之間的像素值差而決定是否連結(jié)兩相鄰像素。倘若兩相鄰像素之 間的像素值差小于差異門檻值，將被劃分至同一相關(guān)區(qū)塊。換言之，左圖像依據(jù)各個左像素 的色彩表現(xiàn)而被區(qū)分成各個相關(guān)區(qū)塊，且位于同一相關(guān)區(qū)塊內(nèi)的左像素的色彩表現(xiàn)彼此相 似。
[0078] 舉例來說，圖3A為本發(fā)明劃分左圖像或右圖像的實施例示意圖。請參照圖3A，假 設(shè)圖像Img_l包括像素Pl~P5。在本實施例中，區(qū)塊分布圖獲取模塊144先以像素Pl作 為基準點，并計算像素Pl的像素值。接著，區(qū)塊分布圖獲取模塊144比對像素Pl與周圍其 他像素點的像素值。如圖3A所示，由于像素Pl與像素P2之間的像素值差小于差異門檻值， 因此區(qū)塊分布圖獲取模塊144將連結(jié)像素Pl與像素P2。相似的，由于像素Pl與像素P4之 間的像素值差小于差異門檻值，因此區(qū)塊分布圖獲取模塊144將連結(jié)像素Pl與像素P4。
[0079] 再者，由于相鄰的像素P2與像素P3之間的像素值差小于差異門檻值，因此區(qū)塊分 布圖獲取模塊144連結(jié)像素P2與像素P3。相反地，由于相鄰的像素P3與像素P5之間的像 素值差大于差異門檻值，因此區(qū)塊分布圖獲取模塊144并不會連結(jié)像素P3與像素P5,而像 素P5也就不會被劃分至相關(guān)區(qū)塊Zl內(nèi)?？偠灾?，通過比對相互相鄰的像素之間的像素 值，區(qū)塊分布圖獲取模塊144可獲取以像素Pl為中心基準點所形成的相關(guān)區(qū)塊Z1，且相關(guān) 區(qū)塊Zl內(nèi)的各個像素點的色彩表現(xiàn)與像素Pl的色彩表現(xiàn)相似。
[0080] 承上述，依據(jù)各個像素的所在位置以及其像素值，圖像Img_l將被劃分成多個相 關(guān)區(qū)塊，而區(qū)塊分布圖獲取模塊144也可獲取包括這些相關(guān)區(qū)塊的區(qū)塊分布圖?？梢灾?的是，各相關(guān)區(qū)塊所涵蓋的區(qū)塊尺寸將隨差異門檻值的上升而增加。此外，在一實施例中， 區(qū)塊分布圖獲取模塊144還可依據(jù)尺寸門檻值來限定各相關(guān)區(qū)塊的區(qū)塊尺寸而獲取區(qū)塊 分布圖，其中各相關(guān)區(qū)塊的區(qū)塊尺寸不大于尺寸門檻值。且，各相關(guān)區(qū)塊所涵蓋的區(qū)塊尺寸 將隨尺寸門檻值的上升而增加?？偟膩碚f，基于差異門檻值與尺寸門檻值的設(shè)定，區(qū)塊分布 圖獲取模塊144可決定區(qū)塊分布圖的切割精細度。
[0081] 也就是說，在區(qū)塊分布圖獲取模塊144決定差異門檻值的高低、中心基準點設(shè)定 方式以及尺寸門檻值的大小之后，區(qū)塊分布圖獲取模塊144就可通過將圖像分割成多個相 關(guān)區(qū)塊而獲取具有一特定切割精細度的一張區(qū)塊分布圖。舉例而言，圖3B為本發(fā)明區(qū)塊分 布圖的局部實施例示意圖。請參照圖3B，區(qū)塊分布圖m_l包括多個相關(guān)區(qū)塊Z2~Z6,且各 個相關(guān)區(qū)塊Z2~Z6的涵蓋區(qū)域的大小與形狀皆不相同。但本發(fā)明不以此為限。此技術(shù)領(lǐng) 域中具有通常知識者當(dāng)可依據(jù)實際需求來決定差異門檻值的高低、中心基準點設(shè)定方式以 及尺寸門檻值的大小，此處不再贅述。
[0082] 回到圖2的流程，無效深度移除模塊146利用此區(qū)塊分布圖來判斷這些第一像素 所對應(yīng)的主深度值是否符合可信賴條件，并將這些主深度值中不符合可信賴條件的多個無 效深度值從主深度圖中移除，從而產(chǎn)生包括多個破洞的待修復(fù)深度圖（步驟S203)。具體來 說，無效深度移除模塊146可利用區(qū)塊分布圖來得知各個主深度值周圍的深度信息，并通 過各個主深度值周圍的其他深度信息來判斷各個主深度值是否符合可信賴條件，以將可視 為無效深度值的主深度值從主深度圖中移除而生成待修復(fù)深度圖。
[0083] 之后，補洞模塊148利用此區(qū)塊分布圖而分別對待修復(fù)深度圖中的這些破洞產(chǎn) 生多個優(yōu)化深度值，并將這些優(yōu)化深度值填補至待修復(fù)深度圖而產(chǎn)生優(yōu)化深度圖（步驟 S204)。詳細來說，區(qū)塊分布圖是依據(jù)像素的相似程度與像素的位置關(guān)系而獲取，因此左圖 像