具有一定的關(guān)聯(lián)性。因此，無效深度移除模塊146可利用塊分布圖獲取模塊144產(chǎn)生的塊分布圖將主深度圖劃分成多個深度塊，而同一深度塊內(nèi)的主深度值應(yīng)當(dāng)也具備一定的關(guān)聯(lián)性。
[0078]基此，無效深度移除模塊146與補(bǔ)洞模塊148可基于同一深度塊內(nèi)的主深度值具備一定的關(guān)聯(lián)性的特性，來判斷各主深度值是否為無效深度值并產(chǎn)生更佳的優(yōu)化深度值來填補(bǔ)因?yàn)闊o效深度值被移除所產(chǎn)生的破洞。藉此，本實(shí)施例的圖像處理裝置10可利用原始左圖像或原始右圖像所提供的圖像內(nèi)容信息對深度圖進(jìn)行進(jìn)一步的優(yōu)化動作，而產(chǎn)生精確度更高的優(yōu)化深度圖。
[0079]為了進(jìn)一步清楚說明本發(fā)明，圖4為依照本發(fā)明一實(shí)施例所示出的產(chǎn)生深度信息的方法的操作示意圖。請參照圖4，深度估測模塊142接收立體成像系統(tǒng)所拍攝的左圖像Img_L以及右圖像Img_R。深度估測模塊142對左圖像Img_L以及右圖像Img_R進(jìn)行三維深度估測而獲取主深度圖dm_l以及輔深度圖dm_2。在本實(shí)施例中，主深度圖dm_l例如是以左圖像Img_L為基底的左深度圖，輔深度圖dm_2例如是以右圖像Img_R為基底的右深度圖。
[0080]基此，塊分布圖獲取模塊144依據(jù)左圖像Img_L的像素信息，將左圖像Img_L劃分成多個相關(guān)塊，以獲取包括這些相關(guān)塊的塊分布圖m_2。無效深度移除模塊146依據(jù)塊分布圖m_2與輔深度圖dm_2對主深度圖dm_l進(jìn)行挖洞而產(chǎn)生包括多個破洞的待修復(fù)深度圖dm_30補(bǔ)洞模塊148利用塊分布圖m_2而分別對待修復(fù)深度圖dm_3中的破洞產(chǎn)生多個優(yōu)化深度值，并將優(yōu)化深度值填補(bǔ)至待修復(fù)深度圖dm_3而產(chǎn)生優(yōu)化深度圖dm_4。
[0081]依據(jù)前述實(shí)施例可知，依據(jù)不同的差異門檻值、尺寸門檻值以及基準(zhǔn)點(diǎn)設(shè)定方式，塊分布圖獲取模塊144可獲取具有不同的塊切割方式的塊分布圖m_2。塊分布圖獲取模塊144產(chǎn)生塊分布圖m_2的詳細(xì)內(nèi)容已經(jīng)在前述實(shí)施例詳細(xì)說明，在此不再贅述。以下將分別列舉實(shí)施例，以詳細(xì)說明無效深度移除模塊146以及補(bǔ)洞模塊148如何利用塊分布圖m_2移除無效深度值以及產(chǎn)生優(yōu)化深度值。圖5是依照本發(fā)明一實(shí)施例所示出的產(chǎn)生待修復(fù)深度圖的流程圖，以下即搭配圖4來說明本實(shí)施例的產(chǎn)生待修復(fù)深度圖的詳細(xì)步驟。
[0082]請同時參照圖4與圖5，無效深度移除模塊146依據(jù)塊分布圖m_2將主深度圖dm_l分成多個深度塊，并分別對各深度塊內(nèi)的主深度值進(jìn)行統(tǒng)計運(yùn)算而獲取統(tǒng)計結(jié)果(步驟S501)。統(tǒng)計運(yùn)算例如是平均值運(yùn)算、眾數(shù)運(yùn)算或中值運(yùn)算，本發(fā)明對此不限制。舉例而言，無效深度移除模塊146可對各深度塊內(nèi)的主深度值進(jìn)行平均值運(yùn)算，并獲取各個深度塊的深度平均值。然，在其他可行的實(shí)施例中，此技術(shù)領(lǐng)域中具有通常知識者當(dāng)可依據(jù)實(shí)際需求來選擇其他適當(dāng)?shù)慕y(tǒng)計運(yùn)算方法，以依據(jù)適當(dāng)?shù)慕y(tǒng)計結(jié)果判斷主深度值是否為有效深度值，此處便不再贅述。
[0083]接著，無效深度移除模塊146依據(jù)統(tǒng)計結(jié)果判斷主深度值是否為無效深度值中的多個第一無效深度值，并將第一無效深度值從主深度圖dm_l中移除，從而產(chǎn)生包括破洞中的多個第一破洞的待修復(fù)深度圖(步驟S502)。也就是說，無效深度移除模塊146可依據(jù)統(tǒng)計結(jié)果來判斷各深度塊內(nèi)的主深度值是否具有第一無效深度值，此第一無效深度值與同一塊內(nèi)的其他主深度值相差太大而可視為無效?；?，無效深度移除模塊146將第一無效深度值從主深度圖dm_l中移除，而產(chǎn)生對應(yīng)至第一無效深度值的第一破洞。
[0084]舉例來說，圖6為依照本發(fā)明一實(shí)施例所示出的依據(jù)統(tǒng)計結(jié)果移除無效深度值的范例示意圖。請參照圖6，假設(shè)主深度圖dm_l可依據(jù)塊分布圖m_2的劃分而包括深度塊dz_l以及深度塊dz_2。在本范例中，無效深度移除模塊146對深度塊dz_l內(nèi)的主深度值進(jìn)行平均運(yùn)算，而獲取深度塊dz_l的深度平均值。于是，無效深度移除模塊146可依據(jù)深度平均值來判斷深度塊dz_l內(nèi)的所有主深度值是否為中的第一無效深度值。在本范例中，由于深度塊dz_l內(nèi)的主深度值dl與深度塊dz_l的深度平均值差異太大，因此主深度值dl被判定為第一無效深度值。
[0085]相似地，由于深度塊dz_l內(nèi)的主深度值d2?d3與深度塊dz_l的深度平均值差異太大，因此主深度值d2?d3也被判定為第一無效深度值。于是，無效深度移除模塊146將被視為第一無效深度值的主深度值dl從主深度圖dm_l中移除，從而產(chǎn)生包括破洞hi的待修復(fù)深度圖dm_3。相似的，無效深度移除模塊146將被視為第一無效深度值的主深度值d2?d3從主深度圖中dm_l移除，從而分別產(chǎn)生包括破洞h2?h3。
[0086]需說明的是，經(jīng)過步驟S501與步驟S502的處理，待修復(fù)深度圖dm_3已因?yàn)榈谝粺o效深度值的移除而產(chǎn)生多個破洞?；?，在本實(shí)施例中，無效深度移除模塊146可通過尚未被移除的有效深度值周圍的無效深度值的密度或有效深度值的密度來判斷主深度值的置信程度。
[0087]于是，無效深度移除模塊146分別以非為第一無效深度值的主深度值中的多個第一有效深度值為中心，計算一限定范圍內(nèi)這些第一無效深度值的多個無效密度值(步驟S503)。此限定范圍的尺寸可視實(shí)際應(yīng)用情況而定，本發(fā)明對此不限制。舉例來說，限定范圍的尺寸例如可為5 X 5像素或10 X 10像素等。
[0088]接著，無效深度移除模塊146依據(jù)這些無效密度值是否大于密度門檻值分別判斷各第一有效深度值是否為無效深度值中的多個第二無效深度值(步驟S504)。具體來說，倘若一深度值周圍的有效深度值太少，其置信度也就相對下降。因此，無效深度移除模塊146可依據(jù)有效深度值的分布狀況來決定尚未被移除的第一有效深度值是否為第二無效深度值。之后，無效深度移除模塊146將第二無效深度值從主深度圖dm_l中移除，從而產(chǎn)生包括破洞中的多個第二破洞的待修復(fù)深度圖dm_3 (步驟S505)。其中，此技術(shù)領(lǐng)域中具有通常知識者當(dāng)可依據(jù)實(shí)際需求來設(shè)計密度門檻值，本發(fā)明對此并不限定。
[0089]舉例來說，圖7為依照本發(fā)明一實(shí)施例所示出的依據(jù)密度移除無效深度值的范例示意圖。請參照圖7，在本范例中，主深度圖dm_l包括主深度值dz_4，且主深度值dz_4為尚未被移除的有效深度值。無效深度移除模塊146以主深度值dz_4為中心而計算限定范圍Rl內(nèi)的無效深度值的數(shù)目，并依據(jù)無效深度值的數(shù)目計算出關(guān)聯(lián)于主深度值dz_4的一個無效密度值。在圖7所示的范例中，在5X5像素大小的限定范圍Rl內(nèi)，有17個無效深度值(以斜線打底表示)，代表關(guān)聯(lián)于主深度值dz_4的無效密度值相當(dāng)高。也就是說，主深度值dz_4的置信度非常低。因此，在圖7所示的范例中，無效深度移除模塊146將被視為無效深度值的主深度值dz_4從主深度圖dm_l中移除，從而產(chǎn)生包括破洞h4的待修復(fù)深度圖 dm_3。
[0090]回到圖5的流程，無效深度移除模塊146還比對主深度圖dm_l與輔深度圖dm_2，將不符合相互對應(yīng)的輔助深度值的主深度值從主深度圖dm_l中移除，從而產(chǎn)生包括破洞中的多個第三破洞的待修復(fù)深度圖dm_3(步驟S506)。具體來說，無效深度移除模塊146通過交叉比對左深度圖與右深度圖來判斷深度值的置信度。若主深度圖dm_l上的主深度值與相互對應(yīng)的輔深度值不一致，此主深度值可視為無效深度值。
[0091]整體來說，在本實(shí)施例中，首先利用塊分布圖與統(tǒng)計運(yùn)算對主深度圖進(jìn)行第一階段的無效值移除處理。接著，再利用有效深度值的密度來進(jìn)行第二階段的無效值移除處理。最后，通過交叉比對主深度圖與輔深度圖來進(jìn)行第三階段的無效值移除處理。經(jīng)過上述三個階段的無效值移除處理，可將主深度圖上許多置信度低的無效深度值移除。在將無效深度值移除而產(chǎn)生包括破洞的待修復(fù)深度圖之后，本發(fā)明同樣可通過塊分布圖來產(chǎn)生較貼近真實(shí)情況的優(yōu)化深度值，以進(jìn)一步產(chǎn)生優(yōu)化后的優(yōu)化深度圖。以下將列舉一實(shí)施例來說明本發(fā)明的補(bǔ)洞模塊進(jìn)行補(bǔ)洞的詳細(xì)內(nèi)容。
[0092]圖8為依照本發(fā)明一實(shí)施例所示出的對待修復(fù)圖進(jìn)行補(bǔ)洞的操作示意圖。請參照圖8，補(bǔ)洞模塊148依據(jù)塊分布圖獲取模塊144所產(chǎn)生的塊分布圖對待修復(fù)深度圖dm_3進(jìn)行補(bǔ)洞，以產(chǎn)生優(yōu)化深度圖dm_4。需特別說明的是，圖8所示的范例中，塊分布圖獲取模塊144所產(chǎn)生的塊分布圖包括第一塊分布圖群組m_f與第二塊分布圖群組m_c，且第一塊分布圖群組m_f與第二塊分布圖群組m_c所對應(yīng)的切割精細(xì)度并不相同。
[0093]簡單來說，基于圖2與圖3的說明可知，差異門檻值以及尺寸門檻值可決定塊分布圖的切割精細(xì)度。也就是說，塊分布圖獲取模塊144可依據(jù)差異門檻值或尺寸門檻值的設(shè)定而產(chǎn)生切割精細(xì)度不同的第一塊分布圖群組m_f與第二塊分布圖群組m_c。其中，第一塊分布圖群組m_f包括多個第一塊分布圖，而第二塊分布圖群組m_c包括多個第二塊分布圖。
[0094]進(jìn)一步來說，在第一塊分布圖群組m_f基于一組差異門檻值以及尺寸門檻值而具有固定的切割精細(xì)度的情況下，塊分布圖獲取模塊144可依據(jù)不同的中心基準(zhǔn)點(diǎn)設(shè)定方式而產(chǎn)生第一塊分布圖群組m_f內(nèi)的多個第一塊分布圖。舉例而言,第一塊分布圖群組m_f包括第一塊分布圖m_fl以及第一塊分布圖m_f2。第一塊分布圖m_fl以及第一塊分布圖m_f2對應(yīng)至相同的切割精細(xì)度，但第一塊分布圖m_fl以及第一塊分布圖m_f2具有不同的塊分割方式。
[0095]相似的，在第二塊分布圖群組m_c基于一組差異門檻值以及尺寸門檻值而具有固定的切割精細(xì)度的情況下，塊分布圖獲取模塊144可依據(jù)不同的中心基準(zhǔn)點(diǎn)設(shè)定方式而產(chǎn)生第二塊分布圖群組m_c內(nèi)的多個第二塊分布圖。舉例而言，第二塊分布圖群組m_c包括第二塊分布圖m_cl以及第二塊分布圖m_c2。第二塊分布圖m_cl以及第二塊分布圖m_c2對應(yīng)至相同的切割精細(xì)度，但第二塊分布圖m_cl以及第二塊分布圖m_c2具有不同的塊分割方式。基此，在一實(shí)施例中，補(bǔ)洞模塊148可依據(jù)對應(yīng)至不同的切割精細(xì)度的塊分布圖對待修復(fù)深度圖dm_3進(jìn)行補(bǔ)洞。另一方方面，補(bǔ)洞模塊148也可依據(jù)具有不同的塊分割方式的塊分布圖對待修復(fù)深度圖dm_3進(jìn)行補(bǔ)洞。
[0096]圖9A與圖9B是依照本發(fā)明