產生的優(yōu)化深度值將用以填補深度圖中的破洞，從而產生噪聲含量低且準確度高的深 度圖。
[0140] 最后應說明的是：以上各實施例僅用以說明本發(fā)明的技術方案，而非對其限制； 盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解：其 依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征 進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發(fā)明各實施例技 術方案的范圍。
【主權項】
1. 一種優(yōu)化深度信息的方法，適用于一電子裝置，其特征在于，一左圖像與一右圖像通 過一立體成像系統(tǒng)的拍攝而產生，所述方法包括： 將該左圖像與該右圖像其中之一劃分成多個相關區(qū)塊，以獲取至少一區(qū)塊分布圖； 獲取一待修復深度圖，并依據(jù)多個主深度值與相機參數(shù)將該待修復深度圖區(qū)分成多個 深度平面，其中該待修復深度圖記錄所述主深度值且具有多個破洞；以及 利用所述區(qū)塊分布圖來分別對各所述深度平面中的所述破洞產生多個優(yōu)化深度值，并 將所述優(yōu)化深度值填補至各所述深度平面而獲取結合各所述深度平面的一優(yōu)化深度圖。2. 根據(jù)權利要求1所述的優(yōu)化深度信息的方法，其特征在于，獲取該待修復深度圖，并 依據(jù)所述主深度值與該相機參數(shù)將該修復深度圖區(qū)分成所述深度平面的步驟包括： 依據(jù)所述主深度值與該相機參數(shù)決定各所述主深度值的一物距信息；以及 各所述主深度值的該物距信息，將該待修復深度圖劃分成對應至相互相異的多個景深 范圍的所述深度平面，且各所述深度平面包括至少一相似物距區(qū)域。3. 根據(jù)權利要求1所述的優(yōu)化深度信息的方法，其特征在于，將該左圖像與該右圖像 其中之一劃分成所述相關區(qū)塊，以獲取所述區(qū)塊分布圖的步驟包括： 決定各所述深度平面的一切割精細度，并依據(jù)所述切割精細度將關聯(lián)于該待修復深度 圖的該左圖像與該右圖像其中之一劃分成所述相關區(qū)塊，以獲取分別對應至各所述深度平 面的所述區(qū)塊分布圖。4. 根據(jù)權利要求3所述的優(yōu)化深度信息的方法，其特征在于，所述深度平面分別對應 至相互相異的多個景深范圍，而各所述深度平面的該切割精細度基于各所述深度平面所對 應的所述景深范圍而定。5. 根據(jù)權利要求3所述的優(yōu)化深度信息的方法，其特征在于，被劃分成所述相關區(qū)塊 的該左圖像或該右圖像具有多個第一像素，而依據(jù)所述切割精細度將關聯(lián)于該待修復深度 圖的該左圖像與該右圖像其中之一劃分成所述相關區(qū)塊的步驟包括： 比對所述第一像素中相互相鄰的一第一相鄰像素與一第二相鄰像素而獲取一像素值 差；以及 依據(jù)該像素值差是否小于一差異門檻值而決定是否連結該第一相鄰像素與該第二相 鄰像素，從而將各所述第一像素區(qū)分至對應的所述相關區(qū)塊，其中所述區(qū)塊分布圖的該切 割精細度依據(jù)該差異門檻值而定。6. 根據(jù)權利要求5所述的優(yōu)化深度信息的方法，其特征在于，依據(jù)所述切割精細度將 關聯(lián)于該待修復深度圖的該左圖像與該右圖像其中之一劃分成所述相關區(qū)塊的步驟還包 括： 依據(jù)一尺寸門檻值來限定各所述相關區(qū)塊的區(qū)塊尺寸而獲取所述區(qū)塊分布圖，其中各 所述相關區(qū)塊的區(qū)塊尺寸不大于該尺寸門檻值，而所述區(qū)塊分布圖的該切割精細度依據(jù)該 尺寸門檻值而定。7. 根據(jù)權利要求3所述的優(yōu)化深度信息的方法，其特征在于，利用所述區(qū)塊分布圖來 分別對各所述深度平面中的所述破洞產生所述優(yōu)化深度值，并將所述優(yōu)化深度值填補至各 所述深度平面而獲取結合各所述深度平面的該優(yōu)化深度圖的步驟包括： 將各所述深度平面的至少一相似物距區(qū)域依據(jù)各自對應的所述區(qū)塊分布圖而分割成 多個第一深度區(qū)塊，并依據(jù)各所述第一深度區(qū)塊中的所述破洞的數(shù)目而獲取一第一有效密 度值；以及 依據(jù)該第一有效密度值而決定是否計算各所述第一深度區(qū)塊的一第一深度統(tǒng)計值，并 將該第一深度統(tǒng)計值作為所述優(yōu)化深度值之一而填補部分的所述破洞。8. 根據(jù)權利要求7所述的產生深度信息的方法，其特征在于，依據(jù)該第一有效密度值 而決定是否計算各所述第一深度區(qū)塊的該第一深度統(tǒng)計值的步驟包括： 依據(jù)各所述第一深度區(qū)塊的該第一有效密度值而獲取各所述第一深度區(qū)塊的一處理 順序，以及依據(jù)該處理順序是否為一高優(yōu)先順序而決定是否填補各所述第一深度區(qū)塊中的 所述破洞。9. 根據(jù)權利要求1所述的優(yōu)化深度信息的方法，其特征在于，在獲取該待修復深度圖 的步驟之前，還包括： 對該左圖像與該右圖像進行一三維深度估測，以獲取關聯(lián)于該左圖像與該右圖像之一 且對應至多個第一像素的一主深度圖，其中該主深度圖記錄分別對應至所述第一像素的該 些主深度值；以及 利用所述區(qū)塊分布圖來判斷所述第一像素所對應的所述主深度值是否符合一可信賴 條件，并將所述主深度值中不符合該可信賴條件的多個無效深度值從該主深度圖中移除， 從而產生包括所述破洞的該待修復深度圖。10. 根據(jù)權利要求9所述的優(yōu)化深度信息的方法，其特征在于，利用所述區(qū)塊分布圖來 判斷所述第一像素所對應的所述主深度值是否符合該可信賴條件，并將所述主深度值中不 符合該可信賴條件的所述無效深度值從該主深度圖中移除，從而產生包括所述破洞的該待 修復深度圖的步驟包括： 依據(jù)所述區(qū)塊分布圖將該主深度圖分成多個深度區(qū)塊，并分別對各所述深度區(qū)塊內的 所述主深度值進行一統(tǒng)計運算而獲取一統(tǒng)計結果；以及 依據(jù)該統(tǒng)計結果判斷所述主深度值是否為所述無效深度值中的多個第一無效深度值， 并將所述第一無效深度值從該主深度圖中移除，從而產生該待修復深度圖上的所述破洞。11. 一種優(yōu)化深度信息的裝置，其特征在于，該裝置通過一立體成像系統(tǒng)的拍攝而獲取 一左圖像與一右圖像，包括： 一儲存單元，記錄多個模塊；以及 一或多個處理單元，耦接該儲存單元，存取并執(zhí)行儲存單元中記錄的所述模塊，所述模 塊包括： 一區(qū)塊分布圖獲取模塊，將該左圖像與該右圖像其中之一劃分成多個相關區(qū)塊，以獲 取至少一區(qū)塊分布圖； 一深度平面分割模塊，獲取一待修復深度圖，并依據(jù)多個主深度值與相機參數(shù)將該待 修復深度圖區(qū)分成多個深度平面，其中該待修復深度圖記錄所述主深度值且具有多個破 洞；以及 一補洞模塊，利用所述區(qū)塊分布圖而分別對各所述深度平面中的所述破洞產生多個優(yōu) 化深度值，并將所述優(yōu)化深度值填補至各所述深度平面而獲取結合各所述深度平面的一優(yōu) 化深度圖。12. 根據(jù)權利要求11所述的優(yōu)化深度信息的裝置，其特征在于，該深度平面分割模塊 依據(jù)所述主深度值與該相機參數(shù)決定各所述主深度值的一物距信息，以及各所述主深度值 的該物距信息將該待修復深度圖劃分成對應至相互相異的多個景深范圍的所述深度平面， 其中所述深度平面包括至少一相似物距區(qū)域。13. 根據(jù)權利要求11所述的優(yōu)化深度信息的裝置，其特征在于，該區(qū)塊分布圖獲取模 塊決定各所述深度平面的一切割精細度，并依據(jù)該切割精細度將關聯(lián)于該待修復深度圖的 該左圖像與該右圖像其中之一劃分成所述相關區(qū)塊，以獲取對應至各所述深度平面的所述 區(qū)塊分布圖。14. 根據(jù)權利要求13所述的優(yōu)化深度信息的裝置，其特征在于，所述深度平面分別對 應至相互相異的多個景深范圍，而各所述深度平面的該切割精細度基于各所述深度平面所 對應的所述景深范圍而定。15. 根據(jù)權利要求13所述的優(yōu)化深度信息的裝置，其特征在于，被劃分成所述相關區(qū) 塊的該左圖像或該右圖像具有多個第一像素，且該區(qū)塊分布圖獲取模塊比對所述第一像素 中相互相鄰的一第一相鄰像素與一第二相鄰像素而獲取一像素值差，并依據(jù)該像素值差是 否小于一差異門檻值而決定是否連結該第一相鄰像素與該第二相鄰像素，從而將各所述第 一像素區(qū)分至對應的所述相關區(qū)塊，其中所述區(qū)塊分布圖的一切割精細度依據(jù)該差異門檻 值而定。16. 根據(jù)權利要求15所述的優(yōu)化深度信息的裝置，其特征在于，該區(qū)塊分布圖獲取模 塊依據(jù)一尺寸門檻值來限定各所述相關區(qū)塊的區(qū)塊尺寸而獲取所述區(qū)塊分布圖，其中各所 述相關區(qū)塊的區(qū)塊尺寸不大于該尺寸門檻值，而所述區(qū)塊分布圖的該切割精細度依據(jù)該尺 寸門檻值而定。17. 根據(jù)權利要求13所述的優(yōu)化深度信息的裝置，其特征在于，該補洞模塊將各所述 深度平面的至少一相似物距區(qū)域依據(jù)各自對應的所述區(qū)塊分布圖而分割成多個第一深度 區(qū)塊，并依據(jù)各所述第一深度區(qū)塊中的所述破洞的數(shù)目而獲取一第一有效密度值，以及依 據(jù)該第一有效密度值而決定是否計算各所述第一深度區(qū)塊的一第一深度統(tǒng)計值，并將該第 一深度統(tǒng)計值作為所述優(yōu)化深度值之一而填補部分的所述破洞。18. 根據(jù)權利要求17所述的優(yōu)化深度信息的裝置，其特征在于，該補洞模塊依據(jù)各所 述第一深度區(qū)塊的該第一有效密度值而獲取各所述第一深度區(qū)塊的一處理順序，以及依據(jù) 該處理順序是否為一高優(yōu)先順序而決定是否填補各所述第一深度區(qū)塊中的所述破洞。19. 根據(jù)權利要求11所述的優(yōu)化深度信息的裝置，其特征在于，所述模塊還包括： 一深度估測模塊，對該左圖像與該右圖像進行一三維深度估測，以獲取關聯(lián)于該左圖 像與該右圖像之一且對應至多個第一像素的一主深度圖，其中該主深度圖記錄分別對應至 所述第一像素的該些主深度值；以及 一無效深度移除模塊，利用所述區(qū)塊分布圖來判斷所述第一像素所對應的所述主深度 值是否符合一可信賴條件，并將所述主深度值中不符合該可信賴條件的多個無效深度值從 該主深度圖中移除，從而產生包括所述破洞的該待修復深度圖。20. 根據(jù)權利要求19所述的優(yōu)化深度信息的裝置，其特征在于，該無效深度移除模塊 依據(jù)所述區(qū)塊分布圖將該主深度圖分成多個深度區(qū)塊，并分別對各所述深度區(qū)塊內的所述 主深度值進行一統(tǒng)計運算而獲取一統(tǒng)計結果，依據(jù)該統(tǒng)計結果判斷所述主深度值是否為所 述無效深度值中的多個第一無效深度值，并將所述第一無效深度值從該主深度圖中移除， 從而產生該待修復深度圖上的所述破洞。
【專利摘要】本發(fā)明提供一種優(yōu)化深度信息的方法與裝置。該方法包括：將左圖像與右圖像其中之一劃分成多個相關區(qū)塊，以獲取至少一區(qū)塊分布圖。獲取待修復深度圖，并依據(jù)多個主深度值與相機參數(shù)將待修復深度圖區(qū)分成多個深度平面，其中待修復深度圖記錄這些主深度值且具有多個破洞。利用區(qū)塊分布圖而分別對各深度平面中的破洞產生多個優(yōu)化深度值，并將這些優(yōu)化深度值填補至各深度平面而獲取優(yōu)化深度圖。
【IPC分類】H04N13/00
【公開號】CN105025285
【申請?zhí)枴緾N201410182522
【發(fā)明人】鍾育佳, 張文彥, 曾家俊, 李運錦
【申請人】聚晶半導體股份有限公司
【公開日】2015年11月4日
【申請日】2014年4月30日