通過迭代插值和扭曲生成深度圖的系統(tǒng)和方法
【專利說明】通過迭代插值和扭曲生成深度圖的系統(tǒng)和方法
[0001] 相關申請
[0002] 本申請要求于2014年2月8日提交的美國臨時專利申請No. 61/937496的優(yōu)先權， 該專利申請以引用方式明確并入本文。
【背景技術】
[0003] 計算機立體視覺系統(tǒng)通常包括兩個攝像頭以獲得相同圖像場景的兩個不同視圖。 由于攝像頭對圖像場景的不同視角，因此兩個不同視圖中的對象和表面可出現(xiàn)在稍微不同 位置。局部區(qū)塊立體匹配方法可用于從兩個不同視圖恢復深度。然而，在具有復雜表面（諸 如，非紋理表面和傾斜表面）的視圖中可能難以恢復對象和表面的深度。因此，由于正面平 行假設和不含紋理，以及其他問題，從攝像頭圖像恢復深度的局部區(qū)塊立體匹配方法通常 無法確定有效深度。

【發(fā)明內容】

[0004] 根據(jù)一個方面，生成深度圖的計算機實現(xiàn)的方法包括：生成第一圖像的初始深度 圖，該第一圖像為從成像設備接收的一對立體圖像中的一者，該一對立體圖像包括第一圖 像和第二圖像；通過假設初始深度圖中缺失區(qū)域的深度值而基于初始深度圖生成預估深度 圖；以及基于預估深度圖使第二圖像扭曲。該方法包括基于第一圖像和扭曲的第二圖像生 成扭曲深度圖，以及基于扭曲深度圖和預估深度圖生成相對于第二圖像的第一圖像的新深 度圖。
[0005] 根據(jù)另一個方面，非暫態(tài)計算機可讀介質包括指令，當指令由處理器執(zhí)行時執(zhí)行 生成深度圖的方法，包括：生成第一圖像的初始深度圖，該第一圖像為從成像設備接收的一 對立體圖像中的一者，該一對立體圖像包括第一圖像和第二圖像；通過假設初始深度圖中 缺失區(qū)域的深度值而基于初始深度圖生成預估深度圖；以及基于預估深度圖使第二圖像扭 曲。該方法包括基于第一圖像和扭曲的第二圖像生成扭曲深度圖，以及基于扭曲深度圖和 預估深度圖生成相對于第二圖像的第一圖像的新深度圖。
[0006] 根據(jù)又一個方面，生成深度圖的計算機系統(tǒng)包括處理器和預估深度圖模塊，該模 塊使得處理器生成第一圖像的初始深度圖，該第一圖像為從成像設備接收的一對立體圖像 中的一者，該一對立體圖像包括第一圖像和第二圖像，以及通過假設初始深度圖中缺失區(qū) 域的深度值而基于初始深度圖生成預估深度圖。該系統(tǒng)包括深度圖細化模塊，該模塊使得 處理器基于預估深度圖使第二圖像扭曲，基于第一圖像和扭曲的第二圖像生成扭曲深度 圖，以及基于扭曲深度圖和預估深度圖生成相對于第二圖像的第一圖像的新深度圖。
【附圖說明】
[0007] 被認為是本發(fā)明的特征的一些新結構在所附權利要求書中示出。在以下描述中， 相同部分在整個說明書和附圖中分別使用相同的數(shù)字標記。附圖未必按比例繪制，并且為 了清晰和簡潔起見，某些圖形可以以放大或一般的形式示出。然而，當結合附圖閱讀時，通 過參考以下對于示例性實施例的詳細描述，將最好地理解發(fā)明本身以及優(yōu)選的使用方式、 及其更多的目標和進步，其中：
[0008] 圖1是根據(jù)本申請的一個方面的通過迭代插值和扭曲生成深度圖的示例性系統(tǒng) 的不意圖；
[0009] 圖2a是根據(jù)本申請的一個方面的稍微傾斜表面的標準局部區(qū)塊匹配的示例性例 子；
[0010] 圖2b是根據(jù)本申請的一個方面的根據(jù)通過迭代插值和扭曲生成深度圖的示例性 實施例的稍微傾斜表面的局部區(qū)塊匹配的示例性例子；
[0011] 圖3為根據(jù)本申請的一個方面的流程圖，其示出了通過迭代插值和扭曲生成深度 圖的示例性方法；
[0012] 圖4a是根據(jù)本申請的一個方面的用于示例性水平線性插值的像素的示例性區(qū)塊 的不意圖；
[0013] 圖4b是根據(jù)本申請的一個方面的用于多方向線性插值的像素的示例性區(qū)塊的示 意圖；
[0014] 圖5a是根據(jù)本申請的一個方面的示例性左側立體圖像；
[0015] 圖5b是根據(jù)本申請的一個方面的圖5a的左側立體圖像的示例性視差圖；
[0016] 圖5c是根據(jù)本申請的一個方面的一次迭代之后的圖5a的左側立體圖像的示例性 視差圖；以及
[0017] 圖5d是根據(jù)本申請的一個方面的八次迭代之后的圖5a的左側立體圖像的示例性 視差圖。
【具體實施方式】
[0018] 以下包括本文所用的所選術語的定義。這些定義包括落在術語范圍內并可用于實 施的組件的各種例子和/或形式。這些例子并非意圖進行限制。此外，本領域的普通技術 人員將認識到，可將本文所述的組件結合、省略或與其他組件組織起來，或組織成不同的體 系結構。
[0019] 如本文所用，"總線"是指可操作地連接于在計算機內部或在計算機之間的其他計 算機組件的互聯(lián)結構?？偩€可在計算機組件之間傳輸數(shù)據(jù)。因此，總線可使用其他總線與 各種設備、模塊、邏輯裝置和外圍設備通信?？偩€可為單個內部總線互聯(lián)體系結構和/或其 他總線或網狀體系結構（例如，外部）。總線可為存儲器總線、內存控制器、外圍總線、外部 總線、縱橫開關和/或局部總線等等。在一些實施例中，總線可為車載總線等等，該車載總 線使用諸如控制器局域網（CAN)、局部互聯(lián)網（LIN)等協(xié)議使車內的組件互連。
[0020] 如本文所用，"計算機通信"是指在兩個或更多個計算設備（例如，計算機、便攜 式設備、個人數(shù)字助理、移動電話、網絡設備）之間的通信，并且可為例如網絡傳輸、文件傳 輸、小程序傳輸、電子郵件、超文本傳輸協(xié)議（HTTP)傳輸?shù)?。計算機通信可在例如無線系統(tǒng) (例如，IEEE 802. 11)、以太網系統(tǒng)（例如，IEEE 802. 3)、令牌環(huán)系統(tǒng)（例如，IEEE 802. 5)、 局域網（LAN)、廣域網（WAN)、點到點系統(tǒng)、電路交換系統(tǒng)、包交換系統(tǒng)等等上進行。
[0021] 如本文所用，"深度圖"通常為圖像或圖像信道，該圖像或圖像信道包含涉及場景 對象的表面距觀察點的距離的信息。在一些實施例中，深度圖包括深度值的二維矩陣（例 如，陣列），其中每個深度值對應于場景中的相應位置，并且指出從特定參考位置到相應場 景位置的距離。在一些實施例中，視差圖為其中從相同場景的偏移圖像得出深度信息的深 度圖。視差圖可以是通過轉化給定的攝像頭校準參數(shù)獲得的反轉深度圖。
[0022] 如本文所用，"盤"可為例如磁盤驅動器、固態(tài)盤驅動器、軟盤驅動器、磁帶驅動器、 極碟驅動器、閃存卡和/或記憶棒。此外，盤可為⑶-ROM (光盤ROM)、⑶可記錄驅動器（⑶-R 驅動器）、⑶可再寫驅動器（⑶-RW驅動器）和/或數(shù)字視頻ROM驅動器（DVD ROM)。該盤 可存儲用于控制或分配計算設備的資源的操作系統(tǒng)。
[0023] 如本文所用，"局部區(qū)塊立體匹配方法"是計算圖像之間視差的相應方法。一般來 講，對于第一圖像中的每個像素而言，圍繞該像素提取第一區(qū)塊。在第二圖像中進行搜索以 得到與第一區(qū)塊最佳匹配的第二區(qū)塊。在圍繞第一圖像中的像素的預定范圍像素內進行 搜索。將第一區(qū)塊和第二區(qū)塊進行比較并且在具有最小匹配成本的情況下選擇一個像素。 所利用的成本函數(shù)可包括累計絕對差值（SAD)、等級變換相關（NCC)和累計歸一化互相關 (SNCC)等等。
[0024] 如本文所用，"存儲器"可包括易失性存儲器和/或非易失性存儲器。非易失性 存儲器可包括例如ROM (只讀存儲器）、PROM (可編程只讀存儲器）、EPROM (可擦除PROM) 和EEPROM(電可擦除PR0M)。易失性存儲器可包括例如RAM(隨機存取存儲器）、同步 RAM(SRAM)、動態(tài) RAM(DRAM)、同步 DRAM(SDRAM)、雙數(shù)據(jù)速率 SDRAM(DDRSDRAM)和直接 RAM 總線RAM(DRRAM)。所述存儲器可存儲用于控制或分配計算設備的資源的操作系統(tǒng)。
[0025] 如本文所用，"輸入/輸出設備"可包括鍵盤、麥克風、指向和選擇設備、攝像頭、成 像設備、視頻卡、顯示器、磁盤、網絡設備等等。輸入/輸出設備可包括輸入/輸出端口，例 如，串行端口、平行端口和USB端口。
[0026] 如本文所用，"模塊"包括但不限于用以存儲指令的非暫態(tài)