在校準(諸如，左源圖像和右源圖像的旋轉(zhuǎn))之后出現(xiàn)多個黑色區(qū)域。然而，與圖12A中示出的黑色區(qū)域相反，由于通過使用公開的實施例中的幾何校準來執(zhí)行垂直方向上的圖像扭曲，所以如圖12B中所示，未出現(xiàn)多個黑色區(qū)域1200。此外，可通過在幾何校準之后執(zhí)行對空白區(qū)進行填充的修描處理來消除在右源圖像的邊界區(qū)域附近出現(xiàn)的黑色區(qū)域1200。
[0099]圖13是根據(jù)實施例的源圖像校準方法的流程圖。
[0100]參照圖13，在操作1300，輸入立體源圖像。
[0101]在操作1302，可從左源圖像和右源圖像提取特征。例如，可將與邊界區(qū)域、邊緣區(qū)域和對象區(qū)域?qū)奶卣鼽c和特征點的位置的信息提取為特征?？赏ㄟ^使用各種特征提取算法(例如，尺度不變特征變換(SIFT)、快速穩(wěn)健特征(SURF)等)來執(zhí)行對特征的提取，但不限于此。此外，可從每個圖像的各個部分提取足夠數(shù)量的特征，使得這些特征在隨后的統(tǒng)計分析中是顯著的，并且這些特征可從每個圖像的各個部分被提取。提取的特征可包括關于特征的位置的信息，例如，特征向量。
[0102]在操作1304，可通過將提取的特征相互匹配來產(chǎn)生特征對應信息。例如，從左眼圖像提取的特征和從右眼圖像提取的特征基于各自的特征信息相互匹配，并產(chǎn)生特征對應信息。由此，可通過使用特征對應信息來消除會使統(tǒng)計分析失真的因素，其中，該因素可包括當不存在左對應點和右對應點時的情況(例如，當在左眼圖像中存在的點在右眼圖像中不存在時)。
[0103]在操作1306，可基于包括在特征對應信息中的垂直坐標值之間的差，產(chǎn)生垂直視差圖。
[0104]在操作1308，可通過使用產(chǎn)生的垂直視差圖來對左源圖像與右源圖像之間的差進行校準。在操作1306和操作1308，基于從左源圖像和右源圖像產(chǎn)生的特征對應信息，執(zhí)行對幾何差進行校準的處理。通過回歸分析基于特征對應信息對整個左源圖像和右源圖像之間的垂直視差圖進行分析來執(zhí)行幾何差校準或幾何校準。隨后，對與垂直方向上的差對應的左源圖像、右源圖像、或左源圖像和右源圖像執(zhí)行偏移，以消除垂直方向上的差。
[0105]在操作1310，可通過使用在操作1304產(chǎn)生的特征對應信息來執(zhí)行左源圖像和右源圖像的光度校準。在操作1310，執(zhí)行對左源和右源執(zhí)行顏色校準或幾何校準的處理，其中，所述左源和所述右源在操作1306和操作1308對幾何差進行校準之后被獲得。通過使用在操作1304產(chǎn)生的特征對應信息來執(zhí)行光度校準。針對光度校準，通過執(zhí)行以下操作來同時執(zhí)行全局顏色校準和局部顏色校準:計算左源圖像和右源圖像在包括在特征對應信息中的位置處的統(tǒng)計值，基于計算出的統(tǒng)計值對左源圖像和右源圖像執(zhí)行第一顏色校準，并通過對經(jīng)由執(zhí)行第一顏色校準獲得的左源圖像和右源圖像執(zhí)行直方圖匹配來執(zhí)行第二顏色校準。
[0106]在圖13中，可順序地執(zhí)行在操作1306和操作1308執(zhí)行的幾何校準以及在操作1310執(zhí)行的光度校準。然而，本領域技術人員將理解，可獨立地執(zhí)行幾何校準和光度校準?？稍趫?zhí)行光度校準之后執(zhí)行幾何校準，而不是在執(zhí)行幾何校準之后執(zhí)行光度校準。此外，可在執(zhí)行幾何校準之后額外地執(zhí)行修描處理?？稍趫?zhí)行光度校準之后(例如，在操作1310之后)額外地執(zhí)行修描處理。此外，雖然沒有在圖13中示出，但是在左源圖像和右源圖像已進行幾何校準和/或光度校準之后，可使用深度估計單元120通過深度估計算法來恢復左源圖像和右源圖像的深度信息?；诨謴统龅纳疃刃畔⒒蛏疃葓D，可使用基于深度的渲染單元130執(zhí)行基于深度的渲染，因此可將多視圖圖像輸出到例如顯示器。
[0107]在上述實施例中，通過使用用于對立體源圖像進行校準的方法和設備，可基于特征對簡單且穩(wěn)健的立體源圖像進行校準，因此可在執(zhí)行深度估計之前對立體源圖像進行校準?？赏瑫r、順序地或選擇性地采用上述的幾何校準和光度校準?？赏ㄟ^使用經(jīng)過提取相同的特征并對相同的特征進行匹配而產(chǎn)生的特征對應信息來同時采用幾何校準和光度校準。例如，可控制圖像處理單元的源圖像校準單元I1對左源圖像和右源圖像僅執(zhí)行幾何校準、對左源圖像和右源圖像僅執(zhí)行光度校準、在對左源圖像和右源圖像執(zhí)行光度校準之前對左源圖像和右源圖像執(zhí)行幾何校準、或者在對左源圖像和右源圖像執(zhí)行幾何校準之前對左源圖像和右源圖像執(zhí)行光度校準。也就是說，可選擇性地操作圖像處理單元的源圖像校準單元110以在執(zhí)行幾何校準和光度校準之間進行改變或切換，和根據(jù)需要或期望以任何特定順序在執(zhí)行集合校準和光度校準之間進行改變或切換。因此，例如，圖像處理單元的源圖像校準單元110可被實現(xiàn)為用于一組左源圖像和右源圖像的源圖像校準單元1000，并可接下來被實現(xiàn)為用于另一組左源圖像和右源圖像的源圖像校準單元1100。
[0108]通過以下操作來執(zhí)行光度校準:基于包括在特征對應信息中的垂直坐標之間的差通過回歸分析來產(chǎn)生垂直視差圖，并通過圖像扭曲來對幾何差進行校準。由此，無需執(zhí)行對相機模型最優(yōu)化的處理，并可減少由于圖像旋轉(zhuǎn)會出現(xiàn)的黑色區(qū)域的出現(xiàn)。此外，光度校準還通過執(zhí)行以下操作來對局部誤差進行校準:根據(jù)特征對應信息獲得特定位置處的平均值或方差，針對整個圖像執(zhí)行顏色校準，隨后局部地執(zhí)行直方圖匹配。
[0109]在公開的實施例中，如果同時執(zhí)行幾何校準和光度校準，則由于在校準的圖像中幾何顏色誤差的量可能非常少，所以可容易執(zhí)行深度估計。通過幾何校準和光度校準合成的多視點圖像可按照幀內(nèi)視點或幀間視點。
[0110]如上所述，根據(jù)以上公開的實施例中的一個或更多個實施例，可基于特征對立體源圖像進行簡單且穩(wěn)健的校準，因此，可在執(zhí)行深度估計之前對立體源圖像進行校準。
[0111]在此描述的設備和方法可通過使用一個或更多個處理器、用于存儲程序數(shù)據(jù)和執(zhí)行程序數(shù)據(jù)的至少一個存儲器、永久性存貯器(諸如硬盤驅(qū)動器)、用于操縱與外部裝置進行通信的通信端口和用戶接口裝置(包括顯示器、按鍵等)來實現(xiàn)。當涉及軟件模塊時，這些軟件模塊可作為可在處理器上執(zhí)行的程序指令或計算機可讀代碼被存儲在計算機可讀介質(zhì)(諸如，只讀存儲器(R0M)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲裝置)上。計算機可讀記錄介質(zhì)也可分布在聯(lián)網(wǎng)的計算機系統(tǒng)上，使得可以以分布方式來存儲并執(zhí)行計算機可讀代碼。所述介質(zhì)可由計算機來讀取，存儲在至少一個存儲器中，并由處理器執(zhí)行。
[0112]例如，處理器或處理裝置可使用一個或更多個通用計算機或?qū)Ｓ糜嬎銠C來實現(xiàn)，并可包括例如以下項中的中的一項或更多項:處理器、控制器和算術邏輯單元、中央處理器(CPU)、圖形處理器(GPU)、圖像處理器、數(shù)字信號處理器(DSP)、微計算器、現(xiàn)場可編程陣列、可編程邏輯單元、專用集成電路(ASIC)、微處理器或能夠以定義的方式對指令進行響應并執(zhí)行指令的任何其它裝置。
[0113]可在功能塊組件和各種處理步驟方面描述實施例。這樣的功能塊可通過被配置為執(zhí)行特定功能的任意數(shù)量的硬件和/或軟件組件來實現(xiàn)。例如，實施例可采用在一個或更多個微處理器或其它控制裝置的控制下可執(zhí)行各種功能的各種集成電路組件(例如，存儲器元件、處理元件、邏輯元件、查找表等)。類似地，在本公開的元件使用軟件編程或軟件元素來實現(xiàn)時，本公開可利用任意編程語言或腳本語言(諸如C、C++、JAVA、匯編程序等)使用各種算法來實現(xiàn)，其中，所述各種算法利用數(shù)據(jù)結(jié)構(gòu)、對象、處理、例程或其它編程元素的任意組合來實現(xiàn)。功能方面可按照在一個或更多個處理器上執(zhí)行的算法來實現(xiàn)。此外，實施例可采用用于電子配置、信號處理和/或信號控制、數(shù)據(jù)處理等的任意數(shù)量的傳統(tǒng)技術。詞語“機制”和“元件”被寬泛地使用而不限于機械或物理的實施例，并且可包括與處理器等結(jié)合的軟件例程。
[0114]在此使用的術語“模塊”和“單元”可指示但不限于軟件或硬件組件/裝置，諸如，執(zhí)行特定任務的現(xiàn)場可編程門陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)。模塊或單元可被配置為駐留在可尋址存儲介質(zhì)上并被配置為在一個或者更多個處理器上執(zhí)行。因此，作為示例，模塊或單元可包括組件(諸如軟件組件、面向?qū)ο蟮能浖M件、類組件和任務組件)、進程、函數(shù)、屬性、程序、子程序、程序代碼段、驅(qū)動器、固件、微碼、電路、數(shù)據(jù)、數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)、表、數(shù)組和變量。可將在組件和模塊/單元中提供的功能組合為更少的組件和模塊/單元，或進一步被分成另外的組件和模塊。
[0115]在此示出并描述的特定實施例是實施例的示意性示例，并不意圖以任何方式另外地限制技術的范圍。為了簡潔起見，可不詳細描述傳統(tǒng)的電子器件、控制系統(tǒng)、軟件開發(fā)和系統(tǒng)的其它功能方面(和所述系統(tǒng)的各個操作組件的組件)。此外，在所呈現(xiàn)的各附圖中示出的連接線或連接器意圖表示各元件之間的示例性功能關系和/或物理或邏輯連接。應注意，在實際裝置中可存在許多可選的或另外的功能關系、物理連接或邏輯連接。
[0116]在描述實施例的語境(尤其是權(quán)利要求的語境)中使用的術語和類似的指代將被理解為涵蓋單數(shù)和復數(shù)兩者。此外，除非在此另有指示，否則在此引用的數(shù)值范圍僅僅意圖用作分別指示落入所述范圍的每個單獨的數(shù)值的快捷方法，并且每個單獨的數(shù)值被合并到說明書中，如同每個單獨的數(shù)值被分別地引用于此。最終，除非在此另有指示或者與上下文明顯矛盾，否則在此描述的所有方法的步驟可按照任何合適的順序執(zhí)行。除非另有聲明，否則在此提供的任何和全部示例或示例性語言(例如，“諸如”)僅僅意圖更好地闡明本公開，并且并不構(gòu)成對本公開的范圍的限制。此外，本領域的普通技術人員將理解，可根據(jù)在權(quán)利要求或等同物的范圍內(nèi)的設計條件和因素產(chǎn)生各種修改、組合和改變。
[0117]此外，本