在環(huán)校準(zhǔn)的制作方法
【專利摘要】本發(fā)明涉及在環(huán)（in?loop）校準(zhǔn)，其中包括一種用于重復(fù)地校準(zhǔn)視差估計(jì)處理的方法，所述視差估計(jì)處理生成與至少由右圖像和左圖像組成的3D圖像有關(guān)的視差估計(jì)圖，所述方法包括：在水平方向和垂直方向上估計(jì)3D圖像的左至右圖像視差圖、在水平方向和垂直方向上估計(jì)所述3D圖像的右至左圖像視差圖、基于所述視差圖確定在所述左圖像和所述右圖像之間的未對(duì)準(zhǔn)值、反饋在對(duì)下一3D圖像的所述視差圖的下一估計(jì)中考慮的所述未對(duì)準(zhǔn)值、以及對(duì)所述下一3D圖像重復(fù)所述方法以重復(fù)地校準(zhǔn)所述視差估計(jì)處理。
【專利說明】在環(huán)校準(zhǔn)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于重復(fù)地校準(zhǔn)生成與至少由右圖像和左圖像組成的3D圖像有關(guān)的視差估計(jì)圖的視差估計(jì)處理的方法。本發(fā)明還涉及視差估計(jì)裝置和計(jì)算機(jī)程序。
【背景技術(shù)】
[0002]在立體視覺系統(tǒng)(也稱3D系統(tǒng))中，通過估計(jì)視差(B卩，由左圖像和右圖像組成的圖像對(duì)中對(duì)應(yīng)像素的位移)能夠獲得場(chǎng)景中對(duì)象的深度信息。稱為視差處理的這個(gè)處理是立體圖像處理的基本步驟。它要求必須在圖像對(duì)的另一圖像中搜索像素或特征。
[0003]盡管有二十多年間全世界的研究的努力和成果，但是視差估計(jì)仍然是一個(gè)非常具有挑戰(zhàn)性的題目。一個(gè)重要的事實(shí)是高計(jì)算復(fù)雜性，因?yàn)椴蹲綀D像對(duì)的立體攝像機(jī)的左攝像機(jī)和右攝像機(jī)通常相對(duì)彼此不能完美地對(duì)齊，結(jié)果，不得不搜索整個(gè)圖像以找出圖像對(duì)中的對(duì)應(yīng)像素。換言之，如果左攝像機(jī)和右攝像機(jī)完美地對(duì)齊，則能夠在另一圖像的同一行中搜索到該像素，使得搜索范圍能夠被限制在圖像的一行或一條線內(nèi)。
[0004]為了縮小搜索范圍，特別是在垂直方向上的搜索范圍以降低計(jì)算復(fù)雜性，需要進(jìn)行被稱為立體校準(zhǔn)的分開的預(yù)處理步驟。立體校準(zhǔn)計(jì)算在左圖像與右圖像之間的相對(duì)朝向?；谠撔畔?，通過攝像機(jī)的虛擬旋轉(zhuǎn)和平移來幾何地調(diào)整左圖片與右圖片。結(jié)果是對(duì)應(yīng)的像素位于同一水平線上以“模擬”完美對(duì)齊的立體攝像機(jī)。這個(gè)處理稱為矯正。通常立體校準(zhǔn)和矯正一起簡(jiǎn)化視差估計(jì)，這是因?yàn)槠ヅ渌阉鞣秶鷱亩S(即水平方向和垂直方向)降低為一維(即，只有水平方向)。這個(gè)方法的示例在圖3中示出。
[0005]最普遍的立體校準(zhǔn)方法是基于特征的。在這些方法中，一般使用例如哈里斯.科納(Harris Corner)、SIFT或SURF的特征提取方法來提取特征點(diǎn)。然后，在立體圖像對(duì)中匹配這些特征。之后，使用極線約束(epipolar constraint)來估計(jì)攝像機(jī)的攝像機(jī)參數(shù)和相對(duì)朝向。
[0006]從例如US2011/0044531A1、US2011/0188736A1、US2010/0020178A1、US2011/0299761A1或W02011/093752A1中得知視差估計(jì)方法的示例。
[0007]基于特征的方法的一個(gè)缺點(diǎn)是特征提取和特征匹配計(jì)算開銷大。一方面，立體校準(zhǔn)簡(jiǎn)化了視差估計(jì)，然而，另一方面，立體校準(zhǔn)本身也很復(fù)雜。
[0008]因而，存在對(duì)計(jì)算復(fù)雜性進(jìn)一步優(yōu)化的需求。
[0009]本文中提供的“【背景技術(shù)】”描述為了整體呈現(xiàn)本公開的背景的目的。在該【背景技術(shù)】部分中描述的范圍內(nèi)的當(dāng)前署名的發(fā)明人的工作以及在提交時(shí)不能另外歸入現(xiàn)有技術(shù)的描述的各方面，既不被明示也不被暗示地承認(rèn)是針對(duì)本發(fā)明的現(xiàn)有技術(shù)。

【發(fā)明內(nèi)容】

[0010]目的是提供用于校準(zhǔn)生成較不復(fù)雜的視差估計(jì)圖的視差估計(jì)處理的方法。
[0011]此外的目的是提供同樣較不復(fù)雜的并且因此成本強(qiáng)度較低的視差估計(jì)裝置。
[0012]根據(jù)一方面，提供了用于重復(fù)地校準(zhǔn)產(chǎn)生與至少由右圖像和左圖像組成的3D圖像相關(guān)的視差估計(jì)圖的視差估計(jì)處理的方法，該方法包括:
[0013]在水平方向和垂直方向上估計(jì)3D圖像的左至右圖像視差圖；
[0014]在水平方向和垂直方向上估計(jì)3D圖像的右至左圖像視差圖；
[0015]基于視差圖確定在左圖像與右圖像之間的未對(duì)準(zhǔn)值；
[0016]反饋在對(duì)下一 3D圖像的視差圖進(jìn)行估計(jì)時(shí)考慮的未對(duì)準(zhǔn)值；以及
[0017]對(duì)下一 3D圖像重復(fù)該方法以重復(fù)地校準(zhǔn)視差估計(jì)處理。
[0018]根據(jù)另一方面，提供的視差估計(jì)裝置包括:視差估計(jì)單元，適用于生成至少由左圖像和右圖像組成的3D圖像的左至右水平視差圖和左至右垂直視差圖以及右至左水平視差圖和右至左垂直視差圖；以及校準(zhǔn)單元，接收由視差估計(jì)單元生成的視差圖并且適用于基于視差圖來確定表示在左圖像和右圖像之間的未對(duì)準(zhǔn)的未對(duì)準(zhǔn)值，并且將未對(duì)準(zhǔn)值反饋給視差估計(jì)單兀。
[0019]根據(jù)另一方面，提供了一種計(jì)算機(jī)程序，當(dāng)在所述處理器上執(zhí)行所述計(jì)算機(jī)程序時(shí)，該程序代碼措施用于使處理器電路執(zhí)行前述方法的步驟。
[0020]在從屬權(quán)利要求中限定了優(yōu)選的實(shí)施例。應(yīng)當(dāng)理解的是，所要求的裝置與所要求的計(jì)算機(jī)程序具有與所要求的方法和在從屬權(quán)利要求中所定義的相似和/或相同的優(yōu)選實(shí)施方式。
[0021]本發(fā)明的一方面是使用在水平方向和垂直方向上完成的視差估計(jì)的結(jié)果來確定或計(jì)算在左圖像和右圖像之間的未對(duì)準(zhǔn)值。未對(duì)準(zhǔn)值表示捕捉到左圖像和右圖像的攝像機(jī)的相對(duì)攝像機(jī)朝向。在本申請(qǐng)的上下文中，未對(duì)準(zhǔn)值可以表示垂直未對(duì)準(zhǔn)和/或旋轉(zhuǎn)未對(duì)準(zhǔn)，并且因而能夠包括多于一個(gè)的值，例如，η個(gè)值的矩陣。未對(duì)準(zhǔn)值可被視為相對(duì)攝像機(jī)朝向模型。將該未對(duì)準(zhǔn)值反饋給視差估計(jì)，使得重復(fù)地(迭代地)(意思是逐步地)執(zhí)行立體校準(zhǔn)。該重復(fù)的立體校準(zhǔn)允許將垂直的搜索范圍限制在與圖像的垂直范圍相比較小的值。即使垂直的和/或旋轉(zhuǎn)的未對(duì)準(zhǔn)大于垂直搜索范圍，該未對(duì)準(zhǔn)也在幾個(gè)重復(fù)步驟之后被補(bǔ)
\-ΖΧ ο
[0022]由于攝像機(jī)的未對(duì)準(zhǔn)不是快速變化的動(dòng)態(tài)處理，所以該重復(fù)校準(zhǔn)處理取得了非常穩(wěn)定地結(jié)果。
[0023]優(yōu)點(diǎn)之一是不需要特征提取和特征匹配，這降低了立體校準(zhǔn)的成本。其基于在對(duì)立體攝像機(jī)的未對(duì)準(zhǔn)重復(fù)地補(bǔ)償?shù)姆答伃h(huán)中處理的視差估計(jì)，使得視差估計(jì)的搜索范圍保
持最小。
[0024]應(yīng)當(dāng)理解的是，本發(fā)明的前述總體描述和以下詳細(xì)描述兩者均是示例性的而不限制本發(fā)明。
【專利附圖】

【附圖說明】
[0025]將容易獲得本公開的更完整的理解和其眾多伴隨的優(yōu)點(diǎn)，這是因?yàn)樗鼈儗⑼ㄟ^參考以下聯(lián)系附圖來考慮的【具體實(shí)施方式】而變得更好理解。
[0026]圖1示出了視差估計(jì)裝置的示意性框圖；
[0027]圖2示出了用于說明重復(fù)地校準(zhǔn)視差估計(jì)圖的方法的流程圖；以及
[0028]圖3示出了現(xiàn)有技術(shù)方法的示意性框圖?！揪唧w實(shí)施方式】
[0029]現(xiàn)在參照附圖，其中，相同參考標(biāo)號(hào)表明遍及幾個(gè)附圖的相同或?qū)?yīng)的部分，圖1示出了視差估計(jì)裝置10的框圖。通常，該視差估計(jì)裝置被設(shè)置為基于左圖像和右圖圖像來估計(jì)視差圖，該視差圖用于進(jìn)一步的處理組件，例如用于內(nèi)插圖像。
[0030]視差估計(jì)裝置包括接收作為輸入的左圖像L和右圖像R的視差估計(jì)單元12，該左圖像L和右圖像R形成3D圖像對(duì)。如之前已經(jīng)提到的，這樣的3D圖像對(duì)由包括通常不完美對(duì)齊(例如，在垂直方向上)的左攝像機(jī)和右攝像機(jī)的立體攝像機(jī)拍攝。
[0031]視差估計(jì)單元12的輸出被提供至例如生成內(nèi)插圖像的圖像處理單元14。然而，圖像處理單元不必是視差估計(jì)裝置10的一部分。
[0032]視差估計(jì)裝置10進(jìn)一步包括接收視差估計(jì)單元12的輸出并且輸出未對(duì)準(zhǔn)值MV的校準(zhǔn)單元16。該未對(duì)準(zhǔn)值MV被提供回視差估計(jì)單元12和/或可選地設(shè)置的矯正單元
18。矯正單元18接收作為輸入的3D圖圖像對(duì)(左圖像L、右圖像R)并且提供作為輸出的已矯正的3D圖像對(duì)L’、R’。在已矯正的3D圖圖像對(duì)L’、R’中，至少部分地補(bǔ)償了在兩個(gè)圖像之間的未對(duì)準(zhǔn)。
[0033]已矯正的3D圖像對(duì)提供至視差估計(jì)單元12。可選地，如果沒有設(shè)置矯正單元18，則視差估計(jì)單元接收“未矯正的” 3D圖像對(duì)L、R。
[0034]如圖1中所示，校準(zhǔn)單元16在視差估計(jì)單元12和矯正單元18的輸出、或視差估計(jì)單元12之間形成反饋環(huán)。
[0035]校準(zhǔn)單元16至少包括一致性檢驗(yàn)單元20、未對(duì)準(zhǔn)確定單元22和控制單元24。
[0036]這些單元20至24串聯(lián)地耦接使得將一致性檢驗(yàn)單元20的輸出提供至未對(duì)準(zhǔn)確定單元22，未對(duì)準(zhǔn)確定單元22轉(zhuǎn)而將其輸出提供至控制單元24?？刂茊卧?4提供作為輸出的未對(duì)準(zhǔn)值MV，該未對(duì)準(zhǔn)值MV取決于是否設(shè)置了矯正單元18而提供至矯正單元18或視差估計(jì)單兀12。
[0037]視差估計(jì)單元12生成所謂的視差估計(jì)圖，其中該視差估計(jì)圖包括左/右圖像的各個(gè)像素的視差矢量。該視差矢量表示在一個(gè)圖像中的像素與圖像對(duì)的另一個(gè)圖像中的對(duì)應(yīng)像素之間的位移。
[0038]在本實(shí)施方式中，視差估計(jì)單元12生成四個(gè)視差估計(jì)圖，即水平的左至右圖像視差圖和垂直的左至右圖像視差圖以及水平的右至左圖像視差圖和垂直的右至左圖像視差圖。水平視差圖包括表示水平位移的矢量，而垂直視差圖包括表示垂直位移的視差矢量。
[0039]“左至右”的意思是在右圖像中搜索左圖像的對(duì)應(yīng)像素。因此，“右至左”指在左圖像中搜索右圖像的對(duì)應(yīng)像素。
[0040]應(yīng)注意四個(gè)視差圖的用法僅是示例，并且還可以想到在一個(gè)圖中結(jié)合水平位移和垂直位移，使得水平圖和垂直圖結(jié)合到一個(gè)圖中。
[0041]如已經(jīng)在以上簡(jiǎn)要提及的，用于在左圖像和右圖像中匹配像素的搜索范圍在垂直方向上擴(kuò)展，但被限制在例如±10像素行的預(yù)定值。
[0042]即，搜索范圍可視為擴(kuò)展到圖像的整個(gè)水平長(zhǎng)度的條形區(qū)域，例如，在垂直方向上的±10行。例如，如果待搜索的像素位于一個(gè)圖像的中心，則該條形搜索范圍并且與另一個(gè)圖像的水平中心線平行并且關(guān)于該另一個(gè)圖像的水平中心線對(duì)稱地?cái)U(kuò)展。因此，搜索范圍相對(duì)于另一個(gè)圖像的中心像素例如向上擴(kuò)展10行并且向下擴(kuò)展10行。假定1280X720像素的圖像分辨率，則搜索范圍將包括1280X21像素(因此，包括26880個(gè)像素)，這僅是包括921600個(gè)像素的完整圖像的一小部分。
[0043]左至右水平視差圖和左至右垂直視差圖以及右至左水平視差圖和右至左垂直視差圖提供至校準(zhǔn)單元16并因此提供至一致性檢驗(yàn)單元20。一致性檢驗(yàn)單元的主要功能是實(shí)現(xiàn)對(duì)可靠和不可靠視差矢量的某種視差矢量分類。如果左至右水平視差圖和左至右垂直視差圖以及右至左水平視差圖和右至左垂直視差圖中對(duì)應(yīng)像素的矢量是一致的，則視差矢量可靠。換言之，左至右視差圖的水平矢量和垂直矢量從左圖像指向右圖像中的對(duì)應(yīng)像素，而在該像素的右至左視差圖中的水平視差矢量和垂直視差矢量指回至左圖像中的對(duì)應(yīng)像素。
[0044]—致性檢驗(yàn)單元終止不可靠的矢量并且僅將視差圖的可靠矢量作為輸出提供。
[0045]有多種找出在左至右視差圖和右至左視差圖中一致的(B卩，可靠的)矢量的可想到的解決方案。在本實(shí)施方式中，一致性檢驗(yàn)單元適用于將右至左水平視差向量和右至左垂直視差向量投射到左視圖位置并且將他們與對(duì)應(yīng)的左至右圖像視差矢量相比。具有來自兩側(cè)(左至右、右至左)的相同水平視差矢量和垂直視差矢量的矢量是一致的并且因此歸類為可靠的。
[0046]基于可靠的矢量，隨后的未對(duì)準(zhǔn)確定單元22計(jì)算表示垂直位移并且可選地表示旋轉(zhuǎn)位移的未對(duì)準(zhǔn)值。未對(duì)準(zhǔn)值可以矩陣的形式提供，例如，包含幾個(gè)單一值的3 X 3矩陣。
[0047]總體而言，未對(duì)準(zhǔn)確定單元22的功能是基于多個(gè)可靠的矢量來計(jì)算整體未對(duì)準(zhǔn)值。
[0048]計(jì)算未對(duì)準(zhǔn)的幾個(gè)可想到的方法之一是基于柱狀圖的方法。未對(duì)準(zhǔn)確定單元22分析所有的垂直視差矢量并且創(chuàng)建柱狀圖，該柱狀圖顯示具有在垂直的搜索范圍的極限(此處，±10)之間的垂直值的垂直矢量的個(gè)數(shù)。
[0049]然后，所有可靠的垂直視差矢量的平均值被計(jì)算出并且隨后用作整體未對(duì)準(zhǔn)值?？蛇x地，未對(duì)準(zhǔn)確定單元22還基于視差矢量的梯度場(chǎng)來計(jì)算在左圖像和右圖像之間的旋轉(zhuǎn)。
[0050]因此，未對(duì)準(zhǔn)值提供至隨后的單元(即，控制單元24)，該未對(duì)準(zhǔn)值可以包括垂直位移值和旋轉(zhuǎn)位移值。
[0051]控制單元24被設(shè)置為使所計(jì)算的未對(duì)準(zhǔn)值暫時(shí)穩(wěn)定，從而例如避免未對(duì)準(zhǔn)值的大的變化或未準(zhǔn)值的可能的振蕩。例如，控制單元24可以被設(shè)計(jì)成類似于本領(lǐng)域中已知的基本PI控制器。該P(yáng)I控制器可以以下列等式描述:
[0052]G=KpX Λ+K1X /AXdt
[0053]其中Kp是比例系數(shù)而K1是積分系數(shù)，Λ是實(shí)際測(cè)量值(PV)距設(shè)定點(diǎn)(SP)的誤差，因此
[0054]Δ =SP - PV.[0055]然后，穩(wěn)定的未對(duì)準(zhǔn)值MV被提供至不包括矯正單元18的優(yōu)選實(shí)施方式中的視差估計(jì)單元12。
[0056]在下一 3D圖像對(duì)的下一視差估計(jì)步驟中考慮該未對(duì)準(zhǔn)值。然后，視差估計(jì)單元12能根據(jù)所提供的未對(duì)準(zhǔn)值 來調(diào)整估計(jì)處理。
[0057]由校準(zhǔn)單元16在反饋環(huán)中實(shí)現(xiàn)的該重復(fù)校準(zhǔn)處理允許將垂直未對(duì)準(zhǔn)重復(fù)地調(diào)整到正確的值。即便在第一步驟中，垂直未對(duì)準(zhǔn)在垂直搜索范圍之外(例如，±10行)，也能在隨后的重復(fù)步驟之一中找到這個(gè)實(shí)際的垂直值。由于這個(gè)優(yōu)點(diǎn)，搜索范圍能夠被限制在例如垂直方向上±10行的值。還可想到的是進(jìn)一步限制這個(gè)值，而唯一的后果是僅能在一些進(jìn)一步的重復(fù)步驟中找到正確的未對(duì)準(zhǔn)值。然而，為了確保重復(fù)的校準(zhǔn)處理的有效性并且還為了覆蓋在左圖像和右圖像(即，左攝像機(jī)和右攝像機(jī))之間的相對(duì)旋轉(zhuǎn)，存在例如±5行的最小垂直搜索范圍。
[0058]圖2示出了形式為流程圖的參照以上圖1描述的重復(fù)校準(zhǔn)處理。在第一步驟100中，提供了左圖像和右圖像。然后，在步驟102中，考慮未對(duì)準(zhǔn)值來生成視差估計(jì)圖。
[0059]然后，基于視差估計(jì)圖，在步驟104中實(shí)現(xiàn)一致性檢驗(yàn)，并且隨后在步驟106中基于可靠的視差矢量來確定表示在左圖像和右圖像之間的未對(duì)準(zhǔn)的未對(duì)準(zhǔn)值。
[0060]未對(duì)準(zhǔn)值在步驟108中暫時(shí)穩(wěn)定并且在步驟110中反饋。
[0061]然后，基于下一左圖像和右圖像再次開始計(jì)算未對(duì)準(zhǔn)值的處理。
[0062]可選地，在步驟112中使用未對(duì)準(zhǔn)值來矯正所提供的左圖像和右圖像，而結(jié)果是在步驟102中不必再考慮未對(duì)準(zhǔn)值。
[0063]總之，本公開涉及用于校準(zhǔn)視差估計(jì)圖以補(bǔ)償攝像機(jī)未對(duì)準(zhǔn)的方法和對(duì)應(yīng)的設(shè)備。與現(xiàn)有技術(shù)的基于特征的立體校準(zhǔn)手段相比，上述方法直接從現(xiàn)有的視差估計(jì)的結(jié)果提取相對(duì)的攝像機(jī)朝向，并且因此不需要通常計(jì)算開銷大的特征提取和特征匹配算法。由于校準(zhǔn)反饋環(huán)，盡管可能的垂直攝像機(jī)未對(duì)準(zhǔn)值可能大得多，但是能夠以在垂直方向上非常小的搜索范圍來實(shí)現(xiàn)視差估計(jì)。即便在開始時(shí)垂直未對(duì)準(zhǔn)在垂直搜索范圍之外，重復(fù)校準(zhǔn)處理也至少在幾個(gè)重復(fù)步驟中將未對(duì)準(zhǔn)值調(diào)整到正確值。
[0064]因此，該手段提供了覆蓋超出所使用搜索范圍的垂直位移的可能性，使得能夠通過減小垂直搜索范圍來減小硬件成本。
[0065]圖1中示出的實(shí)施方式的各個(gè)元件/單元可以實(shí)現(xiàn)為軟件和/或硬件，例如，實(shí)現(xiàn)為分開的或組合的電路。電路是包括常規(guī)電路元件、集成電路的電子組件的結(jié)構(gòu)性裝配，集成電路包括特定應(yīng)用集成電路、標(biāo)準(zhǔn)集成電路、特定應(yīng)用標(biāo)準(zhǔn)產(chǎn)品和現(xiàn)場(chǎng)可編程門陣列。此夕卜，電路包括根據(jù)軟件代碼編程或配置的中央處理單元、圖形處理單元以及微處理器。盡管電路包括上述執(zhí)行軟件的硬件，但是電路不包括純軟件。
[0066]明顯地，根據(jù)以上教導(dǎo)，本發(fā)明可有多個(gè)修改和變型。因此應(yīng)當(dāng)理解的是在所附權(quán)利要求的范圍內(nèi)，本發(fā)明的實(shí)踐可以與本文中的具體描述不同。
[0067]在權(quán)利要求中，詞語“包括”并不排除其他要素或步驟，并且不定冠詞“a”或“an”不排除復(fù)數(shù)。單個(gè)元件或其他單元可實(shí)現(xiàn)在權(quán)利要求中陳述的幾項(xiàng)的功能。在彼此不同的從屬權(quán)利要求中陳述的特定措施這一事實(shí)不表示這些措施的組合不能有利地使用。
[0068]在本發(fā)明的實(shí)施方式被描述為至少部分地由軟件控制的數(shù)據(jù)處理裝置實(shí)現(xiàn)的范圍內(nèi)，應(yīng)當(dāng)理解的是攜帶該軟件的非易失性機(jī)器可讀介質(zhì)(諸如，光盤、磁盤、半導(dǎo)體存儲(chǔ)器等)也被認(rèn)為表示本發(fā)明的實(shí)施方式。此外，該軟件還可以以其他形式分配，諸如經(jīng)由互聯(lián)網(wǎng)或其他有線或無線的電信系統(tǒng)。
[0069]權(quán)利要求中任何參考符號(hào)均不得被解釋為限制范圍。
【權(quán)利要求】
1.一種用于重復(fù)地校準(zhǔn)視差估計(jì)處理的方法，所述視差估計(jì)處理生成與至少由右圖像和左圖像組成的3D圖像相關(guān)的視差估計(jì)圖，所述方法包括: 在水平方向和垂直方向上估計(jì)3D圖像的左至右圖像視差圖； 在水平方向和垂直方向上估計(jì)所述3D圖像的右至左圖像視差圖； 基于所述視差圖確定在所述左圖像和所述右圖像之間的未對(duì)準(zhǔn)值； 反饋在對(duì)下一 3D圖像的所述視差圖的下一估計(jì)中考慮的所述未對(duì)準(zhǔn)值；以及 對(duì)所述下一 3D圖像重復(fù)所述方法以重復(fù)地校準(zhǔn)所述視差估計(jì)處理。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述未對(duì)準(zhǔn)值包括表示所述左圖像和所述右圖像之間的垂直未對(duì)準(zhǔn)的垂直位移值和/或表示所述左圖像與所述右圖像之間的旋轉(zhuǎn)的旋轉(zhuǎn)值。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，確定未對(duì)準(zhǔn)值包括: 確定所述左至右圖像視差圖和所述右至左視差圖之間的失配；以及 將未被確定為失配的所述視差圖的矢量視為可靠的。
4.根據(jù)權(quán)利要求3所述的方法，其中，確定失配包括: 將右至左視差圖的視差矢量投射到所述左至右視差圖中的對(duì)應(yīng)左視圖位置； 將所述右至左視差矢量和所對(duì)應(yīng)的左至右視差矢量相比；以及將在所述右至左視差圖和所述左至右視差圖中具有相同的水平視差值和垂直視差值的視差矢量視為可靠的。
5.根據(jù)權(quán)利要求1至4中的任一項(xiàng)所述的方法，其中，各個(gè)視差圖包括垂直視差和水平視差。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述左至右視差圖和所述右至左視差圖均包括垂直視差圖和水平視差圖。
7.根據(jù)權(quán)利要求3至6中的任一項(xiàng)所述的方法，其中，確定未對(duì)準(zhǔn)值進(jìn)一步包括評(píng)估可靠矢量以確定在所述左圖像和所述右圖像之間的整體未對(duì)準(zhǔn)。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述評(píng)估包括生成所述視差圖之一的所述可靠矢量的垂直值的平均值，所述平均值表示垂直未對(duì)準(zhǔn)值。
9.根據(jù)權(quán)利要求7或8所述的方法，其中，所述評(píng)估包括生成視差圖之一的所述可靠矢量的梯度場(chǎng)以提取旋轉(zhuǎn)未對(duì)準(zhǔn)值。
10.根據(jù)權(quán)利要求1至9中的任一項(xiàng)所述的方法，其中，所述未對(duì)準(zhǔn)值在反饋時(shí)暫時(shí)穩(wěn)定。
11.根據(jù)權(quán)利要求1至6中的任一項(xiàng)所述的方法，其中，在估計(jì)所述下一3D圖像的視差圖時(shí)考慮所述未對(duì)準(zhǔn)值，以補(bǔ)償所述視差圖中的所述未對(duì)準(zhǔn)。
12.根據(jù)權(quán)利要求1至10中的任一項(xiàng)所述的方法，其中，所述未對(duì)準(zhǔn)值用于矯正所述下一 3D圖像的左圖像或右圖像，從而在估計(jì)所述視差圖之前補(bǔ)償所述未對(duì)準(zhǔn)。
13.根據(jù)權(quán)利要求1至12中的任一項(xiàng)所述的方法，其中，估計(jì)視差圖包括使用在垂直方向上擴(kuò)展并且被限制為比所述圖像的垂直尺寸小的預(yù)定值的搜索區(qū)域。
14.一種視差估計(jì)裝置，包括: 視差估計(jì)單元，適用于生成至少由左圖像和右圖像組成的3D圖像的左至右水平視差圖和左至右垂直視差圖以及右至左水平視差圖和右至左垂直視差圖；以及校準(zhǔn)單元，接收由所述視差估計(jì)單元生成的所述視差圖，并且適用于基于所述視差圖來確定表示所述左圖像與所述右圖像之間的未對(duì)準(zhǔn)的未對(duì)準(zhǔn)值并且將所述未對(duì)準(zhǔn)值反饋給所述視差估計(jì)單元。
15.根據(jù)權(quán)利要求14所述的視差估計(jì)裝置，包括矯正單元，連接至所述視差估計(jì)單元以及校準(zhǔn)單元，以接收所述未對(duì)準(zhǔn)值并且適用于基于所述未對(duì)準(zhǔn)值來矯正所述3D圖像的所述左圖像和所述右圖像之一以補(bǔ)償未對(duì)準(zhǔn)，其中所矯正的3D圖像被提供至所述視差估計(jì)單元。
16.根據(jù)權(quán)利要求14或15所述的視差估計(jì)裝置，其中，所述校準(zhǔn)單元包括從所述視差估計(jì)單元接收所述視差圖并且適用于確定所述視差圖中的可靠視差矢量的一致性檢驗(yàn)單元。
17.根據(jù)權(quán)利要求16所述的視差估計(jì)裝置，其中，所述校準(zhǔn)單元包括與所述一致性檢驗(yàn)單元耦接并且適用于基于所述可靠視差矢量來確定未對(duì)準(zhǔn)值的未對(duì)準(zhǔn)確定單元。
18.根據(jù)權(quán)利要求17所述的視差估計(jì)裝置，其中，所述校準(zhǔn)單元包括與所述未對(duì)準(zhǔn)確定單元耦接并且適用于使由所述未對(duì)準(zhǔn)確定單元提供的所述未對(duì)準(zhǔn)值暫時(shí)穩(wěn)定的控制單元。
19.一種包括程序代碼措施的計(jì)算機(jī)程序，當(dāng)在處理器上執(zhí)行所述計(jì)算機(jī)程序時(shí)，所述程序代碼措施用于使所述處理器電路執(zhí)行如權(quán)利要求1至13中任一項(xiàng)要求的所述方法的步驟。
【文檔編號(hào)】H04N13/00GK103581642SQ201310300758
【公開日】2014年2月12日 申請(qǐng)日期:2013年7月17日 優(yōu)先權(quán)日:2012年8月9日
【發(fā)明者】黃超, 亞爾金·因杰蘇, 皮爾喬治·薩托, 奧利弗·埃德勒, 福爾克爾·弗賴布格 申請(qǐng)人:索尼公司