一種快速視差圖像計(jì)算方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)?jiān)O(shè)及圖像處理技術(shù)，尤其設(shè)及一種快速視差圖像計(jì)算方法及裝置。
【背景技術(shù)】
[0002] 隨著多媒體、Internet等技術(shù)的深入發(fā)展，普通二維模式圖像/視頻越來(lái)越無(wú)法 滿足人們的需求。近年來(lái)，=維（3D)圖像的使用更加頻繁。人們?cè)谟^看3D電影時(shí)可W獲 得2D電影難W企及的立體視覺(jué)體驗(yàn)。除了在影視方面的應(yīng)用，接近真實(shí)場(chǎng)景的=維信息已 慢慢開(kāi)始在其他各個(gè)領(lǐng)域被使用到，尤其是在視頻監(jiān)控領(lǐng)域，立體視覺(jué)系統(tǒng)能夠更加有效 的定位、分辨或者跟蹤被監(jiān)測(cè)的目標(biāo)。常見(jiàn)的監(jiān)控業(yè)務(wù)中，如車輛、行人的檢測(cè)或跟蹤，立維 的視頻信息能夠表現(xiàn)出明顯優(yōu)越于二維信息的效果。
[0003] 視差信息是立體視覺(jué)系統(tǒng)的基礎(chǔ)，故獲取視差信息的視差算法作為立體視覺(jué)的關(guān) 鍵成為計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)。視差估計(jì)的基本原理是利用從兩個(gè)視點(diǎn)觀察同一場(chǎng)景 獲取的立體像圖化W其中一個(gè)視點(diǎn)的圖像作為基準(zhǔn)，匹配出兩幅圖像中的對(duì)應(yīng)像點(diǎn)，從而 估計(jì)參考視圖中每一像素點(diǎn)的視差。根據(jù)使用的約束信息的不同，可W將視差估計(jì)算法分 為兩類：
[0004] 1)局部匹配算法，該類方法利用的是對(duì)應(yīng)點(diǎn)本身W及鄰近的局部區(qū)域的約束信 息，局部算法的優(yōu)點(diǎn)是效率高，但在遮擋區(qū)域、邊界區(qū)域W及缺失紋理的區(qū)域會(huì)產(chǎn)生較大的 誤差。根據(jù)匹配特征和匹配方式的不同，局部匹配算法主要分為基于特征的方法和基于區(qū) 域的方法?；谔卣鞯姆椒ň哂休^好的抗干擾性能，但它只能獲得稀疏的視差場(chǎng)，要得到稠 密的視差場(chǎng)必須輔之W復(fù)雜的插值過(guò)程。區(qū)域法能產(chǎn)生稠密的視差場(chǎng)，算法簡(jiǎn)單、有效、易 于實(shí)現(xiàn)，缺點(diǎn)是精度不高，易受噪聲的影響。然而該方案計(jì)算速度較快，但需要依賴于一個(gè) 初始的視差估計(jì)，如果初始估計(jì)錯(cuò)誤比較明顯，則動(dòng)態(tài)規(guī)劃之后效果也不夠理想
[0005] 2)全局匹配算法，該類方法利用了圖像的全局約束信息，在整個(gè)圖像上定義一個(gè) 包含數(shù)據(jù)誤差、光滑程度W及遮擋在內(nèi)的能量函數(shù)，把問(wèn)題轉(zhuǎn)化成優(yōu)化問(wèn)題來(lái)解決，全局算 法對(duì)局部圖像的模糊不敏感，但是它的計(jì)算代價(jià)很高。全局匹配算法包括基于置信等級(jí)傳 播的算法、基于動(dòng)態(tài)規(guī)劃的算法和基于遺傳算法的方法等，目前都難W做到實(shí)時(shí)生成視差 圖像。該方案計(jì)算精度較高，但算法對(duì)性能要求很高，在視頻監(jiān)控的領(lǐng)域當(dāng)中，很難做到實(shí) 時(shí)產(chǎn)生全圖視差。與普通影視應(yīng)用不同的是，在監(jiān)控領(lǐng)域，觀察者經(jīng)常需要看到實(shí)時(shí)的=維 視頻。處理速度慢在監(jiān)控等專業(yè)領(lǐng)域可能是無(wú)法被用戶接受的。

【發(fā)明內(nèi)容】

[0006] 有鑒于此，本申請(qǐng)?zhí)峁┮环N快速視差圖像計(jì)算裝置，應(yīng)用于圖像處理設(shè)備上，所述 裝置包括：
[0007] 背景差分單元，用于將雙目攝像機(jī)輸出的時(shí)間上相互對(duì)應(yīng)的一對(duì)原始圖像分別進(jìn) 行背景差分處理獲得一對(duì)背景圖像W及一對(duì)前景圖像；
[000引背景視差單元，用于按照預(yù)設(shè)的第一視差算法基于一對(duì)背景圖像生成背景視差圖 像；
[0009] 前景視差單元，用于按照預(yù)設(shè)的第二視差算法基于一對(duì)前景圖像生成前景視差圖 像；
[0010] 圖像整合單元，用于將前景視差圖像與當(dāng)前背景視差圖像整合為完整的視差圖 像。
[0011] 本申請(qǐng)還提供一種快速視差圖像計(jì)算方法，應(yīng)用于圖像處理設(shè)備上，該方法包 括：
[0012] 將雙目攝像機(jī)輸出的時(shí)間上相互對(duì)應(yīng)的一對(duì)原始圖像分別進(jìn)行背景差分處理獲 得一對(duì)背景圖像W及一對(duì)前景圖像；
[0013] 按照預(yù)設(shè)的第一視差算法基于一對(duì)背景圖像生成背景視差圖像；
[0014] 按照預(yù)設(shè)的第二視差算法基于一對(duì)前景圖像生成前景視差圖像；
[0015] 將前景視差圖像與當(dāng)前背景視差圖像整合為完整的視差圖像。
[0016] 相較于現(xiàn)有技術(shù)，本申請(qǐng)可W大幅度提升完整視差圖像計(jì)算的實(shí)時(shí)性，對(duì)監(jiān)控等 專業(yè)應(yīng)用市場(chǎng)來(lái)說(shuō)技術(shù)意義尤為突出。
【附圖說(shuō)明】
[0017] 圖1A是一個(gè)例子中圖像處理設(shè)備的結(jié)構(gòu)圖。
[0018] 圖1B是一個(gè)例子中快速視差圖像計(jì)算裝置結(jié)構(gòu)圖。
[0019] 圖2是本申請(qǐng)一個(gè)例子中快速視差圖像計(jì)算方法流程圖。
[0020] 圖3是本申請(qǐng)一個(gè)例子中背景視差圖像計(jì)算過(guò)程示意圖。
[0021] 圖4是本申請(qǐng)一個(gè)例子中針對(duì)前景圖像的掃描示意圖。
[0022] 圖5是本申請(qǐng)另一個(gè)例子中針對(duì)前景圖像掃描的示意圖。
[0023] 圖6是本申請(qǐng)一個(gè)例子中針對(duì)差生相反突變情況下的視差計(jì)算示意圖。
【具體實(shí)施方式】
[0024] 在描述本申請(qǐng)?zhí)峁┑募夹g(shù)方案之前，先對(duì)后續(xù)需要使用到的相關(guān)概念進(jìn)行簡(jiǎn)要說(shuō) 明。
[0025] 雙目攝像機(jī)；通常包括兩個(gè)光軸平行，標(biāo)稱的焦距及其它參數(shù)相同的攝像機(jī)。一 般來(lái)說(shuō)該兩臺(tái)攝像機(jī)的相對(duì)位置固定，標(biāo)定完成之后可W用來(lái)獲取有效視野內(nèi)所有物體的 =維信息。一般來(lái)說(shuō)，可W把雙目攝像機(jī)的中一個(gè)攝像機(jī)稱為"左目攝像機(jī)"，而另一個(gè)稱 為"右目攝像機(jī)"。該里所說(shuō)的左目和右目是相對(duì)的概念，從攝像機(jī)正面觀察到左目攝像機(jī) 在背面觀察則是右目攝像機(jī)。因此左目攝像機(jī)可W是雙目攝像機(jī)中的任意一個(gè)攝像機(jī)，為 了描述方便起見(jiàn)，后續(xù)實(shí)施方式中將W面向鏡頭取景方向時(shí)位于左側(cè)的攝像機(jī)為左目攝像 機(jī)，另一個(gè)攝像機(jī)為右目攝像機(jī)。
[0026] 視差；從有一定距離的兩個(gè)點(diǎn)上觀察同一個(gè)目標(biāo)所產(chǎn)生的方向差異。從目標(biāo)看兩 個(gè)點(diǎn)之間的夾角，叫做該兩個(gè)點(diǎn)的視差，兩點(diǎn)之間的距離稱作基線。只要知道視差角度和基 線長(zhǎng)度，就可W計(jì)算出目標(biāo)和觀測(cè)者之間的距離。
[0027] 雙目修正；把消除崎變后的來(lái)自兩個(gè)攝像機(jī)的兩幅圖像嚴(yán)格地進(jìn)行行對(duì)應(yīng)，使得 兩幅圖像的對(duì)極線恰好在同一水平線上，該樣一幅圖像上任意一像素點(diǎn)與其在另一幅圖像 上的對(duì)應(yīng)點(diǎn)就必然具有相同的行號(hào)，只需在該行進(jìn)行一維捜索即可匹配到對(duì)應(yīng)的像素點(diǎn)。 [002引極線約束；該一概念源自極幾何（epipolar geometry)中的定義，雙目攝像機(jī)兩 幅圖像之間存在的極線對(duì)應(yīng)關(guān)系，在雙目修正完成之后，兩幅圖像的極線完全水平對(duì)應(yīng)，其 中一幅圖像上的任意像素點(diǎn)都可W在另一幅圖像上對(duì)應(yīng)的極線上捜索對(duì)應(yīng)的像素點(diǎn)。
[0029] 本發(fā)明提供一種快速視差圖像計(jì)算方法及裝置，該技術(shù)方案可W基于計(jì)算機(jī)軟件 實(shí)現(xiàn)，當(dāng)然也可W采用硬件或邏輯器件等其他方式實(shí)現(xiàn)。該方案可W應(yīng)用在包括雙目攝像 機(jī)W及圖像處理設(shè)備的監(jiān)控場(chǎng)景中。實(shí)施時(shí)，所述雙目攝像機(jī)的光軸可W傾斜于檢測(cè)場(chǎng)地 的地平面，在少數(shù)情況下可能是垂直或接近垂直。從安裝上來(lái)說(shuō)，為了更好地發(fā)揮本發(fā)明的 優(yōu)勢(shì)，安裝好的雙目攝像機(jī)光屯、的連線和地平面平行或接近平行，該安裝約束條件主要是 為了相關(guān)算法可W使用先驗(yàn)的人或其他目標(biāo)的高度信息。而雙目攝像機(jī)的光軸在地平面上 的投影和行人或車輛的正常運(yùn)行路線保持平行或接近平行，該安裝約束條件為了后續(xù)算法 使用先驗(yàn)的目標(biāo)信息或知識(shí)，比如從二維圖像中來(lái)觀察，被遮擋的物體一般處于遮擋物體 的上方。
[0030] 請(qǐng)參考圖1A所示的圖像處理設(shè)備，其可W是一個(gè)位于監(jiān)控系統(tǒng)后端可W獲得雙 目攝像機(jī)輸出的圖片序列的服務(wù)器（或其他主機(jī)），也可W是雙目攝像機(jī)中某個(gè)攝像機(jī)內(nèi) 置的計(jì)算系統(tǒng)。該圖像處理設(shè)備包括了一般的計(jì)算機(jī)系統(tǒng)的硬件框架，具體來(lái)說(shuō)，該設(shè)備可 W包括處理器、內(nèi)存、非易失性存儲(chǔ)器（比如硬盤）W及內(nèi)部總線。在軟件實(shí)現(xiàn)方案中，所 述處理器可W將快速視差圖像計(jì)算裝置所對(duì)應(yīng)的計(jì)算機(jī)程序指令從非易失性存儲(chǔ)器讀入 內(nèi)存中然后運(yùn)行，在邏輯意義上形成所述快速視差圖像計(jì)算裝置。請(qǐng)查考圖1B和圖2,在邏 輯層面，該快速視差圖像計(jì)算裝置包括；背景差分單元、背景視差單元、前景視差單元W及 圖像整合單元。該裝置在圖像處理設(shè)備上運(yùn)行的過(guò)程中，執(zhí)行如下處理方法。
[0031] 步驟201，背景差分單元，將雙目攝像機(jī)輸出的時(shí)間上相互對(duì)應(yīng)的一對(duì)原始圖像分 別進(jìn)行背景差分處理獲得一對(duì)背景圖像W及一對(duì)前景圖像；
[0032] 步驟202,背景視差單元，按照預(yù)設(shè)的第一視差算法基于一對(duì)背景圖像生成背景視 差圖像；
[0033] 步驟203,前景視差單元，按照預(yù)設(shè)的第二視差算法基于一對(duì)前景圖像生成前景視 差圖像；
[0034] 步驟204,圖像整合單元，前景視差圖像與背景視差圖像整合為完整的視差圖像。
[0035] 一般來(lái)說(shuō)，針對(duì)雙目攝像機(jī)需要進(jìn)行雙目修正處理，其可W確保視差計(jì)算的準(zhǔn)確 性。而雙目修正的實(shí)