一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種計算機(jī)圖像處理方法，特別是一種基于深度差恢復(fù)相機(jī)高度的圖 像深度改進(jìn)方法。
【背景技術(shù)】
[0002] 深度信息是圖像空間信息不可或缺的組成部分，深度估計旨在通過對圖像數(shù)據(jù)的 運算從而求出深度信息，進(jìn)而確定圖像中不同物體對象間的空間位置關(guān)系。根據(jù)深度估計 的結(jié)果不同，分為相對深度估計和絕對深度估計。相對深度估計是估計出圖像中不同對象 的相對位置關(guān)系，如人在房屋的前面，樹木在房屋的后面等等，只需要用深度值區(qū)分出目標(biāo) 的前后位置即可，但該深度值不一定是該目標(biāo)到相機(jī)的絕對深度。絕對深度估計是通過計 算確定出圖像中的目標(biāo)相對于拍攝相機(jī)的垂直距離，甚至是每個像素所對應(yīng)物體的絕對深 度信息。
[0003] 現(xiàn)有的單幅圖像深度估計方法眾多，主要包括1)基于陰影、紋理、遮擋線索等隱 含信息的方法；2)基于機(jī)器學(xué)習(xí)法；3)基于成像模型等方法。
[0004] 陰影法是利用現(xiàn)存的陰影，將場景圖像與光源組成反射模型，利用陰影的變化 實現(xiàn)深度估計。陰影也是一個基于單目圖像的深度線索，常用的方法為SFS(Shape from Shading)。由于物體表面一般具有形狀的變化，所以當(dāng)光源照射到物體上時會造成明暗變 化，也就是圖像上的陰影。一般來說，物體上凸起的地方會比凹陷的地方亮，因此直觀上來 看，如果圖像陰影和光源方向已知，是有理由能夠恢復(fù)物體表面的三維模型的，有時也稱為 由明暗恢復(fù)深度。Durou等人對陰影恢復(fù)深度的相關(guān)算法進(jìn)行了詳細(xì)的講解。紋理可以作 為一種圖像深度恢復(fù)的線索。對于有一定紋理的物體，當(dāng)目標(biāo)距離相機(jī)越遠(yuǎn)時，分辨率就越 低，因此紋理就越模糊，反之，當(dāng)目標(biāo)距離相機(jī)越近，分辨率越高，紋理就越清晰。根據(jù)紋理 的模糊程度不同可以估計出物體的遠(yuǎn)近關(guān)系。由紋理信息恢復(fù)深度的方法通常稱為"D印th from Texture"。Loh等人提出了一種具有代表性的方法?；诩y理的方法也需要有關(guān)紋理 的先驗知識。藍(lán)建梁等人提出了一種基于多尺度紋理能量測度的單幅圖像深度估計方法。
[0005] 根據(jù)物體的前后遮擋關(guān)系可以判斷物體之間的相對深度，被遮擋的物體應(yīng)該處于 更深的位置。遮擋關(guān)系是人類用于判斷遠(yuǎn)近的重要深度線索，也是單只眼睛可以判斷物體 遠(yuǎn)近的主要原因之一。人眼可以根據(jù)物體的種類、大小、顏色及形狀等先驗知識，較容易的 判斷出物體間的遮擋關(guān)系。而對計算機(jī)而言，則需要研宄自動判斷遮擋關(guān)系的算法。mi等 提出了一種在單目視頻中進(jìn)行遮擋檢測（Occlusion Detection)的方法。該方法假定目標(biāo) 物體被遮擋都是從上下左右的某個邊開始，遮擋發(fā)生時邊界區(qū)域的像素值變化會比物體內(nèi) 部的像素變化大得多。Thoma等和Izquierdo分別提出了基于光度和幾何的遮擋檢測方法。 Palou等利用遮擋線索進(jìn)行了深度估計。
[0006] 利用機(jī)器學(xué)習(xí)法恢復(fù)深度，也逐漸成為一種行之有效的深度估計方法。其基本原 理是通過學(xué)習(xí)真實世界中不同物體特征與深度遠(yuǎn)近的關(guān)系，從而建立深度估計模型，推測 出未知圖像中目標(biāo)的深度。例如，真實世界的任何一個物體的尺寸大小在像片中所成像尺 寸的大小與物體距離攝像機(jī)的遠(yuǎn)近有直接關(guān)系，物體離攝像機(jī)越近，在圖像中成像就越大。 如果用機(jī)器學(xué)習(xí)的方法學(xué)習(xí)了某個物體的深度位置和圖像中大小的對應(yīng)關(guān)系，就可以根據(jù) 該目標(biāo)的成像大小推出該目標(biāo)當(dāng)前的深度。
[0007] Saxena采用了機(jī)器學(xué)習(xí)方法進(jìn)行了圖像深度估計。之后很多學(xué)者采用馬爾科夫隨 機(jī)場改進(jìn)算法完善了深度估計結(jié)果。除馬爾科夫隨機(jī)場模型，也有一些其他的訓(xùn)練方法被 用于深度估計。Lin等采用支持向量機(jī)（SVM)訓(xùn)練器進(jìn)行深度估計；Battiato等采用場景 分類方法生成了深度圖；Nedovic等采用對場景進(jìn)行幾何分類的方法和SVM及AdaBoost算 法進(jìn)行了圖像深度估計。
[0008] 基于成像模型的深度估計是利用相機(jī)成像幾何模型以及像片內(nèi)的結(jié)構(gòu)化信息構(gòu) 造方程，建立深度與圖像坐標(biāo)之間的關(guān)系進(jìn)而推算出目標(biāo)的絕對深度的一種深度估計方 法。通常先將圖像分割出不同的區(qū)域，可以用圖像分割或圖像分塊算法。Hoiem等采用 Adboost分類方法將圖像分為地面、天空和直立景物三部分，對地面區(qū)域建立三維模型，再 根據(jù)其他對象與地面的關(guān)系重構(gòu)出整體三維場景。Salih等構(gòu)造了深度與相機(jī)高度、拍攝視 場角等參數(shù)的三角幾何關(guān)系，當(dāng)已知相機(jī)高度、相機(jī)俯仰角和相機(jī)成像視野范圍時即可計 算出二維圖像中點的三維坐標(biāo)，從而實現(xiàn)深度估計。李樂等采用圖像分塊對街景圖像中的 目標(biāo)進(jìn)行了劃分，再根據(jù)針孔成像模型推導(dǎo)出了圖像坐標(biāo)與深度之間的函數(shù)關(guān)系，并針對 街景圖像進(jìn)行了深度恢復(fù)實驗。Zhang等采用Adaboost進(jìn)行區(qū)域標(biāo)記并通過相機(jī)成像模型 恢復(fù)圖像深度。Torralba等用場景的整體結(jié)構(gòu)估算場景的成像比例進(jìn)而求出場景的平均絕 對深度。Liu等先使用語義分割將圖像分成不同目標(biāo)，再通過馬爾科夫隨機(jī)場實現(xiàn)深度估 計。Yang等通過局部深度假說實現(xiàn)了單幅圖像深度的半自動估計。張大志研宄了基于單目 視覺的機(jī)載前視被動傳感器獲取的序列圖像，并結(jié)合慣導(dǎo)信息，恢復(fù)前視場景的深度。
[0009] 綜上所述，關(guān)于深度估計的方法有很多，每一種方法都有各自的限制條件和適用 情形，由于深度估計在整個圖像信息提取中占有重要地位，因此相關(guān)研宄的數(shù)量和水平在 不斷提升，但整體研宄仍處于方興未艾的狀態(tài)，仍然有很多問題亟待解決。
[0010] 1)現(xiàn)有的深度估計方法常常關(guān)注特定目標(biāo)的深度，通過對場景目標(biāo)進(jìn)行識別與提 取，繪制出反映目標(biāo)深度變化的深度圖，如深度圖上用不同的灰度值表示運動的前景目標(biāo) 和背景目標(biāo)以反映出深度變化關(guān)系，但缺乏對整體場景深度的連續(xù)描述，影響了對空間場 景的整體認(rèn)知與表達(dá)。
[0011] 2)現(xiàn)有的研宄大多是恢復(fù)場景的相對深度，即物體的前后遮擋關(guān)系和相對位置， 常常是對深度的一種假設(shè)或分配，深度往往是不連續(xù)的，且大多數(shù)都沒有恢復(fù)場景中目標(biāo) 的絕對深度。
[0012] 3)現(xiàn)有的很多研宄方法較為復(fù)雜，限制條件較為嚴(yán)格，往往需要在不同的情形下 拍攝大量的圖像，并通過復(fù)雜的學(xué)習(xí)或公式進(jìn)行深度估計，而這樣的條件常常無法滿足。

【發(fā)明內(nèi)容】

[0013] 發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于深 度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法。本方法降低對數(shù)據(jù)源的限制條件，充分利用只有 單幅圖像的數(shù)據(jù)資源，并通過基于幾何的深度估計方法，恢復(fù)目標(biāo)的絕對深度，并提高深度 估計的可靠性。
[0014] 為了解決上述技術(shù)問題，本發(fā)明公開了一種基于深度差恢復(fù)相機(jī)高度的圖像深度 改進(jìn)方法，包括三個部分：
[0015] (1)構(gòu)建單幅圖像地面區(qū)域深度計算模型；
[0016] (2)深度計算模型誤差分析；
[0017] (3)基于深度差的相機(jī)高度恢復(fù)。
[0018] 本發(fā)明中，構(gòu)建單幅圖像地面區(qū)域深度計算模型包括：通過對相機(jī)成像模型的幾 何解析建立深度計算模型，計算圖像中地面區(qū)域的深度信息，并將地面上待定點深度的計 算方法分三種情況：
[0019] 情況1 :地面點近于中心點的深度計算；
[0020] 情況2 :地面點遠(yuǎn)于中心點的深度計算；
[0021] 情況3 :當(dāng)?shù)孛嬗衅鸱兓瘯r深度計算。
[0022] 本發(fā)明中，情況1中深度D的計算公式為：
【主權(quán)項】
1. 一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征在于，包括=個部分： (1) 構(gòu)建單幅圖像地面區(qū)域深度計算模型； (2) 深度計算模型誤差分析； (3) 基于深度差的相機(jī)高度反演。
2. 根據(jù)權(quán)利要求1所述的一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征 在于，構(gòu)建單幅圖像地面區(qū)域深度計算模型包括；通過對相機(jī)成像模型的幾何解析建立深 度計算模型，計算圖像中地面區(qū)域的深度信息，并將地面上待定點深度的計算方法分=種 情況： 情況1 ;地面點近于中屯、點的深度計算； 情況2 ;地面點遠(yuǎn)于中屯、點的深度計算； 情況3 ;當(dāng)?shù)孛嬗衅鸱兓瘯r深度計算。
3. 根據(jù)權(quán)利要求2所述的一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征 在于，情況1中深度D的計算公式為：
其中，H為實測相機(jī)的高度，f為相機(jī)的焦距，S為相機(jī)感光CCD器件的實際尺寸與圖像 像素坐標(biāo)之間的比例，V。、Vg、Vp分別為c、g、p點在圖像坐標(biāo)系中的縱坐標(biāo)，C為像平面中屯、 點，g為地面點G所成的像點，P為地平線與像平面的交點。
4. 根據(jù)權(quán)利要求3所述的一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征 在于，情況2中深度D的計算公式為：
5. 根據(jù)權(quán)利要求4所述的一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征 在于，情況3中，A點所在位置高于地面點G所在地面tiA，B點所在位置低于地面點G所在 地面he,則深度的計算公式為：
其中，Da表示A點的深度，D e表示B點的深度。
6. 根據(jù)權(quán)利要求5所述的一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征 在于，深度計算模型誤差分析中，情況1中令：
地面深度計算公式簡化為：

D 二 H*k ; 由此深度計算結(jié)果與相機(jī)高度強(qiáng)相關(guān)。
7.根據(jù)權(quán)利要求6所述的一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，其特征 在于，根據(jù)W下公式計算相機(jī)高度H，并代入情況1?情況3中的深度計算公式，進(jìn)一步改進(jìn) 圖像深度計算：
其中，AD為地面上已知的兩點G1、G2的深度差值，Vg,和V,:分別為地面點G1，G2所對 應(yīng)圖上像點gl，g2點在圖像坐標(biāo)系中的縱坐標(biāo)。
【專利摘要】本發(fā)明公開了一種基于深度差恢復(fù)相機(jī)高度的圖像深度改進(jìn)方法，包括三個部分：(1)構(gòu)建單幅圖像地面區(qū)域深度計算模型；(2)深度計算模型誤差分析；(3)基于深度差的相機(jī)高度反演。本發(fā)明適用于包含有地面的室內(nèi)外近景圖像，針對圖像中的地面區(qū)域，依照構(gòu)圖幾何條件，推導(dǎo)得到場景中地面各點絕對深度計算模型。重點是提出深度計算模型中相機(jī)高度(H)這一參數(shù)的確定方法，從而改進(jìn)深度計算模型，提高計算的精度和可靠性。
【IPC分類】G06T7-00
【公開號】CN104599283
【申請?zhí)枴緾N201510070896
【發(fā)明人】隋銘明
【申請人】南京林業(yè)大學(xué)
【公開日】2015年5月6日
【申請日】2015年2月10日