專利名稱：基于優(yōu)化bp神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及紅外圖像深度估計技術(shù)領(lǐng)域，特別是涉及一種基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法。
背景技術(shù)：
圖像的深度估計即是從圖像中獲取深度距離信息，從本質(zhì)上講是一個深度感知的問題。由深度感知構(gòu)建的空間位置信息所表征的是從觀察者到場景中檢測到的表面的相對距離。恢復(fù)彩色圖像中的深度距離信息現(xiàn)在已有比較理想的算法，但對于紅外圖像來說，因其反映的是場景的溫度分布，有低信噪比、低對比度等缺陷，恢復(fù)該圖像的深度算法尚屬空白。若能恢復(fù)紅外圖像的深度信息，那么將極大地提高人眼對該圖像的理解效果。
目前圖像深度估計方法主要是針對雙目深度線索和基于圖像序列的深度估計展開的，這兩種方法都依賴于圖像間的特征差異。而對于單目深度估計，在早期傳統(tǒng)的算法當(dāng)中較為經(jīng)典的是“由陰影恢復(fù)形狀(shape from shading)”,該算法以空間立體幾何為理論基礎(chǔ)，依據(jù)光源照射到物體表面所產(chǎn)生的明暗變化即圖像的陰影來恢復(fù)物體深度的，但因?yàn)樵撍惴ㄐ枰闰?yàn)知識(如反射模型和光源方向等)使得應(yīng)用的局限性增加。之后，一些研究者逐漸發(fā)現(xiàn)經(jīng)驗(yàn)的重要性，開始利用機(jī)器學(xué)習(xí)的方法去解決這一問題。斯坦福大學(xué)Andrew Ng的團(tuán)隊通過利用馬爾科夫場訓(xùn)練的模型對單幅圖像進(jìn)行深度估計，達(dá)到了很好的效果；卡耐基梅隆大學(xué)的Aloysha Efros團(tuán)隊則在訓(xùn)練前手動標(biāo)定場景中簡單的類別，比如天空、樹木、地面及垂直線等等，然后利用大量的數(shù)據(jù)學(xué)習(xí)這些類別，并最終通過構(gòu)建貝葉斯模型對新圖像進(jìn)行分類從而恢復(fù)深度信息。這種方法雖然對一系列場景簡單的圖片較為適用，并且達(dá)到了預(yù)期的效果，但對于場景中沒有學(xué)習(xí)的類別往往是不準(zhǔn)確的。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，該方法可以較為準(zhǔn)確地估計紅外圖像的深度信息。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是提供一種基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，包括以下步驟(I)獲取任意單目紅外圖像I(x,y)及與所述單目紅外圖像I(x、y)所對應(yīng)的深度圖；(2)為所述單目紅外圖像I(x，y)中的每個像素點(diǎn)設(shè)定至少三個不同尺度上的特征區(qū)域，三個不同尺度由小到大分別為第一尺度、第二尺度及第三尺度，其中，每個尺度的特征區(qū)域至少包括位于中心的圖像塊及與所述圖像塊上、下、左、右相鄰的圖像塊，第i個像素點(diǎn)在第一尺度上的位于中心的圖像塊為第i個像素點(diǎn)本身；第i個像素點(diǎn)在第二尺度上的位于中心的圖像塊包含第一尺度上的所有圖像塊；第i個像素點(diǎn)在第三尺度上的位于中心的圖像塊包含第二尺度上的所有圖像塊；以此類推；(3)計算單目紅外圖像I(x，y)中每個像素點(diǎn)所對應(yīng)的特征區(qū)域的特征向量，第i個像素點(diǎn)的特征向量的特征分量至少包括第i個像素點(diǎn)在第一尺度上的所有圖像塊的灰度值，第i個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的紋理能量，第i個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差，及第i個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的清晰度；(4)對獲取的所有特征向量依次利用逐步線性回歸分析和獨(dú)立分量分析的方法進(jìn)行篩選，得到符合紅外圖像深度信息的特征向量；(5)利用步驟(4)中篩選得到特征向量與所述單目紅外圖像I(x，y)所對應(yīng)的深度圖構(gòu)建深度訓(xùn)練樣本集合，將深度訓(xùn)練樣本集合中的特征向量與深度圖的深度值用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性擬合，并通過遺傳算法對BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值進(jìn)行優(yōu)化，進(jìn)而構(gòu)建深度模型；(6)將采集到的新單目紅外圖像通過構(gòu)建得到的深度模型分析得到深度估計值。
所述步驟(3)中的紋理能量通過勞斯掩膜計算得到，具體步驟為采用N個基本的二維勞斯掩膜，記為M1,…，Mn,將所述單目紅外圖像I (x，y)與每一個二維勞斯掩膜做卷積，則單目紅外圖像I (x,y)與第k個二維勞斯掩膜卷積后的值為Tk(x,y)=I (x,y) XMk, k=l,…，N，則第i個像素點(diǎn)在第j尺度上的第m個圖像塊Ni (m)在單目紅外圖像I (x，y)與第k個
二維勞斯掩膜卷積后得到的紋理能量為。
(m、x.vEJ^im)所述步驟(3)中第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差通過以下步驟計算得到，具體步驟為對單目紅外圖像I (X, y)在X軸方向及y軸方向上分別求得X軸梯度圖Igradx (X, y)和y軸梯度圖IgMdy (x，y)，則單目紅外圖像I (X, y)在角度0 I方向上的梯度值G1U, y) =Igradx(x,
y) Xcos( 0 i)+Igrady(x, y) Xsin( 0 x),其中，1=0,…，7,隨后計算每個像素點(diǎn)在除
O
第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量，其中，第i個像素點(diǎn)在第j尺度上的第m個圖像塊斤⑷在角度Q1方向上的梯度能量為⑷=ZlG(W)I，則
x\r^y (m)
第i個像素點(diǎn)在第j尺度上的第m個圖像塊NiOn)在角度Q1方向上的梯度能量的均值I(67AU))，第i個像素點(diǎn)在第j尺度上的第m個圖像塊NiOn)在角度01
方向上的梯度能量方差V(<7,(.r,r)-^(.r,F))2唭中，size為圖像塊Ni(H1)
x\yGJVf (m)
所包含的像素點(diǎn)的個數(shù)，。所述步驟(3)中第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的清晰度通過以下步驟計算得到，具體步驟為 第i個像素點(diǎn)在第j尺度上的第m個圖像塊NiOn)的清
晰度M乙(/(不少)->(不少))2，其中，I (x，y)為圖像塊Ni (m)含像素點(diǎn)的灰度，
X, VGN1 Im)
、為圖像塊Ni(Hi)所含像素點(diǎn)的灰度的均值，= i Z 力，size為圖像塊
/( * ,少)S^e.r, V^(M)
Ni(Hl)所包含的像素點(diǎn)的個數(shù)。所述步驟(4)中逐步線性回歸分析的包括以下子步驟
(411)計算特征向量中每個特征分量與深度值的相關(guān)系數(shù)，根據(jù)相關(guān)系數(shù)的絕對值由大到小得到每個特征分量對深度影響程度的排序；(412)從相關(guān)系數(shù)的絕對值最大的特征分量開始逐步引入回歸方程，并作回歸方程顯著性檢驗(yàn)，若不顯著認(rèn)為所選全部特征分量均不是影響深度值的主要因素，若顯著再從對深度值影響由大到小依次逐個引入回歸方程；(413)每引入一個新的特征分量都需要對回歸方程中所含的每一個特征分量進(jìn)行顯著性檢驗(yàn)，將那個在新回歸方程中不顯著且對深度值影響最小的特征分量剔除，重復(fù)本步驟直到回歸方程中的每一個特征分量都顯著為止；(414)再引入未引入的特征分量中對深度值影響最大的一個特征分量，重復(fù)步驟(413)及步驟(414)，直到無法剔除已入選的特征分量，也無法引入新的特征分量為止。所述步驟(4)中獨(dú)立分量分析用的是快速ICA算法，通過快速ICA算法對已經(jīng)過逐步線性回歸分析的特征向量進(jìn)行分析，使得各分量之間盡可能的獨(dú)立，包括以下子步驟 (421)指定經(jīng)過逐步線性回歸分析后的M個像素點(diǎn)的特征向量為觀測數(shù)據(jù)X，并對觀測數(shù)據(jù)X進(jìn)行中心化，使之均值為0 ;(422)將中心化的觀測數(shù)據(jù)X白化，即將觀測數(shù)據(jù)X投影到新的子空間后變成白化向量Z，Z=WtlX,其中，Wtl為白化矩陣，W0=A^172Ut, A為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征值矩陣，U為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征向量矩陣；(423)更新礦使得^^{2§(112)}4&' (WTZ} W，其中g(shù) ( )為非線性函數(shù)，然后再對w*標(biāo)準(zhǔn)化:w = WV |ff*| I，若不收斂則重復(fù)本步驟，其中，選擇一個模為I的初始隨機(jī)權(quán)矢量作為W的初始值。所述步驟(5)中利用遺傳算法進(jìn)行優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值還包括以下子步驟(511)根據(jù)訓(xùn)練樣本構(gòu)建初始的BP神經(jīng)網(wǎng)絡(luò)，并確定該網(wǎng)絡(luò)的輸入層、隱含層和輸出層的個數(shù)；(512)進(jìn)行遺傳算法種群的初始化，其中種群的每個個體都是由輸入層與隱含層之間的權(quán)值、隱含層和輸出層之間的權(quán)值、隱含層的閾值和輸出層的閾值四部分構(gòu)成，將所有的權(quán)值和閾值列成一個實(shí)數(shù)向量；(513)設(shè)置最大迭代次數(shù)作為迭代終止條件，每一次的迭代過程包括選擇、交叉和變異操作，在達(dá)到迭代終止條件時，輸出的末代種群的最優(yōu)個體便是初始權(quán)值和閾值的近似最優(yōu)解。有益效果由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果本發(fā)明利用紅外圖像“空間上下文”和“多尺度”信息提取深度特征向量，依次通過逐步線性回歸分析和獨(dú)立成分分析的方法對提取的特征進(jìn)行篩選，有利于找到更加適合紅外圖像的深度特征，并以此構(gòu)建深度訓(xùn)練集合；采用反向傳播學(xué)習(xí)理論對訓(xùn)練集合進(jìn)行非線性擬合，并通過遺傳算法進(jìn)行優(yōu)化，提高了實(shí)驗(yàn)的訓(xùn)練速度和擬合的準(zhǔn)確率。


圖I是本發(fā)明的流程圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權(quán)利要求書所限定的范圍。如圖I所示，本實(shí)施例公開了一種基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其步驟為步驟I、獲取任意單目紅外圖像I (x，y)及與該單目紅外圖像I (x，y)所對應(yīng)的深度圖；步驟2、為單目紅外圖像I (x，y)中的每個像素點(diǎn)設(shè)定三個不同尺度上的特征區(qū)域，三個不同尺度由小到大分別為第一尺度、第二尺度及第三尺度，其中，每個尺度的特征 區(qū)域包括位于中心的圖像塊及與該圖像塊上、下、左、右相鄰的圖像塊，第i個像素點(diǎn)在第一尺度上的位于中心的圖像塊為第i個像素點(diǎn)本身，該第i個像素點(diǎn)在第二尺度上的位于中心的圖像塊包含第一尺度上的所有圖像塊，該第i個像素點(diǎn)在第三尺度上的位于中心的圖像塊包含第二尺度上的所有圖像塊；步驟3、計算單目紅外圖像I (x，y)中每個像素點(diǎn)所對應(yīng)的特征區(qū)域的特征向量，第i個像素點(diǎn)的特征向量的特征分量至少包括第i個像素點(diǎn)在第一尺度上的所有圖像塊的灰度值，第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的紋理能量，第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的8個方向上的梯度能量及所有梯度能量的均值和方差，及第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的清晰度；第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的紋理能量通過以下步驟計算得到采用9個基本的二維勞斯掩膜，記為M1，…，M9，將單目紅外圖像I (x，y)與每一個二維勞斯掩膜做卷積，則單目紅外圖像I U，y)與第k個二維勞斯掩膜卷積后的值為Tk(X, y)=I (x, y) XMk, k=l,，9,則第i個像素點(diǎn)在第j尺度上的第m個圖像塊N1 (m)
在單目紅外圖像I(x，y)與第k個二維勞斯掩膜卷積后得到的紋理能量為，
二 ZR(W)I，/=23
X-V^iN1 {m\第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差通過以下步驟計算得到對單目紅外圖像I (x，y)在X軸方向及y軸方向上分別求得x軸梯度圖Igradx(X，y)和I軸梯度圖Igrady (X, y)，則單目紅外圖像I (X, y)在角度0 I方向上的梯度值G1U,
y) =Igradx (X, y) X cos ( 0 x) +Igrady (x, y) X sin ( 0 丄)，其中，Q1 = ^-K , 1=0,…，7,隨后計算
O
每個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量，其中，第i個像素點(diǎn)在第j尺度上的第m個圖像塊#(111)在角度0 :方向上的梯度能量為
=’則第i個像素點(diǎn)在第j尺度上的第m個圖像塊Ni (m)在角度0 I方
{m)向上的梯度能量的均值=T- S(職少 ))’第i個像素點(diǎn)在第j尺度上的第m個圖
xy.Ar1{m)
像塊Ni(Hi)在角度Q1S向上的梯度能量方差乙(6；(T，J’)-@(w))2，其中，
X^VGNi(m) size為圖像塊Ni(Hi)所包含的像素點(diǎn)的個數(shù)，這(1>’)= Mri^0第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的清晰度通過以下步驟計算得到第i個像素點(diǎn)在第j尺度上的第m個圖像塊Ni(Hi)的清晰度sMrK^=^~，其中，I(x, y)為圖像塊#(!11)含像素點(diǎn)的灰度，
-n 、為圖像塊Ni(Hi)所含像素點(diǎn)的灰度的均值，= 4 Z Au)。
A-r-J ysl^e X^Ni(_,n)步驟4、對步驟3中已獲取的所有特征向量依次利用逐步線性回歸分析和獨(dú)立分量分析的方法進(jìn)行篩選，得到較為符合紅外圖像深度信息的特征向量。步驟4中逐步線性回歸分析的具體步驟為步驟4. I. I、計算特征向量中每個特征分量與深度值的相關(guān)系數(shù)，根據(jù)相關(guān)系數(shù)的絕對值由大到小得到每個特征分量對深度影響程度的排序；步驟4. I. 2、從相關(guān)系數(shù)的絕對值最大的特征分量開始逐步引入回歸方程，并作回歸方程顯著性檢驗(yàn)，若不顯著可認(rèn)為所選全部特征分量均不是影響深度值的主要因素，若顯著再從對深度值影響由大到小依次逐個引入回歸方程；步驟4. I. 3、每引入一個新的特征分量都需要對回歸方程中所含的每一個特征分量進(jìn)行顯著性檢驗(yàn)，將那個在新回歸方程中不顯著且對深度值影響最小的特征分量剔除，重復(fù)本步驟直到回歸方程中的每一個特征分量都顯著為止；步驟4. I. 4、再引入未引入的特征分量中對深度值影響最大的一個特征分量，重復(fù)步驟4. I. 3及步驟4. I. 4，直到無法剔除已入選的特征分量，也無法引入新的特征分量為止。步驟4中獨(dú)立分量分析用的是快速ICA算法，通過快速ICA算法對已經(jīng)過逐步線性回歸分析的特征向量進(jìn)行分析，使得各分量之間盡可能的獨(dú)立。在本實(shí)施例中，快速ICA算法是以負(fù)熵最大作為搜尋方向的，其具體步驟如下步驟4. 2. I、指定經(jīng)過逐步線性回歸分析后的M個像素點(diǎn)的特征向量為觀測數(shù)據(jù)X，并對觀測數(shù)據(jù)X進(jìn)行中心化，使之均值為0 ;步驟4. 2. 2、將中心化的觀測數(shù)據(jù)X白化，即將觀測數(shù)據(jù)X投影到新的子空間后變成白化向量z，Z=WtlX,其中，Wtl為白化矩陣，W0=A^172Ut, A為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征值矩陣，U為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征向量矩陣；步驟4. 2. 3、更新W*的是求解得出的分離矩陣，最終得出的分離矩陣W*與觀測數(shù)據(jù)X相乘即可得到各分量之間盡可能獨(dú)立的源數(shù)據(jù)使得擴(kuò)= E{Zg(WT Z)}-E{g' (ffT Z)}W，其中E( )為期望運(yùn)算，其中g(shù)( )為非線性函數(shù)，然后再對W*標(biāo)準(zhǔn)化W=ff7 W* |，若不收斂則重復(fù)本步驟，其中，選擇一個模為I的初始隨機(jī)權(quán)矢量作為W的初始值。步驟5、利用由步驟4得出的紅外圖像的特征向量與紅外圖像的深度圖構(gòu)建深度訓(xùn)練樣本集合Ifi, depthj，其中，fi為第i個像素點(diǎn)的特征向量,i=l,…，Lfi G x ,(Iepthi為第i個像素點(diǎn)所對應(yīng)的深度值。然后利用反向傳播學(xué)習(xí)理論構(gòu)建深度模型，并通過遺傳算法進(jìn)行優(yōu)化，進(jìn)而對新紅外圖像進(jìn)行深度估計。步驟5中BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下步驟5. I. I、根據(jù)特征向量&和深度值Cbpthi確定BP神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層的節(jié)點(diǎn)數(shù)。然后通過參考公式+ a大致確定隱含層節(jié)點(diǎn)數(shù)范圍，其中n為輸入層節(jié)點(diǎn)數(shù)，m為輸出層節(jié)點(diǎn)數(shù)，a為(TlO之間的常數(shù)，I為隱含層節(jié)點(diǎn)數(shù)。再通過試探法確定均方誤差最小的隱含層節(jié)點(diǎn)數(shù)；步驟5. I. 2、初始化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，并給定最大迭代次數(shù)、學(xué)習(xí)率參數(shù)
n和神經(jīng)元激勵函數(shù)/(I) = ^~^聲>0，其中a為常數(shù)； l+ e步驟5. I. 3、計算隱含層的輸出H
TJHj =Z^miyX1 -Uj) J =IX-J
/=1其中I為隱含層節(jié)點(diǎn)數(shù)，《〃為連接輸入層和隱含層之間的權(quán)值，Xi即為步驟5. I. I中提到的特征向量fi，Bj為各隱含層節(jié)點(diǎn)的閾值，f(.)為步驟5. I. 2中提到的神經(jīng)元激勵函數(shù)；步驟5. I. 4、計算預(yù)測輸出0 :
/Ok = [Hpjk —《,K2, .;m
7=1其中m為輸出層節(jié)點(diǎn)數(shù)，為連接隱含層和輸出層之間的權(quán)值，bk為各輸出層節(jié)點(diǎn)的閾值；步驟5. I. 5、根據(jù)預(yù)測輸出和期望輸出計算誤差e，并根據(jù)誤差e更新網(wǎng)絡(luò)的權(quán)值和閾值ek=Yk-Ok, k=l, . . . , m
m<aiy = +=
A=I Jk= w Jk+ n Hjek, j=l, ，I ；k=l, ，m
mOj = Gj +Tl (I- mjkek^ J=1,-J
/C=Ibk=bk+ek, k=l, . . . , m其中n為輸入層節(jié)點(diǎn)數(shù)，Yk為期望輸出，即訓(xùn)練集中的深度值；步驟5. I. 6、循環(huán)步驟5. I. 3到步驟5. I. 5，直到達(dá)到最大迭代次數(shù)后結(jié)束；步驟5. I. 7、對新紅外圖像通過步驟I和步驟2的特征提取和篩選后得到每個像素點(diǎn)的特征向量，將特征向量的每個分量分別對應(yīng)到已訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)的輸入層，通過預(yù)測得出對應(yīng)的深度值，便完成了對新紅外圖像深度值的估計。步驟5中BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值和閾值通過遺傳算法進(jìn)行優(yōu)化的具體步驟如下步驟5. 2. I、進(jìn)行遺傳算法種群的初始化，其中種群的每個個體都是由輸入層與隱含層之間的權(quán)值、隱含層和輸出層之間的權(quán)值、隱含層的閾值和輸出層的閾值四部分構(gòu)成。將所有的權(quán)值和閾值列成一個實(shí)數(shù)向量；
步驟5. 2. 2、進(jìn)行遺傳算法的選擇操作，首先將個體作用于BP神經(jīng)網(wǎng)絡(luò)，將得出的預(yù)測輸出和期望輸出之間的誤差絕對值作為該個體的適應(yīng)度值F。根據(jù)每個個體的適應(yīng)值進(jìn)行選擇，則每個個體i的選擇概率Pi為f^k/Fj其中Fi為個體的適應(yīng)度值，k為設(shè)置的系數(shù)，是一個常數(shù)；N為種群個體數(shù)目，因Fi反映的是期望輸出與預(yù)測輸出之間的誤差，誤差越小說明個體越優(yōu)，被選擇的概率就越大，所以將Fi取倒數(shù)變?yōu)?amp;以便與選擇概率的大小成正比關(guān)系；fj意義與A相同，其中下標(biāo)j代表種群個體數(shù)量；步驟5. 2. 3、進(jìn)行遺傳算法的交叉操作，需要交叉的染色體和需要交叉的位置隨機(jī)選擇。假設(shè)第k個染色體ak和第I個染色體在第j個位置進(jìn)行交叉，則操作方法如下卜其中b是
間的隨機(jī)數(shù)；步驟5. 2. 4、進(jìn)行遺傳算法的變異操作，需要變異的染色體和變異的位置進(jìn)行隨機(jī)選擇。假設(shè)第i個個體的第j個位置的基因au需要進(jìn)行變異，則操作方法如下a. =\,u 、
' 1 + d -今)Agl, < O-5其中a_為基因au的上界,Blllin為基因Bij的下界-,Ag)= <(1- g> Gnv& )2，r和r2都是
間的隨機(jī)數(shù)，g為當(dāng)前迭代次數(shù)，Gfflsx是最大迭代次數(shù)。步驟5. 2. 5、循環(huán)步驟5. 2. 2至步驟5. 2. 4，設(shè)置循環(huán)最大次數(shù)，當(dāng)循環(huán)達(dá)到最大次數(shù)時終止，取出適應(yīng)度值F最小的個體作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的初始權(quán)值和閾值。
權(quán)利要求
1.一種基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，包括以下步驟 (1)獲取任意單目紅外圖像I(x，y)及與所述單目紅外圖像I(x，y)所對應(yīng)的深度圖； (2)為所述單目紅外圖像I(x，y)中的每個像素點(diǎn)設(shè)定至少三個不同尺度上的特征區(qū)域，三個不同尺度由小到大分別為第一尺度、第二尺度及第三尺度，其中，每個尺度的特征區(qū)域至少包括位于中心的圖像塊及與所述圖像塊上、下、左、右相鄰的圖像塊，第i個像素點(diǎn)在第一尺度上的位于中心的圖像塊為第i個像素點(diǎn)本身；第i個像素點(diǎn)在第二尺度上的位于中心的圖像塊包含第一尺度上的所有圖像塊；第i個像素點(diǎn)在第三尺度上的位于中心的圖像塊包含第二尺度上的所有圖像塊；以此類推； (3)計算單目紅外圖像I(x，y)中每個像素點(diǎn)所對應(yīng)的特征區(qū)域的特征向量，第i個像素點(diǎn)的特征向量的特征分量至少包括第i個像素點(diǎn)在第一尺度上的所有圖像塊的灰度值，第i個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的紋理能量，第i個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差，及第i個像素點(diǎn)在除第一尺度外的其他尺度上的各圖像塊的清晰度； (4)對獲取的所有特征向量依次利用逐步線性回歸分析和獨(dú)立分量分析的方法進(jìn)行篩選，得到符合紅外圖像深度信息的特征向量； (5)利用步驟(4)中篩選得到特征向量與所述單目紅外圖像I(x，y)所對應(yīng)的深度圖構(gòu)建深度訓(xùn)練樣本集合，將深度訓(xùn)練樣本集合中的特征向量與深度圖的深度值用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性擬合，并通過遺傳算法對BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值進(jìn)行優(yōu)化，進(jìn)而構(gòu)建深度模型； (6)將采集到的新單目紅外圖像通過構(gòu)建得到的深度模型分析得到深度估計值。
2.根據(jù)權(quán)利要求I所述的基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，所述步驟(3)中的紋理能量通過勞斯掩膜計算得到，具體步驟為采用N個基本的二維勞斯掩膜，記為M1，…，Mn，將所述單目紅外圖像I(x，y)與每一個二維勞斯掩膜做卷積，則單目紅外圖像I(x，y)與第k個二維勞斯掩膜卷積后的值為 Tk(X, y)=I (x, y) XMk, k=l,…，N,則第i個像素點(diǎn)在第j尺度上的第m個圖像塊Ni(Hi)在單目紅外圖像I (x，y)與第k個二維勞斯掩膜卷積后得到的紋理能量為，
3.根據(jù)權(quán)利要求I所述的基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，所述步驟(3)中第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差通過以下步驟計算得到，具體步驟為 對單目紅外圖像I(x,y)在X軸方向及y軸方向上分別求得X軸梯度圖IgMdx (x,y)和y軸梯度圖Igrady (X, y),則單目紅外圖像I(x,y)在角度0 i方向上的梯度值G1(Xj)=Igradx (X,
4.根據(jù)權(quán)利要求I所述的基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，所述步驟(3)中第i個像素點(diǎn)在第二尺度及第三尺度上的各圖像塊的清晰度通過以下步驟計算得到，具體步驟為 第i個像素點(diǎn)在第j尺度上的第m個圖像塊Ni (m)的清晰度#皿^,⑷=^~ [(/(U)-7(x.「))2唭中，I (x，y)為圖像塊Ni (m)含像素點(diǎn)的灰度，SUe X^-Ni {m)-n 、為圖像塊Ni(Hi)所含像素點(diǎn)的灰度的均值Z為圖像塊Ni(Hi)所包含的像素點(diǎn)的個數(shù)。
5.根據(jù)權(quán)利要求I所述的基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，所述步驟(4)中逐步線性回歸分析的包括以下子步驟 (411)計算特征向量中每個特征分量與深度值的相關(guān)系數(shù)，根據(jù)相關(guān)系數(shù)的絕對值由大到小得到每個特征分量對深度影響程度的排序； (412)從相關(guān)系數(shù)的絕對值最大的特征分量開始逐步引入回歸方程，并作回歸方程顯著性檢驗(yàn)，若不顯著認(rèn)為所選全部特征分量均不是影響深度值的主要因素，若顯著再從對深度值影響由大到小依次逐個引入回歸方程； (413)每引入一個新的特征分量都需要對回歸方程中所含的每一個特征分量進(jìn)行顯著性檢驗(yàn)，將那個在新回歸方程中不顯著且對深度值影響最小的特征分量剔除，重復(fù) 本步驟直到回歸方程中的每一個特征分量都顯著為止； (414)再引入未引入的特征分量中對深度值影響最大的一個特征分量，重復(fù)步驟 (413)及步驟(414)，直到無法剔除已入選的特征分量，也無法引入新的特征分量為止。
6.根據(jù)權(quán)利要求I所述的基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，所述步驟(4)中獨(dú)立分量分析用的是快速ICA算法，通過快速ICA算法對已經(jīng)過逐步線性回歸分析的特征向量進(jìn)行分析，使得各分量之間盡可能的獨(dú)立，包括以下子步驟 (421)指定經(jīng)過逐步線性回歸分析后的M個像素點(diǎn)的特征向量為觀測數(shù)據(jù)X，并對觀測數(shù)據(jù)X進(jìn)行中心化，使之均值為O ; (422)將中心化的觀測數(shù)據(jù)X白化，即將觀測數(shù)據(jù)X投影到新的子空間后變成白化向量Z，Z=WtlX,其中，Wtl為白化矩陣，W0=A^172Ut, A為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征值矩陣，U為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征向量矩陣； (423)更新WM吏得W*= E{Zg(WtZ) }-E{g' (WtZ) }W，其中g(shù)( )為非線性函數(shù)，然后再對W*標(biāo)準(zhǔn)化W = WV W* I，若不收斂則重復(fù)本步驟，其中，選擇一個模為I的初始隨機(jī)權(quán)矢量作為W的初始值。
7.根據(jù)權(quán)利要求I所述的基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，其特征在于，所述步驟(5)中利用遺傳算法進(jìn)行優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值還包括以下子步驟 (511)根據(jù)訓(xùn)練樣本構(gòu)建初始的BP神經(jīng)網(wǎng)絡(luò)，并確定該網(wǎng)絡(luò)的輸入層、隱含層和輸出層的個數(shù)； (512)進(jìn)行遺傳算法種群的初始化，其中種群的每個個體都是由輸入層與隱含層之間的權(quán)值、隱含層和輸出層之間的權(quán)值、隱含層的閾值和輸出層的閾值四部分構(gòu) 成，將所有的權(quán)值和閾值列成一個實(shí)數(shù)向量； (513)設(shè)置最大迭代次數(shù)作為迭代終止條件，每一次的迭代過程包括選擇、交叉和變異操作，在達(dá)到迭代終止條件時，輸出的末代種群的最優(yōu)個體便是初始權(quán)值和閾值的近似最優(yōu)解。
全文摘要
本發(fā)明涉及一種基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的單目紅外圖像深度估計方法，包括以下步驟獲取單目紅外圖像及其所對應(yīng)的深度圖；為單目紅外圖像中的像素點(diǎn)設(shè)定至少三個不同尺度的特征區(qū)域；計算單目紅外圖像中像素點(diǎn)所對應(yīng)的特征區(qū)域的特征向量；對所有特征向量依次利用逐步線性回歸和獨(dú)立分量分析方法進(jìn)行篩選，得到符合紅外圖像深度信息的特征向量；利用得到的特征向量與單目紅外圖像所對應(yīng)的深度圖構(gòu)建深度訓(xùn)練樣本集合，將該集合中的特征向量與深度圖的深度值用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性擬合，通過遺傳算法對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，進(jìn)而構(gòu)建深度模型；將單目紅外圖像通過深度模型分析得到深度估計值。本發(fā)明可以較為準(zhǔn)確地估計紅外圖像的深度信息。
文檔編號G06T7/00GK102750702SQ20121020670
公開日2012年10月24日 申請日期2012年6月21日 優(yōu)先權(quán)日2012年6月21日
發(fā)明者孫韶媛, 席林 申請人:東華大學(xué)