国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種雙目視覺的圖像超分辨率融合去噪方法

      文檔序號:10489737閱讀:802來源:國知局
      一種雙目視覺的圖像超分辨率融合去噪方法
      【專利摘要】本發(fā)明公開了一種雙目視覺的圖像超分辨率融合去噪方法。其步驟為:(1)輸入待超分辨率融合的雙目圖像;(2)全局位置配準(zhǔn)圖像;(3)局部位置匹配圖像;(4)更新雙目圖像;(5)圖像超分辨率融合;(6)圖像去噪;(7)輸出最終高分辨率圖像。本發(fā)明在圖像配準(zhǔn)中加入局部位置配準(zhǔn)方法,并采用拉普拉斯算子應(yīng)用于圖像超分辨率融合,再對融合圖像使用非局部均值濾波方法去噪,克服了現(xiàn)有技術(shù)無法解決圖像局部位置不匹配,細(xì)節(jié)增強(qiáng)不足,以及不具備抑制噪聲的缺陷,得到圖像細(xì)節(jié)增強(qiáng),噪聲減小的超分辨率融合圖像。
      【專利說明】
      一種雙目視覺的圖像超分辨率融合去噪方法
      技術(shù)領(lǐng)域
      [0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,更進(jìn)一步涉及圖像超分辨率技術(shù)領(lǐng)域中的一種雙 目視覺的圖像超分辨率融合去噪方法。本發(fā)明可以應(yīng)用在智能終端設(shè)備或?qū)I(yè)攝像設(shè)備的 圖像后處理。
      【背景技術(shù)】
      [0002] 雙目視覺的圖像超分辨率融合方法是指從雙目攝像機(jī)獲得的同一場景的左灰度 圖和右灰度圖,利用它們在時空上的相關(guān)性及信息上的互補(bǔ)性,采用重建技術(shù)進(jìn)行圖像超 分辨率融合。重建技術(shù)假定超分辨率圖像在適當(dāng)?shù)淖冃?、平移和子采樣及噪聲干擾下,利用 多幀低分辨率圖像作為數(shù)據(jù)一致性約束,并結(jié)合圖像先驗(yàn)知識進(jìn)行求解。該方法一般包括 兩個重要部分:配準(zhǔn)和重建。配準(zhǔn)是獲得多幀低分辨率圖像間的亞像素精度的相對運(yùn)動;重 建是利用先驗(yàn)知識,對目標(biāo)圖像進(jìn)行優(yōu)化求解。
      [0003] 華南理工大學(xué)申請的專利"一種基于SIFT的場景物體實(shí)時配準(zhǔn)方法"(申請日: 2015年9月30日,申請?zhí)枺篊N201510646525.7,公開號:CN105279522A)公開了一種圖像配準(zhǔn) 的方法。該方法是對圖像提取SIFT特征,然后利用RANSAC優(yōu)化算法和輪廓排除法優(yōu)化匹配 結(jié)果,得到匹配的特征點(diǎn)對,并采用SIFT算子來提取特征點(diǎn),然后利用RANSAC優(yōu)化算法和輪 廓排除法來得到優(yōu)化的匹配結(jié)果。該方法能夠較好的匹配雙目圖像的全局位置,但是仍然 存在的不足之處是,雙目圖像的左灰度圖和右灰度圖的不僅存在全局位置的仿射變換,還 存在局部位置的平移、旋轉(zhuǎn)、遮擋等變換,該方法不能解決局部位置的變換問題。
      [0004] Farsiu S1Robinson M D1Elad M,et al·"Fast and robust multiframe super resolution"([J]·Image processing,IEEE Transactions on,2004,13(10):1327-1344.) 中提出一種多幀圖像的超分辨率方法。該方法采用BTV算子應(yīng)用于圖像超分辨率融合中。該 方法對融合后的圖像的邊緣保持較好,對匹配的精確度有一定魯棒性。但是,該方法仍然存 在的不足之處是,該方法對于圖像的細(xì)節(jié)增強(qiáng)不足,對于噪聲較大的圖像,不具備去噪能 力。

      【發(fā)明內(nèi)容】

      [0005] 本發(fā)明的目的在于克服上述已有技術(shù)的缺點(diǎn),提出一種雙目圖像超分辨率的方 法,以解決局部位置無法匹配的問題,同時增強(qiáng)圖像細(xì)節(jié),減小圖像噪聲。
      [0006] 為實(shí)現(xiàn)上述目的,本發(fā)明的技術(shù)方案是首先將左灰度圖與右灰度圖做SIFT全局位 置配準(zhǔn),然后再對兩圖做局部位置匹配,得到完全匹配的左灰度圖與右灰度圖,接著利用拉 普拉斯算子對兩圖進(jìn)行超分辨率融合,最后,利用非局部均值濾波方法對融合后的圖像進(jìn) 行去噪,得到最終高分辨率圖像。
      [0007] 本發(fā)明的具體步驟如下:
      [0008] (1)輸入待超分辨率融合的雙目圖像:
      [0009] 輸入待超分辨率融合的的雙目圖像,其中,左攝像頭拍攝的圖像為左灰度圖,右攝 像頭拍攝的圖像為右灰度圖;
      [0010] (2)全局位置配準(zhǔn)圖像:
      [0011] (2a)采用尺度不變特征轉(zhuǎn)換SIFT方法,對左灰度圖和右灰度圖處理,得到左灰度 圖特征點(diǎn)和右灰度圖的特征點(diǎn);
      [0012] (2b)利用歐氏距離,從左灰度圖中選取一個最終特征點(diǎn),并在右灰度圖找與該最 終特征點(diǎn)最近的兩個特征點(diǎn),計(jì)算這兩個特征點(diǎn)中距離中最近的距離與次近的距離的比 值,判斷該比值是否小于0.4,若是,則將選取的左灰度圖的最終特征點(diǎn)與這兩個特征點(diǎn)中 距離最近的特征點(diǎn)匹配,將匹配好的特征點(diǎn)匹配對加入特征點(diǎn)匹配對集合;否則,丟棄選取 的左灰度圖的最終特征點(diǎn);
      [0013] (2c)判斷左灰度圖中的最終特征點(diǎn)是否選取完,若是,執(zhí)行步驟(2d),否則,執(zhí)行 步驟(2b);
      [0014] (2d)利用隨機(jī)抽樣一致RANSAC算法,剔除誤特征點(diǎn)匹配對,得到特征點(diǎn)匹配對;
      [0015] (2e)利用得到特征點(diǎn)匹配對的坐標(biāo)對應(yīng)關(guān)系,列出坐標(biāo)對應(yīng)方程組,求解方程組, 得到仿射變換矩陣;
      [0016] (2f)利用仿射變換矩陣,配準(zhǔn)左灰度圖和右灰度圖,得到全局位置配準(zhǔn)后的左灰 度圖和右灰度圖;
      [0017] (3)局部位置匹配圖像:
      [0018] (3a)將左灰度圖的像素值拷貝至一個空白的圖像集中,得到參考圖像;將右灰度 圖的像素值拷貝至另一個空白的圖像集中,得到目標(biāo)圖像;創(chuàng)建一個空白的重構(gòu)圖像集; [0019] (3b)在參考圖像和重構(gòu)圖像中,以40個像素為寬度,等距離的將參考圖像和重構(gòu) 圖像均分為多個正方形的宏塊,得到均分宏塊后的參考圖像和重構(gòu)圖像;選取均分宏塊后 的參考圖像左上角的第一個宏塊,作為參考宏塊;選取均分宏塊后的重構(gòu)圖像左上角的第 一個宏塊,作為重構(gòu)宏塊;將運(yùn)動向量初始化為零向量;
      [0020] (3c)判斷參考宏塊是否位于參考圖像左側(cè)第一列,若是,則將參考宏塊的臂長取 值為20個像素;否則,按照下式,計(jì)算參考宏塊的臂長:
      [0021] Γ =MAX {Cx, Cy}
      [0022]其中,Γ表不參考宏塊的臂長,MAX表不取最大值操作,Cx表不運(yùn)動向量的水平分 量,Cy表示運(yùn)動向量的垂直分量;
      [0023] (3d)以參考宏塊在參考圖像中的坐標(biāo),在目標(biāo)圖像的相同坐標(biāo)處,劃定大小相同 的目標(biāo)宏塊;
      [0024] (3e)取目標(biāo)宏塊的上下左右方向、距離為臂長的四個宏塊,再取目標(biāo)宏塊用運(yùn)動 向量指向位置的宏塊,將這五個宏塊和目標(biāo)宏塊,共6個宏塊作為檢測宏塊;
      [0025] (3f)按照下式,分別計(jì)算6個檢測宏塊與參考宏塊的代價值:
      [0026] D= Σ Ie-O
      [0027] 其中,D表示檢測宏塊與參考宏塊的代價值,Σ表示求和操作,I · I表示取絕對值 操作,E表不參考宏塊,0表不檢測宏塊;
      [0028] (3g)從6個代價值中找出代價值最小的檢測宏塊,用代價值最小的檢測宏塊替換 目標(biāo)宏塊,得到十字宏塊;
      [0029] (3h)取十字宏塊的上下左右四個方向、距離為1的四個宏塊,將這四個宏塊和十字 宏塊,共5個宏塊作為比較宏塊;
      [0030] (3i)按照下式,分別計(jì)算比較宏塊與參考宏塊的5個代價值:
      [0031] G= Σ |N-I
      [0032] 其中,G表示比較宏塊與參考宏塊的代價值,Σ表示求和操作,I · I表示取絕對值 操作,N表不參考宏塊,I表不比較宏塊;
      [0033] (3j)從5個代價值中找出代價值最小的比較宏塊,判斷該代價值最小的比較宏塊 是否為十字宏塊,若是,則執(zhí)行步驟(3k),否則,用該代價值最小的比較宏塊替換十字宏塊, 執(zhí)行步驟(3h);
      [0034] (3k)將運(yùn)動向量更新為十字宏塊相對于參考宏塊的矢量距離,將十字宏塊的像素 值拷貝到重構(gòu)宏塊;
      [0035] (31)判斷參考宏塊是否為參考圖像的最后一個宏塊,若是,則得到重構(gòu)圖像,執(zhí)行 步驟(4);否則,選取參考圖像的下一個宏塊,作為參考宏塊;選取重構(gòu)圖像的下一個宏塊, 作為重構(gòu)宏塊,執(zhí)行步驟(3c);
      [0036] (4)更新雙目圖像:
      [0037] (4a)將重構(gòu)圖像與目標(biāo)圖像相減,得到差值圖像;
      [0038] (4b)創(chuàng)建一個空白的新重構(gòu)圖像集;
      [0039] (4c)按照長寬均為40像素,分別對差值圖像和新重構(gòu)圖像等距離的劃分大小相同 的宏塊,得到劃分宏塊后的差值圖像;
      [0040] (4d)從劃分宏塊后的差值圖像中,每次選取一個宏塊,判斷該宏塊的像素值總和 是否大于差值閾值1600,若是,則用參考圖像對應(yīng)位置的宏塊替換新重構(gòu)圖像對應(yīng)位置的 宏塊,否則,按照下式,計(jì)算新重構(gòu)圖像對應(yīng)的宏塊:
      [0041] J=(I-K) XL+KXM
      [0042]其中,J表示新重構(gòu)圖像對應(yīng)的宏塊,K表示宏塊邊界權(quán)值矩陣,L表示重構(gòu)宏塊,M 表不參考宏塊;
      [0043] (4e)判斷選取的宏塊是否為差值圖像的最后一個宏塊,若是,則得到新重構(gòu)圖像, 執(zhí)行步驟(4f),否則,執(zhí)行步驟(4d);
      [0044] (4f)將參考圖像的像素值拷貝至左灰度圖,將新重構(gòu)圖像的像素值拷貝至右灰度 圖,完成左灰度圖和右灰度圖的更新;
      [0045] (5)圖像超分辨率融合:
      [0046] (5a)利用光流法,計(jì)算左灰度圖與右灰度圖的估計(jì)位移;
      [0047] (5b)按照下式,計(jì)算低分辨率幀間位移和高分辨率幀間位移:
      [0048] u=FL0(RND(a*2)/2)
      [0049] v=M0D(RND(a*2),2)
      [0050] 其中,u表示低分辨率幀間位移,F(xiàn)LO表示向下取整操作,RND表示四舍五入操作,a 表示左灰度圖與右灰度圖的估計(jì)位移,/表示除法操作,V表示高分辨率幀間位移,MOD表示 取余操作;
      [0051] (5c)按照下式,計(jì)算新右灰度圖:
      [0052] Gn = VEC(u,Gr)
      [0053] 其中,Gn表示新右灰度圖,VEC表示位移變換操作,u表示低分辨率幀間位移;Gr表 示右灰度圖;
      [0054] (5d)將新右灰度圖的像素值拷貝到右灰度圖中;
      [0055] (5e)按照下式,計(jì)算高分辨率估計(jì)圖:
      [0056] Z = INT(G1,2)
      [0057] 其中,Z表示高分辨率估計(jì)圖,INT表示插值操作,Gl表示左灰度圖,2表示插值的倍 數(shù);
      [0058] (5f)將超分辨率迭代次數(shù)初始化為1;
      [0059] (5g)按照下式,計(jì)算高分辨率估計(jì)圖的反向圖像:
      [0060] Zr = DSP(COV(VEC(v,Z),h))
      [0061] 其中,Zr表示高分辨率估計(jì)圖的反向圖像,DSP表示下采樣操作,COV表示卷積操 作,VEC表示位移變換操作,V表示高分辨率幀間位移,Z表示高分辨率估計(jì)圖,h表示高分辨 率估計(jì)圖的降質(zhì)矩陣;
      [0062] (5h)按照下式,計(jì)算高分辨率估計(jì)圖的反向梯度:
      [0063] Zg = VEC(COV(USP(Zr) ,hT) ,ντ)
      [0064] 其中,Zg表示高分辨率估計(jì)圖的反向梯度,VEC表示位移變換操作,COV表示卷積操 作,USP表示上采樣操作,7表示轉(zhuǎn)置操作,Zr表示高分辨率估計(jì)圖的反向圖像,h表示高分辨 率估計(jì)圖的降質(zhì)矩陣,V表示高分辨率幀間位移;
      [0065] (5i)按照下式,計(jì)算高分辨率估計(jì)圖的反向正則:
      [0066] Ze = C0V(C0V(Lp,Z),LpT)
      [0067] 其中,Ze表示高分辨率估計(jì)圖的反向正則,COV表示卷積操作,Lp表示拉普拉斯算 子,Z表示高分辨率估計(jì)圖,7表示轉(zhuǎn)置操作;
      [0068] (5 j)按照下式,計(jì)算高分辨率估計(jì)圖的迭代差值:
      [0069] Zn = be*(Zg+lm*Ze)
      [0070] 其中,Zn表示計(jì)算高分辨率估計(jì)圖的迭代差值,be表示高分辨率估計(jì)圖的迭代系 數(shù),Zg表示高分辨率估計(jì)圖的反向梯度,Im表示高分辨率估計(jì)圖的正則系數(shù),Ze表示高分辨 率估計(jì)圖的反向正則;
      [0071] (5k)將高分辨率估計(jì)圖的像素值減去高分辨率估計(jì)圖的迭代差值,得到更新后的 高分辨率估計(jì)圖;
      [0072] (5k)判斷超分辨率迭代次數(shù)是否大于等于迭代閾值20,若是,則執(zhí)行步驟(6),否 貝IJ,將超分辨率迭代次數(shù)加上1,執(zhí)行步驟(5g);
      [0073] (6)圖像去噪:
      [0074] (6a)創(chuàng)建與高分辨率估計(jì)圖相同大小的空白的去噪圖像集,創(chuàng)建值為0的計(jì)數(shù)矩 陣;
      [0075] (6b)選取高分辨率估計(jì)圖的一個像素,將該像素作為處理像素;
      [0076] (6c)在高分辨率估計(jì)圖中,以處理像素為中心點(diǎn),劃定寬為40的正方形塊,將該正 方形塊作為處理宏塊;
      [0077] (6d)在高分辨率估計(jì)圖中,以處理像素為中心點(diǎn),劃定寬為200的正方形塊,將該 正方形塊作為處理搜索窗;
      [0078] (6e)創(chuàng)建寬為40的正方形框,將該正方形框作為移動窗口;
      [0079] (6f)選取處理搜索窗內(nèi)的一個寬為40的正方形塊,將該正方形塊的像素值拷貝到 移動窗口;
      [0080] (6g)按照下式,計(jì)算移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組:
      [0081]
      [0082]其中,ω表示在移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組,e表示移動窗口中心點(diǎn)的橫 坐標(biāo)值,f表示移動窗口中心點(diǎn)的縱坐標(biāo)值,P表示處理宏塊中心點(diǎn)的橫坐標(biāo)值,q表示處理 宏塊中心點(diǎn)的縱坐標(biāo)值,exp表示以自然常數(shù)為底的指數(shù)運(yùn)算操作,Il · Il表示取模值操作, Wm表示移動窗口,Wc表示處理宏塊,〇表示相關(guān)權(quán)值的控制系數(shù),f表示開方操作,X表示相 關(guān)權(quán)值的距離系數(shù);
      [0083] (6h)判斷選取的處理搜索窗內(nèi)的正方形塊是否為處理搜索窗內(nèi)的最后一個正方 形塊,若是,則執(zhí)行步驟(6f),否則,執(zhí)行步驟(6g);
      [0084] (6f)按照下式,計(jì)算去噪宏塊:
      [0085]
      [0086] 其中,Wd表示去噪宏塊,λ表示處理宏塊的融合權(quán)值,Wc表示處理宏塊,Σ表示求和 操作,ω表不在移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組,e表不移動窗口中心點(diǎn)的橫坐標(biāo)值,f 表不移動窗口中心點(diǎn)的縱坐標(biāo)值,P表不處理宏塊中心點(diǎn)的橫坐標(biāo)值,q表不處理宏塊中心 點(diǎn)的縱坐標(biāo)值,Wm表示移動窗口;
      [0087] (6g)將去噪宏塊累加到去噪圖像中,將計(jì)數(shù)矩陣中對應(yīng)與去噪宏塊位置的值加上 1;
      [0088] (6h)判斷處理像素是否為高分辨率估計(jì)圖的最后一個像素,若是,則執(zhí)行步驟 (6i),否則,執(zhí)行步驟(6b);
      [0089] (6i)將去噪圖像除以計(jì)數(shù)矩陣,得到最終高分辨率圖像;
      [0090] (7)輸出最終高分辨率圖像。
      [0091 ]本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn):
      [0092] 第一,由于本發(fā)明對雙目圖像的左灰度圖與右灰度圖做全局位置配準(zhǔn)后,再對全 局位置配準(zhǔn)后的雙目圖像的左灰度圖和右灰度圖兩圖做局部位置配準(zhǔn),克服了現(xiàn)有技術(shù)無 法解決局部位置不匹配的問題,使得本發(fā)明可以獲得全局與局部都完全匹配的雙目圖像, 有利于后期對圖像的超分辨率融合處理。
      [0093] 第二,由于本發(fā)明對雙目圖像進(jìn)行配準(zhǔn)處理之后,采用拉普拉斯算子應(yīng)用于雙目 圖像的超分辨率融合處理中,克服了現(xiàn)有技術(shù)中融合圖像細(xì)節(jié)增強(qiáng)不足的缺陷,使得本發(fā) 明得到的融合圖像分辨率比現(xiàn)有技術(shù)的圖像細(xì)節(jié)明顯提高。
      [0094]第三,由于本發(fā)明對雙目圖像進(jìn)行超分辨率融合處理之后,采用非局部均值濾波 方法對融合圖像進(jìn)行去噪,克服了現(xiàn)有技術(shù)中超分辨率融合圖像不具備抑制噪聲的問題, 使得本發(fā)明比現(xiàn)有技術(shù)得到的融合圖像信噪比大大提高。
      【附圖說明】
      [0095] 圖1為本發(fā)明的流程圖。
      [0096] 圖2為本發(fā)明的仿真圖。
      【具體實(shí)施方式】
      [0097] 下面結(jié)合附圖對本發(fā)明做進(jìn)一步的描述。
      [0098] 參照附圖1,對本發(fā)明的【具體實(shí)施方式】描述如下。
      [0099]步驟1,輸入待超分辨率融合的雙目圖像。
      [0100] 輸入待超分辨率融合的的雙目圖像,其中,左攝像頭拍攝的圖像為左灰度圖,右攝 像頭拍攝的圖像為右灰度圖。
      [0101] 步驟2,全局位置配準(zhǔn)圖像;
      [0102] (2a)采用尺度不變特征轉(zhuǎn)換SIFT方法,對左灰度圖和右灰度圖處理,得到左灰度 圖特征點(diǎn)和右灰度圖的特征點(diǎn);
      [0103] 尺度不變特征轉(zhuǎn)換SIFT方法的具體步驟如下:
      [0104] 第1步,對左灰度圖和右灰度圖,分別用尺度遞增的高斯濾波器進(jìn)行濾波,得到濾 波后的圖像,將濾波后的圖像按照尺度遞增順序每8個劃分為一組,組成一個子八度;將所 有子八度組成高斯金字塔圖層;將高斯金字塔中相鄰的圖層相減,得到差分圖層,將所有差 分圖層組成差分高斯金字塔;
      [0105]第2步,在差分高斯金字塔中,逐一選取每個圖層中的像素點(diǎn),將所選取的像素點(diǎn) 與選取像素所在圖層的其余8個相鄰像素點(diǎn)和選取像素點(diǎn)的上下相鄰圖層的18個相鄰像素 點(diǎn)的值逐一進(jìn)行比較,若選取像素的值是所有比較的像素點(diǎn)的最大值或者是最小值,則將 該像素點(diǎn)作為候選的特征點(diǎn);
      [0106] 第3步,去除對噪聲敏感的低對比度的候選特征點(diǎn)和具有不穩(wěn)定的邊緣響應(yīng)的候 選特征點(diǎn),剩余的是最終的特征點(diǎn);
      [0107] 第4步,按照下式,計(jì)算以最終特征點(diǎn)為中心的鄰域像素的梯度的模值和方向:
      [0108]
      [0109]
      [0110] 其中,m(x,y)表示以最終特征點(diǎn)為中心的鄰域像素的梯度的模值,A(x+l,y)表示 以最終特征點(diǎn)為中心的鄰域像素的右邊像素在高斯空間的值,A(x-1,y)表示以最終特征點(diǎn) 為中心的鄰域像素的左邊像素在高斯空間的值,A(x,y+1)表示以最終特征點(diǎn)為中心的鄰域 像素的下邊像素在高斯空間的值,A(x,y_l)表示以最終特征點(diǎn)為中心的鄰域像素的上邊像 素在高斯空間的值,X表示以最終特征點(diǎn)為中心的鄰域像素的縱坐標(biāo)值,y表示以最終特征 點(diǎn)為中心的鄰域像素的橫坐標(biāo)值,θ(χ,3〇表示以最終特征點(diǎn)為中心的鄰域像素的梯度的方 向,arctan表示反正切操作;
      [0111] 第5步,以最終特征點(diǎn)為中心,選擇16 X 16的鄰域,并將該鄰域劃分為16個4 X 4的 子區(qū)域,按照最終特征點(diǎn)為中心的鄰域像素的梯度方向,將以最終特征點(diǎn)為中心的鄰域像 素在每個子區(qū)域上按照0°、45°、135°、180°、225°、270°、315°、360°共8個方向劃分,并在每 個方向?qū)⑺幸裕?b)利用歐氏距離,從左灰度圖中選取一個最終特征點(diǎn),并在右灰度圖找 與該最終特征點(diǎn)最近的兩個特征點(diǎn),計(jì)算這兩個特征點(diǎn)中距離中最近的距離與次近的距離 的比值,判斷該比值是否小于0.4,若是,則將選取的左灰度圖的最終特征點(diǎn)與這兩個特征 點(diǎn)中距離最近的特征點(diǎn)匹配,將匹配好的特征點(diǎn)匹配對加入特征點(diǎn)匹配對集合;否則,丟棄 選取的左灰度圖的最終特征點(diǎn);
      [0112] (2c)判斷左灰度圖中的最終特征點(diǎn)是否選取完,若是,執(zhí)行步驟(2d),否則,執(zhí)行 步驟(2b);
      [0113] (2d)利用隨機(jī)抽樣一致RANSAC算法,剔除誤特征點(diǎn)匹配對,得到特征點(diǎn)匹配對;
      [0114] (2e)利用得到特征點(diǎn)匹配對的坐標(biāo)對應(yīng)關(guān)系,列出坐標(biāo)對應(yīng)方程組,求解方程組, 得到仿射變換矩陣;
      [0115] (2f)利用仿射變換矩陣,配準(zhǔn)左灰度圖和右灰度圖,得到全局位置配準(zhǔn)后的左灰 度圖和右灰度圖;
      [0116] (2b)利用歐氏距離,從左灰度圖中選取一個最終特征點(diǎn),并在右灰度圖找與該最 終特征點(diǎn)最近的兩個特征點(diǎn),計(jì)算這兩個特征點(diǎn)中距離中最近的距離與次近的距離的比 值,判斷該比值是否小于0.4,若是,則將選取的左灰度圖的最終特征點(diǎn)與這兩個特征點(diǎn)中 距離最近的特征點(diǎn)匹配,將匹配好的特征點(diǎn)匹配對加入特征點(diǎn)匹配對集合;否則,丟棄選取 的左灰度圖的最終特征點(diǎn);
      [0117] (2c)判斷左灰度圖中的最終特征點(diǎn)是否選取完,若是,執(zhí)行步驟(2d),否則,執(zhí)行 步驟(2b);
      [0118] (2d)利用隨機(jī)抽樣一致RANSAC算法,剔除誤特征點(diǎn)匹配對,得到特征點(diǎn)匹配對;
      [0119] (2e)利用得到特征點(diǎn)匹配對的坐標(biāo)對應(yīng)關(guān)系,列出坐標(biāo)對應(yīng)方程組,求解方程組, 得到仿射變換矩陣;
      [0120] (2f)利用仿射變換矩陣,配準(zhǔn)左灰度圖和右灰度圖,得到全局位置配準(zhǔn)后的左灰 度圖和右灰度圖。
      [0121 ]步驟3,局部位置匹配圖像;
      [0122] (3a)將左灰度圖的像素值拷貝至一個空白的圖像集中,得到參考圖像;將右灰度 圖的像素值拷貝至另一個空白的圖像集中,得到目標(biāo)圖像;創(chuàng)建一個空白的重構(gòu)圖像集; [0123] (3b)在參考圖像和重構(gòu)圖像中,以40個像素為寬度,等距離的將參考圖像和重構(gòu) 圖像均分為多個正方形的宏塊,得到均分宏塊后的參考圖像和重構(gòu)圖像;選取均分宏塊后 的參考圖像左上角的第一個宏塊,作為參考宏塊;選取均分宏塊后的重構(gòu)圖像左上角的第 一個宏塊,作為重構(gòu)宏塊;將運(yùn)動向量初始化為零向量;
      [0124] (3c)判斷參考宏塊是否位于參考圖像左側(cè)第一列,若是,則將參考宏塊的臂長取 值為20個像素;否則,按照下式,計(jì)算參考宏塊的臂長:
      [0125] Γ =MAX {Cx, Cy}
      [0126]其中,Γ表不參考宏塊的臂長,MAX表不取最大值操作,Cx表不運(yùn)動向量的水平分 量,Cy表示運(yùn)動向量的垂直分量;
      [0127] (3d)以參考宏塊在參考圖像中的坐標(biāo),在目標(biāo)圖像的相同坐標(biāo)處,劃定大小相同 的目標(biāo)宏塊;
      [0128] (3e)取目標(biāo)宏塊的上下左右方向、距離為臂長的四個宏塊,再取目標(biāo)宏塊用運(yùn)動 向量指向位置的宏塊,將這五個宏塊和目標(biāo)宏塊,共6個宏塊作為檢測宏塊;
      [0129] (3f)按照下式,分別計(jì)算6個檢測宏塊與參考宏塊的代價值:
      [0130] D= Σ Ie-O
      [0131] 其中,D表示檢測宏塊與參考宏塊的代價值,Σ表示求和操作,I · I表示取絕對值 操作,E表不參考宏塊,0表不檢測宏塊;
      [0132] (3g)從6個代價值中找出代價值最小的檢測宏塊,用代價值最小的檢測宏塊替換 目標(biāo)宏塊,得到十字宏塊;
      [0133] (3h)取十字宏塊的上下左右四個方向、距離為1的四個宏塊,將這四個宏塊和十字 宏塊,共5個宏塊作為比較宏塊;
      [0134] (3i)按照下式,分別計(jì)算比較宏塊與參考宏塊的5個代價值:
      [0135] G= Σ |N-I
      [0136] 其中,G表示比較宏塊與參考宏塊的代價值,Σ表示求和操作,I · I表示取絕對值 操作,N表不參考宏塊,I表不比較宏塊;
      [0137] (3j)從5個代價值中找出代價值最小的比較宏塊,判斷該代價值最小的比較宏塊 是否為十字宏塊,若是,則執(zhí)行步驟(3k),否則,用該代價值最小的比較宏塊替換十字宏塊, 執(zhí)行步驟(3h);
      [0138] (3k)將運(yùn)動向量更新為十字宏塊相對于參考宏塊的矢量距離,將十字宏塊的像素 值拷貝到重構(gòu)宏塊;
      [0139] (31)判斷參考宏塊是否為參考圖像的最后一個宏塊,若是,則得到重構(gòu)圖像,執(zhí)行 步驟4;否則,選取參考圖像的下一個宏塊,作為參考宏塊;選取重構(gòu)圖像的下一個宏塊,作 為重構(gòu)宏塊,執(zhí)行步驟(3c)。
      [0140] 步驟4,更新雙目圖像;
      [0141] (4a)將重構(gòu)圖像與目標(biāo)圖像相減,得到差值圖像;
      [0142] (4b)創(chuàng)建一個空白的新重構(gòu)圖像集;
      [0143] (4c)按照長寬均為40像素,分別對差值圖像和新重構(gòu)圖像等距離的劃分大小相同 的宏塊,得到劃分宏塊后的差值圖像;
      [0144] (4d)從劃分宏塊后的差值圖像中,每次選取一個宏塊,判斷該宏塊的像素值總和 是否大于差值閾值1600,若是,則用參考圖像對應(yīng)位置的宏塊替換新重構(gòu)圖像對應(yīng)位置的 宏塊,否則,按照下式,計(jì)算新重構(gòu)圖像對應(yīng)的宏塊:
      [0145] J=(I-K) XL+KXM
      [0146] 其中,J表示新重構(gòu)圖像對應(yīng)的宏塊,K表示宏塊邊界權(quán)值矩陣,L表示重構(gòu)宏塊,M 表不參考宏塊;
      [0147] (4e)判斷選取的宏塊是否為差值圖像的最后一個宏塊,若是,則得到新重構(gòu)圖像, 執(zhí)行步驟(4f),否則,執(zhí)行步驟(4d);
      [0148] (4f)將參考圖像的像素值拷貝至左灰度圖,將新重構(gòu)圖像的像素值拷貝至右灰度 圖,完成左灰度圖和右灰度圖的更新。
      [0149 ]步驟5,圖像超分辨率融合;
      [0150] (5a)利用光流法,計(jì)算左灰度圖與右灰度圖的估計(jì)位移;
      [0151] 光流法的具體步驟如下:
      [0152] 第1步:對左灰度圖和右灰度圖,分別進(jìn)行第一次下采樣,得到左灰度圖和右灰度 圖的第一次下采樣圖像,并將該圖像作為左灰度圖和右灰度圖的第一層圖層;分別對左灰 度圖和右灰度圖的第一次下采樣圖像進(jìn)行第二次下采樣,得到左灰度圖和右灰度圖的第二 次下采樣圖像,并將該圖像作為左灰度圖和右灰度圖的第二層圖層;分別對左灰度圖和右 灰度圖的第二次下采樣圖像進(jìn)行第三次下采樣,得到左灰度圖和右灰度圖的第三次下采樣 圖像,并將該圖像作為左灰度圖和右灰度圖的第三層圖層,得到左灰度圖和右灰度圖各自 的三層下采樣圖層;對左灰度圖和右灰度圖各自的三層下采樣圖層,分別進(jìn)行高斯濾波操 作,得到濾波后的圖層,將濾波后的圖層組成左灰度圖和右灰度圖的高斯金字塔;
      [0153] 第2步:將左灰度圖的高斯金字塔的第三層圖層拷貝至的左處理圖層,將右灰度圖 的高斯金字塔的第三層圖層拷貝至右處理圖層;
      [0154] 第3步:按照下式,計(jì)算左處理圖層的水平方向梯度和垂直方向梯度:
      [0155] Iy = COV(V1Ry)
      [0156] Ix = COV(VjRx)
      [0157] 其中,Iy表示左處理圖層的水平方向梯度,COV表示卷積操作,V表示左處理圖層, Ry表示sobel水平算子,Ix表示左處理圖層的垂直方向梯度,Rx表示sobel垂直算子;
      [0158] 第4步:按照下式,計(jì)算左處理圖層的偏導(dǎo)向量:
      [0159] R=[Ix Iy]
      [0160] 其中,R表示左處理圖層的偏導(dǎo)向量,[·]表示組合向量操作,Ix表示左處理圖層 的垂直方向梯度,Iy表示左處理圖層的水平方向梯度;
      [0161 ]第5步:按照下式,計(jì)算左處理圖層的偏導(dǎo)矩陣:
      [0162] U = RT*R
      [0163] 其中,U表示左處理圖層的偏導(dǎo)矩陣,R表示左處理圖層的偏導(dǎo)向量,τ表示轉(zhuǎn)置操 作,*表示矩陣相乘操作;
      [0164] 第6步:將左灰度圖和右灰度圖的估計(jì)位移初始化為0;
      [0165] 第7步:按照下式,更新右處理圖層:
      [0166] Cl=VEC(a,Cl)
      [0167] 其中,Cl表示右處理圖層,VEC表示位移變換操作,a表示左灰度圖與右灰度圖的估 計(jì)位移;
      [0168] 第8步:按照下式,更新左灰度圖與右灰度圖的估計(jì)位移:
      [0169] b = U\(RTX (V-W))
      [0170] 其中,b表示左灰度圖與右灰度圖的估計(jì)位移增量,U表示左處理圖層的偏導(dǎo)矩 陣,\表示矩陣左除操作,R表示左處理圖層的偏導(dǎo)向量/表示轉(zhuǎn)置操作,V表示左處理圖層, W表不右處理圖層;
      [0171] 第9步:將左灰度圖與右灰度圖的估計(jì)位移加上左灰度圖與右灰度圖的估計(jì)位移 增量;
      [0172] 第10步:判斷左灰度圖與右灰度圖的估計(jì)位移增量的模值是否大于終止閾值0.2, 若是,則執(zhí)行第11步,否則,將左灰度圖與右灰度圖的估計(jì)位移乘以2,執(zhí)行第7步;
      [0173] 第11步:判斷左處理圖層是否為左灰度圖高斯金字塔的第一層圖層,若是,則得到 左灰度圖與右灰度圖的估計(jì)位移;否則,將左處理圖層在左灰度圖高斯金字塔的上一層圖 層拷貝至左處理圖層,將右處理圖層在右灰度圖高斯金字塔的上一層圖層拷貝至右處理圖 層,執(zhí)行第3步。
      [0174] (5b)按照下式,計(jì)算低分辨率幀間位移和高分辨率幀間位移:
      [0175] u=FL0(RND(a*2)/2)
      [0176] v=M0D(RND(a*2),2)
      [0177] 其中,u表示低分辨率幀間位移,F(xiàn)LO表示向下取整操作,RND表示四舍五入操作,a 表示左灰度圖與右灰度圖的估計(jì)位移,/表示除法操作,V表示高分辨率幀間位移,MOD表示 取余操作;
      [0178] (5c)按照下式,計(jì)算新右灰度圖:
      [0179] Gn = VEC(u,Gr)
      [0180] 其中,Gn表示新右灰度圖,VEC表示位移變換操作,u表示低分辨率幀間位移;
      [0181] Gr表示右灰度圖;
      [0182] (5d)將新右灰度圖的像素值拷貝到右灰度圖中;
      [0183] (5e)按照下式,計(jì)算高分辨率估計(jì)圖:
      [0184] Z = INT(G1,2)
      [0185] 其中,Z表示高分辨率估計(jì)圖,INT表示插值操作,Gl表示左灰度圖,2表示插值的倍 數(shù);
      [0186] (5f)將超分辨率迭代次數(shù)初始化為1;
      [0187] (5g)按照下式,計(jì)算高分辨率估計(jì)圖的反向圖像:
      [0188] Zr = DSP(COV(VEC(v,Z),h))
      [0189] 其中,Zr表示高分辨率估計(jì)圖的反向圖像,DSP表示下采樣操作,COV表示卷積操 作,VEC表示位移變換操作,V表示高分辨率幀間位移,Z表示高分辨率估計(jì)圖,h表示高分辨 率估計(jì)圖的降質(zhì)矩陣;
      [0190] (5h)按照下式,計(jì)算高分辨率估計(jì)圖的反向梯度:
      [0191 ] Zg = VEC(COV(USP(Zr) ,hT) ,ντ)
      [0192] 其中,Zg表示高分辨率估計(jì)圖的反向梯度,VEC表示位移變換操作,COV表示卷積操 作,USP表示上采樣操作,7表示轉(zhuǎn)置操作,Zr表示高分辨率估計(jì)圖的反向圖像,h表示高分辨 率估計(jì)圖的降質(zhì)矩陣,V表示高分辨率幀間位移;
      [0193] (5i)按照下式,計(jì)算高分辨率估計(jì)圖的反向正則:
      [0194] Ze = C0V(C0V(Lp,Z),LpT)
      [0195] 其中,Ze表示高分辨率估計(jì)圖的反向正則,COV表示卷積操作,Lp表示拉普拉斯算 子,Z表示高分辨率估計(jì)圖,7表示轉(zhuǎn)置操作;
      [0196] (5j)按照下式,計(jì)算高分辨率估計(jì)圖的迭代差值:
      [0197] Zn = be*(Zg+lm*Ze)
      [0198] 其中,Zn表示計(jì)算高分辨率估計(jì)圖的迭代差值,be表示高分辨率估計(jì)圖的迭代系 數(shù),Zg表示高分辨率估計(jì)圖的反向梯度,Im表示高分辨率估計(jì)圖的正則系數(shù),Ze表示高分辨 率估計(jì)圖的反向正則;
      [0199] (5k)將高分辨率估計(jì)圖的像素值減去高分辨率估計(jì)圖的迭代差值,得到更新后的 高分辨率估計(jì)圖;
      [0200] (5k)判斷超分辨率迭代次數(shù)是否大于等于迭代閾值20,若是,則執(zhí)行步驟6,否則, 將超分辨率迭代次數(shù)加上I,執(zhí)行步驟(5g)。
      [0201] 步驟6,圖像去噪;
      [0202] (6a)創(chuàng)建與高分辨率估計(jì)圖相同大小的空白的去噪圖像集,創(chuàng)建值為0的計(jì)數(shù)矩 陣;
      [0203] (6b)選取高分辨率估計(jì)圖的一個像素,將該像素作為處理像素;
      [0204] (6c)在高分辨率估計(jì)圖中,以處理像素為中心點(diǎn),劃定寬為40的正方形塊,將該正 方形塊作為處理宏塊;
      [0205] (6d)在高分辨率估計(jì)圖中,以處理像素為中心點(diǎn),劃定寬為200的正方形塊,將該 正方形塊作為處理搜索窗;
      [0206] (6e)創(chuàng)建寬為40的正方形框,將該正方形框作為移動窗口;
      [0207] (6f)選取處理搜索窗內(nèi)的一個寬為40的正方形塊,將該正方形塊的像素值拷貝到 移動窗口;
      [0208] (6g)按照下式,計(jì)算移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組:
      [0209]
      [0210] 其中,ω表示在移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組,e表示移動窗口中心點(diǎn)的橫 坐標(biāo)值,f表示移動窗口中心點(diǎn)的縱坐標(biāo)值,P表示處理宏塊中心點(diǎn)的橫坐標(biāo)值,q表示處理 宏塊中心點(diǎn)的縱坐標(biāo)值,exp表示以自然常數(shù)為底的指數(shù)運(yùn)算操作,Il · Il表示取模值操作, Wm表示移動窗口,Wc表示處理宏塊,〇表示相關(guān)權(quán)值的控制系數(shù),表示開方操作,X表示相 關(guān)權(quán)值的距離系數(shù);
      [0211] (6h)判斷選取的處理搜索窗內(nèi)的正方形塊是否為處理搜索窗內(nèi)的最后一個正方 形塊,若是,則執(zhí)行步驟(6f),否則,執(zhí)行步驟(6g);
      [0212] (6f)桉照下式,計(jì)筧去曝宏±#:
      [0213]
      [0214] 其中,Wd表示去噪宏塊,λ表示處理宏塊的融合權(quán)值,Wc表示處理宏塊,Σ表示求和 操作,ω表不在移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組,e表不移動窗口中心點(diǎn)的橫坐標(biāo)值,f 表不移動窗口中心點(diǎn)的縱坐標(biāo)值,P表不處理宏塊中心點(diǎn)的橫坐標(biāo)值,q表不處理宏塊中心 點(diǎn)的縱坐標(biāo)值,Wm表示移動窗口;
      [0215] (6g)將去噪宏塊累加到去噪圖像中,將計(jì)數(shù)矩陣中對應(yīng)與去噪宏塊位置的值加上 1;
      [0216] (6h)判斷處理像素是否為高分辨率估計(jì)圖的最后一個像素,若是,則執(zhí)行步驟 (6i),否則,執(zhí)行步驟(6b);
      [0217] (6i)將去噪圖像除以計(jì)數(shù)矩陣,得到最終高分辨率圖像。
      [0218] 步驟7,輸出最終高分辨率圖像。
      [0219]下面結(jié)合附圖2對本發(fā)明的仿真效果做進(jìn)一步說明。
      [0220] 1.仿真條件:
      [0221]本發(fā)明的仿真實(shí)驗(yàn)所使用的待處理圖像通過固定在支架的兩臺三星Galaxy S5手 機(jī)在同一時刻拍攝的,圖像分辨率為3984*2988。截取拍攝的兩幅圖像中顯著區(qū)域分辨率為 600*400的圖像,作為雙目圖像的左灰度圖與右灰度圖。實(shí)驗(yàn)仿真環(huán)境為MATLAB 7.10.0 (R2010a)Service Pack 3,Intel(R)Pentium(R)4CPU 3.OOGHz,Window XP Professional〇
      [0222] 2.仿真結(jié)果與分析:
      [0223] 附圖2是本發(fā)明的仿真結(jié)果圖,其中,附圖2(a)為左灰度圖;附圖2(b)為右灰度圖; 附圖2(c)為對左灰度圖與右灰度圖使用雙三次插值處理后的效果圖;附圖2(d)為對左灰度 圖與右灰度圖使用本發(fā)明處理后的效果圖。
      [0224]對比附圖2中的四幅子圖,可以看到,使用雙三次插值處理后的效果圖中,文字圖 案的模糊邊緣較大,圖像噪聲明顯,圖像細(xì)節(jié)不清晰。而可以看到,使用本發(fā)明處理后的效 果圖中,文字圖案的模糊邊緣較小,圖像噪聲明顯減少,圖像細(xì)節(jié)清晰度提高,從而有效地 解決了上述的問題。由此可以看出,本發(fā)明可以有效的增強(qiáng)圖像細(xì)節(jié),減少圖像噪聲,提高 圖像超分辨率的質(zhì)量,比已有技術(shù)有較好的客觀評價效果。
      【主權(quán)項(xiàng)】
      1. 一種雙目視覺的圖像超分辨率融合去噪方法,包括如下步驟: (1) 輸入待超分辨率融合的雙目圖像: 輸入待超分辨率融合的的雙目圖像,其中,左攝像頭拍攝的圖像為左灰度圖,右攝像頭 拍攝的圖像為右灰度圖; (2) 全局位置配準(zhǔn)圖像: (2a)采用尺度不變特征轉(zhuǎn)換SIFT方法,對左灰度圖和右灰度圖處理,得到左灰度圖特 征點(diǎn)和右灰度圖的特征點(diǎn); (2b)利用歐氏距離,從左灰度圖中選取一個最終特征點(diǎn),并在右灰度圖找與該最終特 征點(diǎn)最近的兩個特征點(diǎn),計(jì)算運(yùn)兩個特征點(diǎn)中距離中最近的距離與次近的距離的比值,判 斷該比值是否小于0.4,若是,則將選取的左灰度圖的最終特征點(diǎn)與運(yùn)兩個特征點(diǎn)中距離最 近的特征點(diǎn)匹配,將匹配好的特征點(diǎn)匹配對加入特征點(diǎn)匹配對集合;否則,丟棄選取的左灰 度圖的最終特征點(diǎn); (2c)判斷左灰度圖中的最終特征點(diǎn)是否選取完,若是,執(zhí)行步驟(2d),否則,執(zhí)行步驟 (2b); (2d)利用隨機(jī)抽樣一致RANSAC算法,剔除誤特征點(diǎn)匹配對,得到特征點(diǎn)匹配對; (2e)利用得到特征點(diǎn)匹配對的坐標(biāo)對應(yīng)關(guān)系,列出坐標(biāo)對應(yīng)方程組,求解方程組,得到 仿射變換矩陣; (2f)利用仿射變換矩陣,配準(zhǔn)左灰度圖和右灰度圖,得到全局位置配準(zhǔn)后的左灰度圖 和右灰度圖; (3) 局部位置匹配圖像: (3a)將左灰度圖的像素值拷貝至一個空白的圖像集中,得到參考圖像;將右灰度圖的 像素值拷貝至另一個空白的圖像集中,得到目標(biāo)圖像;創(chuàng)建一個空白的重構(gòu)圖像集; (3b)在參考圖像和重構(gòu)圖像中,W40個像素為寬度,等距離的將參考圖像和重構(gòu)圖像 均分為多個正方形的宏塊,得到均分宏塊后的參考圖像和重構(gòu)圖像;選取均分宏塊后的參 考圖像左上角的第一個宏塊,作為參考宏塊;選取均分宏塊后的重構(gòu)圖像左上角的第一個 宏塊,作為重構(gòu)宏塊;將運(yùn)動向量初始化為零向量; (3c)判斷參考宏塊是否位于參考圖像左側(cè)第一列,若是,則將參考宏塊的臂長取值為 20個像素;否則,按照下式,計(jì)算參考宏塊的臂長: 廠=MAX{Cx,Cy} 其中,Γ表示參考宏塊的臂長,MAX表示取最大值操作,Cx表示運(yùn)動向量的水平分量,Cy 表示運(yùn)動向量的垂直分量; (3d) W參考宏塊在參考圖像中的坐標(biāo),在目標(biāo)圖像的相同坐標(biāo)處,劃定大小相同的目 標(biāo)宏塊; (3e)取目標(biāo)宏塊的上下左右方向、距離為臂長的四個宏塊,再取目標(biāo)宏塊用運(yùn)動向量 指向位置的宏塊,將運(yùn)五個宏塊和目標(biāo)宏塊,共6個宏塊作為檢測宏塊; (3f)按照下式,分別計(jì)算6個檢測宏塊與參考宏塊的代價值: D= Σ |E-0 其中,D表示檢測宏塊與參考宏塊的代價值,Σ表示求和操作,I · I表示取絕對值操作, E表不參考宏塊,0表不檢測宏塊; (3g)從6個代價值中找出代價值最小的檢測宏塊,用代價值最小的檢測宏塊替換目標(biāo) 宏塊,得到十字宏塊; (3h)取十字宏塊的上下左右四個方向、距離為1的四個宏塊,將運(yùn)四個宏塊和十字宏 塊,共5個宏塊作為比較宏塊; (3i)按照下式,分別計(jì)算比較宏塊與參考宏塊的5個代價值: G= Σ |N-I 其中,G表示比較宏塊與參考宏塊的代價值,Σ表示求和操作,I · I表示取絕對值操作, N表示參考宏塊,I表示比較宏塊; (3j)從5個代價值中找出代價值最小的比較宏塊,判斷該代價值最小的比較宏塊是否 為十字宏塊,若是,則執(zhí)行步驟(3k),否則,用該代價值最小的比較宏塊替換十字宏塊,執(zhí)行 步驟(3h); (3k)將運(yùn)動向量更新為十字宏塊相對于參考宏塊的矢量距離,將十字宏塊的像素值拷 貝到重構(gòu)宏塊; (31)判斷參考宏塊是否為參考圖像的最后一個宏塊,若是,則得到重構(gòu)圖像,執(zhí)行步驟 (4);否則,選取參考圖像的下一個宏塊,作為參考宏塊;選取重構(gòu)圖像的下一個宏塊,作為 重構(gòu)宏塊,執(zhí)行步驟(3c); (4) 更新雙目圖像: (4a)將重構(gòu)圖像與目標(biāo)圖像相減,得到差值圖像; (4b)創(chuàng)建一個空白的新重構(gòu)圖像集; (4c)按照長寬均為40像素,分別對差值圖像和新重構(gòu)圖像等距離的劃分大小相同的宏 塊,得到劃分宏塊后的差值圖像; (4d)從劃分宏塊后的差值圖像中,每次選取一個宏塊,判斷該宏塊的像素值總和是否 大于差值闊值1600,若是,則用參考圖像對應(yīng)位置的宏塊替換新重構(gòu)圖像對應(yīng)位置的宏塊, 否則,按照下式,計(jì)算新重構(gòu)圖像對應(yīng)的宏塊: J=(1-K)XL+KXM 其中,J表示新重構(gòu)圖像對應(yīng)的宏塊,K表示宏塊邊界權(quán)值矩陣,L表示重構(gòu)宏塊,Μ表示 參考宏塊; (4e)判斷選取的宏塊是否為差值圖像的最后一個宏塊,若是,則得到新重構(gòu)圖像,執(zhí)行 步驟(4f),否則,執(zhí)行步驟(4d); (4f)將參考圖像的像素值拷貝至左灰度圖,將新重構(gòu)圖像的像素值拷貝至右灰度圖, 完成左灰度圖和右灰度圖的更新; (5) 圖像超分辨率融合: 巧a)利用光流法,計(jì)算左灰度圖與右灰度圖的估計(jì)位移; 巧b)按照下式,計(jì)算低分辨率帖間位移和高分辨率帖間位移: u =化 0(RND(a 巧 v=MOD(RND(a巧),2) 其中,U表示低分辨率帖間位移,F(xiàn)LO表示向下取整操作,RND表示四舍五入操作,a表示 左灰度圖與右灰度圖的估計(jì)位移,/表示除法操作,V表示高分辨率帖間位移,MOD表示取余 操作; 巧C)按照下式,計(jì)算新右灰度圖: Gn = VEC(u,Gr) 其中,Gn表示新右灰度圖,VEC表示位移變換操作,U表示低分辨率帖間位移;Gr表示右 灰度圖; 巧d)將新右灰度圖的像素值拷貝到右灰度圖中; 巧e)按照下式,計(jì)算高分辨率估計(jì)圖: Z = INT(G1,2) 其中,Z表示高分辨率估計(jì)圖,INT表示插值操作,G1表示左灰度圖,2表示插值的倍數(shù); 巧f)將超分辨率迭代次數(shù)初始化為1; 巧g)按照下式,計(jì)算高分辨率估計(jì)圖的反向圖像: Zr = DSP(COV(VEC(v,Z),h)) 其中,&表示高分辨率估計(jì)圖的反向圖像,DSP表示下采樣操作,COV表示卷積操作,VEC 表示位移變換操作,V表示高分辨率帖間位移,Z表示高分辨率估計(jì)圖,h表示高分辨率估計(jì) 圖的降質(zhì)矩陣; 巧h)按照下式,計(jì)算高分辨率估計(jì)圖的反向梯度: Zg = VEC(COV化SP(Zr),hT),yT) 其中,Zg表示高分辨率估計(jì)圖的反向梯度,VEC表示位移變換操作,COV表示卷積操作, USP表示上采樣操作,T表示轉(zhuǎn)置操作,&表示高分辨率估計(jì)圖的反向圖像,h表示高分辨率 估計(jì)圖的降質(zhì)矩陣,V表示高分辨率帖間位移; 巧i)按照下式,計(jì)算高分辨率估計(jì)圖的反向正則: Ze = C(W(C(W(Lp,Z),LpT) 其中,Ze表示高分辨率估計(jì)圖的反向正則,COV表示卷積操作,Lp表示拉普拉斯算子,Z 表示高分辨率估計(jì)圖,T表示轉(zhuǎn)置操作; 巧j)按照下式,計(jì)算高分辨率估計(jì)圖的迭代差值: Zn = be*(Zg+lm*Ze) 其中,Zn表示計(jì)算高分辨率估計(jì)圖的迭代差值,be表示高分辨率估計(jì)圖的迭代系數(shù),Zg 表示高分辨率估計(jì)圖的反向梯度,Im表示高分辨率估計(jì)圖的正則系數(shù),Ze表示高分辨率估 計(jì)圖的反向正則; (5k)將高分辨率估計(jì)圖的像素值減去高分辨率估計(jì)圖的迭代差值,得到更新后的高分 辨率估計(jì)圖; (5k)判斷超分辨率迭代次數(shù)是否大于等于迭代闊值20,若是,則執(zhí)行步驟(6),否則,將 超分辨率迭代次數(shù)加上1,執(zhí)行步驟(5g); (6)圖像去噪: (6a)創(chuàng)建與高分辨率估計(jì)圖相同大小的空白的去噪圖像集,創(chuàng)建值為0的計(jì)數(shù)矩陣; (6b)選取高分辨率估計(jì)圖的一個像素,將該像素作為處理像素; (6c)在高分辨率估計(jì)圖中,W處理像素為中屯、點(diǎn),劃定寬為40的正方形塊,將該正方形 塊作為處理宏塊; (6d)在高分辨率估計(jì)圖中,W處理像素為中屯、點(diǎn),劃定寬為200的正方形塊,將該正方 形塊作為處理捜索窗; (6e)創(chuàng)建寬為40的正方形框,將該正方形框作為移動窗口; (6f)選取處理捜索窗內(nèi)的一個寬為40的正方形塊,將該正方形塊的像素值拷貝到移動 窗口; (6g)按照下式,計(jì)算移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組:其中,ω表示在移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組,e表示移動窗口中屯、點(diǎn)的橫坐標(biāo) 值,f表示移動窗口中屯、點(diǎn)的縱坐標(biāo)值,P表示處理宏塊中屯、點(diǎn)的橫坐標(biāo)值,q表示處理宏塊 中屯、點(diǎn)的縱坐標(biāo)值,exp表示W(wǎng)自然常數(shù)為底的指數(shù)運(yùn)算操作,II · II表示取模值操作,Wm 表示移動窗口,Wc表示處理宏塊,σ表示相關(guān)權(quán)值的控制系數(shù),表示開方操作,X表示相關(guān) 權(quán)值的距離系數(shù); (6h)判斷選取的處理捜索窗內(nèi)的正方形塊是否為處理捜索窗內(nèi)的最后一個正方形塊, 若是,則執(zhí)行步驟(6f),否則,執(zhí)行步驟(6g); (6f)按照下式,計(jì)算去噪宏塊:其中,Wd表示去噪宏塊,λ表示處理宏塊的融合權(quán)值,Wc表示處理宏塊,Σ表示求和操 作,ω表示在移動窗口與處理宏塊的相關(guān)權(quán)值數(shù)組,e表示移動窗口中屯、點(diǎn)的橫坐標(biāo)值,f表 示移動窗口中屯、點(diǎn)的縱坐標(biāo)值,P表示處理宏塊中屯、點(diǎn)的橫坐標(biāo)值,q表示處理宏塊中屯、點(diǎn) 的縱坐標(biāo)值,Wm表示移動窗口; (6g)將去噪宏塊累加到去噪圖像中,將計(jì)數(shù)矩陣中對應(yīng)與去噪宏塊位置的值加上1; (6h)判斷處理像素是否為高分辨率估計(jì)圖的最后一個像素,若是,則執(zhí)行步驟(6i),否 貝1J,執(zhí)行步驟(6b); (6i)將去噪圖像除W計(jì)數(shù)矩陣,得到最終高分辨率圖像; (7)輸出最終高分辨率圖像。2.根據(jù)權(quán)利要求1所述的一種雙目視覺的圖像超分辨率融合去噪方法,其特征在于:步 驟(2a)中所述的尺度不變特征轉(zhuǎn)換SIFT方法的具體步驟如下: 第1步,對左灰度圖和右灰度圖,分別用尺度遞增的高斯濾波器進(jìn)行濾波,得到濾波后 的圖像,將濾波后的圖像按照尺度遞增順序每8個劃分為一組,組成一個子八度;將所有子 八度組成高斯金字塔圖層;將高斯金字塔中相鄰的圖層相減,得到差分圖層,將所有差分圖 層組成差分高斯金字塔; 第2步,在差分高斯金字塔中,逐一選取每個圖層中的像素點(diǎn),將所選取的像素點(diǎn)與選 取像素所在圖層的其余8個相鄰像素點(diǎn)和選取像素點(diǎn)的上下相鄰圖層的18個相鄰像素點(diǎn)的 值逐一進(jìn)行比較,若選取像素的值是所有比較的像素點(diǎn)的最大值或者是最小值,則將該像 素點(diǎn)作為候選的特征點(diǎn); 第3步,去除對噪聲敏感的低對比度的候選特征點(diǎn)和具有不穩(wěn)定的邊緣響應(yīng)的候選特 征點(diǎn),剩余的作為最終的特征點(diǎn); 第4步,按照下式,計(jì)算W最終特征點(diǎn)為中屯、的鄰域像素的梯度的模值和方向:其中,m(x,y)表示W(wǎng)最終特征點(diǎn)為中屯、的鄰域像素的梯度的模值,A(x+l,y)表示W(wǎng)最 終特征點(diǎn)為中屯、的鄰域像素的右邊像素在高斯空間的值,A(x-l,y)表示W(wǎng)最終特征點(diǎn)為中 屯、的鄰域像素的左邊像素在高斯空間的值,A(x,y+1)表示W(wǎng)最終特征點(diǎn)為中屯、的鄰域像素 的下邊像素在高斯空間的值,A(x,y-1)表示W(wǎng)最終特征點(diǎn)為中屯、的鄰域像素的上邊像素在 高斯空間的值,X表示W(wǎng)最終特征點(diǎn)為中屯、的鄰域像素的縱坐標(biāo)值,y表示W(wǎng)最終特征點(diǎn)為 中屯、的鄰域像素的橫坐標(biāo)值,0(x,y)表示W(wǎng)最終特征點(diǎn)為中屯、的鄰域像素的梯度的方向, arctan表示反正切操作; 第5步,W最終特征點(diǎn)為中屯、,選擇16X16的鄰域,并將該鄰域劃分為16個4X4的子區(qū) 域,按照最終特征點(diǎn)為中屯、的鄰域像素的梯度方向,將W最終特征點(diǎn)為中屯、的鄰域像素在 每個子區(qū)域上按照0°、45°、135°、180°、225°、270°、315°、360°共8個方向劃分,并在每個方 向?qū)⑺蠾最終特征點(diǎn)為中屯、的鄰域像素的梯度模值累加,最終生成128維的特征向量。3.根據(jù)權(quán)利要求1所述的一種雙目視覺的圖像超分辨率融合去噪方法,其特征在于:步 驟(5a)中所述的光流法的具體步驟如下: 第1步:對左灰度圖和右灰度圖,分別進(jìn)行第一次下采樣,得到左灰度圖和右灰度圖的 第一次下采樣圖像,并將該圖像作為左灰度圖和右灰度圖的第一層圖層;分別對左灰度圖 和右灰度圖的第一次下采樣圖像進(jìn)行第二次下采樣,得到左灰度圖和右灰度圖的第二次下 采樣圖像,并將該圖像作為左灰度圖和右灰度圖的第二層圖層;分別對左灰度圖和右灰度 圖的第二次下采樣圖像進(jìn)行第Ξ次下采樣,得到左灰度圖和右灰度圖的第Ξ次下采樣圖 像,并將該圖像作為左灰度圖和右灰度圖的第Ξ層圖層,得到左灰度圖和右灰度圖各自的 Ξ層下采樣圖層;對左灰度圖和右灰度圖各自的Ξ層下采樣圖層,分別進(jìn)行高斯濾波操作, 得到濾波后的圖層,將濾波后的圖層組成左灰度圖和右灰度圖的高斯金字塔; 第2步:將左灰度圖的高斯金字塔的第Ξ層圖層拷貝至的左處理圖層,將右灰度圖的高 斯金字塔的第Ξ層圖層拷貝至右處理圖層; 第3步:按照下式,計(jì)算左處理圖層的水平方向梯度值和垂直方向梯度值: Iy = COV(V,Ry) Ix = COV(V,Rx) 其中,ly表示左處理圖層的水平方向梯度值,COV表示卷積操作,V表示左處理圖層,Ry 表示sobel水平算子,Ix表示左處理圖層的垂直方向梯度值,Rx表示sobel垂直算子; 第4步:按照下式,計(jì)算左處理圖層的偏導(dǎo)向量: R=[Ix ly] 其中,R表示左處理圖層的偏導(dǎo)向量,[·]表示組合向量操作,Ix表示左處理圖層的垂 直方向梯度值,ly表示左處理圖層的水平方向梯度值; 第5步:按照下式,計(jì)算左處理圖層的偏導(dǎo)矩陣: U = rT*R 其中,U表示左處理圖層的偏導(dǎo)矩陣,R表示左處理圖層的偏導(dǎo)向量,T表示轉(zhuǎn)置操作,*表 示矩陣相乘操作; 第6步:將左灰度圖和右灰度圖的估計(jì)位移初始化為0; 第7步:按照下式,更新右處理圖層: Cl=VEC(a,Cl) 其中,Cl表示右處理圖層,VEC表示位移變換操作,a表示左灰度圖與右灰度圖的估計(jì)位 移; 第8步:按照下式,更新左灰度圖與右灰度圖的估計(jì)位移: b = U\(護(hù) X(V-W)) 其中,b表示左灰度圖與右灰度圖的估計(jì)位移增量,U表示左處理圖層的偏導(dǎo)矩陣,\表 示矩陣左除操作,R表示左處理圖層的偏導(dǎo)向量,T表示轉(zhuǎn)置操作,V表示左處理圖層,W表示 右處理圖層; 第9步:將左灰度圖與右灰度圖的估計(jì)位移加上左灰度圖與右灰度圖的估計(jì)位移增量; 第10步:判斷左灰度圖與右灰度圖的估計(jì)位移增量的模值是否大于終止闊值0.2,若 是,則執(zhí)行第11步,否則,將左灰度圖與右灰度圖的估計(jì)位移乘W2,執(zhí)行第7步; 第11步:判斷左處理圖層是否為左灰度圖高斯金字塔的第一層圖層,若是,則得到左灰 度圖與右灰度圖的估計(jì)位移;否則,將左處理圖層在左灰度圖高斯金字塔的上一層圖層拷 貝至左處理圖層,將右處理圖層在右灰度圖高斯金字塔的上一層圖層拷貝至右處理圖層, 執(zhí)行第3步。
      【文檔編號】G06T7/00GK105844630SQ201610159959
      【公開日】2016年8月10日
      【申請日】2016年3月21日
      【發(fā)明人】宋彬, 楊榮堅(jiān), 曹茸, 李瑩華, 秦浩
      【申請人】西安電子科技大學(xué)
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
      1