專利名稱：基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，尤其是一種基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法。
背景技術(shù)：
根據(jù)圖像拼接的方法不同，傳統(tǒng)構(gòu)建全景圖算法可以分成三類。第一類方法采用固定的視點(diǎn)，原理在于選定一個(gè)參考平面，將其它圖像對(duì)齊到參考平面，最后按照?qǐng)D像序列依次整幅拼接來(lái)構(gòu)建全景圖。最簡(jiǎn)單的例子把照相機(jī)固定在三角架上，令照相機(jī)繞其光心旋轉(zhuǎn)來(lái)連續(xù)拍攝圖像，然后在圓柱體，正方形或球體上[1-5]拼接成全景圖。更一般相機(jī)運(yùn)動(dòng)也可以用這種方法來(lái)拼接，所處理的圖像間的關(guān)系模型包括全局仿射變換W-7]，平面投影變換[8-9]等等。然而這種方法有其局限性1)只能處理旋轉(zhuǎn)幅度較小的圖像，否則圖像拼接時(shí)會(huì)產(chǎn)生畸變現(xiàn)象。2、無(wú)法處理相機(jī)前進(jìn)運(yùn)動(dòng)或hom操作時(shí)全景圖像的拼接。第二類方法基于不同視點(diǎn)拍攝的圖像創(chuàng)建全景圖[10]。如A. Agarwala等人為了最小化多視點(diǎn)導(dǎo)致的視差問(wèn)題，采用圖割算法來(lái)為結(jié)果圖像上的每個(gè)像素選擇視點(diǎn)，他們的方法目的在于創(chuàng)建物體基本上在一個(gè)平面的比較長(zhǎng)的街道的全景圖，其針對(duì)的相機(jī)運(yùn)動(dòng)形式與本文不同。最后一類方法基于視頻序列創(chuàng)建全景圖，這類方法需要在序列幀中提取窄條 (strips)然后將窄條對(duì)齊來(lái)得到結(jié)果圖像。相關(guān)的方法有掃推式全景圖(pustibroom panoramas) [11]，S. Peleg等提出的自適應(yīng)拼接模型[12-13]，Zomet等提出的 “x-slit” [14]。在傳統(tǒng)的拼接方法中，前進(jìn)式攝像機(jī)運(yùn)動(dòng)容易出現(xiàn)問(wèn)題。B.R0USS0[13]等人提出了一種通過(guò)采集垂直于光流的窄條進(jìn)行拼接的方法，這種方法可以應(yīng)對(duì)相機(jī)的自由運(yùn)動(dòng)。 之后他們提出另一種方法[15]通過(guò)將2維平面反投影到3維圓柱體來(lái)得到拼接圖像，這種方法需要預(yù)先知道相機(jī)的內(nèi)部參數(shù)，然而這一點(diǎn)在地質(zhì)工程中往往很難滿足。S. Peleg等人[12]總結(jié)了前人的方法，提出根據(jù)相機(jī)運(yùn)動(dòng)在圖像上采集窄條(strips)并將其投影到流體上來(lái)得到全景圖。他們的方法適用于大多數(shù)的相機(jī)模型，但是這種方法采用六個(gè)參數(shù)的仿射變換矩陣來(lái)對(duì)齊連續(xù)的圖像，參數(shù)較多，對(duì)配準(zhǔn)誤差和光照變化非常敏感，同時(shí)當(dāng)場(chǎng)景出現(xiàn)深度變化時(shí)，所拼接的圖像會(huì)出現(xiàn)變形。對(duì)于這種方法，相鄰窄條之間的差異，亮度的變化以及圖像配準(zhǔn)的錯(cuò)誤都會(huì)導(dǎo)致結(jié)果圖像的拼接錯(cuò)誤。

發(fā)明內(nèi)容
本發(fā)明的目的是為克服上述現(xiàn)有技術(shù)的不足，提供一種利用圖像拼接技術(shù)將一組圖像序列轉(zhuǎn)換為單個(gè)場(chǎng)景的表示，大大減少場(chǎng)景表示的數(shù)據(jù)量，增加了穩(wěn)定性和適應(yīng)性，通過(guò)置信度算法優(yōu)化代價(jià)函數(shù)來(lái)自動(dòng)消除圖像拼接中的接縫，從而得到分辨率統(tǒng)一的高清晰度全景圖像的基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法。為實(shí)現(xiàn)上述目的，本發(fā)明采用下述技術(shù)方案
一種基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法，其采用相機(jī)在管道中做前進(jìn)式或后退式的拍攝，相機(jī)運(yùn)動(dòng)包括沿管道中軸的平移和繞光軸的旋轉(zhuǎn)，獲得輸入視頻后，采用馬爾可夫隨機(jī)場(chǎng)優(yōu)化的方法來(lái)構(gòu)建全景圖，無(wú)需相機(jī)定標(biāo)和其他輔助設(shè)備，具體包括以下步驟1).相機(jī)在管道中做前進(jìn)式或后退式的拍攝，相機(jī)運(yùn)動(dòng)包括沿管道中軸的平移和繞光軸的旋轉(zhuǎn)；2).將相機(jī)拍攝的視頻輸入計(jì)算機(jī)；3).使用KLT算法對(duì)輸入視頻進(jìn)行特征跟蹤；4).將相機(jī)模型簡(jiǎn)化，假定相鄰幀間相機(jī)的運(yùn)動(dòng)由變焦以及繞光軸的轉(zhuǎn)動(dòng)組成，相機(jī)的運(yùn)動(dòng)軌跡與圓柱體的中軸線重合；5).由跟蹤到的特征點(diǎn)對(duì)求取變焦系數(shù)及旋轉(zhuǎn)角度，從而求取全景圖上像素在各幀的投影位置；6).為全景圖構(gòu)建代價(jià)函數(shù)；7).利用置信度傳播算法求解代價(jià)函數(shù)，經(jīng)過(guò)迭代，選出最優(yōu)候選像素，自動(dòng)消除圖像拼接中的接縫，從而得到分辨率統(tǒng)一的高清晰度全景圖像；8).對(duì)得到的全景圖進(jìn)行亮度均衡；9).工作結(jié)束。所述步驟4)中的將相機(jī)模型簡(jiǎn)化具體過(guò)程為在投影幾何中，一個(gè)空間點(diǎn)M和其對(duì)應(yīng)的圖像上點(diǎn)m之間的關(guān)系表示為
權(quán)利要求
1.一種基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法，其特征在于，其采用相機(jī)在管道中做前進(jìn)式或后退式的拍攝，相機(jī)運(yùn)動(dòng)包括沿管道中軸的平移和繞光軸的旋轉(zhuǎn)， 獲得輸入視頻后，采用馬爾可夫隨機(jī)場(chǎng)優(yōu)化的方法來(lái)構(gòu)建全景圖，無(wú)需相機(jī)定標(biāo)和其他輔助設(shè)備，具體包括以下步驟1).相機(jī)在管道中做前進(jìn)式或后退式的拍攝，相機(jī)運(yùn)動(dòng)包括沿管道中軸的平移和繞光軸的旋轉(zhuǎn)；2).將相機(jī)拍攝的視頻輸入計(jì)算機(jī)；3).使用KLT算法對(duì)輸入視頻進(jìn)行特征跟蹤；4).將相機(jī)模型簡(jiǎn)化，假定相鄰幀間相機(jī)的運(yùn)動(dòng)由變焦以及繞光軸的轉(zhuǎn)動(dòng)組成，相機(jī)的運(yùn)動(dòng)軌跡與圓柱體的中軸線重合；5).由跟蹤到的特征點(diǎn)對(duì)求取變焦系數(shù)及旋轉(zhuǎn)角度，從而求取全景圖上像素在各幀的投影位置；6).為全景圖構(gòu)建代價(jià)函數(shù)；7).利用置信度傳播算法求解代價(jià)函數(shù)，經(jīng)過(guò)迭代，選出最優(yōu)候選像素，自動(dòng)消除圖像拼接中的接縫，從而得到分辨率統(tǒng)一的高清晰度全景圖像；8).對(duì)得到的全景圖進(jìn)行亮度均衡；9).工作結(jié)束。
2.根據(jù)權(quán)利要求1所述的基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法，其特征在于所述步驟4)中的將相機(jī)模型簡(jiǎn)化具體過(guò)程為在投影幾何中，一個(gè)空間點(diǎn)M和其對(duì)應(yīng)的圖像上點(diǎn)m之間的關(guān)系表示為w Π K[RT]M (1)K是相機(jī)內(nèi)部參數(shù)，相機(jī)外部參數(shù)由旋轉(zhuǎn)矩陣R和平移矩陣T組成，對(duì)于一個(gè)前進(jìn)式的相機(jī)模型，假設(shè)一個(gè)空間點(diǎn)M(X，Y，Z)在兩個(gè)連續(xù)幀上有對(duì)應(yīng)的圖像點(diǎn)m(x，y)和m' (χ'， 1')，不失一般性，將第一幀的相機(jī)坐標(biāo)系作為世界坐標(biāo)系，相機(jī)位置作為坐標(biāo)系原點(diǎn)，得到
3.根據(jù)權(quán)利要求1所述的基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法，其特征在于所述步驟幻中求取全景圖上像素在各幀的投影位置具體方式為假設(shè)一個(gè)視頻序列有N幀，N為大于等于2的整數(shù)，全景圖從左到右由N-I個(gè)矩形窄條拼接而成，第i個(gè)矩形窄條用Ii表示，i為大于等于N的正整數(shù)；在每幀選擇一個(gè)同樣大小的圓，圓心在圖像中心，第i幀上的圓記為Ci,圓Ci對(duì)應(yīng)Ii第一列在第i幀的投影，圓Ci+1 對(duì)應(yīng)Ii最后一列在第i+1幀的投影圓而在第i+1幀的投影為圓C',，則C' JPCw之間的區(qū)域Si對(duì)應(yīng)全景圖中區(qū)域Ii在第i+Ι幀的投影；利用在第i+Ι幀投影的位置加上公式
4.根據(jù)權(quán)利要求1所述的基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法，其特征在于所述步驟6)中的構(gòu)建代價(jià)函數(shù)具體為得到全景圖上每個(gè)像素在各幀圖像上投影的坐標(biāo)之后，將問(wèn)題歸結(jié)為一個(gè)標(biāo)號(hào)問(wèn)題 對(duì)于結(jié)果圖上的每一個(gè)像素，將其看作一個(gè)節(jié)點(diǎn)，相鄰節(jié)點(diǎn)間有一條邊相連，每個(gè)像素在多幅圖像上都有投影，每個(gè)投影對(duì)應(yīng)節(jié)點(diǎn)的一個(gè)標(biāo)號(hào)，假定節(jié)點(diǎn)集合為P，邊的集合為E， 建立一個(gè)無(wú)向網(wǎng)絡(luò)圖G= (P，E)，L= (LiIi = 1...N)是一個(gè)標(biāo)號(hào)集，希望找到一個(gè)標(biāo)號(hào) f (labeling) f =P - L, f 將標(biāo)號(hào) fp e L 分配給節(jié)點(diǎn) ρ e P， 標(biāo)號(hào)策略f的質(zhì)量用一個(gè)代價(jià)函數(shù)來(lái)表示
全文摘要
本發(fā)明涉及一種基于視頻的雙參數(shù)管道內(nèi)壁全景圖像模型與生成方法，其通過(guò)前進(jìn)式相機(jī)拍攝管道內(nèi)壁圖像，將拍攝的圖像輸入至計(jì)算機(jī)，由計(jì)算機(jī)進(jìn)行處理，然后輸出管道內(nèi)壁的全景圖。該過(guò)程分為圖像采集階段和全景圖構(gòu)建階段。針對(duì)所得到的視頻質(zhì)量較差的特點(diǎn)，將相機(jī)模型進(jìn)行簡(jiǎn)化。由于圖像的質(zhì)量可能被亮度變化，鏡頭模糊和相機(jī)不規(guī)則運(yùn)動(dòng)影響，為得到無(wú)縫清晰的全景圖，基于馬爾可夫隨機(jī)場(chǎng)建立代價(jià)函數(shù)，通過(guò)置信度算法優(yōu)化代價(jià)函數(shù)來(lái)自動(dòng)消除圖像拼接中的接縫，得到分辨率統(tǒng)一的高清晰度全景圖像。本發(fā)明可用于地質(zhì)工程中巖層結(jié)構(gòu)的探測(cè)，或者用作醫(yī)學(xué)圖像分析中病變器官紋理的恢復(fù)。
文檔編號(hào)H04N5/265GK102231806SQ20111015786
公開日2011年11月2日 申請(qǐng)日期2011年6月13日 優(yōu)先權(quán)日2011年6月13日
發(fā)明者楊承磊, 牛傳, 秦學(xué)英, 鐘凡 申請(qǐng)人:山東大學(xué)