本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種陣列圖像的校準(zhǔn)方法。

背景技術(shù)：

隨著手機(jī)攝像攝影的日益普及和人們對(duì)手機(jī)攝像的越來(lái)越高的要求，目前一些手機(jī)制造廠商嘗試用微陣列相機(jī)模組代替目前的單鏡頭和單焦距相機(jī)。然而這種陣列式相機(jī)由于位置不同得到的陣列圖像之間肯定有位移，這種位置差異將導(dǎo)致圖像間有視差，即場(chǎng)景中有的相機(jī)能拍到，有的相機(jī)由于位置差異可能出現(xiàn)遮擋拍攝不到，但在實(shí)現(xiàn)圖像超分辨率重建，或者高速攝像，對(duì)象置換等功能時(shí)需要實(shí)現(xiàn)圖像的校準(zhǔn)。因此如何實(shí)現(xiàn)陣列圖像的精確校準(zhǔn)，使陣列圖像統(tǒng)一到同一視角下是陣列相機(jī)模組需要解決的關(guān)鍵問(wèn)題之一。

現(xiàn)有技術(shù)一般都是利用特征，灰度值，互信息等或者是此原有基礎(chǔ)上改進(jìn)的方法對(duì)圖像進(jìn)行校準(zhǔn)，然而這些校準(zhǔn)方法陣列圖像的視差無(wú)法完全消除，尤其是邊緣部分，即利用一個(gè)校準(zhǔn)矩陣無(wú)法實(shí)現(xiàn)陣列圖像的精確校準(zhǔn)。

為此，亟需一種對(duì)于邊緣或其它提取不到特征點(diǎn)的部分也能精確識(shí)別的圖像校準(zhǔn)方法。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題，本發(fā)明提出了一種陣列圖像的校準(zhǔn)方法，相對(duì)于以前的其他校準(zhǔn)方法，本方法無(wú)需進(jìn)行相機(jī)標(biāo)定，校準(zhǔn)過(guò)程每一小塊對(duì)應(yīng)一個(gè)校準(zhǔn)矩陣，不僅對(duì)于提取到特征點(diǎn)的部分有較好的校準(zhǔn)效果，對(duì)于邊緣或其它提取不到特征點(diǎn)的部分也有很好的校準(zhǔn)效果。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種陣列圖像的校準(zhǔn)方法，包括如下步驟：

步驟1，提取特征點(diǎn)完成圖像匹配：從陣列相機(jī)模組獲得陣列圖像，檢測(cè)陣列圖像中各圖像的多尺度特征，以中心圖像為參考圖像，提取并完成陣列圖像與參考圖像的特征點(diǎn)匹配；

步驟2，剔除誤匹配點(diǎn)：根據(jù)ransac算法剔除匹配過(guò)程中的誤匹配點(diǎn)，選取各圖像對(duì)中特征點(diǎn)均勻分布的匹配點(diǎn)對(duì)；

步驟3，完成圖像對(duì)間的整體校準(zhǔn)：根據(jù)得到的匹配點(diǎn)對(duì)信息求得陣列圖像到中心圖像的校準(zhǔn)矩陣，根據(jù)校準(zhǔn)矩陣進(jìn)行投影變換實(shí)現(xiàn)整體校準(zhǔn)過(guò)程；

步驟4，對(duì)完成整體校準(zhǔn)的圖像對(duì)分塊校準(zhǔn)：對(duì)整體校準(zhǔn)后的各圖像對(duì)進(jìn)行分塊，且至少分兩次大小不同的小塊，分塊之后同樣采用多尺度特征的方法對(duì)各小塊進(jìn)行校準(zhǔn)，如果校準(zhǔn)之后的相似度達(dá)不到要求，則采用基于灰度的校準(zhǔn)方法對(duì)各小塊進(jìn)行校準(zhǔn)，如果仍然達(dá)不到要求則對(duì)此塊進(jìn)行重新分塊，直到相似度達(dá)到要求，完成分塊校準(zhǔn)過(guò)程；

步驟5，對(duì)兩次分塊校準(zhǔn)的結(jié)果進(jìn)行無(wú)縫拼接得到校準(zhǔn)結(jié)果：根據(jù)步驟4所得兩次分塊校準(zhǔn)結(jié)果，將小塊與小塊進(jìn)行無(wú)縫拼接得到最終陣列圖像的校準(zhǔn)結(jié)果。

進(jìn)一步的，步驟1中檢測(cè)各個(gè)陣列圖像的多尺度特征，匹配陣列圖像與參考圖像的特征點(diǎn)的具體步驟如下：

a)構(gòu)建陣列圖像的多尺度空間，利用高斯平滑函數(shù)與原圖像灰度進(jìn)行卷積形成圖像金字塔，圖像金字塔最底層為圖像金字塔更高層為其中g(shù)δ(x，y)表示標(biāo)準(zhǔn)差為δ的平滑窗口，l為圖像金字塔層數(shù)；

b)特征點(diǎn)檢測(cè)，在l層，檢測(cè)矩陣為利用此矩陣的特征值λ1、λ2的平均檢測(cè)函數(shù)檢測(cè)特征點(diǎn)，為了加快速度和使得特征點(diǎn)分布均勻，在不同尺度金字塔圖像的一定半徑內(nèi)選取fhm的局部極值；

c)利用sift特征計(jì)算特征點(diǎn)方向，l層特征點(diǎn)鄰域(x，y)的方向?yàn)?imgfile="bda0000951915690000033.gif"wi="611"he="95"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>

d)特征點(diǎn)匹配，利用近鄰法對(duì)兩圖像間提取的特征點(diǎn)進(jìn)行匹配。

進(jìn)一步的，步驟3中根據(jù)得到的匹配點(diǎn)對(duì)信息求得陣列圖像到參考圖像的校準(zhǔn)矩陣，對(duì)校準(zhǔn)矩陣進(jìn)行投影變換實(shí)現(xiàn)校準(zhǔn)過(guò)程的具體步驟如下：

a)根據(jù)步驟2中得到的匹配點(diǎn)對(duì)信息，求得相應(yīng)圖像到中心圖像的校準(zhǔn)矩陣h，其中包含有圖像的平移、旋轉(zhuǎn)、縮放；

b)根據(jù)jp為校準(zhǔn)后圖像，j為相應(yīng)圖像，得到整體校準(zhǔn)結(jié)果。

進(jìn)一步的，步驟4中對(duì)整體校準(zhǔn)后的圖像對(duì)進(jìn)行分塊校準(zhǔn)，其具體步驟如下：

a)將陣列圖像中各圖像對(duì)分成小塊，以中心圖像的各小塊為參考圖像塊對(duì)陣列圖像的各小塊分別進(jìn)行步驟1至3的校準(zhǔn)，校準(zhǔn)之后計(jì)算校準(zhǔn)后的小塊與參考圖像塊的相似度值s，即其中為亮度相似度，為對(duì)比度相似度，s(i，j)為結(jié)構(gòu)相似度，其中分別表示圖像的均值，分別表示圖像i，j的方差，σij表示圖像i，j的協(xié)方差；

b)得到的相似度值s與設(shè)定的閾值相比較，如果小于該閾值則利用基于灰度的校準(zhǔn)方法對(duì)該小塊重新校準(zhǔn)，校準(zhǔn)之后再計(jì)算校準(zhǔn)后的小塊與參考圖像塊的相似度大小，看是否達(dá)到設(shè)定閾值，如果仍然達(dá)不到設(shè)定閾值，則對(duì)此塊進(jìn)行重新分塊，再進(jìn)行校準(zhǔn)，直到相似度值達(dá)到設(shè)定閾值；如果重新分塊仍然達(dá)不到要求，則選取相似度最大的相應(yīng)的圖像塊；

c)將陣列圖像中各圖像對(duì)再次均分成大小的小塊，重復(fù)步驟a)和步驟b)對(duì)小塊進(jìn)行校準(zhǔn)，得到兩個(gè)大小不同的校準(zhǔn)后的圖像塊。

進(jìn)一步的，步驟5對(duì)兩次分塊校準(zhǔn)后的結(jié)果進(jìn)行無(wú)縫拼接得到校準(zhǔn)結(jié)果，其具體步驟如下：

a)將第一次分塊校準(zhǔn)之后的圖像塊，按原順序排列得到初始校準(zhǔn)后的陣列圖像；

b)初始校準(zhǔn)后的陣列圖像在校準(zhǔn)過(guò)程的圖像塊平移、旋轉(zhuǎn)、縮放會(huì)出現(xiàn)裂縫，利用第二次分塊校準(zhǔn)后的圖像塊對(duì)這些裂縫進(jìn)行填充得到無(wú)裂縫的最終校準(zhǔn)結(jié)果。

本發(fā)明與已有技術(shù)比較具有以下突出特點(diǎn)和顯著優(yōu)點(diǎn)：

現(xiàn)有技術(shù)一般都是利用特征，灰度值，互信息等或者是一些在原有基礎(chǔ)上改進(jìn)的方法對(duì)圖像進(jìn)行校準(zhǔn)，這些校準(zhǔn)方法無(wú)法消除陣列圖像的視差，尤其是邊緣部分，即利用一個(gè)校準(zhǔn)矩陣無(wú)法實(shí)現(xiàn)陣列圖像的校準(zhǔn)；而本方法首先以中心圖像為參考圖像，利用多尺度特征對(duì)陣列圖像進(jìn)行匹配，接著引入ransac提高匹配精度進(jìn)行整體校準(zhǔn)。然后，仍以中心圖像為參考圖像，利用數(shù)學(xué)極限原理，進(jìn)行分塊校準(zhǔn)，塊足夠小則可消除陣列圖像由于位置關(guān)系不同引起的視差。分塊校準(zhǔn)過(guò)程中至少進(jìn)行兩次分塊，且塊的大小不同，目的是分塊后能達(dá)到無(wú)縫拼接。分塊校準(zhǔn)首先也采用多尺度特征，計(jì)算校準(zhǔn)之后的兩圖像塊的結(jié)構(gòu)相似度，如果相似度值小于設(shè)定閾值則采用基于灰度的校準(zhǔn)方法，如果相似度值仍然小于閾值則改變圖像塊的大小，直到相似度達(dá)到要求，完成校準(zhǔn)過(guò)程。最后根據(jù)兩次分塊校準(zhǔn)結(jié)果完成無(wú)縫拼接，將陣列相機(jī)模組統(tǒng)一到中心相機(jī)視角下。本方法無(wú)需進(jìn)行相機(jī)標(biāo)定，校準(zhǔn)過(guò)程每一小塊對(duì)應(yīng)一個(gè)校準(zhǔn)矩陣,不僅對(duì)于提取到特征點(diǎn)的部分有較好的校準(zhǔn)效果，對(duì)于邊界或其它提取不到特征點(diǎn)的部分也有很好的校準(zhǔn)效果。

附圖說(shuō)明

圖1為本發(fā)明陣列圖像的校準(zhǔn)方法的整體流程圖；

圖2為圖1中分塊校準(zhǔn)的流程圖；

圖3為陣列相機(jī)模組排列方式示例；

圖4為由陣列相機(jī)模組得到的圖像示例；

圖5為原始陣列圖像與中心圖像疊加結(jié)果；

圖6為整體校準(zhǔn)后陣列圖像與中心圖像疊加結(jié)果；

圖7為分塊校準(zhǔn)后陣列圖像與中心圖像疊加結(jié)果。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的技術(shù)內(nèi)容，特舉以下實(shí)施例詳細(xì)說(shuō)明，其目的僅在于更好理解本發(fā)明的內(nèi)容而非限制本發(fā)明的保護(hù)范圍。

陣列相機(jī)模組所得陣列圖像的校準(zhǔn)方法具體步驟如圖1流程圖所示。在計(jì)算機(jī)平臺(tái)編程實(shí)現(xiàn)本發(fā)明的方法，實(shí)現(xiàn)陣列相機(jī)模組的自然場(chǎng)景圖像校準(zhǔn)；參見(jiàn)圖1，本發(fā)明陣列圖像的校準(zhǔn)方法為：首先，針對(duì)陣列相機(jī)模組采集得到的陣列圖像提取特征點(diǎn)，并以中心圖像為參考圖像進(jìn)行匹配，根據(jù)匹配結(jié)果得到其它圖像到中心圖像的校準(zhǔn)矩陣，根據(jù)校準(zhǔn)矩陣對(duì)相應(yīng)圖像進(jìn)行投影變換實(shí)現(xiàn)校準(zhǔn)過(guò)程。仍然以中心圖像為參考圖像，對(duì)得到的校準(zhǔn)結(jié)果進(jìn)行分塊校準(zhǔn)，計(jì)算校準(zhǔn)之后圖像塊之間的相似度，如果相似度值小于設(shè)定閾值則采用基于灰度的校準(zhǔn)方法，如果相似度值仍然小于閾值則改變圖像塊的大小，直到相似度達(dá)到要求，完成的最終校準(zhǔn)過(guò)程。具體操作步驟為：

步驟1，以中心圖像為參考圖像提取并完成各陣列圖像與中心圖像匹配：檢測(cè)各個(gè)陣列圖像的多尺度特征，匹配各陣列圖像與中心圖像的特征點(diǎn)；

步驟2，剔除誤匹配點(diǎn)：根據(jù)ransac算法剔除匹配過(guò)程中的誤匹配點(diǎn)，選取各圖像對(duì)中適量的均勻分布的匹配點(diǎn)對(duì)；

步驟3，完成圖像對(duì)間的整體校準(zhǔn)：根據(jù)得到的匹配點(diǎn)對(duì)信息求得陣列圖像到中心圖像的校準(zhǔn)矩陣，根據(jù)校準(zhǔn)矩陣進(jìn)行投影變換實(shí)現(xiàn)校準(zhǔn)過(guò)程；

步驟4，對(duì)完成整體校準(zhǔn)的圖像對(duì)分塊校準(zhǔn)：對(duì)整體校準(zhǔn)后的各圖像對(duì)進(jìn)行分塊，且至少分兩次大小不同的小塊，分塊之后同樣采用多尺度特征的方法對(duì)各小塊進(jìn)行校準(zhǔn)，如果校準(zhǔn)之后的相似度達(dá)不到要求，則采用基于灰度的校準(zhǔn)方法對(duì)各小塊進(jìn)行校準(zhǔn)，如果仍然達(dá)不到要求則對(duì)此塊進(jìn)行重新分塊，直到相似度達(dá)到要求，完成分塊校準(zhǔn)過(guò)程；

步驟5，對(duì)兩次分塊結(jié)果進(jìn)行無(wú)縫拼接完成最終結(jié)果：根據(jù)步驟4)所得兩次分塊校準(zhǔn)結(jié)果，將塊與塊進(jìn)行無(wú)縫拼接得到最終陣列圖像的校準(zhǔn)結(jié)果。

優(yōu)選的，步驟1中檢測(cè)各個(gè)陣列圖像的多尺度特征，匹配陣列圖像與參考圖像的特征點(diǎn)的具體步驟如下：

a)、構(gòu)建陣列圖像的多尺度空間，利用高斯平滑函數(shù)與原圖像灰度圖像進(jìn)行卷積形成圖像金字塔。金字塔最底層為更高層金字塔表示為其中g(shù)δ(x，y)表示標(biāo)準(zhǔn)差為δ的平滑窗口，l為金字塔層數(shù)；

b)、特征點(diǎn)檢測(cè)，在l層，檢測(cè)矩陣為利用此矩陣的特征值λ1、λ2的平均檢測(cè)函數(shù)檢測(cè)特征點(diǎn)，為了加快速度和使得特征點(diǎn)分布均勻，在不同尺度金字塔圖像的一定半徑內(nèi)選取fhm的局部極值；

c)、利用sift特征計(jì)算特征點(diǎn)方向，l層特征點(diǎn)鄰域(x，y)的方向?yàn)?imgfile="bda0000951915690000083.gif"wi="611"he="93"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>

d)、特征點(diǎn)匹配，利用近鄰法對(duì)兩圖像間提取的特征點(diǎn)進(jìn)行匹配。

優(yōu)選的，步驟3中根據(jù)得到的匹配點(diǎn)對(duì)信息求得陣列圖像到參考圖像的校準(zhǔn)矩陣，對(duì)校準(zhǔn)矩陣進(jìn)行投影變換實(shí)現(xiàn)校準(zhǔn)過(guò)程的具體步驟如下：

a)、根據(jù)上述步驟2中得到的匹配點(diǎn)對(duì)信息，求得相應(yīng)陣列圖像到參考圖像的校準(zhǔn)矩陣h，其中包含有圖像的平移，旋轉(zhuǎn)，縮放；

b)、根據(jù)jp為校準(zhǔn)后圖像，j為相應(yīng)陣列圖像，得到整體校準(zhǔn)結(jié)果。

優(yōu)選的，參見(jiàn)圖2，步驟4中對(duì)整體校準(zhǔn)后的圖像對(duì)進(jìn)行分塊校準(zhǔn)，其具體步驟如下：

a)、將陣列圖像分成小塊，仍然以中心圖像為參考對(duì)這些小塊分別進(jìn)行上述步驟的校準(zhǔn)，校準(zhǔn)之后計(jì)算校準(zhǔn)后的塊與參考圖像塊的相似度值，即其中為亮度相似度，為對(duì)比度相似度，s(i，j)為結(jié)構(gòu)相似度，其中分別表示圖像的均值，分別表示圖像的方差，表示圖像的協(xié)方差；

b)、得到的相似度值s與設(shè)定的閾值相比較，如果小于該閾值則利用基于灰度的配準(zhǔn)對(duì)該塊重新校準(zhǔn)，校準(zhǔn)之后再計(jì)算校準(zhǔn)后的塊與參考?jí)K的相似度大小看是否達(dá)到設(shè)定閾值，如果仍然達(dá)不到設(shè)定閾值則改變塊的大小，再進(jìn)行校準(zhǔn)，直到相似度值達(dá)到設(shè)定閾值，如果仍然達(dá)不到要求，則選取相似度最大的相應(yīng)的圖像塊；

c)、為防止圖像塊校準(zhǔn)過(guò)程中平移，旋轉(zhuǎn)，縮放，后期拼接過(guò)程會(huì)有裂縫，將陣列圖像再次分成大小的塊，重復(fù)上述步驟對(duì)圖像塊進(jìn)行校準(zhǔn)，得到兩個(gè)大小不同的校準(zhǔn)圖像塊。

優(yōu)選的，步驟5對(duì)兩次分塊校準(zhǔn)后的結(jié)果進(jìn)行無(wú)縫拼接得到校準(zhǔn)結(jié)果，其具體步驟如下：

a)、將第一次分塊校準(zhǔn)之后的圖像塊，按原順序排列得到初始的校準(zhǔn)后的陣列圖像；

b)、初始校準(zhǔn)后的陣列圖像在校準(zhǔn)過(guò)程的圖像塊平移，旋轉(zhuǎn)，縮放則會(huì)出現(xiàn)裂縫，利用第二次分塊校準(zhǔn)后的圖像塊對(duì)這些裂縫進(jìn)行填充得到無(wú)裂縫的最終校準(zhǔn)結(jié)果。

圖3為陣列相機(jī)模組排列方式的一種示例；圖4為圖3中示例的陣列相機(jī)模組得到的圖像示例；圖5為原始陣列圖像與中心圖像疊加的結(jié)果，圖6為陣列圖像與中心圖像整體校準(zhǔn)后疊加的結(jié)果，圖7為陣列圖像與中心圖像分塊校準(zhǔn)后疊加的結(jié)果，由圖6可以看出陣列圖像與中心圖像整體校準(zhǔn)之后中心位置校準(zhǔn)效果較好，由于陣列相機(jī)模組位置引起的視差導(dǎo)致邊緣部分效果較差，參見(jiàn)圖6中畫(huà)圈部分，證明了一個(gè)校準(zhǔn)矩陣無(wú)法實(shí)現(xiàn)陣列圖像的校準(zhǔn)，由圖7可以看出分塊校準(zhǔn)后陣列圖像整體校準(zhǔn)效果良好，每一小塊對(duì)應(yīng)自己的校準(zhǔn)矩陣消除了邊緣部分由于位置引起的視差，參見(jiàn)圖7中畫(huà)圈部分，因此驗(yàn)證了本發(fā)明的有效性和實(shí)用性。

以上實(shí)施例是參照附圖，對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說(shuō)明。本領(lǐng)域的技術(shù)人員通過(guò)對(duì)上述實(shí)施例進(jìn)行各種形式上的修改或變更，但不背離本發(fā)明的實(shí)質(zhì)的情況下，都落在本發(fā)明的保護(hù)范圍之內(nèi)。