技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理裝置和圖像處理方法。

背景技術(shù)：

近來(lái)，通過數(shù)字技術(shù)來(lái)補(bǔ)正由多個(gè)圖像(幀)構(gòu)成的動(dòng)態(tài)圖像的模糊。

作為動(dòng)態(tài)圖像的模糊補(bǔ)正的方法，例如在JP特開2011-97217號(hào)公報(bào)中公開了如下技術(shù)：提取圖像的4個(gè)角的特征點(diǎn)，使用該4個(gè)角的特征點(diǎn)的移動(dòng)量來(lái)進(jìn)行圖像的投影變換。

但是，在進(jìn)行動(dòng)態(tài)圖像的模糊補(bǔ)正的情況下，首先提取構(gòu)成動(dòng)態(tài)圖像的圖像的特征點(diǎn)。接下來(lái)，通過遍歷各圖像在時(shí)間上追蹤提取到的特征點(diǎn)來(lái)生成特征點(diǎn)軌跡。接下來(lái)，對(duì)生成的特征點(diǎn)軌跡進(jìn)行平滑化(smoothing)來(lái)生成平滑化軌跡。接下來(lái)，進(jìn)行使各圖像的特征點(diǎn)移動(dòng)到與該特征點(diǎn)對(duì)應(yīng)的平滑化軌跡上的平滑點(diǎn)的圖像變形處理，例如進(jìn)行投影變換。

在此，一般，動(dòng)態(tài)圖像的模糊補(bǔ)正為了阻止映在動(dòng)態(tài)圖像上的背景的模糊而進(jìn)行。但是，由于在動(dòng)態(tài)圖像中瞬間映入運(yùn)動(dòng)體、或者因特征點(diǎn)的追蹤錯(cuò)誤或手抖而產(chǎn)生的視差的影響等，即使作為圖像變形處理來(lái)進(jìn)行投影變換，動(dòng)態(tài)圖像中的圖像也有時(shí)會(huì)突然失真地變形。若這樣的圖像包含在動(dòng)態(tài)圖像中，則動(dòng)態(tài)圖像看起來(lái)就會(huì)不自然。

技術(shù)實(shí)現(xiàn)要素：

為此，本發(fā)明鑒于上述狀況而完成，其目的在于，提供能在圖像的變形處理中抑制圖像不定形地發(fā)生變形的圖像處理裝置等。

本發(fā)明的一個(gè)方面是一種圖像處理裝置，其特征在于，具備：臨時(shí)系 數(shù)取得單元，其基于表示圖像的特征的特征點(diǎn)來(lái)取得用于對(duì)該圖像進(jìn)行投影變換的臨時(shí)系數(shù)；變換單元，其使用所述臨時(shí)系數(shù)取得單元取得的臨時(shí)系數(shù)對(duì)以多個(gè)固定點(diǎn)為頂點(diǎn)的多邊形進(jìn)行投影變換；變形度取得單元，其根據(jù)所述變換單元進(jìn)行的投影變換前的多邊形和該變換單元進(jìn)行的投影變換后的多邊形，取得表示多邊形的變形程度的大小的變形度；判定單元，其判定所述變形度取得單元取得的變形度是否超過變形容許度；和投影變換單元，其在由所述判定單元判定為所述變形度未超過所述變形容許度的情況下，將所述臨時(shí)系數(shù)取得單元取得的臨時(shí)系數(shù)作為正式系數(shù)對(duì)所述圖像進(jìn)行投影變換。

本發(fā)明的另一個(gè)方面是一種圖像處理裝置，其特征在于，具備：投影變換系數(shù)取得單元，其基于表示圖像的特征的特征點(diǎn)來(lái)取得用于對(duì)該圖像進(jìn)行投影變換的投影變換系數(shù)；投影變換單元，其使用所述投影變換系數(shù)取得單元取得的投影變換系數(shù)對(duì)所述圖像進(jìn)行投影變換；變形度取得單元，其根據(jù)所述投影變換單元進(jìn)行的投影變換前的所述圖像和該投影變換單元進(jìn)行的投影變換后的所述圖像，取得表示所述圖像的變形程度的大小的變形度；和判定單元，其判定所述變形度取得單元取得的變形度是否超過變形容許度，在由所述判定單元判定為所述變形度未超過所述變形容許度的情況下，將所述投影變換單元進(jìn)行的投影變換后的所述圖像作為正式的變換圖像。

附圖說(shuō)明

圖1是表示圖像處理裝置的構(gòu)成的框圖。

圖2是表示特征點(diǎn)軌跡和平滑化軌跡的一例的概念圖。

圖3是表示投影變換前的圖像的一例的圖。

圖4是表示投影變換后的圖像的一例的圖。

圖5是表示變形度表的一例的圖。

圖6是表示投影變換處理的流程的一例的流程圖。

具體實(shí)施方式

以下基于附圖來(lái)說(shuō)明本發(fā)明的實(shí)施方式。

如圖1所示那樣，圖像處理裝置100例如是PC(Personal Computer，個(gè)人計(jì)算機(jī))，具備控制部110、顯示部120以及存儲(chǔ)部130。該圖像處理裝置100對(duì)構(gòu)成動(dòng)態(tài)圖像131的各圖像(各幀)進(jìn)行圖像處理。特別地，本實(shí)施方式中的圖像處理裝置100進(jìn)行將圖像變形的投影變換來(lái)作為圖像處理。用于進(jìn)行該投影變換的投影變換系數(shù)使用多對(duì)由表示圖像的特征的特征點(diǎn)和將包含該圖像的動(dòng)態(tài)圖像中的特征點(diǎn)軌跡平滑化后的平滑化軌跡上的平滑點(diǎn)構(gòu)成的一對(duì)配對(duì)來(lái)取得。

以下參考圖2的概念圖來(lái)說(shuō)明先于該投影變換進(jìn)行的求取特征點(diǎn)和平滑點(diǎn)的前處理。另外，由于該前處理是公知技術(shù)，因此作為與圖1所示的實(shí)施方式所涉及的用于投影變換的構(gòu)成不同的一般性理論在以下進(jìn)行說(shuō)明。另外，在圖2中，為了容易理解而以由黑點(diǎn)表示的特征點(diǎn)為1個(gè)的情況為例進(jìn)行說(shuō)明，但構(gòu)成實(shí)際的動(dòng)態(tài)圖像的圖像(幀)包含多個(gè)特征點(diǎn)。

首先，如圖2的特征點(diǎn)追蹤所示那樣，在作為構(gòu)成動(dòng)態(tài)圖像的幀的第1圖像中提取特征點(diǎn)。該特征點(diǎn)是物體的角或線段的交叉那樣的成為圖像中的特征的點(diǎn)。該特征點(diǎn)例如使用Harris/Plessey法、KLT法、Hessian法等算法從圖像中提取。

接下來(lái)，遍歷第2圖像～第4圖像對(duì)該提取出的特征點(diǎn)在時(shí)間上進(jìn)行追蹤。該特征點(diǎn)追蹤例如使用利用了塊匹配、濃度梯度的算法等進(jìn)行。

通過該特征點(diǎn)追蹤，得到圖2中央所示的第1圖像～第4圖像中的Z字形的特征點(diǎn)軌跡。通過對(duì)該特征點(diǎn)軌跡進(jìn)行平滑化(smoothing)而得到以實(shí)線表示的第1圖像～第4圖像的平滑化軌跡。該平滑化例如使用低通濾波器進(jìn)行。

由此，如圖2的特征點(diǎn)和平滑點(diǎn)所示那樣，在各圖像中得到特征點(diǎn)和對(duì)應(yīng)的平滑化軌跡上的平滑點(diǎn)(圓叉)。該特征點(diǎn)和平滑點(diǎn)是一對(duì)配對(duì)，通過按每個(gè)圖像進(jìn)行使該特征點(diǎn)移動(dòng)到平滑點(diǎn)的圖像變形處理(在本實(shí)施方式中特別指投影變換)，來(lái)進(jìn)行動(dòng)態(tài)圖像的模糊補(bǔ)正。另外，實(shí)際上，使圖像中的多個(gè)特征點(diǎn)分別移動(dòng)到對(duì)應(yīng)的平滑點(diǎn)。

以上是先于投影變換進(jìn)行的前處理。

在以下，以該前處理為前提，參考圖1來(lái)說(shuō)明投影變換所涉及的構(gòu)成。

首先，存儲(chǔ)部130是HDD(Hard Disk Drive，硬盤驅(qū)動(dòng)器)等非易失 性存儲(chǔ)器。該存儲(chǔ)部130存儲(chǔ)動(dòng)態(tài)圖像131。該動(dòng)態(tài)圖像131是對(duì)例如通過攝影裝置(攝像機(jī))以規(guī)定的幀速率拍攝到的的動(dòng)態(tài)圖像完成前處理后得到的動(dòng)態(tài)圖像。由此，構(gòu)成動(dòng)態(tài)圖像131的各圖像包含多個(gè)特征點(diǎn)和與該多個(gè)特征點(diǎn)分別成對(duì)的多個(gè)平滑點(diǎn)。

接下來(lái)，顯示部120由液晶或有機(jī)EL(Electroluminescence，電致發(fā)光)等顯示器和使該顯示器均勻發(fā)光的背光燈等光源構(gòu)成。顯示部120具備顯示動(dòng)態(tài)圖像、圖像的顯示畫面(屏幕)121。

接下來(lái)，控制部110由CPU(Central Processing Unit，中央處理器)、ROM(Read Only Memory，只讀存儲(chǔ)器)、RAM(Random Access Memory，隨機(jī)存取存儲(chǔ)器)等構(gòu)成?？刂撇?10的CPU通過讀出并執(zhí)行存儲(chǔ)于ROM的投影變換用的程序，來(lái)實(shí)現(xiàn)各功能(臨時(shí)系數(shù)取得部111、多邊形變換部112、變形度取得部113、判定部114、選擇部115以及投影變換部116)。

臨時(shí)系數(shù)取得部111基于表示圖像的特征的特征點(diǎn)來(lái)取得用于對(duì)該圖像進(jìn)行投影變換的臨時(shí)系數(shù)。具體來(lái)說(shuō)，臨時(shí)系數(shù)取得部111基于多對(duì)由圖像所包含的特征點(diǎn)和平滑點(diǎn)構(gòu)成的一對(duì)配對(duì)當(dāng)中任意選擇出的4個(gè)配對(duì)來(lái)取得臨時(shí)系數(shù)

該臨時(shí)系數(shù)通過以下的式(1)取得。

[數(shù)1]

在此，(x1～x4，y1～y4)是4個(gè)特征點(diǎn)的坐標(biāo)。另外，(X1～X4，Y1～Y4)是與該4個(gè)特征點(diǎn)分別成為配對(duì)的平滑點(diǎn)的坐標(biāo)。另外，(a，b，c，d，e，f，g，h)是用于投影變換的臨時(shí)系數(shù)。如從該式(1)所明確的那樣，為了求取用于投影變換的投影變換系數(shù)，特征點(diǎn)和平滑點(diǎn)的1對(duì)配對(duì)需要是4對(duì)。

接下來(lái)，多邊形變換部112使用臨時(shí)系數(shù)取得部111所取得的臨時(shí)系數(shù)，對(duì)以多個(gè)固定點(diǎn)為頂點(diǎn)的多邊形(三角形～n邊形)進(jìn)行投影變換。在本實(shí)施方式中，作為一例，將多邊形是以圖像4個(gè)角的4個(gè)固定點(diǎn)為頂點(diǎn)的長(zhǎng)方形作為前提進(jìn)行說(shuō)明。即，多邊形變換部112將圖像設(shè)為長(zhǎng)方形，借助臨時(shí)系數(shù)進(jìn)行投影變換。

在此，在圖3示出圖像10。該圖像10為了容易理解而以映在顯示畫面121上為前提進(jìn)行說(shuō)明，但是，當(dāng)然圖像處理裝置100也可以不讓用戶看到而進(jìn)行內(nèi)部處理。該圖像10是構(gòu)成動(dòng)態(tài)圖像131的1幀，是取得臨時(shí)系數(shù)的圖像。該圖像10的4個(gè)角的坐標(biāo)是(x1，y1)～(x4，y4)。Xsize以及Ysize例如由基于像素?cái)?shù)的實(shí)際尺寸來(lái)確定。另外，以下，只要不需要特別確定并說(shuō)明是圖3所示的圖像10，就在與其區(qū)別的意義下僅稱作圖像來(lái)進(jìn)行說(shuō)明。

多邊形變換部112使用所取得的臨時(shí)系數(shù)，通過以下的式(2)對(duì)該4個(gè)角的坐標(biāo)(x1，y1)～(x4，y4)進(jìn)行投影變換。

[數(shù)2]

在此，(x_i，y_i)是圖像中的任意坐標(biāo)，i是1以上的自然數(shù)。(x’，y’)是投影變換后的坐標(biāo)。多邊形變換部112將臨時(shí)系數(shù)(a，b，c，d，e，f，g，h)和4個(gè)角的坐標(biāo)(x1，y1)～(x4，y4)代入到式(2)中，求取投影變換后的坐標(biāo)(x’1，y’1)～(x’4，y’4)，來(lái)將圖像10變形。在圖4中示出投影變換后的圖像10’?？芍?，相比于圖3的投影變換前的圖像10，圖4所示的投影變換后的圖像10’發(fā)生了變形。

接下來(lái)，變形度取得部113根據(jù)多邊形變換部112進(jìn)行的投影變換前的多邊形和該多邊形變換部112進(jìn)行的投影變換后的多邊形，取得表示多邊形的變形程度的大小的變形度。在本實(shí)施方式中，變形度取得部113根據(jù)圖3的投影變換前的四邊形的圖像10和圖4的投影變換后的四邊形的圖像10’取得變形度。

該變形度根據(jù)圖像10’的各邊(l1～l4)和對(duì)角線(l5以及l(fā)6)的長(zhǎng)度、 與這些各邊和對(duì)角線所對(duì)應(yīng)的圖像10的各邊和對(duì)角線的長(zhǎng)度之比來(lái)求取。變形度取得部113首先通過以下的式(3)來(lái)求取圖像10’的各邊(l1～l4)和對(duì)角線(l5以及l(fā)6)的長(zhǎng)度。

[數(shù)3]

接下來(lái)，變形度取得部113基于投影變換后的圖像10’的被求取到的長(zhǎng)度，通過以下的式(4)來(lái)求取與投影變換前的圖像10的長(zhǎng)度之比。

[數(shù)4]

變形度取得部113選擇該ratio1～ratio6當(dāng)中的最大值(Max_ratio)、和最小值(Min_ratio)，將其比作為圖像的變形率。即，圖像(四邊形)的變形率成為Min_ratio/Max_ratio。

該變形率表示在投影變換前后多邊形以何種程度進(jìn)行變形，如圖5所示那樣，變形率100％是未變形，即變形度成為0，由于變形程度隨著該變形率降低而變大，因此變形度如圖中所示那樣變大。在通過比例尺變換(放大縮小)、平行移動(dòng)、旋轉(zhuǎn)移動(dòng)等而使圖形在變形前后重合的情況下，該變形率成為100％，即，在相似形的情況下成為變形度0。為此，只要不成為相似形(只要兩者不重合)，變形度都大于0。

判定部114判定變形度取得部113所取得的變形度是否超過變形容許度。該變形容許度是為了不使動(dòng)態(tài)圖像看起來(lái)不自然而預(yù)先設(shè)定的，且該變形容許度是對(duì)圖像的不定形的變形進(jìn)行制約的基準(zhǔn)。在本實(shí)施方式中，作為一例，在變形容許度為5的前提下進(jìn)行說(shuō)明。判定部114判定所取得的變形度是否超過變形容許度5。

在此，在判定部114判定為所取得的變形度超過變形容許度5，即所取得的變形度為6以上的情況下，重復(fù)進(jìn)行各部(臨時(shí)系數(shù)取得部111、多邊形變換部112、變形度取得部113)的處理。即，反復(fù)執(zhí)行各部的處理，直到取得使所取得的變形度不超過變形容許度5的臨時(shí)系數(shù)為止。

接下來(lái)，在通過判定部114反復(fù)進(jìn)行判定而判定為不超過變形容許度的變形度有多個(gè)的情況下，選擇部115選擇該不超過變形容許度的用于對(duì)多個(gè)多邊形分別進(jìn)行投影變換的多個(gè)臨時(shí)系數(shù)當(dāng)中作為正式系數(shù)來(lái)使用的臨時(shí)系數(shù)。該選擇部115的處理是從多個(gè)臨時(shí)系數(shù)中選擇1個(gè)臨時(shí)系數(shù)作為正式系數(shù)的所謂的最佳化處理。該處理的詳細(xì)內(nèi)容在后面敘述。

接下來(lái)，投影變換部116使用選擇部115所選擇出的正式系數(shù)來(lái)對(duì)圖像進(jìn)行投影變換。在本實(shí)施方式中，投影變換部115使用正式系數(shù)對(duì)圖像10進(jìn)行投影變換。在此，所謂進(jìn)行投影變換，是指將正式系數(shù)(a，b，c，d，e，f，g，h)和構(gòu)成圖像10的像素的坐標(biāo)(x_i，y_i)代入到式(2)來(lái)得到投影變換后的坐標(biāo)(x’，y’)。通過對(duì)圖像10的全部像素各自的每個(gè)坐標(biāo)重復(fù)該處理，從而得到由以投影變換后的坐標(biāo)位置確定的像素構(gòu)成的圖像，即投影變換后的圖像。

以上說(shuō)明了圖像處理裝置100的構(gòu)成。以下，參考圖6來(lái)說(shuō)明由圖像處理裝置100的各部的功能執(zhí)行的投影變換處理。該投影變換處理針對(duì)前處理完畢的動(dòng)態(tài)圖像131以用戶給出投影變換處理的執(zhí)行指示為契機(jī)而開始。另外，并不限于此，當(dāng)然也可以基于用戶的指示對(duì)動(dòng)態(tài)圖像131一氣呵成地執(zhí)行前處理和投影變換處理。另外，在以下的說(shuō)明中，將構(gòu)成動(dòng)態(tài)圖像131的多個(gè)圖像當(dāng)中的圖像10取為合適例來(lái)進(jìn)行說(shuō)明。

首先，臨時(shí)系數(shù)取得部111判定由特征點(diǎn)和平滑點(diǎn)構(gòu)成的配對(duì)是否是4個(gè)配對(duì)以上(步驟S11)。在本實(shí)施方式中，臨時(shí)系數(shù)取得部111判定在圖像10中由特征點(diǎn)和平滑點(diǎn)構(gòu)成的配對(duì)是否是4個(gè)配對(duì)以上。在此， 在不是4個(gè)配對(duì)以上的情況下(步驟S11“否”)，由于不能求得用于投影變換的臨時(shí)系數(shù)，因此立刻結(jié)束。

另一方面，在是4個(gè)配對(duì)以上的情況下(步驟S11“是”)，臨時(shí)系數(shù)取得部111隨機(jī)選擇4個(gè)配對(duì)(步驟S12)。在本實(shí)施方式中，臨時(shí)系數(shù)取得部111從圖像10中隨機(jī)選擇4對(duì)特征點(diǎn)和平滑點(diǎn)的配對(duì)。

接下來(lái)，臨時(shí)系數(shù)取得部111基于所選擇出的4個(gè)配對(duì)來(lái)取得臨時(shí)系數(shù)(步驟S13)。具體來(lái)說(shuō)，臨時(shí)系數(shù)取得部111按照上述的要點(diǎn)，根據(jù)所選擇出的4個(gè)配對(duì)的特征點(diǎn)的坐標(biāo)和平滑點(diǎn)的坐標(biāo)，使用式(1)來(lái)取得臨時(shí)系數(shù)(a，b，c，d，e，f，g，h)。

接下來(lái)，多邊形變換部112使用所取得的臨時(shí)系數(shù)對(duì)多邊形進(jìn)行投影變換(步驟S14)。在本實(shí)施方式中，多邊形變換部112按照上述的要點(diǎn)，使用式(2)對(duì)圖3所示的投影變換前的四邊形的圖像10進(jìn)行投影變換，得到圖4所示的投影變換后的圖像10’。

接下來(lái)，變形度取得部113取得多邊形的變形度(步驟S15)。具體來(lái)說(shuō)，變形度取得部113按照上述的要點(diǎn)，使用式(3)以及式(4)來(lái)取得四邊形的圖像10的變形度。

接下來(lái)，判定部114判定變形度是否超過變形容許度(步驟S16)。在本實(shí)施方式中，判定部114判定圖像10的變形度是否超過變形容許度5。

在此，在變形度超過變形容許度的情況下(步驟S16“是”)，重復(fù)步驟S12至S16的處理，直到變形度變得不超過變形容許度為止(步驟S16“否”)。

即，臨時(shí)系數(shù)取得部111在每次由判定部114判定為變形度超過變形容許度時(shí)，將隨機(jī)選擇出的4個(gè)配對(duì)當(dāng)中的至少1個(gè)配對(duì)改變成與該4個(gè)配對(duì)不同的配對(duì)來(lái)反復(fù)取得臨時(shí)系數(shù)。多邊形變換部112在每次由臨時(shí)系數(shù)取得部111取得臨時(shí)系數(shù)時(shí)，使用該取得的臨時(shí)系數(shù)對(duì)多邊形(本實(shí)施方式中為四邊形的圖像10)反復(fù)進(jìn)行投影變換。變形度取得部113在每次由多邊形變換部112對(duì)多邊形進(jìn)行投影變換時(shí)，基于該投影變換后的多邊形反復(fù)取得變形度。判定部114在每次由變形度取得部113取得變形度時(shí)，反復(fù)判定該取得的變形度是否超過變形容許度(步驟S12至S16的循環(huán))。由此，將使圖像10變形成看上去有不協(xié)調(diào)感程度的臨時(shí)系數(shù)排除。

在此，在變形度未超過變形容許度的情況下(步驟S16“否”)，選擇部115使用臨時(shí)系數(shù)對(duì)全部特征點(diǎn)進(jìn)行投影變換(步驟S17)。在本實(shí)施方式中，選擇部115使用臨時(shí)系數(shù)和式(2)對(duì)圖像10所包含的全部特征點(diǎn)各自的坐標(biāo)進(jìn)行投影變換。

接下來(lái)，選擇部115算出投影變換后的全部特征點(diǎn)和與全部特征點(diǎn)分別配對(duì)的平滑點(diǎn)的距離的總和(步驟S18)。具體來(lái)說(shuō)，選擇部115按每個(gè)特征點(diǎn)求取投影變換后的特征點(diǎn)的坐標(biāo)和與該特征點(diǎn)配對(duì)的平滑點(diǎn)的坐標(biāo)的距離(歐幾里德距離)，對(duì)求得的各個(gè)距離求總和。

另外，有時(shí)雖然針對(duì)為了求取臨時(shí)系數(shù)而隨機(jī)選擇出的4個(gè)配對(duì)，特征點(diǎn)和平滑點(diǎn)通過投影變換而重合(即距離為0)，但針對(duì)其他配對(duì)，特征點(diǎn)和平滑點(diǎn)不重合(即距離大于0)。為此，由于總和越小則全部特征點(diǎn)越接近于全部平滑點(diǎn)，因此優(yōu)選作為正式系數(shù)。

接下來(lái)，選擇部115判定算出的總和是否是最小(步驟S19)。具體來(lái)說(shuō)，選擇部115判定在使用本次的臨時(shí)系數(shù)算出的總和以及前次使用不同的臨時(shí)系數(shù)算出的總和中哪一者最小。

在此，若使用本次的臨時(shí)系數(shù)算出的總和最小(步驟S19“是”)，則選擇部115將其作為正式系數(shù)暫時(shí)保存(步驟S20)，前進(jìn)到步驟S21。另一方面，若使用本次的臨時(shí)系數(shù)算出的總和不是最小(步驟S19“否”)，則跳過步驟S20而前進(jìn)到步驟S21。

在步驟S21，控制部110判定是否結(jié)束了規(guī)定次數(shù)(步驟S21)。在此，在未結(jié)束規(guī)定次數(shù)的情況下(步驟S21“否”)，重復(fù)步驟S12至S20的處理，直到結(jié)束規(guī)定次數(shù)(例如500次)為止(步驟S21“是”)。

重復(fù)該處理，僅采用步驟S12至S16中不使圖像10不定形地發(fā)生變形的臨時(shí)系數(shù)來(lái)進(jìn)行步驟S17至S20的處理，進(jìn)行臨時(shí)系數(shù)的最佳化。換言之，從在步驟S12至S16中最初挑選出的不使圖像10不定形地發(fā)生變形的多個(gè)臨時(shí)系數(shù)當(dāng)中，選擇部115選擇對(duì)圖像10的全部特征點(diǎn)的坐標(biāo)進(jìn)行投影變換而得到的投影變換后的坐標(biāo)和分別與該全部特征點(diǎn)配對(duì)的平滑點(diǎn)的坐標(biāo)之間的距離的總和最小的臨時(shí)系數(shù)，作為正式系數(shù)。即，選擇部115在根據(jù)圖像10不失真的特征點(diǎn)求得的多個(gè)臨時(shí)系數(shù)當(dāng)中，選擇全部特征點(diǎn)最接近于全部平滑點(diǎn)的臨時(shí)系數(shù)，作為正式系數(shù)。

返回圖6，在結(jié)束規(guī)定次數(shù)后(步驟S21“是”)，投影變換部116使用暫時(shí)保存的正式系數(shù)對(duì)圖像進(jìn)行投影變換(步驟S22)，將處理結(jié)束。具體來(lái)說(shuō)，投影變換部116將最佳化的臨時(shí)系數(shù)作為正式系數(shù)，來(lái)對(duì)圖像10進(jìn)行投影變換，將處理結(jié)束。由此，能使圖像10以不超過變形容許度的方式進(jìn)行變形，且使圖像10中的全部特征點(diǎn)最接近于全部平滑點(diǎn)。

另外，圖像10是一例，對(duì)作為構(gòu)成動(dòng)態(tài)圖像131的幀的每個(gè)圖像反復(fù)進(jìn)行由各部(臨時(shí)系數(shù)取得部111、多邊形變換部112、變形度取得部113、判定部114、選擇部115、投影變換部116)的各處理構(gòu)成的一系列處理(投影變換處理)。這時(shí)，變形容許度的值可以對(duì)于全部圖像來(lái)說(shuō)是共同的。

以上，根據(jù)本實(shí)施方式中的圖像處理裝置100，通過具備用于投影變換的各部(臨時(shí)系數(shù)取得部111、多邊形變換部112、變形度取得部113、判定部114、投影變換部116)，能避免發(fā)生將會(huì)進(jìn)行超過圖像的變形容許度那樣的投影變換的臨時(shí)系數(shù)作為正式系數(shù)的情況。由此，即使進(jìn)行投影變換，也不會(huì)發(fā)生由于運(yùn)動(dòng)體的映入、特征點(diǎn)的追蹤錯(cuò)誤、視差的影響等而使動(dòng)態(tài)圖像中的圖像突然失真地變形這樣的情況。因此，能抑制圖像的不定形的變形。

另外，根據(jù)該圖像處理裝置100，通過具備選擇部115，能從不超過變形容許度的多個(gè)臨時(shí)系數(shù)當(dāng)中選擇圖像中的全部特征點(diǎn)最接近于全部平滑點(diǎn)的臨時(shí)系數(shù)作為正式系數(shù)。由此，能抑制動(dòng)態(tài)圖像中的圖像突然失真那樣的不自然的變形，且能抑制動(dòng)態(tài)圖像的模糊。

另外，在本實(shí)施方式中，多邊形變換部112使用臨時(shí)系數(shù)，對(duì)以圖像10的4個(gè)角的4個(gè)固定點(diǎn)為頂點(diǎn)的四邊形進(jìn)行投影變換。由此，能直觀地感知實(shí)際的圖像10有多么失真。另外，使用圖像4個(gè)角的四邊形作為多邊形是一例，也可以借助三角形或5邊形以上的多邊形來(lái)求取變形度。另外，該變形度不必是利用了圖像的變形度，也可以在與圖像不同的二維平面上以數(shù)學(xué)方法對(duì)多邊形進(jìn)行投影變換，來(lái)求取變形度。

另外，在本實(shí)施方式中的投影變換處理中，在步驟S17至S21的最佳化處理(所謂的RANSAC(Random Sample Consensus，隨機(jī)采樣一致性)法)的前階段基于變形度來(lái)縮小臨時(shí)系數(shù)的范圍。由于該處理的運(yùn)算由數(shù) 個(gè)步驟構(gòu)成，因此處理能力低的CPU也能進(jìn)行投影變換處理，能實(shí)現(xiàn)投影變換處理的低耗電驅(qū)動(dòng)。

以上結(jié)束了實(shí)施方式的說(shuō)明，但圖像處理裝置100的具體的構(gòu)成、圖6所示的投影變換處理的內(nèi)容當(dāng)然并不限于上述的實(shí)施方式中的說(shuō)明。

在上述的圖6的投影變換處理中，進(jìn)行了步驟S17至S21的最佳化處理，但并不限于此。例如，也可以在不進(jìn)行該最佳化處理而在步驟S16中判定為變形度未超過變形容許度的情況下，投影變換部116立即將取得的臨時(shí)系數(shù)作為正式系數(shù)，來(lái)對(duì)圖像進(jìn)行投影變換。由此，除了上述的實(shí)施方式的效果以外，由于能減輕最佳化處理的處理負(fù)擔(dān)，因此能縮短處理時(shí)間。

另外，在上述的實(shí)施方式中的圖像處理裝置100是PC的前提下進(jìn)行了說(shuō)明，但并不限于此。例如，也可以由攝影裝置具備圖像處理裝置100的各部的功能，進(jìn)行投影變換處理。在該情況下，若在用戶拍攝動(dòng)態(tài)圖像的過程中實(shí)時(shí)地進(jìn)行投影變換處理，則能在實(shí)時(shí)取景中降低動(dòng)態(tài)圖像的模糊補(bǔ)正，并能抑制幀的失真。

另外，在上述的實(shí)施方式中，使用臨時(shí)系數(shù)對(duì)多邊形進(jìn)行投影變換，取得變換前的多邊形與變換后的多邊形的變形度，判定變形度是否超過變形容許度，使用判定為不超過變形容許度的臨時(shí)系數(shù)來(lái)對(duì)圖像進(jìn)行投影變換，但并不限于此。

例如，臨時(shí)系數(shù)取得部111基于表示圖像的特征的特征點(diǎn)來(lái)取得用于對(duì)該圖像進(jìn)行投影變換的投影變換系數(shù)。即，臨時(shí)系數(shù)取得部111取得投影變換系數(shù)，來(lái)取代臨時(shí)系數(shù)。接下來(lái)，投影變換部116使用所取得的投影變換系數(shù)對(duì)圖像進(jìn)行投影變換。接下來(lái)，多邊形變換部112根據(jù)投影變換前的源圖像和投影變換后的圖像取得變形度。接下來(lái)，判定部114判定所取得的變形度是否超過變形容許度。然后，在由判定部114判定為變形度未超過變形容許度的情況下，將投影變換后的圖像作為正式的變換圖像即可。由此，與上述實(shí)施方式相比，能進(jìn)一步縮短處理時(shí)間。

另外，本發(fā)明的圖像處理裝置100的各功能還能由通常的PC等計(jì)算機(jī)實(shí)施。具體來(lái)說(shuō)，在上述實(shí)施方式中，說(shuō)明了將投影變換用的程序預(yù)先存儲(chǔ)在控制部110的ROM中。但也可以將用于實(shí)現(xiàn)圖1的各部的功能的 程序保存分布于軟盤、CD-ROM(Compact Disc Read Only Memory，只讀光盤存儲(chǔ)器)、DVD(Digital Versatile Disc，數(shù)字多功能盤)以及MO(Magneto-Optical Disc，磁光盤)等計(jì)算機(jī)可讀的記錄介質(zhì)，將該程序安裝在計(jì)算機(jī)中，由此構(gòu)成能實(shí)現(xiàn)上述的各部的功能的計(jì)算機(jī)。

另外，也可以將程序預(yù)先保存在因特網(wǎng)等通信網(wǎng)絡(luò)上的服務(wù)器裝置所具有的盤裝置等中，例如能夠由計(jì)算機(jī)進(jìn)行下載等。

以上說(shuō)明了本發(fā)明的實(shí)施方式，但該實(shí)施方式只是例示，并不限定本發(fā)明的技術(shù)范圍。本發(fā)明能取其他各種實(shí)施方式，進(jìn)而能在不脫離本發(fā)明的要旨的范圍內(nèi)進(jìn)行省略或置換等各種變更。這些實(shí)施方式、其變形也包含在記載于權(quán)利要求書的發(fā)明和其等同的范圍中。