專利名稱：圖像處理裝置、圖像處理方法以及圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法以及圖像處理程序。
背景技術(shù)：
目前，作為圖像處理裝置已知有結(jié)合所拍攝的圖像來作成一張廣角靜止圖像即全景靜止圖像的裝置(例如，參照專利文獻I)。專利文獻I所述的圖像處理裝置在結(jié)合第I圖像和第2圖像時，在第I圖像與第2圖像重合的區(qū)域內(nèi)使小區(qū)域圖形匹配后進行定位，從一個圖像中切取重疊區(qū)域，使已切取重疊區(qū)域的圖像與另ー個圖像結(jié)合來作成全景 靜止圖像?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I :日本特開平5-67208號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題但是，在專利文獻I所述的裝置中，需要確定重疊區(qū)域外緣的處理，所以有時處理負(fù)荷增加。另外，例如在合成第I圖像、第2圖像以及第3圖像的情況下，需要預(yù)先記錄各個圖像分別進行圖形匹配。因此，有可能隨著結(jié)合的圖像增加，處理負(fù)荷及必要資源也増加。因此，本發(fā)明是為了解決這樣的技術(shù)課題而作出的，其目的是提供可在降低多個圖像的合成處理負(fù)荷的同時提高所合成圖像的品質(zhì)的圖像處理裝置、圖像處理方法以及圖像處理程序。用于解決課題的手段S卩，本發(fā)明的圖像處理裝置每當(dāng)輸入第2圖像時使I張圖像或結(jié)合多個上述圖像而構(gòu)成的第I圖像與所輸入的上述第2圖像結(jié)合來逐次生成合成圖像，該圖像處理裝置具備中心位置取得部，其取得構(gòu)成上述第I圖像的圖像各自的中心點即第I中心點的位置信息以及上述第2圖像的中心點即第2中心點的位置信息；以及合成圖像生成部，其取得構(gòu)成上述第I圖像的圖像中與上述第2圖像重疊的圖像的上述第I中心點，并根據(jù)所取得的上述第I中心點的位置信息以及上述第2中心點的位置信息，將所取得的上述第I中心點與上述第2中心點的中垂線作為上述第I圖像和上述第2圖像的連接處進行結(jié)合，生成上述合成圖像。在本發(fā)明的圖像處理裝置中，利用中心位置取得部取得構(gòu)成第I圖像的圖像各自的第I中心點以及第2圖像的第2中心點的位置信息，利用合成圖像生成部取得構(gòu)成第I圖像的圖像中與第2圖像重疊的圖像的第I中心點，并根據(jù)所取得的第I中心點的位置信息以及第2中心點的位置信息，將所取得的第I中心點與第2中心點的中垂線作為第I圖像和第2圖像的連接處進行結(jié)合，生成合成圖像。這樣，在逐次合成第I圖像與所輸入的第2圖像時，可根據(jù)圖像中心點的信息來確定圖像的連接處而進行結(jié)合，所以能夠高速且低負(fù)荷地實現(xiàn)逐次合成處理。此外，可通過采用中垂線來降低2個圖像的偏移量，所以能夠提高合成圖像的品質(zhì)。這里，上述第I圖像可以是在上述第2圖像緊前輸入的圖像或由上述合成圖像生成部生成的上述合成圖像。另外，上述中心位置取得部優(yōu)選根據(jù)上述第I圖像以及上述第2圖像來取得運動矢量，并根據(jù)所取得的上述運動矢量來取得上述位置信息。通過這樣的結(jié)構(gòu)可高速且適當(dāng)?shù)嘏袛嗨Y(jié)合的第2圖像的位置。另外，上述合成圖像生成部優(yōu)選根據(jù)與中垂線的距離來決定上述合成圖像的規(guī)定位置的像素值，上述中垂線是離該規(guī)定位置最近的上述第I中心點和上述第2中心點的中垂線。通過這樣的結(jié)構(gòu)，可利用與中垂線的距離信息來決定合成圖像的規(guī)定位置的像素值，所以能夠利用簡單的運算處理來合成圖像。另外，上述合成圖像生成部優(yōu)選在上述距離大于規(guī)定值且相比于上述第2中心點上述第I中心點更接近于上述規(guī)定位置時，將上述第I圖像的像素值作為該規(guī)定位置的像素值，在上述距離大于規(guī)定值且相比于上述第I中心點上述第2中心點更接近于上述規(guī)定位置時，將上述第2圖像的像素值作為該規(guī)定位置的像素值，在上述距離是規(guī)定值以下吋，合成上述第I圖像的像素值與上述第2圖像的像素值作為該規(guī)定位置的像素值。通過這樣的結(jié)構(gòu)，可根據(jù)中垂線將合成像素值的區(qū)域限定為規(guī)定范圍的區(qū)域，所以能夠高速地進行合成圖像的生成處理，并且例如在第2圖像中具有模糊或偏移的情況下也能夠減小對合成圖像的影響并生成平滑的合成圖像。另外，上述合成圖像生成部優(yōu)選將上述規(guī)定位置設(shè)為以格狀排列的格點的位置，并按上述格點來記錄與該格點最近的第I中心點。這樣，通過記錄與格點最近的圖像的第I中心點，而不需要按第I圖像與第2圖像重疊的區(qū)域的每個像素來比較構(gòu)成第I圖像的全部圖像的中心點與第2圖像的中心點，所以可降低處理時間或處理成本。另外，上述合成圖像生成部優(yōu)選根據(jù)按上述格點求出的上述距離來決定被上述格點所包圍的塊內(nèi)的像素值。通過這樣的結(jié)構(gòu)，不用全部計算塊內(nèi)的各個像素位置中的距離，就能夠決定塊內(nèi)的像素值，所以可降低運算處理的負(fù)荷。另外，上述合成圖像生成部優(yōu)選在包圍上述塊的全部上述格點的上述距離大于規(guī)定值且相比于上述第2中心點上述第I中心點更接近于包圍上述塊的全部上述格點的位置時，將上述第I圖像的像素值作為該塊內(nèi)的像素值，在包圍上述塊的全部上述格點的上述距離大于規(guī)定值且包圍上述塊的全部上述格點的位置相比于上述第I中心點更接近于上述第2中心點時，將上述第2圖像的像素值作為該塊內(nèi)的像素值。通過這樣的結(jié)構(gòu)，可判斷是否按照被格點包圍的塊進行復(fù)制，并以塊為單位執(zhí)行合成處理，所以能夠進一歩降低運算處理的負(fù)荷。此外，上述合成圖像生成部最好在生成上述合成圖像之后，更新按格點記錄的最近的上述第I中心點。通過這樣的結(jié)構(gòu)，可適當(dāng)進行逐次合成。另外，本發(fā)明的圖像處理方法每當(dāng)輸入第2圖像時使I張圖像或結(jié)合多個上述圖像而構(gòu)成的第I圖像和所輸入的上述第2圖像結(jié)合來逐次生成合成圖像，該圖像處理方法具有以下的步驟中心位置取得步驟，其取得構(gòu)成上述第I圖像的圖像各自的中心點即第I中心點的位置信息以及上述第2圖像的中心點即第2中心點的位置信息；以及合成圖像生成步驟，其取得構(gòu)成上述第I圖像的圖像中與上述第2圖像重疊的圖像的上述第I中心點，并根據(jù)所取得的上述第I中心點的位置信息以及上述第2中心點的位置信息，將所取得的上述第I中心點與上述第2中心點的中垂線作為上述第I圖像以及上述第2圖像的連接處進行結(jié)合，生成上述合成圖像。
根據(jù)本發(fā)明的圖像處理方法，可實現(xiàn)與上述本發(fā)明的圖像處理裝置同樣的效果。另外，本發(fā)明的圖像處理程序使計算機發(fā)揮如下這樣的功能，每當(dāng)輸入第2圖像時使I張圖像或結(jié)合多個上述圖像而構(gòu)成的第I圖像和所輸入的上述第2圖像結(jié)合來逐次生成合成圖像，該圖像處理程序的特征是，作為以下単元發(fā)揮功能中心位置取得部，其取得構(gòu)成上述第I圖像的圖像各自的中心點即第I中心點的位置信息以及上述第2圖像的中心點即第2中心點的位置信息；以及合成圖像生成部，其取得構(gòu)成上述第I圖像的圖像中與上述第2圖像重疊的圖像的上述第I中心點，并根據(jù)所取得的上述第I中心點的位置信息以及上述第2中心點的位置信息，將所取得的上述第I中心點與上述第2中心點的中垂線作為上述第I圖像以及上述第2圖像的連接處進行結(jié)合，生成上述合成圖像。根據(jù)本發(fā)明的圖像處理程序，可實現(xiàn)與上述本發(fā)明的圖像處理裝置同樣的效果。發(fā)明效果根據(jù)本發(fā)明，可在降低多個圖像的合成處理負(fù)荷的同時提高所合成圖像的品質(zhì)。


圖I是搭載有實施方式的圖像處理裝置的便攜終端的功能框圖。圖2是搭載有實施方式的圖像處理裝置的便攜終端的硬件結(jié)構(gòu)圖。圖3是說明已經(jīng)輸入的圖像和之后輸入的圖像的中心點的距離的概要圖。圖4是說明合成圖像與之后輸入的圖像的中心點的距離的概要圖。圖5是示出實施方式的圖像處理裝置的動作的流程圖。圖6是說明已經(jīng)輸入的圖像與之后輸入的圖像的合成的概要圖。圖7是說明合成圖像的概要圖。圖8是說明合成圖像與之后輸入的圖像的合成的概要圖。圖9是說明合成圖像的概要圖。
具體實施例方式以下，參照附圖對本發(fā)明的實施方式進行說明。此外，在各圖中對相同或相當(dāng)部分標(biāo)注同一符號，并省略重復(fù)的說明。本實施方式的圖像處理裝置是每當(dāng)輸入時結(jié)合輸入圖像來逐次作成一張圖像的裝置，適用于例如實時地將連續(xù)拍攝的多個圖像結(jié)合而生成I張比攝像圖像廣角的全景圖像的情況。本實施方式的圖像處理裝置適合安裝在例如移動電話、數(shù)碼相機、PDA (PersonalDigital Assistant:個人數(shù)字助理)等資源有限的移動終端，但不僅限于此，例如也可安裝在通常的計算機系統(tǒng)中。此外，以下考慮了說明理解的容易性，作為本發(fā)明的圖像處理裝置的一例，說明在具有照相機功能的便攜終端安裝的圖像處理裝置。
圖I是具備本實施方式的圖像處理裝置I的便攜終端2的功能框圖。圖I所示的便攜終端2例如是用戶所攜帯的移動終端，具有圖2所示的硬件結(jié)構(gòu)。圖2是便攜終端2的硬件結(jié)構(gòu)圖。如圖2所示，便攜終端2物理上構(gòu)成為包含CPU (Central Processing Unit 中央處理單兀)100、ROM (Read Only Memory :只讀存儲器)101 以及 RAM (Random AccessMemory :隨機存取存儲器)102等主存儲裝置、照相機或鍵盤等輸入設(shè)備103、顯示器等輸出設(shè)備104、硬盤等輔助存儲裝置105等的通常計算機系統(tǒng)。通過在CPU100、R0M101、RAM102等硬件上讀入規(guī)定的計算機軟件來以CPU100的控制為基礎(chǔ)使輸入設(shè)備103以及輸出設(shè)備104動作，并且進行主存儲裝置及輔助存儲裝置105中的數(shù)據(jù)讀出以及寫入，由此來實現(xiàn)后述便攜終端2以及圖像處理裝置I的各個功能。此外，上述說明雖然作為便攜終端2的硬件結(jié)構(gòu)進行了說明，但圖像處理裝置I也可構(gòu)成為包含CPU100、R0M101以及RAM102等主存儲裝置、輸入設(shè)備103、輸出設(shè)備104、輔助存儲裝置105等的通常計算機系統(tǒng)。另外，便攜終端2也可具有通信模塊等。如圖I所示，便攜終端2具備照相機30、圖像處理裝置I以及顯示部31。照相機 30具有拍攝圖像的功能。作為照相機30例如可采用攝像元件等。照相機30例如具有根據(jù)用戶操作等所指定的定時以規(guī)定的間隔反復(fù)拍攝的連續(xù)攝像功能。用戶例如可以使照相機30滑動來拍攝至少在上下左右中重疊的連續(xù)圖像。并且，照相機30具有例如每當(dāng)攝像時將所拍攝的圖像向圖像處理裝置I輸出的功能。圖像處理裝置I具備圖像輸入部10、中心位置取得部11、合成圖像生成部12以及中心位置存儲部13。圖像輸入部10具有輸入由照相機30拍攝的圖像的功能。圖像輸入部10具有例如每當(dāng)攝像時輸入照相機30所拍攝的圖像的功能。另外，圖像輸入部10還具有將最初輸入的圖像保存到便攜終端2所具備的第I暫時存儲區(qū)域的功能。另外，圖像輸入部10具有將下次以后連續(xù)輸入的圖像保存到便攜終端所具備的第2暫時存儲區(qū)域的功能。此外如后所述，每當(dāng)新圖像輸入時更新第2暫時存儲區(qū)域，第I暫時存儲區(qū)域以覆蓋保存的方式存儲有每當(dāng)圖像輸入時逐次合成的圖像(中間合成圖像)。此外以下，將第I暫時存儲區(qū)域所存儲的圖像作為第I圖像進行說明，將第2暫時存儲區(qū)域所存儲的圖像作為第2圖像進行說明。中心位置取得部11具有取得圖像輸入部10所輸入的圖像(初始的第I圖像或第2圖像)的中心點的位置信息的功能。所謂中心點就是從圖像外緣唯一決定的點。位置信息可以是與實際空間相關(guān)聯(lián)的位置信息，或者可以是在連續(xù)輸入的圖像之間相關(guān)聯(lián)的相對位置信息。中心位置取得部11具有為了取得上述位置信息而根據(jù)所輸入的圖像以及緊前輸入的圖像來檢測照相機的運動(運動矢量)的功能。另外，中心位置取得部11具有根據(jù)所獲得的運動矢量以及緊前輸入的圖像的中心點的位置信息來計算所輸入圖像的中心點的位置信息的功能。此外，在僅有最初輸入的圖像(初始的第I圖像)時，中心位置取得部11僅以該圖像取得中心點的位置信息，關(guān)于以后輸入的圖像(第2圖像)，中心位置取得部11根據(jù)采用輸入圖像以及緊前輸入的圖像獲得的運動矢量來取得中心點的位置信息。例如，關(guān)于第n次(n > I)輸入的第2圖像，采用該第2圖像以及第n_l次輸入的第2圖像來取得運動矢量，根據(jù)所取得的運動矢量來取得第n次輸入的第2圖像的中心點的位置信息。這里，中心位置取得部11還可以采用將緊前輸入的圖像縮小進而僅作為亮度要素的圖像來計算運動矢量，而不采用緊前輸入的圖像本身。這樣通過加工緊前輸入的圖像而取得運動矢量，可降低處理時間或處理成本。此外以下，將構(gòu)成第I圖像的各個圖像的中心點作為第I中心點、將第2圖像的中心點作為第2中心點進行說明。此外，中心位置取得部11具有將所取得的中心點的位置信息向合成圖像生成部12輸出的功能。合成圖像生成部12具有生成將輸入的圖像(第2圖像)和已經(jīng)輸入的圖像(第I圖像)結(jié)合的合成圖像的功能，并具備距離計算部121以及合成部122。距離計算部121例如具有根據(jù)中心位置取得部11所取得的運動矢量來確定構(gòu)成第I圖像的圖像中與第2圖像重疊的圖像的功能。并且，距離計算部121具有確定與第2圖像重疊的圖像的離規(guī)定位置最近的第I中心點并計算所確定的第I中心點與第2圖像的第2中心點的距離的功能。這里，為了使上述計算處理高速化，而將規(guī)定位置設(shè)為以格狀排列的格點的位置。例如，在合成圖像(這里是第I圖像)內(nèi)排列格點作為上述的規(guī)定位置。并且，距離計算部121具有在計算第I中心點與第2中心點的距離之前按每個格點來確定離該格點最近的第I中心點并預(yù)先存儲到中心位置存儲部13的功能。即，在中心位置存儲部13中使第I圖像所包含的格點和離該格點最近的第I中心點相關(guān)聯(lián)地進行存儲。在此情況下，距離計算部121確定構(gòu)成第I圖像的圖像中與所輸入的第2圖像重疊的圖像，參照中心位置存儲部13，取得離已確定的格點最近的第I中心點。此外，當(dāng)構(gòu)成第I圖像的圖像中存在多個與第2圖像重疊的圖像時，有最近的第I中心點根據(jù)格點而不同的情況。在此情況下，距離計算部121計算依據(jù)格點而不同的第I中心點與第2中心點的距離。距離計算部121具有將所計算的距離向合成部122輸出的功能。合成部122具有根據(jù)距離計算部121所計算的第I中心點與第2中心點的距離來結(jié)合第I圖像以及第2圖像的功能。例如，合成部122具有在合成圖像內(nèi)的規(guī)定位置根據(jù)從該規(guī)定位置到最近的第I中心點與第2中心點的中垂線的距離來決定在該規(guī)定位置的像素值的功能。圖3、4是說明第I中心點與第2中心點的中垂線的概要圖。如圖3所示，在第I圖像Fl的第I中心點Pl與第2圖像F2的第2中心點P2之間可引出中垂線LI。并且，計算合成圖像內(nèi)規(guī)定位置到中垂線LI的距離，從而決定在該規(guī)定位置的像素值。另外，如圖4所示，在第I圖像由多個圖像F1、F2構(gòu)成的情況下，可按各個第I中心點P1、P2來引出與第2中心點P3的中垂線L2、L3。這樣，在具有多個第I中心點的情況下，可引出多個中垂線。并且，計算合成圖像內(nèi)規(guī)定位置到中垂線的距離，從而決定在該規(guī)定位置的像素值。這樣，合成部122為了將第I圖像以及第2圖像中與合成位置最近的圖像的像素值作為該合成位置的像素值使用，而利用到中垂線的距離。換言之，合成部122將從合成圖像內(nèi)的規(guī)定位置到中垂線的距離用作評價輸入圖像遠近度的評價值。例如，合成部122利用以下的式子I來評價輸入圖像的遠近度T。數(shù)I
T = ^(I)這里，A是從合成預(yù)定的規(guī)定位置到第2中心點的距離，B是從合成預(yù)定的規(guī)定位 置到最近的第I中心點的距離，C是從第I中心點到第2中心點的距離。合成部122將由式子I獲得的遠近度T作為評價值來決定規(guī)定位置的像素值。例如，合成部122在從規(guī)定位置到中垂線的距離大于規(guī)定值且規(guī)定位置相比于第2中心點更接近于第I中心點的情況下，將第I圖像的像素值作為該規(guī)定位置的像素值。另ー方面，合成部122在從規(guī)定位置到中垂線的距離大于規(guī)定值且規(guī)定位置相比于第I中心點更接近于第2中心點的情況下，將第2圖像的像素值作為該規(guī)定位置的像素值。并且，合成部122在從規(guī)定位置到中垂線的距離是規(guī)定值以下的情況下，合成第I圖像的像素值與第2圖像的像素值作為該規(guī)定位置的像素值。合成方法可采用現(xiàn)有的方法，例如采用將第I圖像的像素值與第2像素的像素值的平均值或加權(quán)平均值作為該規(guī)定位置的像素值的方法。這樣，合成部122具有如下的功能判斷合成圖像的規(guī)定位置以中垂線為邊界更接近于第I中心點以及第2中心點的哪一方，判斷采用第I圖像以及第2圖像哪方的像素值。并且，合成部122具有如下的功能在規(guī)定位置是中垂線附近的情況下、即針對合成圖像中與中垂線相距的距離為規(guī)定值以下的規(guī)定位置，合成第I圖像的像素值以及第2圖像的像素值，由此減小連接處的亮度差，生成差異感小的合成圖像。即，如下所示將遠近度T作為評價值來決定在規(guī)定位置處的像素值。數(shù)2
T>W不執(zhí)行區(qū)域復(fù)制
<-W<T<W合成處理
T<-W執(zhí)行區(qū)域復(fù)制此外，用于判斷是否合成像素值的規(guī)定值W例如使用16 (像素)。在此情況下，在以中垂線為基準(zhǔn)處于8個像素內(nèi)的圖像位置上合成第I圖像的像素值與第2圖像的像素值。合成圖像內(nèi)的格點在第2圖像輸入之前以格狀進行排列，使其包含全部第I圖像。另ー方面，在第2圖像輸入之后，為了使格點不僅包含第I圖像還包含第2圖像而重新進行追加。這樣，采用格點作為規(guī)定位置，由此不需要針對合成圖像所包含的全部位置(像素位置)計算到達中垂線的距離，所以可降低處理負(fù)荷。此外，合成部122還可以通過參照中心位置存儲部13來高速地讀取離格點最近的第I中心點。由此，不需要比較過去合成的全部圖像的第I中心點的位置與格點的位置，所以能夠降低處理時間或處理成本。并且，合成部122具有如下的功能為了進一步實現(xiàn)高速化，根據(jù)在格點的判定結(jié)果來決定被格點所包圍的塊內(nèi)的像素值。例如，合成部122具有如下的功能在合成圖像內(nèi)以格狀排列的格點中，根據(jù)從該格點到最近的第I中心點與第2中心點的中垂線的距離來決定在該格點的像素值。并且，合成部122針對將像素值取為第I圖像的格點所包圍的塊(區(qū)域)采用第I圖像的像素值。即，合成部122對該塊不進行任何處理，將下一塊作為處理對象。另一方面，合成部122針對將像素值作為第2圖像的格點所包圍的塊采用第2圖像的像素值。即，合成部122針對該塊直接復(fù)制第2圖像。然后，在包圍塊的格點的像素值不是全部第I圖像的情況或者不是全部第2圖像的情況下、即在塊與中垂線相交的情況下，合成部122具有將該塊內(nèi)的像素值取為第I圖像以及第2圖像的像素值的合成值的功能。在此情況下，根據(jù)在格點的遠近度T以線性插補的方式求出塊內(nèi)的像素位置的遠近度T，并利用上述評價方法進行評價，由此能夠適當(dāng)?shù)卮_定所合成的像素位置。另外，合成部122具有在利用上述處理生成合成圖像之后更新按每個格點記錄的最近的第I中心點的功能。例如，有時結(jié)合第I圖像與第2圖像而生成合成圖像，有時利用該合成圖像內(nèi)所包含的格點來變更最近的第I中心點。因此，在執(zhí)行結(jié)合處理之后，可通過進行更新最近的第I中心點的處理來維持最近的第I中心點的正確信息。此外，合成部122在第I暫時存儲區(qū)域內(nèi)覆蓋保存結(jié)合第I圖像與第2圖像而作成的合成圖像。這樣，合成部122在第I暫時存儲區(qū)域預(yù)先保存最新的合成圖像。S卩，當(dāng)存在接著輸入的第2圖像時，對最新的合成圖像(中間合成圖像)執(zhí)行使第2圖像結(jié)合的處理。這樣，合成部122可通過逐次合成所輸入的圖像來以較少的存儲量合成圖像，而不是記錄保持合成對象的全部圖像進行參照。另外，合成部122具有將第I暫時存儲區(qū)域所存儲的合成圖像向顯示部31輸出的功能。顯示部31具有與合成圖像生成部12連接并向用戶報知所輸出的合成圖像的功能。例如采用液晶顯示器等作為顯示部31。接著，說明本實施方式的圖像處理裝置I的動作。圖5是示出本實施方式的圖像處理裝置I的動作的流程圖。例如在開啟便攜終端2的攝像功能的定時執(zhí)行圖5所示的控制處理，并以規(guī)定的周期反復(fù)執(zhí)行。此外，考慮了說明理解的容易性，ー邊參照圖6 圖9 所示的圖ー邊說明圖像處理裝置I的動作。圖6、7是使已經(jīng)輸入的I個圖像與I個圖像結(jié)合時的概要圖，圖8、9是使已經(jīng)輸入并合成的圖像與I個圖像結(jié)合時的概要圖。如圖5所示，首先圖像處理裝置I執(zhí)行初始處理(S12)。如圖6所示，圖像輸入部10從照相機30輸入圖像F1，并作為第I圖像Fl存儲到第I暫時存儲區(qū)域內(nèi)。然后，中心位置取得部11取得第I圖像Fl的中心點即第I中心點Pl的位置信息。然后，合成圖像生成部12在包含第I圖像Fl的區(qū)域內(nèi)以格狀配置格點Kn(n :整數(shù))。然后，合成圖像生成部12將第I中心點Pl確定為離格點Kn最近的第I中心點，將第I中心點Pl分別與格點Kn相關(guān)聯(lián)地記錄到中心位置存儲部13內(nèi)。以上結(jié)束初始處理。當(dāng)S12的處理結(jié)束吋，向第2圖像的輸入處理轉(zhuǎn)移(S14)。在S14的處理中，圖像輸入部10從照相機30輸入圖像F2，并作為第2圖像F2存儲到第2暫時存儲區(qū)域。此外這里，第2圖像F2是在與第I圖像Fl的攝像位置不同的攝像位置所拍攝的同一大小的圖像，是與第I圖像Fl具有重疊區(qū)域的圖像。當(dāng)S14的處理結(jié)束時，向中心點位置的取得處理轉(zhuǎn)移(S16)。在S16的處理中，中心位置取得部11取得第2圖像F2的中心點即第2中心點P2的位置信息。例如，中心位置取得部11根據(jù)第I圖像Fl與第2圖像F2的運動矢量來取得第2中心點P2的位置信息。當(dāng)S16的處理結(jié)束吋，向中心點間的距離取得處理轉(zhuǎn)移(S18)。在S18的處理中，距離計算部121根據(jù)在S12的處理中獲得的第I中心點Pl的位置信息以及在S16的處理中獲得的第2中心點P2的位置信息來計算第I中心點Pl與第2中心點P2之間的距離。如圖6所示，計算第I圖像Fl的第I中心點Pl與第2圖像F2的第2中心點P2的距離C?？赏ㄟ^計算中心點間的距離C，來評價到達第I中心點Pl與第2中心點P2的中垂線LI的距離，將該中垂線LI作為圖像Fl與圖像F2的連接處。當(dāng)S18的處理結(jié)束吋，向合成處理轉(zhuǎn)移(S20)。在S20的處理中，合成部122結(jié)合圖像Fl與圖像F2來生成合成圖像。如圖6所示，將第I圖像Fl與第2圖像F2配置到合成圖像的座標(biāo)空間內(nèi)。并且，針對第2圖像F2中與第I圖像Fl不重疊的區(qū)域沒有配置格點Kn，所以新追加格點Km(m :整數(shù)，圖中虛線)。然后，針對所追加的格點Km，合成部122將第I中心點Pl確定為離格點Km最近的第I中心點，并將第I中心點Pl分別與格點Km相關(guān)聯(lián)地記錄到中心位置存儲部13。此時在Pl設(shè)定無限遠的點。然后，合成部122按在第I圖像Fl與第2圖像F2中配置的格點KnJ111來評價與中垂線LI的距離,確定該格點Kn、Km中的像素值。例如，從位于左上的格點Kn起依次采用上述式子I來計算遠近度T。然后將用于判斷是否合成像素值的規(guī)定值W設(shè)為16來評價遠近度T，由此確定格點Kn中的像素值。例如，如果是格點XI，則合成部122參照中心位置存儲部13來取得最近的第I中心點P1，并計算第I中心點Pl與第2中心點P2的距離C、到達第I中心點Pl的距離A以及到達第2中心點P2的距離B，采用式子I來計算遠近度T。針對格點X2也進行同樣的處理。因為格點XI、X2是在第I圖像Fl中配置的格點Kn，所以合成部122如上述那樣進行計算遠近度T并予以評價的處理。另ー方面，關(guān)于新追加的格點Kffl,因為遠近度T明顯低于閾值，所以這些格點Km的遠近度T為-⑴，并省略遠近度T的運算。合成部122按格點Kn來評價所計算的遠近度T，關(guān)于由格點Kn包圍4角的塊，在 格點Kn各自的遠近度T全部大于16吋，該塊跳過處理。例如，關(guān)于格點X3 X6，因為遠近度T全部大于16，所以由格點X3 X6包圍的塊跳過處理。另ー方面，在4角的格點Kn的遠近度T全部小于-16的情況下，采用第2圖像F2的像素值作為該塊的像素值。例如，關(guān)于格點X7 X10，因為遠近度T全部小于-16，所以針對由格點X7 XlO包圍的塊復(fù)制第2圖像F2。然后，在4角的格點Kn的遠近度T全部不大于16的情況下或者4角的格點Kn的遠近度T全部不小于-16的情況下，合成第I圖像Fl以及第2圖像F2的像素值作為該塊的像素值。例如，因為格點X11、X12的遠近度T大于0，格點X13、X14的遠近度T小于0，所以針對由格點Xll X14包圍的塊合成第I圖像Fl以及第2圖像F2的像素值。在此情況下，以Xll X14的遠近度T來線性插補該塊內(nèi)像素位置中的遠近度T，并在各像素位置計算遠近度T利用閾值W進行評價。該評價的方法與上述的方法相同。并且，針對閾值-W以上閾值W以下的遠近度T的像素位置計算第I圖像Fl的像素值與第2圖像F2的像素值的加權(quán)平均，作為在該像素位置的像素值。這樣，首先采用格點Kn以塊為単位來判斷跳過、復(fù)制或合成，針對含有需要合成的位置的塊，以按像素線性插補的遠近度T來更詳細地評價，并判斷跳過、復(fù)制或合成。通過執(zhí)行S20的處理，如圖7所示，圖像Fl與圖像F2以中垂線LI為連接處進行結(jié)合，并且沿著中垂線LI形成帯狀的合成區(qū)域Ql。該合成區(qū)域Ql的寬度是閾值W。并且，將圖像Fl與圖像F2結(jié)合而成的圖像作為第I圖像存儲到第I暫時存儲區(qū)域。即，更新第I暫時存儲區(qū)域所存儲的第I圖像。當(dāng)S20的處理結(jié)束時，向中心點位置的更新處理轉(zhuǎn)移(S22)。S22的處理是合成部122更新在中心位置存儲部13中記錄的第I中心點Pl的處理。因為合成了圖像F2，所以第I中心點為P1、P2兩個。因此，合成部122針對第I暫時存儲區(qū)域所存儲的第I圖像更新離格點Kn最近的第I中心點。例如在格點X2的情況下，因為第I中心點P1、P2中的第I中心點Pl較近，所以與上次相同，因此不執(zhí)行更新。另ー方面，例如在格點Xl的情況下，因為第I中心點P1、P2中的第I中心點P2較近，所以更新中心位置存儲部13的存儲信息。當(dāng)S22的處理結(jié)束吋，向判定有無輸入圖像的處理轉(zhuǎn)移(S24)。在S24的處理中，圖像輸入部10還判定是否存在要輸入的圖像。例如，在當(dāng)前攝像次數(shù)小于自動連續(xù)攝像次數(shù)的情況下，判定為存在輸入圖像。在S24的處理中，當(dāng)判定為存在輸入圖像 時，再次向圖像的輸入處理轉(zhuǎn)移(S14)。并且，例如輸入圖像F3并存儲在第2暫時存儲區(qū)域中。然后，中心位置取得部11取得圖像F3的中心點P3的位置(S16)。然后，距離計算部121分別計算由第I暫時存儲區(qū)域所存儲的圖像Fl以及F2構(gòu)成的合成圖像的第I中心點PI、P2與所輸入的圖像F2的第2中心點P3的距離(S18)。并且，合成部122使圖像F1、F2與圖像F3結(jié)合來生成合成圖像。如圖8所示，將第I圖像F1、F2與第2圖像F3配置在合成圖像的座標(biāo)空間內(nèi)。并且，因為在第2圖像F3中與第I圖像F1、F2不重疊的區(qū)域沒有配置格點Kn，所以新追加格點Km(m :整數(shù)，圖中虛線)。然后，關(guān)于所追加的格點Km，合成部122確定第I中心點P3作為與格點Km最近的第I中心點，第I中心點P3分別與格點Km相關(guān)聯(lián)地記錄到中心位置存儲部13。然后，合成部122與結(jié)合圖像F1、F2的情況相同，按在第I圖像F1、F2與第2圖像F3中配置的格點Kn、Km(例如，X15、X16、X17等)來評價與中垂線L2、L3的距離，確定該格點Kn、K111中的像素值。由此，如圖9所示，生成合成圖像F1、F2、F3而得到的圖像。合成后，合成部122更新格點Kn的中心點位置(S22)。這樣，在存在輸入圖像的情況下，反復(fù)執(zhí)行S14 S24的處理。另ー方面，在S24的處理中，當(dāng)判定為沒有輸入圖像吋，向顯示處理轉(zhuǎn)移(S26)。在S26的處理中，圖像處理裝置I將第I暫時存儲區(qū)域所保存的合成圖像向顯示部31輸出并顯示。此外，圖像處理裝置I可切取合成圖像的兩端并調(diào)整大小然后向顯示部31輸出。當(dāng)S26的處理結(jié)束吋，結(jié)束圖5所示的控制處理。此外，S26的處理可以在每當(dāng)輸入ー張圖像時(即S20與S24之間)進行?？赏ㄟ^執(zhí)行圖5所示的控制處理來低負(fù)荷地進行高速的逐次合成。此外，S12以及S16的處理與中心位置取得步驟相應(yīng)，S18 S24與合成圖像生成步驟相應(yīng)。接著，說明用于使便攜終端(計算機)2作為上述圖像處理裝置I發(fā)揮功能的圖像處理程序。圖像處理程序具備主模塊、輸入模塊以及運算處理模塊。主模塊是集中控制圖像處理的部分。輸入模塊使便攜終端2進行動作，以取得輸入圖像。運算處理模塊具備中心位置取得模塊、距離計算模塊、合成模塊。通過執(zhí)行主模塊、輸入模塊以及運算處理模塊來實現(xiàn)的功能與上述圖像處理裝置I的圖像輸入部10、中心位置取得部11、距離計算部121、合成部122的功能分別相同。例如，由ROM等存儲介質(zhì)或半導(dǎo)體存儲器來提供圖像處理程序。另外，可將圖像處理程序作為數(shù)據(jù)信號經(jīng)由網(wǎng)絡(luò)進行提供。以上，根據(jù)本實施方式的圖像處理裝置I、圖像處理方法以及圖像處理程序，利用中心位置取得部11來取得構(gòu)成第I圖像的圖像各自的第I中心點以及第2圖像的第2中心點的位置信息，利用合成圖像生成部12來取得構(gòu)成第I圖像的圖像中與第2圖像重疊的圖像的第I中心點，根據(jù)所取得的第I中心點的位置信息以及第2中心點的位置信息，將所取得的第I中心點與第2中心點的中垂線作為第I圖像和第2圖像的連接處來進行結(jié)合，從而生成合成圖像。這樣，當(dāng)逐次合成第I圖像與所輸入的第2圖像時，可根據(jù)圖像中心點的信息來確定圖像的連接處從而進行結(jié)合，所以能夠高速且低負(fù)荷地實現(xiàn)逐次合成處理。此夕卜，通過采用中垂線可降低第I圖像與第2圖像的偏移量，因此能夠提高合成圖像的品質(zhì)。另外，根據(jù)本實施方式的圖像處理裝置I、圖像處理方法以及圖像處理程序，利用中心位置取得部11根據(jù)構(gòu)成第I圖像的圖像中在第2圖像緊前輸入的圖像以及第2圖像來取得運動矢量，并根據(jù)所取得的運動矢量來取得第2中心點的位置信息，所以不用進行匹配處理等就能夠高速且適當(dāng)?shù)嘏袛嗨Y(jié)合的第2圖像的位置。另外，根據(jù)本實施方式的圖像處理裝置I、圖像處理方法以及圖像處理程序，利用合成圖像生成部12，根據(jù)與中垂線的距離來決定合成圖像的規(guī)定位置的像素值，所以能夠利用簡單的運算處理來合成圖像，所述中垂線是離該規(guī)定位置最近的第I中心點和第2中心點的中垂線。另外，根據(jù)本實施方式的圖像處理裝置I、圖像處理方法以及圖像處理程序，可利用中垂線將合成像素值的區(qū)域限定為規(guī)定范圍的區(qū)域，所以能夠高速地進行合成圖像的生成處理，并且例如在第2圖像中具有模糊或偏移的情況下也能夠減小對合成圖像的影響并生成平滑的合成圖像。另外，根據(jù)本實施方式的圖像處理裝置I、圖像處理方法以及圖像處理程序，在記錄有離格點最近圖像的第I中心點，所以不需要按第I圖像與第2圖像重疊的區(qū)域的每個像素來比較構(gòu)成第I圖像的全部圖像的中心點與第2圖像的中心點。因此，能夠ー邊削減 處理時間或處理成本一邊降低運算處理的負(fù)荷。另外，根據(jù)本實施方式的圖像處理裝置I、圖像處理方法以及圖像處理程序，不用全部計算塊內(nèi)的各個像素位置的距離，就能夠決定塊內(nèi)的像素值，所以可降低運算處理的負(fù)荷。此外，還可以判斷是否按被格點包圍的塊來進行復(fù)制，并以塊為單位執(zhí)行合成處理，所以能夠進一歩降低運算處理的負(fù)荷。此外，上述實施方式示出本發(fā)明的圖像處理裝置的一例。本發(fā)明的圖像處理裝置不僅限于實施方式的圖像處理裝置I，在不變更各權(quán)利要求中記載的主g的范圍內(nèi)，可變形實施方式的圖像處理裝置，或者應(yīng)用于其它裝置。例如，在上述實施方式中說明了照相機30連續(xù)拍攝靜止圖像的例子，但照相機30可對動態(tài)圖像進行拍攝。在此情況下，圖像輸入部10可具有從所拍攝的動態(tài)圖像中提取連續(xù)圖像的功能。另外，圖像輸入部10所輸入的圖像可以是從其它設(shè)備經(jīng)由網(wǎng)絡(luò)發(fā)送的圖像。另外，在上述實施方式中雖然說明了照相機30所拍攝的圖像的大小是相同的，但所拍攝圖像的大小也可以是每次攝像時不同的大小。另外，在上述實施方式中說明了中心位置取得部11采用所輸入的圖像和緊前輸入的圖像來計算運動矢量例子，但運動矢量的計算方法不僅限于此。例如，可采用所輸入的圖像與在此之前生成的合成圖像來計算運動矢量。此外，雖然在上述實施方式中將用格點包圍的區(qū)域作成矩形來進行了說明，但可以是三角形或其它多邊形。符號說明I...圖像處理裝置，10...圖像輸入部，11...中心位置取得部，12...合成圖像生成部，121...距離計算部，122...合成部，13...中心位置存儲部，31...顯示部。
權(quán)利要求
1.ー種圖像處理裝置，每當(dāng)輸入第2圖像時使I張圖像或結(jié)合多個所述圖像而構(gòu)成的第I圖像與所輸入的所述第2圖像結(jié)合來逐次生成合成圖像，該圖像處理裝置的特征在干，具備 中心位置取得部，其取得構(gòu)成所述第I圖像的圖像各自的中心點即第I中心點的位置信息以及所述第2圖像的中心點即第2中心點的位置信息；以及 合成圖像生成部，其取得構(gòu)成 所述第I圖像的圖像中與所述第2圖像重疊的圖像的所述第I中心點，并根據(jù)所取得的所述第I中心點的位置信息以及所述第2中心點的位置信息，將所取得的所述第I中心點與所述第2中心點的中垂線作為所述第I圖像和所述第2圖像的連接處進行結(jié)合，生成所述合成圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述第I圖像是在所述第2圖像緊前輸入的圖像或由所述合成圖像生成部生成的所述合成圖像。
3.根據(jù)權(quán)利要求I或2所述的圖像處理裝置，其中， 所述中心位置取得部根據(jù)所述第I圖像以及所述第2圖像來取得運動矢量，并根據(jù)所取得的所述運動矢量來取得所述位置信息。
4.根據(jù)權(quán)利要求I 3中任意ー項所述的圖像處理裝置，其中， 所述合成圖像生成部根據(jù)與下述中垂線的距離來決定所述合成圖像的規(guī)定位置的像素值，該中垂線是離該規(guī)定位置最近的所述第I中心點和所述第2中心點的中垂線。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述合成圖像生成部在所述距離大于規(guī)定值且相比于所述第2中心點所述規(guī)定位置更接近于所述第I中心點吋，將所述第I圖像的像素值作為該規(guī)定位置的像素值， 在所述距離大于規(guī)定值且相比于所述第I中心點所述規(guī)定位置更接近于所述第2中心點吋，將所述第2圖像的像素值作為該規(guī)定位置的像素值， 在所述距離是規(guī)定值以下時，合成所述第I圖像的像素值與所述第2圖像的像素值作為該規(guī)定位置的像素值。
6.根據(jù)權(quán)利要求4或5所述的圖像處理裝置，其中， 所述合成圖像生成部將所述規(guī)定位置設(shè)為格狀排列的格點的位置，并按所述格點來記錄離該格點最近的第I中心點。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述合成圖像生成部根據(jù)按所述格點求出的所述距離來決定被所述格點所包圍的塊內(nèi)的像素值。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在干， 所述合成圖像生成部在包圍所述塊的全部所述格點的所述距離大于規(guī)定值且包圍所述塊的全部所述格點的位置相比于所述第2中心點更接近于所述第I中心點吋，將所述第I圖像的像素值作為該塊內(nèi)的像素值， 所述合成圖像生成部在包圍所述塊的全部所述格點的所述距離大于規(guī)定值且包圍所述塊的全部所述格點的位置相比于所述第I中心點更接近于所述第2中心點吋，將所述第2圖像的像素值作為該塊內(nèi)的像素值。
9.根據(jù)權(quán)利要求6 8中任意ー項所述的圖像處理裝置，其中，所述合成圖像生成部在生成所述合成圖像之后，更新按格點記錄的最近的所述第I中心點。
10.ー種圖像處理方法，每當(dāng)輸入第2圖像時使I張圖像或結(jié)合多個所述圖像而構(gòu)成的第I圖像與所輸入的所述第2圖像結(jié)合來逐次生成合成圖像，該圖像處理方法的特征在干，具有以下的步驟 中心位置取得步驟，取得構(gòu)成所述第I圖像的圖像各自的中心點即第I中心點的位置信息以及所述第2圖像的中心點即第2中心點的位置信息；以及 合成圖像生成步驟，取得構(gòu)成所述第I圖像的圖像中與所述第2圖像重疊的圖像的所述第I中心點，并根據(jù)所取得的所述第I中心點的位置信息以及所述第2中心點的位置信息，將所取得的所述第I中心點與所述第2中心點的中垂線作為所述第I圖像和所述第2圖像的連接處進行結(jié)合，生成所述合成圖像。
11.一種圖像處理程序，其使計算機發(fā)揮如下這樣的功能每當(dāng)輸入第2圖像時使I張圖像或結(jié)合多個所述圖像而構(gòu)成的第I圖像與所輸入的所述第2圖像結(jié)合來逐次生成合成圖像，該圖像處理程序的特征在干，作為以下単元發(fā)揮功能 中心位置取得部，其取得構(gòu)成所述第I圖像的圖像各自的中心點即第I中心點的位置信息以及所述第2圖像的中心點即第2中心點的位置信息；以及 合成圖像生成部，其取得構(gòu)成所述第I圖像的圖像中與所述第2圖像重疊的圖像的所述第I中心點，并根據(jù)所取得的所述第I中心點的位置信息以及所述第2中心點的位置信息，將所取得的所述第I中心點與所述第2中心點的中垂線作為所述第I圖像和所述第2圖像的連接處進行結(jié)合，生成所述合成圖像。
全文摘要
一種圖像處理裝置，每當(dāng)輸入第2圖像時使1張圖像或結(jié)合多個圖像而構(gòu)成的第1圖像和所輸入的第2圖像結(jié)合來逐次生成合成圖像，該圖像處理裝置具備中心位置取得部(11)，其取得構(gòu)成第1圖像的圖像各自的中心點即第1中心點的位置信息以及第2圖像的中心點即第2中心點的位置信息；以及合成圖像生成部(12)，其取得構(gòu)成第1圖像的圖像中與第2圖像重疊的圖像的第1中心點，并根據(jù)所取得的第1中心點的位置信息以及第2中心點的位置信息，以所取得的第1中心點與第2中心點的中垂線作為第1圖像以及第2圖像的連接處進行結(jié)合，生成合成圖像。
文檔編號G06T3/00GK102656604SQ20108001214
公開日2012年9月5日 申請日期2010年10月15日 優(yōu)先權(quán)日2010年10月15日
發(fā)明者羽深兼介 申請人:株式會社 摩如富