本發(fā)明涉及圖像處理裝置、圖像處理方法以及計(jì)算機(jī)可讀取的記錄介質(zhì)。
背景技術(shù):
作為從多個(gè)圖像生成特殊效果的圖像(全景圖像、3d圖像、全方向圖像等)的技術(shù),例如,如特開2005-223812號(hào)公報(bào)記載的那樣,已知如下技術(shù):具備2臺(tái)攝像裝置,構(gòu)成為用戶能變更該各攝像裝置的拍攝角度和各攝像裝置的間隔,若通過(guò)用戶操作從得到特殊效果的圖像的各種拍攝模式中選擇了所期望的模式,判別各攝像裝置的拍攝角度和間隔是否與該選擇模式吻合,若不吻合,則將該意思警告,若吻合,則進(jìn)行與該選擇模式對(duì)應(yīng)的圖像處理來(lái)獲得特殊效果的圖像。
但上述的專利文獻(xiàn)的技術(shù),由于遵循基于用戶預(yù)先選擇的模式的警告來(lái)由用戶調(diào)整各攝像裝置的拍攝角度和間隔,因此雖然能支援該調(diào)整作業(yè),但由于需要事前的模式的選擇,因此不一定能說(shuō)用戶的便利性高。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述的課題,本發(fā)明的目的在于,不事前進(jìn)行選擇所期望的特殊效果模式的操作,就可得到用戶所期望的特殊效果的圖像。
本發(fā)明的課題在于,進(jìn)行用戶能容易地得到特殊效果的圖像的控制。
本發(fā)明的圖像處理裝置的特征在于,具備:信息取得單元,其取得第1攝像裝置與第2攝像裝置的位置關(guān)系所相關(guān)的位置信息;判別單元,其基于由所述信息取得單元取得的所述位置信息來(lái)判別所述第1攝像裝置與所述第2攝像裝置的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系;和合成控制單元,其進(jìn)行控制,在由所述判別單元判別為是給定的位置關(guān)系的情況下,將該位置關(guān)系下由所述第1攝像裝置和第2攝像裝置攝像的各圖像作為合成處理的對(duì)象,并設(shè)定其合成形式。
本發(fā)明的圖像處理方法是圖像處理裝置中的圖像處理方法,其特征在于,包括如下處理:取得第1攝像裝置與第2攝像裝置的位置關(guān)系所相關(guān)的位置信息;基于所述取得的所述位置信息來(lái)判別所述第1攝像裝置與所述第2攝像裝置的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系;在判別為是所述給定的位置關(guān)系的情況下,進(jìn)行控制,將該位置關(guān)系下由所述第1攝像裝置和第2攝像裝置攝像的各圖像作為合成處理的對(duì)象并設(shè)定其合成形式。
本發(fā)明的計(jì)算機(jī)可讀的記錄介質(zhì)是記錄程序的記錄介質(zhì),其特征在于,所述程序使計(jì)算機(jī)執(zhí)行如下功能:取得第1攝像裝置與第2攝像裝置的位置關(guān)系所相關(guān)的位置信息;基于所述取得的所述位置信息來(lái)判別所述第1攝像裝置與所述第2攝像裝置的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系;在判別為是所述給定的位置關(guān)系的情況下,進(jìn)行控制,將該位置關(guān)系下由所述第1攝像裝置和第2攝像裝置攝像的各圖像作為合成處理的對(duì)象并設(shè)定其合成形式。
發(fā)明的效果
根據(jù)本發(fā)明,能容易地控制是否得到特殊效果的圖像。
附圖說(shuō)明
圖1a是表征在作為圖像處理裝置而運(yùn)用的數(shù)字?jǐn)z像機(jī)中將構(gòu)成該攝像機(jī)的攝像裝置10和主體裝置20一體組合的狀態(tài)的外觀圖。
圖1b是表征將攝像裝置10和主體裝置20分離的狀態(tài)的外觀圖。
圖2是表示各攝像裝置10和主體裝置20的概略構(gòu)成的框圖。
圖3a是用于說(shuō)明2臺(tái)攝像裝置10中的第1位置關(guān)系的圖。
圖3b是用于說(shuō)明2臺(tái)攝像裝置10中的第1位置關(guān)系的側(cè)視圖。
圖3c是用于說(shuō)明2臺(tái)攝像裝置10中的第2位置關(guān)系的圖。
圖3d是用于說(shuō)明2臺(tái)攝像裝置10中的第2位置關(guān)系的圖。
圖4a是例示在圖3a的位置關(guān)系下拍攝前方的魚眼圖像的圖。
圖4b是例示在圖3a的位置關(guān)系下拍攝前方的魚眼圖像的圖。
圖5是用于說(shuō)明切換到拍攝模式時(shí)執(zhí)行開始的數(shù)字?jǐn)z像機(jī)的動(dòng)作(第1實(shí)施方式的特征性動(dòng)作)的流程圖。
圖6是表示緊接圖5的動(dòng)作的流程圖。
圖7a是在第2實(shí)施方式中表示圖像處理裝置(pc)30的概略構(gòu)成的框圖。
圖7b是在第2實(shí)施方式中表示攝像裝置(數(shù)字?jǐn)z像機(jī))40的概略構(gòu)成的框圖。
圖8是用于說(shuō)明在攝像裝置40側(cè)切換到拍攝模式時(shí)執(zhí)行開始的動(dòng)作(第2實(shí)施方式的特征性動(dòng)作)的流程圖。
圖9是用于說(shuō)明在圖像處理裝置30側(cè)通過(guò)用戶操作指定了將2個(gè)圖像合成并重放的合成重放時(shí)執(zhí)行開始的動(dòng)作(第2實(shí)施方式的特征性動(dòng)作)的流程圖。
圖10是用于詳述合成處理(圖9的步驟c3)的流程圖。
圖11a是在第3實(shí)施方式中表示支承2臺(tái)攝像裝置(數(shù)字?jǐn)z像機(jī))50的圖像處理裝置(支承裝置:附件)的概略構(gòu)成的外觀圖。
圖11b圖11a所示的圖像處理裝置的鉸鏈進(jìn)行驅(qū)動(dòng)的狀態(tài)。
圖12a是在第3實(shí)施方式中表示2臺(tái)攝像裝置50的相對(duì)的位置關(guān)系(開閉角度)為開閉角0°的情況的圖。
圖12b是在第3實(shí)施方式中表示2臺(tái)攝像裝置50的相對(duì)的位置關(guān)系(開閉角度)為開閉角90°的情況的圖。
圖12c是在第3實(shí)施方式中表示2臺(tái)攝像裝置50的相對(duì)的位置關(guān)系(開閉角度)為開閉角75°的情況的圖。
圖13是在第3實(shí)施方式中表示2臺(tái)攝像裝置50、支承裝置60的概略構(gòu)成的框圖。
圖14是表示每當(dāng)在攝像裝置50側(cè)進(jìn)行拍攝而執(zhí)行開始的支承裝置60側(cè)的動(dòng)作(第3實(shí)施方式的特征性動(dòng)作)的流程圖。
圖15是用于說(shuō)明各實(shí)施方式的變形例的圖,是表示通過(guò)圖像解析來(lái)判定光軸方向的處理的流程圖。
標(biāo)號(hào)的說(shuō)明
10、40、50攝像裝置
11、21、31、61控制部
13、23、33、63存儲(chǔ)部
16、46、54攝像部
17、47姿態(tài)檢測(cè)部
18、28磁傳感器
20圖像處理裝置(主體裝置)
30圖像處理裝置(pc)
60圖像處理裝置(支承裝置)
64角度檢測(cè)部
80左右鉸鏈
具體實(shí)施方式
以下,參考附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式。
(第1實(shí)施方式)
首先參考圖1~圖6來(lái)說(shuō)明本發(fā)明的第1實(shí)施方式。
本實(shí)施方式例示了作為圖像處理裝置而適用于數(shù)字?jǐn)z像機(jī)中的情況,該圖像處理裝置是能分離成后述的具備攝像部的攝像裝置10和后述的具備顯示部的主體裝置20的分體型數(shù)字?jǐn)z像機(jī)。圖1是圖像處理裝置(數(shù)字?jǐn)z像機(jī))的外觀圖,圖1a表示將攝像裝置10和主體裝置20一體組合的狀態(tài),圖1b是表示將攝像裝置10和主體裝置20分離的狀態(tài)的圖。攝像裝置10例如其筐體整體形成箱型,在第1實(shí)施方式中示出了設(shè)置2太基本相同構(gòu)成的攝像裝置10的情況,用戶能任意選擇是使用其1臺(tái)來(lái)進(jìn)行拍攝,還是同時(shí)使用2臺(tái)來(lái)進(jìn)行拍攝,在本實(shí)施方式中,以下說(shuō)明使用2臺(tái)攝像裝置10來(lái)進(jìn)行拍攝的情況。
構(gòu)成該分體型數(shù)字?jǐn)z像機(jī)的攝像裝置10和主體裝置20分別能使用能利用的無(wú)線通信進(jìn)行配對(duì)(無(wú)線連接認(rèn)識(shí)),作為無(wú)線通信,例如使用無(wú)線lan(wi-fi)或bluetooth(注冊(cè)商標(biāo))。另外,攝像裝置10和主體裝置20的連接方法并不限于無(wú)線方式,也可以構(gòu)成為用線纜等以有線連接進(jìn)行通信。
在主體裝置20側(cè),接收取得在攝像裝置10側(cè)拍攝的圖像,將該拍攝圖像作為實(shí)時(shí)取景圖像來(lái)顯示。另外,在本實(shí)施方式中,所謂拍攝圖像,并不限于保存完畢的圖像,是指包含顯示于實(shí)時(shí)取景畫面的圖像(實(shí)時(shí)取景圖像:保存前的圖像)的廣義的圖像。
圖2是表示攝像裝置10的概略構(gòu)和主體裝置20的概略構(gòu)成的框圖。
在圖2中,攝像裝置10除了能拍攝靜止圖像以外,還能拍攝動(dòng)態(tài)圖像,具備控制部11、電源部12、存儲(chǔ)部13、通信部14、操作部15、攝像部16、姿態(tài)檢測(cè)部17、磁傳感器18??刂撇?1通過(guò)來(lái)自電源部(二次電池)12的電力提供而動(dòng)作,按照存儲(chǔ)部13內(nèi)的各種程序來(lái)控制該攝像裝置10的整體動(dòng)作,在該控制部11中設(shè)有未圖示的cpu(中央運(yùn)算處理裝置)和存儲(chǔ)器等。
存儲(chǔ)部13例如是具有rom、閃速存儲(chǔ)器等的構(gòu)成,容納用于實(shí)現(xiàn)本實(shí)施方式的程序和各種應(yīng)用等。另外,存儲(chǔ)部13例如可以是包含sd卡、usb存儲(chǔ)器等拆裝自由的可移動(dòng)型存儲(chǔ)器(記錄介質(zhì))的構(gòu)成,另外,其一部分也可以包含未圖示的給定的外部服務(wù)器的區(qū)域。通信部14將拍攝圖像發(fā)送給主體裝置20側(cè),或接收來(lái)自主體裝置20的操作指示信號(hào)等。操作部15具備電源開關(guān)等基本的操作鍵。
攝像部16構(gòu)成能高精細(xì)拍攝被攝體的攝像裝置,在該攝像部16的鏡頭組件16a設(shè)置魚眼鏡頭16b、攝像元件16c等。另外,本實(shí)施方式的攝像機(jī)能更換通常的攝像鏡頭(圖示省略)和魚眼鏡頭16b,圖示的示例表示裝備魚眼鏡頭16b的狀態(tài)。該魚眼鏡頭16b例如由3片構(gòu)成的鏡頭系統(tǒng)構(gòu)成,是能進(jìn)行視角為大致180°這樣大范圍的拍攝的圓周魚眼鏡頭(全周魚眼鏡頭),由該魚眼鏡頭16b拍攝的廣角圖像(魚眼圖像)的整體成為圓形的圖像。在該情況下,由于采用投影方式,因此用魚眼鏡頭16b拍攝的廣角圖像(魚眼圖像)越從其中心朝向端部,則失真越大。
即,由于魚眼鏡頭16b是能進(jìn)行其視角大致180°這樣大范圍的拍攝的圓周魚眼鏡頭,因此魚眼圖像的整體成為圓形的圖像,越從其中心部朝向端部(周邊部)失真越大,相比于魚眼圖像的中心部而其周邊部成為縮小的圖像,因而用戶即使仔細(xì)目視確認(rèn)該周邊部的內(nèi)容,該確認(rèn)也極其困難。這樣的魚眼鏡頭16b的被攝體像(光學(xué)像)在攝像元件(例如cmos或ccd)16c成像后,由攝像元件16c光電變換的圖像信號(hào)(模擬值的信號(hào)),通過(guò)圖示省略的a/d變換部被變換成數(shù)字信號(hào),并在被實(shí)施給定的圖像顯示處理后,發(fā)送到主體裝置20側(cè)來(lái)進(jìn)行監(jiān)視器顯示。
姿態(tài)檢測(cè)部17例如具備加速度傳感器以及角速度傳感器,作為攝像裝置10的拍攝時(shí)的姿態(tài)而檢測(cè)魚眼鏡頭16b的光軸方向,該加速度傳感器檢測(cè)相對(duì)于重力方向的光軸方向,角速度傳感器測(cè)定在加速度傳感器中沒(méi)有反應(yīng)的旋轉(zhuǎn)角速度來(lái)檢測(cè)光軸方向。由該姿態(tài)檢測(cè)部17檢測(cè)到的姿態(tài)信息(魚眼鏡頭16b的光軸方向)從通信部14發(fā)送到主體裝置20側(cè)。磁傳感器18在魚眼鏡頭16b的相反側(cè)(攝像機(jī)的背面?zhèn)?配設(shè)于魚眼鏡頭16b的光軸上,具有磁鐵、霍爾元件的任意一方,在之后敘述,是基于磁場(chǎng)的強(qiáng)度和其方向來(lái)檢測(cè)2臺(tái)攝像裝置10的光軸的位置偏離、或檢測(cè)2臺(tái)攝像裝置10的間隔的傳感器。
在圖2中,主體裝置20構(gòu)成數(shù)字?jǐn)z像機(jī)的控制器,具有顯示由攝像裝置10拍攝的圖像的重放功能,具備控制部21、電源部22、存儲(chǔ)部23、通信部24、操作部25、觸摸顯示部26??刂撇?1通過(guò)來(lái)自電源部(二次電池)22的電力提供而動(dòng)作,按照存儲(chǔ)部23內(nèi)的各種程序來(lái)控制該主體裝置20的整體動(dòng)作,在該控制部21設(shè)有未圖示的cpu(中央運(yùn)算處理裝置)或存儲(chǔ)器等。存儲(chǔ)部23例如是具有rom、閃速存儲(chǔ)器等的構(gòu)成,具有暫時(shí)存儲(chǔ)用于實(shí)現(xiàn)本實(shí)施方式的程序和各種應(yīng)用等的程序存儲(chǔ)器23a、為了讓該主體裝置20動(dòng)作所需的各種信息(例如標(biāo)記等)的工作內(nèi)存23b等。
通信部24在與攝像裝置10之間進(jìn)行各種數(shù)據(jù)的收發(fā)。操作部25具備電源鍵、釋放鍵、設(shè)定曝光或快門速度等拍攝條件的設(shè)定鍵、后述的取消鍵等,控制部21執(zhí)行與來(lái)自該操作部25的輸入操作信號(hào)相應(yīng)的處理,或?qū)⑤斎氩僮餍盘?hào)對(duì)攝像裝置10發(fā)送。觸摸顯示部26是在高精細(xì)液晶等的顯示器26a上層疊配置觸控面板26b的構(gòu)成,其顯示畫面成為實(shí)時(shí)顯示拍攝的圖像(魚眼圖像)的監(jiān)視器畫面(實(shí)時(shí)取景畫面),或成為重放拍攝完畢圖像的重放畫面。
圖3是用于說(shuō)明2臺(tái)攝像裝置10的相對(duì)的位置關(guān)系的圖,圖3a是從傾斜方向觀察2臺(tái)攝像裝置10的立體圖,圖3b是從攝像裝置10的一側(cè)方向進(jìn)行觀察的側(cè)視圖。
圖3a、b表示2臺(tái)攝像裝置10的光軸方向成為反向的位置關(guān)系,即,在攝像裝置10的光軸方向與重力方向垂直、或相對(duì)于垂直處于給定的容許范圍內(nèi)的狀態(tài)下,表示它們的光軸方向成為反向或相對(duì)于該反向?yàn)槿菰S范圍內(nèi)的方向的配置關(guān)系(第1位置關(guān)系)。在圖示的示例中,進(jìn)一步在該第1位置關(guān)系(反向的位置關(guān)系)下,表示各攝像裝置10的光軸一致、或大致一致的情況(光軸的位置偏離處于容許范圍內(nèi)的情況),并表示使2臺(tái)攝像裝置10的背面彼此接觸或接近的情況。
圖4例示在圖3a、b所示的第1位置關(guān)系(反向的位置關(guān)系)下拍攝的魚眼圖像,在2臺(tái)攝像裝置10當(dāng)中,圖4a表示其一方的拍攝圖像(魚眼圖像),圖4b表示另一方的拍攝圖像(魚眼圖像)。若在這樣的位置關(guān)系下各攝像裝置10使用魚眼鏡頭16b進(jìn)行拍攝,就能得到拍攝前方180°的魚眼圖像和拍攝后方180°的魚眼圖像。即,通過(guò)前方180°的拍攝和后方180°的拍攝而得到作為其整體成為范圍為360°的圖像(全方向的圖像)。
圖3c表示2臺(tái)攝像裝置10的光軸方向成為同向的位置關(guān)系,即,在攝像裝置10的光軸方向與重力方向垂直、或相對(duì)于垂直處于給定的容許范圍內(nèi)的狀態(tài)下,2臺(tái)攝像裝置10的光軸方向成為同向或相對(duì)于該同向?yàn)槿菰S范圍內(nèi)的方向的配置關(guān)系(第2位置關(guān)系)。圖示的示例進(jìn)一步表示在該第2位置關(guān)系(同向的位置關(guān)系)下使各攝像裝置10的間隔縮窄(第1距離以下)而接近的狀態(tài)。
若在這樣的位置關(guān)系下各攝像裝置10進(jìn)行拍攝,則能得到在相同范圍錯(cuò)開視點(diǎn)而拍攝的各圖像(具有視差的各圖像)。圖3d表示在第2位置關(guān)系(同向的位置關(guān)系)下拉大各攝像裝置10的間隔(第2距離以上)而空開進(jìn)行拍攝的情況。另外,第1距離、第2距離處于第1距離<第2距離的關(guān)系。若在這樣的位置關(guān)系下各攝像裝置10進(jìn)行拍攝,則能得到范圍完全不同的圖像或范圍的一部分(周邊部分)重合的圖像。
主體裝置20從2臺(tái)攝像裝置10取得由該姿態(tài)檢測(cè)部17檢測(cè)到的姿態(tài)信息(光軸方向),判定2臺(tái)攝像裝置10的相對(duì)的位置關(guān)系,在該位置關(guān)系滿足給定的條件的情況下,對(duì)在各攝像裝置攝像的圖像設(shè)定合成形式。
例如若2臺(tái)攝像裝置10的相對(duì)的位置關(guān)系為給定的關(guān)系、即圖3a、c、d所示的相對(duì)的位置關(guān)系,則將該給定的位置關(guān)系下攝像的各圖像作為合成對(duì)象的圖像來(lái)設(shè)定其合成形式,若不是給定的位置關(guān)系,則進(jìn)行控制,不使攝像的各圖像作為合成對(duì)象,而是作為非合成的圖像(通常的圖像)。
接下來(lái),參考圖5以及圖6所示的流程圖來(lái)說(shuō)明第1實(shí)施方式中的圖像處理裝置(數(shù)字?jǐn)z像機(jī))的動(dòng)作概念。在此,這些流程圖中所記述的各功能以可讀的程序代碼的形態(tài)容納,遵循該程序代碼的動(dòng)作被逐次執(zhí)行。另外,還能逐次執(zhí)行基于經(jīng)由網(wǎng)絡(luò)等傳輸介質(zhì)傳輸來(lái)的上述的程序代碼的動(dòng)作。這在后述的其他實(shí)施方式中也同樣,除了記錄介質(zhì)以外,還能利用經(jīng)由傳輸介質(zhì)而外部提供的程序/數(shù)據(jù)來(lái)執(zhí)行本實(shí)施方式特有的動(dòng)作。另外,圖5以及圖6是表示圖像處理裝置(數(shù)字?jǐn)z像機(jī))的整體動(dòng)作當(dāng)中表示本實(shí)施方式的特征部分的動(dòng)作概要的流程圖,在從該圖5以及圖6的流程脫離時(shí)返回整體動(dòng)作的主流程(圖示省略)。
圖5以及圖6是用于說(shuō)明切換到拍攝模式時(shí)執(zhí)行開始的數(shù)字?jǐn)z像機(jī)的動(dòng)作(第1實(shí)施方式的特征性動(dòng)作)的流程圖。
首先,主體裝置20側(cè)的控制部21,在能與2臺(tái)攝像裝置10通信的狀態(tài)下開始使從各攝像裝置10取得的圖像作為實(shí)時(shí)取景圖像顯示在觸摸顯示部26的動(dòng)作(圖5的步驟a1)。在該狀態(tài)調(diào)查是否進(jìn)行了釋放鍵的半按操作(步驟a2),直到進(jìn)行該半按操作為止都成為待機(jī)狀態(tài)。若現(xiàn)在對(duì)釋放鍵進(jìn)行半按操作(步驟a2“是”),在對(duì)各攝像裝置10指示拍攝準(zhǔn)備處理來(lái)進(jìn)行af(自動(dòng)對(duì)焦處理)、ae(自動(dòng)曝光處理)等(步驟a3)。
然后,從各攝像裝置10取得姿態(tài)信息(光軸方向)作為該姿態(tài)檢測(cè)部17的檢測(cè)結(jié)果(步驟a4),調(diào)查各攝像裝置10的光軸方向是否處于第1位置關(guān)系(反向的位置關(guān)系)(步驟a5),若是第1位置關(guān)系(步驟a5“是”),則從攝像裝置10取得該磁傳感器18的檢測(cè)結(jié)果(磁場(chǎng)的強(qiáng)度、方向)(步驟a6),基于該檢測(cè)結(jié)果(磁場(chǎng)的強(qiáng)度以及方向)來(lái)調(diào)查各攝像裝置10是否未過(guò)于分離(是否是容許范圍內(nèi)),并調(diào)查這些光軸的位置偏離是否是容許范圍內(nèi)(步驟a7)。在此,若各攝像裝置10過(guò)于分離,或光軸的位置過(guò)于偏離(步驟a7“否”),則為了不使由2臺(tái)攝像裝置10攝像的各圖像作為合成處理的對(duì)象而作為非合成,對(duì)合成形式標(biāo)記(圖示省略)設(shè)定“0”作為指定非合成的信息(步驟a9)。
另外,在第1位置關(guān)系下(步驟a5“是”),若各攝像裝置10的間隔以及光軸的位置偏離為容許范圍內(nèi)(步驟a7“是”),則判斷為如圖3a所示那樣,2臺(tái)攝像裝置10處于使其背面彼此接觸接近而配置的狀態(tài)(處于給定的位置關(guān)系),將由2臺(tái)攝像裝置10攝像的各圖像作為合成處理的對(duì)象來(lái)設(shè)定其合成形式(步驟a8)。在該情況下,設(shè)定適于第1位置關(guān)系的合成形式,即,對(duì)合成形式標(biāo)記設(shè)定“1”作為指定全方向合成的信息。例如,對(duì)合成形式標(biāo)記設(shè)定“1”作為指定合成處理的信息,在該合成處理中,例如通過(guò)將圖4a所示的拍攝前方180°的魚眼圖像和圖4b所示的拍攝后方180°的魚眼圖像接合起來(lái)來(lái)得到范圍成為360°的圖像(全方向圖像)。
另一方面,若各攝像裝置10的光軸方向不是第1位置關(guān)系(步驟a5“否”),則調(diào)查是否是第2位置關(guān)系(同向的位置關(guān)系)(步驟a10)。在此,若也不是第2位置關(guān)系(步驟a10“否”),則為了將由2臺(tái)攝像裝置10攝像的各圖像作為非合成而對(duì)合成形式標(biāo)記設(shè)定“0”(步驟a9),若是第2位置關(guān)系(步驟a10“是”),則從2臺(tái)攝像裝置10取得攝像圖像(步驟a11),則對(duì)各圖像進(jìn)行解析,一邊比較該解析結(jié)果一邊判定兩者的相似度(步驟a12),調(diào)查各圖像的中央部分的相似度是否是給定的閾值以上(相似度高)(步驟a13)。
在此,若各圖像的中央部分的相似度為給定的閾值以上、即兩者的相似度高(步驟a13“是”),則判斷為如圖3c所示那樣,2臺(tái)攝像裝置10是在第2位置關(guān)系下縮窄其間隔(第1距離以下)而接近配置的狀態(tài),且處于錯(cuò)開視點(diǎn)拍攝相同范圍的狀態(tài)(處于給定的位置關(guān)系),移轉(zhuǎn)到步驟a14,對(duì)合成形式標(biāo)記設(shè)定“2”作為指定3d(三維)合成處理的信息,在該3d合成處理中,將一方的圖像作為左眼用的圖像,將另一方的圖像作為右眼用的圖像。
另外,在第2位置關(guān)系下(步驟a10“是”),若各圖像的中央部分的相似度不足給定的閾值而該部分的相似度不高(步驟a13“否”),則調(diào)查各圖像的周邊部分的相似度是否是給定的閾值以上(相似度高)(步驟a15)。在此,若周邊部分的相似度也不足給定的閾值(步驟a15“否”),則為了將由2臺(tái)攝像裝置10攝像的各圖像作為非合成而對(duì)合成形式標(biāo)記設(shè)定“0”(步驟a9),若周邊部分的相似度為給定的閾值以上而相似度高(步驟a15“是”),則判斷為如圖3(d)所示那樣各攝像裝置10是拉大其間隔(第2距離以上)而空開配置的狀態(tài),且處于擴(kuò)大范圍進(jìn)行拍攝的狀態(tài)(處于給定的位置關(guān)系),移轉(zhuǎn)到步驟a16,對(duì)合成形式標(biāo)記設(shè)定“3”作為針對(duì)并排2張圖像的廣角的全景合成處理的信息。
若如此按照各攝像裝置10的相對(duì)的位置關(guān)系設(shè)定了適于該位置關(guān)系的合成形式,則移轉(zhuǎn)到圖6的流程,通過(guò)在實(shí)時(shí)取景畫面顯示圖標(biāo)或顯示消息來(lái)報(bào)知設(shè)定的合成形式(步驟a17)。即,報(bào)知非合成,或者報(bào)知全方向合成、三維合成、全景合成的任一者。在該狀態(tài)下調(diào)查是否全按操作了釋放鍵(步驟a18),或調(diào)查是否操作了使設(shè)定的合成形式無(wú)效的取消鍵(步驟a19)。
在現(xiàn)在操作了取消鍵的情況下(步驟a19“是”),為了使設(shè)定的合成形式無(wú)效而返回圖5的步驟a2,在全按操作了釋放鍵的情況下(步驟a18“是”),取得該全按操作時(shí)由各攝像裝置10攝像的各圖像(步驟a20)并讀出上述的合成形式標(biāo)記(步驟a21),調(diào)查合成形式標(biāo)記是否是“0”(步驟a23)。在此,若合成形式標(biāo)記是“0”(步驟a22“是”),則為了不使由2臺(tái)攝像裝置10攝像的各圖像作為合成處理的對(duì)象而作為非合成,在將各圖像個(gè)別進(jìn)行顯影處理并變換成標(biāo)準(zhǔn)尺寸的文件后,進(jìn)行記錄、保存到存儲(chǔ)部23的記錄介質(zhì)的處理(步驟a28)。
另外,若合成形式標(biāo)記不是“0”(步驟a22“否”),則進(jìn)一步判別合成形式(步驟a23),若合成形式標(biāo)記是“1”,則進(jìn)行使由2臺(tái)攝像裝置10攝像的各圖像接合起來(lái)的全方向合成處理來(lái)生成全方向合成圖像(步驟a24)。在該情況下,在本實(shí)施方式中進(jìn)行補(bǔ)正攝像的各魚眼圖像的失真的處理來(lái)生成沒(méi)有失真的圖像,然后再進(jìn)行合成處理(以下同樣)。若合成形式標(biāo)記是“2”,則進(jìn)行3d合成處理來(lái)生成3d合成圖像(步驟a25)。若合成形式標(biāo)記是“3”,則進(jìn)行全景合成處理來(lái)生成全景合成圖像(步驟a26)。在對(duì)由此生成的合成圖像進(jìn)行顯影處理并變換成給定尺寸的文件后,記錄保存在存儲(chǔ)部23的記錄介質(zhì)(步驟a27)。另外,是僅記錄保存合成圖像,還是和合成圖像一起也記錄保存各魚眼圖像,按照預(yù)先由用戶操作任意設(shè)定的保存形式來(lái)進(jìn)行。
如此記錄保存圖像的處理結(jié)束后,調(diào)查是否解除了拍攝模式(步驟a29),若保持拍攝模式不變(步驟a29“否”),則返回圖5的步驟a2,以下重復(fù)上述的動(dòng)作,但在解除了拍攝模式的情況下(步驟a29“是”),從圖5以及圖6的流程脫離。
如以上那樣,在第1實(shí)施方式中,主體裝置20基于2臺(tái)攝像裝置10的光軸方向所相關(guān)的信息來(lái)判別各攝像裝置10的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系,若是給定的位置關(guān)系,則將在該位置關(guān)系下由各攝像裝置10攝像的各圖像作為合成處理的對(duì)象并設(shè)定其合成形式,若不是給定的位置關(guān)系,則進(jìn)行控制,不使該位置關(guān)系下由各攝像裝置10攝像的各圖像作為合成處理的對(duì)象而作為非合成,因此不用通過(guò)用戶操作指示就能容易地控制是否得到特殊效果拍攝的圖像,能容易地應(yīng)對(duì)各種特殊效果的拍攝和這以外的通常的拍攝。
由于將各攝像裝置10的光軸方向成為反向或相對(duì)于該反向?yàn)槿菰S范圍內(nèi)的方向的第1位置關(guān)系、各攝像裝置10的光軸方向成為同向或相對(duì)于該同向?yàn)槿菰S范圍內(nèi)的方向的第2位置關(guān)系作為給定的位置關(guān)系,因此各攝像裝置10的相對(duì)的位置關(guān)系成為適于全方向合成、3d合成、全景合成且對(duì)用戶而言易于理解的位置關(guān)系。
主體裝置20在各攝像裝置10處于第1位置關(guān)系的情況下,進(jìn)一步判別各攝像裝置10的光軸的位置偏離是否是容許范圍內(nèi),若是該容許范圍內(nèi),則判別為處于給定的位置關(guān)系,因此能準(zhǔn)確地確定適于給定的合成處理的位置關(guān)系。
主體裝置20在各攝像裝置10處于第2位置關(guān)系的情況下,進(jìn)一步判別各攝像裝置10是否是給定的間隔,若是給定的間隔,則判別為處于給定的位置關(guān)系,因此能準(zhǔn)確地確定適于給定的合成處理的位置關(guān)系。
主體裝置20在各攝像裝置10處于第2位置關(guān)系的情況下,進(jìn)一步對(duì)由各攝像裝置10攝像的各圖像進(jìn)行解析來(lái)求取它們的相似度,基于該相似度來(lái)判別各攝像裝置10是否是給定的間隔,因此不實(shí)際測(cè)量各攝像裝置10的間隔,僅解析各圖像就能判別是否是給定的間隔。
主體裝置20在對(duì)各圖像進(jìn)行解析來(lái)判別是否是給定的間隔時(shí),在各圖像的中央部分的相似度高的情況下判別為處于給定的間隔,因此能準(zhǔn)確地確定適于給定的合成處理的間隔。
主體裝置20在對(duì)各圖像進(jìn)行解析來(lái)判別是否是給定的間隔時(shí),在各圖像的周邊部分的相似度高的情況下判別為處于給定的間隔,因此能準(zhǔn)確地確定適于給定的合成處理的間隔。
若各攝像裝置10在第1位置關(guān)系下它們的光軸的位置偏離是容許范圍內(nèi),則主體裝置20設(shè)定從由各攝像裝置10攝像的各魚眼圖像生成全方向的圖像的合成形式,因此能準(zhǔn)確地確定適于生成全方向圖像的合成處理的位置關(guān)系。
若各攝像裝置10在第2位置關(guān)系下是給定的間隔,則主體裝置20按照該給定的間隔的大小設(shè)定從由各攝像裝置10攝像的各圖像輸出全景圖像或三維圖像的合成形式,因此能準(zhǔn)確地確定適于生成全景圖像或三維圖像的合成處理的位置關(guān)系。
主體裝置20按照設(shè)定的合成形式來(lái)進(jìn)行合成處理,因此能記錄保存在拍攝時(shí)合成的圖像。
主體裝置20由于報(bào)知設(shè)定的合成形式,因此在用戶那邊能確定所設(shè)定的合成形式,僅改變各攝像裝置10的配置就能變更合成形式。
主體裝置20由于從各攝像裝置10中具備的姿態(tài)檢測(cè)部17取得光軸方向所相關(guān)的信息,因此能取得精度良好的光軸方向。
<變形例1>
另外,在上述的第1實(shí)施方式中,示出運(yùn)用到能分離成攝像裝置10和主體裝置20的分體型數(shù)字?jǐn)z像機(jī)的情況,但也可以運(yùn)用到將攝像裝置10和主體裝置20一體化的攝像機(jī)(例如緊湊攝像機(jī))中。在該情況下,2臺(tái)攝像機(jī)的一方成為主攝像機(jī),另一方成為從攝像機(jī),并構(gòu)成為能短距離通信即可。即,主攝像機(jī)以釋放鍵的半按操作進(jìn)行拍攝準(zhǔn)備處理,并對(duì)從攝像機(jī)指示拍攝準(zhǔn)備處理,進(jìn)而基于從自攝像機(jī)取得的光軸方向和從攝像機(jī)取得的光軸方向來(lái)判別2臺(tái)攝像機(jī)的相對(duì)的位置關(guān)系即可。如此在主攝像機(jī)與從攝像機(jī)之間也與第1實(shí)施方式同樣,用戶不進(jìn)行指示也能容易地控制是否從由2臺(tái)攝像機(jī)攝像的各圖像得到特殊效果拍攝的圖像,能應(yīng)對(duì)各種特殊效果拍攝。
在上述的第1實(shí)施方式中,也可以在各攝像裝置10的光軸方向?yàn)榈?位置關(guān)系的情況下,若各圖像的中央部分的相似度為給定的閾值以上而相似度高(圖5的步驟a13“是”),則2臺(tái)攝像裝置10移轉(zhuǎn)到步驟a14,為了指定3d合成處理而對(duì)合成形式標(biāo)記設(shè)定“2”,但也可以除了各圖像的中央部分的相似度以外,進(jìn)一步判別各圖像的周邊部分的相似度是否為給定的閾值以上而相似度高,以該周邊部分的相似度高為條件移轉(zhuǎn)到步驟a14。
在上述的第1實(shí)施方式中,對(duì)由各攝像裝置10攝像的各圖像進(jìn)行解析,按照其相似度來(lái)判別各攝像裝置10是否處于給定的間隔,但當(dāng)然也可以測(cè)量各攝像裝置10之間的距離來(lái)判別是否是給定的間隔。例如也可除了在各攝像裝置10具備gps(globalpositioningsystem,全球定位系統(tǒng))功能以外,在各攝像裝置10還具備短距離通信部,基于各攝像裝置10是否存在于能通信的區(qū)域內(nèi)來(lái)判別各攝像裝置10是否是給定的間隔。
進(jìn)而在上述的第1實(shí)施方式中,示出了作為圖像處理裝置而運(yùn)用在能分離成2臺(tái)攝像裝置10和主體裝置20的分體型數(shù)字?jǐn)z像機(jī)的情況,但也可以是將2臺(tái)攝像裝置10裝入主體裝置20而一體化的數(shù)字?jǐn)z像機(jī)。在該情況下,也是只要設(shè)為使各攝像裝置10的光軸方向可變的結(jié)構(gòu)(在從第1位置關(guān)系到第2位置關(guān)系之間可變的結(jié)構(gòu))即可。
(第2實(shí)施方式)※僅以光軸方向進(jìn)行合成判斷的實(shí)施例
以下參考圖7~圖10來(lái)說(shuō)明本發(fā)明的第2實(shí)施方式。
另外,在上述的第1實(shí)施方式中,在拍攝時(shí)判別合成形式來(lái)進(jìn)行合成處理,并記錄保存合成圖像,但在該第2實(shí)施方式中,作為圖像處理裝置而運(yùn)用到筆記本型的pc(個(gè)人計(jì)算機(jī))30,該pc在取得由攝像裝置(數(shù)字?jǐn)z像機(jī))40拍攝的拍攝完畢圖像(保存圖像)并進(jìn)行顯示的情況下,判別合成形式來(lái)進(jìn)行合成處理,顯示該合成圖像。在此,兩實(shí)施方式中基本或名稱上相同的構(gòu)成標(biāo)注同一標(biāo)號(hào)示出,省略其說(shuō)明,并且以下以第2實(shí)施方式的特征部分為中心來(lái)進(jìn)行說(shuō)明。
圖7是表示圖像處理裝置(pc)30和攝像裝置(數(shù)字?jǐn)z像機(jī))40的概略構(gòu)成的框圖。
圖像處理裝置(pc)30和攝像裝置(數(shù)字?jǐn)z像機(jī))40由于是與第1實(shí)施方式所示的攝像裝置10和主體裝置20基本同樣的構(gòu)成,因此省略其詳細(xì)的說(shuō)明。圖7a表示圖像處理裝置30的構(gòu)成,圖像處理裝置30具備控制部31、電源部32、存儲(chǔ)部33、通信部34、操作部35、顯示部36。圖7b表示攝像裝置40的構(gòu)成,攝像裝置40具備控制部41、電源部42、存儲(chǔ)部43、通信部44、操作部45、帶魚眼鏡頭的攝像部46、姿態(tài)檢測(cè)部47、磁傳感器28。
圖8是用于說(shuō)明在攝像裝置40側(cè)切換到拍攝模式時(shí)執(zhí)行開始的動(dòng)作(第2實(shí)施方式的特征性動(dòng)作)的流程圖。
首先,攝像裝置40的控制部41開始使從帶魚眼鏡頭的攝像部46取得的魚眼圖像作為實(shí)時(shí)取景圖像顯示的動(dòng)作(步驟b1)。在該狀態(tài)下,若操作釋放鍵(步驟b2“是”),則移轉(zhuǎn)到步驟b3,取得釋放鍵操作時(shí)的攝像圖像并進(jìn)行顯影處理,進(jìn)行變換成標(biāo)準(zhǔn)尺寸的文件的處理。
然后從姿態(tài)檢測(cè)部47取得姿態(tài)信息(光軸方向)(步驟b4),另外從磁傳感器28取得其檢測(cè)結(jié)果(步驟b5)。將該姿態(tài)信息(光軸方向)以及磁傳感器檢測(cè)結(jié)果附加到拍攝圖像作為其exif信息(步驟b6),記錄保存在存儲(chǔ)部43的記錄介質(zhì)(步驟b7)。以下調(diào)查是否解除了拍攝模式(步驟b8),若保持拍攝模式不變(步驟b8“否”),則返回上述的步驟b2,以下重復(fù)上述的動(dòng)作。
圖9是用于說(shuō)明通過(guò)用戶操作指定在圖像處理裝置30側(cè)將2個(gè)圖像合成來(lái)重放的合成重放模式時(shí)執(zhí)行開始的動(dòng)作(第2實(shí)施方式的特征性動(dòng)作)的流程圖。
首先,通過(guò)用戶操作指定了生成合成圖像并重放的合成重放模式后,圖像處理裝置30的控制部31將各種圖像一覽顯示,這時(shí),使作為合成對(duì)象相互關(guān)聯(lián)的一對(duì)圖像建立對(duì)應(yīng)而一覽顯示(步驟c1)。即,參考各圖像的exif信息(拍攝日期時(shí)間),將拍攝日期時(shí)間相同的圖像確定為關(guān)聯(lián)性高的圖像,使該關(guān)聯(lián)的一對(duì)圖像建立對(duì)應(yīng)而一覽顯示。若通過(guò)用戶操作從該一覽畫面中選擇任意的2個(gè)圖像(步驟c2),則移轉(zhuǎn)到接下來(lái)的步驟c3,進(jìn)行將2個(gè)圖像合成的處理。
圖10是用于詳述合成處理(圖9的步驟c3)的流程圖。
首先控制部31從通過(guò)用戶操作選擇的各圖像取得其exif信息(光軸方向)(步驟d1),基于該各光軸方向來(lái)調(diào)查各攝像裝置40的光軸方向在拍攝時(shí)是否處于第1位置關(guān)系(反向的位置關(guān)系)(步驟d2)。在此,在判斷為在第1位置關(guān)系下進(jìn)行了拍攝的情況下(步驟d2“是”),從各圖像的exif信息取得其磁傳感器檢測(cè)結(jié)果(磁場(chǎng)的強(qiáng)度、方向)(步驟d3),基于該檢測(cè)結(jié)果(磁場(chǎng)的強(qiáng)度以及方向)來(lái)調(diào)查各攝像裝置40是否未過(guò)于分離(處于容許范圍內(nèi)),并調(diào)查這些光軸的位置偏離是否是容許范圍內(nèi)(步驟d4)。
在判斷為在第1位置關(guān)系下,以各攝像裝置40過(guò)于分離、光軸的位置過(guò)于偏離的狀態(tài)下進(jìn)行了拍攝的情況下(步驟d4“否”),為了不將選擇的2個(gè)圖像作為合成處理的對(duì)象而進(jìn)行設(shè)定(有效)非合成標(biāo)記(圖示省略)的處理(步驟d5)。另外,若判斷為在第1位置關(guān)系下各攝像裝置40的間隔以及光軸的位置偏離為容許范圍內(nèi)進(jìn)行了拍攝的情況下(步驟d4“是”),則判斷為各攝像裝置40以使其背面彼此接觸或接近配置的狀態(tài)進(jìn)行了拍攝,移轉(zhuǎn)到步驟d6,將選擇的2個(gè)圖像指定為合成處理的對(duì)象,來(lái)進(jìn)行將2個(gè)圖像全方向合成的處理。
另一方面,若各攝像裝置40的光軸方向不是第1位置關(guān)系(步驟d2“否”),調(diào)查是否是第2位置關(guān)系(同向的位置關(guān)系)(步驟d7),若也不是第2位置關(guān)系(步驟d7“否”),將選擇的2個(gè)圖像設(shè)定為非合成(步驟d5),若是第2位置關(guān)系(步驟d7“是”),則對(duì)選擇的2個(gè)圖像進(jìn)行解析,一邊比較其解析結(jié)果一邊判定兩者的相似度(步驟d8),調(diào)查2個(gè)圖像的中央部分的相似度是否是給定的閾值以上(相似度高)(步驟d9)。在此,若2個(gè)圖像的中央部分的相似度為給定的閾值以上而相似度高(步驟d9“是”),則移轉(zhuǎn)到步驟d10,將選擇的2個(gè)圖像指定為合成處理的對(duì)象,進(jìn)行將這2個(gè)圖像3d合成的處理。
另外,在第2位置關(guān)系下(步驟d7“是”),若2個(gè)圖像的中央部分的相似度不足給定的閾值而該部分的相似度不高(步驟d9“否”),則調(diào)查2個(gè)圖像的周邊部分的相似度是否是給定的閾值以上(相似度高)(步驟d11)。在此,若周邊部分的相似度也不足給定的閾值(步驟d11“否”),則將各圖像設(shè)定為非合成(步驟d5),若周邊部分的相似度為給定的閾值以上而相似度高(步驟d11“是”),則移轉(zhuǎn)到步驟d12,將選擇的2個(gè)圖像指定為合成處理的對(duì)象,進(jìn)行將該2個(gè)圖像全景合成的處理。
這樣的合成處理(圖9的步驟c3)結(jié)束后,移轉(zhuǎn)到接下來(lái)的步驟c4,調(diào)查上述的非合成標(biāo)記是否被設(shè)為有效,即,是否設(shè)定了非合成,若非合成標(biāo)記被設(shè)為有效(步驟c4“是”),則進(jìn)行將選擇的圖像個(gè)別顯示的重放處理(步驟c6)。在該情況下,依次指定選擇為合成對(duì)象的2個(gè)圖像,并每隔一定時(shí)間進(jìn)行切換顯示。另外,若未設(shè)定非合成(步驟c4“否”),則移轉(zhuǎn)到顯示通過(guò)合成處理合成的圖像的處理(步驟c5)。然后調(diào)查是否通過(guò)用戶操作指示了重放結(jié)束(步驟c7),在指示了重放結(jié)束的情況下(步驟c7“是”),從圖9的流程脫離,但若未指示重放結(jié)束(步驟c7“否”),則返回上述的步驟c1,以下重復(fù)上述的動(dòng)作。
如以上那樣,在第2實(shí)施方式中,圖像處理裝置30的控制部31取得多個(gè)圖像并評(píng)價(jià)其附帶信息(exif信息),基于該評(píng)價(jià)結(jié)果來(lái)進(jìn)行控制,將多個(gè)圖像作為合成處理的對(duì)象圖像來(lái)設(shè)定與評(píng)價(jià)結(jié)果相應(yīng)的合成形式,或不使多個(gè)圖像作為合成處理的對(duì)象而作為非合成,因此不用在圖像重放時(shí)通過(guò)用戶操作進(jìn)行指示就能容易地控制是否得到特殊效果拍攝的圖像,能容易地得到各種特殊效果的圖像和這以外的通常的圖像。
另外,在上述的第2實(shí)施方式中,在生成合成圖像并重放的合成重放模式下,將成為合成對(duì)象的關(guān)聯(lián)的一對(duì)圖像建立對(duì)應(yīng)來(lái)一覽顯示的情況下,參考拍攝日期時(shí)間來(lái)確定關(guān)聯(lián)的圖像,但也可以參考附加在拍攝圖像的拍攝位置,將拍攝位置一致的圖像或相近的各圖像確定為關(guān)聯(lián)的圖像。
(第3實(shí)施方式)
以下參考圖11~圖14來(lái)說(shuō)明本發(fā)明的第3實(shí)施方式。
另外,第1以及第2實(shí)施方式中的2臺(tái)攝像裝置10、40,示出了能自由單獨(dú)移動(dòng)的攝像機(jī),但本第3實(shí)施方式將2臺(tái)攝像裝置50裝備在圖像處理裝置(支承裝置)60,這2臺(tái)攝像裝置50裝備在圖像處理裝置(支承裝置)60,能使其相對(duì)的位置關(guān)系變更。該圖像處理裝置(支承裝置)60是構(gòu)成支承2臺(tái)攝像裝置50的附件的小型電子設(shè)備。
圖11是表示支承2臺(tái)攝像裝置(數(shù)字?jǐn)z像機(jī))50的圖像處理裝置(支承裝置:附件)的概略構(gòu)成的外觀圖。
攝像裝置50其整體是箱型的筐體,安裝在攝像機(jī)安裝工具70。即,攝像裝置50,被載置固定為其背面?zhèn)?攝像鏡頭50a的相反側(cè))以及底面?zhèn)扰c截面l字型的攝像機(jī)安裝工具70面接觸。支承裝置60的筐體60a的整體是厚板狀的長(zhǎng)方體,在該筐體60a的厚度方向(左右方向)的兩側(cè)面部,載置固定于攝像機(jī)安裝工具70的2臺(tái)攝像裝置50經(jīng)由一對(duì)左右鉸鏈80而能開閉地裝備(被支承)。該一對(duì)左右鉸鏈80是沿著支承裝置60的上表面部和左右兩側(cè)面部的角部配置固定的軸狀的開閉構(gòu)件,且是支承該2臺(tái)攝像裝置50的支承構(gòu)件,使得2臺(tái)攝像裝置50的光軸方向能在成為反向的位置關(guān)系到成為同向的位置關(guān)系的范圍(0°~90°)內(nèi)位移(能開閉)。支承裝置60的筐體60a、一對(duì)左右鉸鏈80成為支承2臺(tái)攝像裝置50的支承構(gòu)件。
圖11a表示將2臺(tái)攝像裝置50閉合的狀態(tài),即,2臺(tái)攝像裝置50的光軸方向成為反向的位置關(guān)系,圖11b表示將2臺(tái)攝像裝置50打開的狀態(tài),即,2臺(tái)攝像裝置50的光軸方向成為同向的位置關(guān)系,在這些開閉角度(0°~90°)的范圍內(nèi),2臺(tái)攝像裝置50能進(jìn)行位移。另外,2臺(tái)攝像裝置50在開閉角度0°~90°的范圍內(nèi)能多階段(例如以5°為單位的18階段)位移,一對(duì)左右鉸鏈80成為能在該各級(jí)的位置保持2臺(tái)攝像裝置50的構(gòu)成。
支承裝置(附件)60具備檢測(cè)攝像裝置50的開閉角度(0°~90°)的角度檢測(cè)部(參考后述的圖13),該角度檢測(cè)部檢測(cè)在支承裝置60被支承的2臺(tái)攝像裝置50的位移(開閉角度),支承裝置60基于該角度檢測(cè)部的檢測(cè)結(jié)果來(lái)判別2臺(tái)攝像裝置50的相對(duì)的位置關(guān)系(開閉角度)是否是給定的位置關(guān)系。其結(jié)果,若是給定的位置關(guān)系,則將該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象并設(shè)定其合成形式,若不是給定的位置關(guān)系,則不使該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象而作為非合成。圖12a~c是作為該給定的位置關(guān)系(開閉角度)而示出第1位置關(guān)系~第3位置關(guān)系的圖。
即,圖12a表示攝像裝置50的光軸方向成為反向或相對(duì)于該反向?yàn)槿菰S范圍內(nèi)的方向的配置關(guān)系(第1位置關(guān)系),在該第1位置關(guān)系下,攝像裝置50的光軸方向的打開角成為0°。圖12b表示攝像裝置50的光軸方向成為同向或相對(duì)于該同向?yàn)槿菰S范圍內(nèi)的方向的配置關(guān)系(第2位置關(guān)系),在該第2位置關(guān)系下,攝像裝置50的光軸方向的打開角成為90°。圖12c表示攝像裝置50的光軸方向成為第1位置關(guān)系與第2位置關(guān)系之間的給定的中間點(diǎn)方向或相對(duì)于該中間點(diǎn)方向?yàn)槿菰S范圍內(nèi)的方向的配置關(guān)系(第3位置關(guān)系),在該第3位置關(guān)系下,攝像裝置50的光軸方向的打開角成為75°±5°。在第3實(shí)施方式中,將第1~第3位置關(guān)系判別為給定的位置關(guān)系。
圖13是表示2臺(tái)攝像裝置50、支承裝置60的概略構(gòu)成的框圖。
攝像裝置50由于是與第1實(shí)施方式所示的攝像裝置10基本同樣的構(gòu)成,因此省略其詳細(xì)的說(shuō)明,如圖13所示那樣,攝像裝置50具備控制部51、電源部52、攝像部53、圖像存儲(chǔ)部54、通信部55等。進(jìn)而,圖13表示支承裝置60的構(gòu)成,支承裝置60具備cpu61、電源部62、通信部63、角度檢測(cè)部64、操作部65等。
通信部63是從2臺(tái)攝像裝置50接收拍攝圖像、或?qū)⑷〉玫呐臄z圖像發(fā)送給2臺(tái)攝像裝置50的短距離通信單元。角度檢測(cè)部64是檢測(cè)攝像裝置50的開閉角度(0°~90°)的傳感器,成為在0°~90°的范圍內(nèi)以例如5°的幅度檢測(cè)角度的構(gòu)成。操作部65省略圖示,但具備釋放鍵、攝像裝置50的開閉調(diào)整鍵等,若操作釋放鍵,則cpu61對(duì)2臺(tái)攝像裝置50同時(shí)發(fā)送拍攝指示,若操作了開閉調(diào)整鍵,則cpu61使2臺(tái)攝像裝置50的開閉角度向正向(0°~90°的方向)或反向(90°~0°)階段性地位移。
圖14是表示在攝像裝置50側(cè)每當(dāng)進(jìn)行拍攝而執(zhí)行開始的支承裝置60側(cè)的動(dòng)作(第3實(shí)施方式的特征性動(dòng)作)的流程圖。
首先,支承裝置60調(diào)查是否操作了釋放鍵(步驟e1),若未操作釋放鍵(步驟e1“否”),則移轉(zhuǎn)到與該操作鍵相應(yīng)的處理,但若操作了釋放鍵(步驟e1“是”),則對(duì)2臺(tái)攝像裝置50同時(shí)發(fā)送拍攝指示(步驟e2)。然后,從2臺(tái)攝像裝置50取得(接收)該拍攝圖像(步驟e3),從角度檢測(cè)部64取得拍攝時(shí)的開閉角度(步驟e4)。然后,基于該角度檢測(cè)部64的檢測(cè)結(jié)果來(lái)判別2臺(tái)攝像裝置50的相對(duì)的位置關(guān)系(開閉角度)是否是給定的位置關(guān)系(第1~第3位置關(guān)系)(步驟e5)。
在此,若2臺(tái)攝像裝置50的相對(duì)的位置關(guān)系不是給定的位置關(guān)系(步驟e6“否”),則將指示非合成的標(biāo)記附加到各拍攝圖像的exif信息(步驟e7),若是給定的位置關(guān)系(步驟e6“是”),則判別是第1~第3位置關(guān)系的哪個(gè)關(guān)系(步驟e8)。在此,若是第1位置關(guān)系(0°),則將指示全方向合成處理的標(biāo)記附加到各拍攝圖像的exif信息(步驟e9),若是第2位置關(guān)系(90°),則將指示3d合成處理的標(biāo)記附加到各拍攝圖像的exif信息(步驟e11),若是第3位置關(guān)系(75°±5°),則將指示全景合成處理的標(biāo)記附加到各拍攝圖像的exif信息(步驟e10)。然后,使附加了上述的標(biāo)記的各拍攝圖像發(fā)送到對(duì)應(yīng)的攝像裝置50并記錄保存(步驟e12)。之后返回上述的步驟e1。
在攝像裝置50側(cè),若從支承裝置60接收到帶指示合成處理的標(biāo)記的拍攝圖像,則使該拍攝圖像顯影并記錄保存,這時(shí),參考該拍攝圖像的exif信息(標(biāo)記)來(lái)判別合成形式,進(jìn)行遵循該合成形式的合成處理來(lái)生成其合成圖像,將該合成圖像顯影并和上述的拍攝圖像一起記錄保存。
如以上那樣,在第3實(shí)施方式中,支承裝置(附件)60支承2臺(tái)攝像裝置50,使2臺(tái)攝像裝置50的光軸方向能從成為反向的位置關(guān)系到成為同向的位置關(guān)系之間位移,基于該2臺(tái)攝像裝置50的位移(開閉角度)來(lái)判別各攝像裝置50的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系,若是給定的位置關(guān)系,則將該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象來(lái)設(shè)定其合成形式,若不是給定的位置關(guān)系,則不將該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象而作為非合成,因此不用進(jìn)行基于用戶操作的指示也能容易地控制是否得到特殊效果的圖像,能應(yīng)對(duì)各種特殊效果的拍攝和這以外的通常的拍攝。
由于將各攝像裝置50的光軸方向成為反向或相對(duì)于該反向?yàn)槿菰S范圍內(nèi)的方向的第1位置關(guān)系、各攝像裝置50的光軸方向成為同向或相對(duì)于該同向?yàn)槿菰S范圍內(nèi)的方向的第2位置關(guān)系、成為第1位置關(guān)系與第2位置關(guān)系之間的給定的中間點(diǎn)方向或相對(duì)于該中間點(diǎn)方向?yàn)槿菰S范圍內(nèi)的方向的第3位置關(guān)系判別為給定的位置關(guān)系,因此各攝像裝置50的相對(duì)的位置關(guān)系成為適于全方向合成、3d合成、全景合成且對(duì)用戶而言易于理解的位置關(guān)系。
另外,在上述的第3實(shí)施方式中,在拍攝圖像的記錄保存時(shí)參考該圖像的exif信息(標(biāo)記)來(lái)判別合成形式,進(jìn)行遵循該合成形式的合成處理來(lái)記錄保存該合成圖像,但也可以在重放拍攝完畢圖像(保存圖像)時(shí)參考該圖像的exif信息(標(biāo)記)來(lái)判別合成形式,進(jìn)行遵循該合成形式的合成處理來(lái)重放該合成圖像。
在上述的第3實(shí)施方式中,支承裝置60判別合成形式并將其加到各圖像,也可以通過(guò)在支承裝置60具備圖像合成功能來(lái)進(jìn)行遵循合成形式的合成處理,生成該合成圖像。由此能容易地得到各種特殊效果圖像。另外,支承裝置60的構(gòu)成為任意,另外,攝像裝置50的安裝位置也任意。
<變形例2>
在上述的第1、第2實(shí)施方式中,攝像裝置10、40基于該姿態(tài)檢測(cè)部17、姿態(tài)檢測(cè)部47的檢測(cè)結(jié)果來(lái)檢測(cè)其光軸方向,另外,在第3實(shí)施方式中,攝像裝置50的光軸方向基于支承裝置60的角度檢測(cè)部64的檢測(cè)結(jié)果來(lái)檢測(cè)其光軸方向,但也可以不是用傳感器檢測(cè)攝像裝置的光軸方向,而是通過(guò)對(duì)圖像進(jìn)行解析來(lái)判定光軸方向。
圖15是表示通過(guò)圖像解析判定光軸方向的處理的流程圖,是例示了使用魚眼鏡頭攝像的動(dòng)態(tài)圖像的情況,但并不限于動(dòng)態(tài)圖像,也可以是連續(xù)高速攝像的靜止圖像。
圖像處理裝置(例如pc、攝像機(jī)、支承裝置),從2臺(tái)攝像裝置取得數(shù)幀份的圖像(步驟f1),對(duì)每個(gè)攝像裝置解析各幀圖像(步驟f2),判別其中央部分和周邊部分中的圖像的流向(步驟f3)。
在此,若2臺(tái)攝像裝置當(dāng)中的一方是從中央部分向周邊部分(從內(nèi)向外)的流向,另一方是從周邊部分向中央部分(從外向內(nèi))的流向(步驟f4“是”),則判定為2臺(tái)攝像裝置的光軸方向是反向(步驟f5)。另外,若2臺(tái)攝像裝置的流向兩方都是從中央部分向周邊部分(從內(nèi)向外)的流向,或者兩方都是從周邊部分向中央部分(從外向內(nèi))的流向(步驟f6“是”),則判定為2臺(tái)攝像裝置的光軸方向是同向(步驟f7)。
如此僅從2臺(tái)攝像裝置取得多幀份的圖像來(lái)解析,就能從該圖像的流向檢測(cè)2臺(tái)攝像裝置的光軸方向。
另外,在上述的各實(shí)施方式中,也可以判別各攝像裝置的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系,若是給定的位置關(guān)系,則將該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象并設(shè)定其合成形式,但若是給定的位置關(guān)系,還進(jìn)一步從各攝像裝置取得設(shè)定中的變焦倍率、焦距等拍攝條件,判別該拍攝條件是否適合合成處理,在適合的情況下,按照給定的位置關(guān)系設(shè)定合成形式。由此能準(zhǔn)確地進(jìn)行合成處理。
另外,在上述的各實(shí)施方式中,也可以構(gòu)成為判別各攝像裝置的相對(duì)的位置關(guān)系是否是給定的位置關(guān)系,若是給定的位置關(guān)系,則將該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象來(lái)設(shè)定其合成形式,但在成為給定的位置關(guān)系的情況下,將各攝像裝置的變焦倍率、焦距等拍攝條件設(shè)定為適合各合成形式的條件。由此能用更合適的攝像條件下攝像的圖像進(jìn)行合成處理。
另外,在上述的各實(shí)施方式中,構(gòu)成為根據(jù)各攝像裝置的光軸方向和位置關(guān)系、距離來(lái)設(shè)定適合的合成形式,但也可以構(gòu)成為僅根據(jù)各攝像裝置的位置關(guān)系設(shè)定合成形式。
例如,可以將攝像裝置構(gòu)成為能進(jìn)行全方向拍攝的攝像裝置那樣能不依賴于攝像方向?qū)χ車M(jìn)行拍攝那樣的拍攝裝置。判別相對(duì)的位置關(guān)系是否是給定的位置關(guān)系,若是給定的位置關(guān)系,則將該位置關(guān)系下拍攝的各圖像作為合成處理的對(duì)象并對(duì)各圖像設(shè)定合成形式,但也可以構(gòu)成為在處于給定的位置關(guān)系的情況下,從全方向拍攝的各圖像切出按照該合成形式而需要的范圍的圖像。由此,不用確定視角就能根據(jù)攝像的圖像來(lái)設(shè)定合成形式。
在上述的各實(shí)施方式中,示出了作為圖像處理裝置而適用于pc、攝像機(jī)、支承裝置的情況,但并不限于此,圖像處理裝置也可以是pda(面向個(gè)人的便攜型信息通信設(shè)備)、平板終端裝置、智能手機(jī)等便攜電話機(jī)、電子游戲機(jī)、音樂(lè)播放器等。
另外,上述的各實(shí)施方式中示出的“裝置”、“部”,也可以按功能分離成多個(gè)筐體,并不限于單一的筐體。另外,上述的流程圖中記述的各步驟并不限于時(shí)間序列上的處理,也可以并行處理多個(gè)步驟,或分開獨(dú)立進(jìn)行處理。
以上說(shuō)明了本發(fā)明的實(shí)施方式,但本發(fā)明并不限定于此,還包含記載于權(quán)利要求書的發(fā)明和其等同的范圍。