本發(fā)明涉及圖像處理裝置、圖像處理方法和記錄介質(zhì)。

背景技術(shù)：

以往，公知有測(cè)定被攝體的三維位置的技術(shù)。例如，在專利文獻(xiàn)1中公開了運(yùn)算拍攝畫面上的飛翔體的三維位置的技術(shù)。在該技術(shù)中，根據(jù)從測(cè)定位置原點(diǎn)到飛翔體的距離、相對(duì)高度仰角和相對(duì)方位，運(yùn)算從畫面中心位置起的高度和水平距離，使用該運(yùn)算結(jié)果運(yùn)算飛翔體的三維位置的坐標(biāo)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2011-95112號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

但是，上述現(xiàn)有技術(shù)的目的在于，使用通過運(yùn)算而得到的三維位置的坐標(biāo)生成飛翔圖等圖并進(jìn)行顯示，所以，在對(duì)圖像進(jìn)行再現(xiàn)時(shí)觀察圖像的人很難直觀地捕捉作為拍攝對(duì)象的被攝體的特征。

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供在對(duì)圖像進(jìn)行再現(xiàn)時(shí)觀察該圖像的人能夠直觀地捕捉被攝體的特征的圖像處理裝置、圖像處理方法和記錄介質(zhì)。

用于解決課題的手段

為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明的圖像處理裝置的特征在于，所述圖像處理裝置具有：變化判定部，其使用連續(xù)拍攝的多個(gè)圖像的數(shù)據(jù)判定該多個(gè)圖像的拍攝方向有無變化；變化量計(jì)算部，其根據(jù)所述拍攝方向有無變化來計(jì)算所述多個(gè)圖像中拍攝出的被攝體的位置的變化量；以及輔助圖像生成部，其生成輔助圖像的數(shù)據(jù)，該輔助圖像顯示與所述變化量相關(guān)聯(lián)的所述被攝體的信息。

本發(fā)明的圖像處理方法的特征在于，所述圖像處理方法包括以下步驟：變化判定步驟，使用連續(xù)拍攝的多個(gè)圖像的數(shù)據(jù)判定該多個(gè)圖像的拍攝方向有無變化；變化量計(jì)算步驟，根據(jù)所述拍攝方向有無變化來計(jì)算所述多個(gè)圖像中拍攝出的被攝體的位置的變化量；以及輔助圖像生成步驟，生成輔助圖像的數(shù)據(jù)，該輔助圖像顯示與所述變化量相關(guān)聯(lián)的所述被攝體的信息。

本發(fā)明的記錄圖像處理程序的記錄介質(zhì)的特征在于，所述圖像處理程序使計(jì)算機(jī)執(zhí)行以下步驟：變化判定步驟，使用連續(xù)拍攝的多個(gè)圖像的數(shù)據(jù)判定該多個(gè)圖像的拍攝方向有無變化；變化量計(jì)算步驟，根據(jù)所述拍攝方向有無變化來計(jì)算所述多個(gè)圖像中拍攝出的被攝體的位置的變化量；以及輔助圖像生成步驟，生成輔助圖像的數(shù)據(jù)，該輔助圖像顯示與所述變化量相關(guān)聯(lián)的所述被攝體的信息。

發(fā)明效果

根據(jù)本發(fā)明，在再現(xiàn)中的圖像中插入顯示被攝體的信息的輔助圖像并進(jìn)行顯示，所以，在對(duì)圖像進(jìn)行再現(xiàn)時(shí)觀察該圖像的人能夠直觀地捕捉被攝體的特征。

附圖說明

圖1是示出本發(fā)明的一個(gè)實(shí)施方式的攝像裝置的功能結(jié)構(gòu)的框圖。

圖2是示意地示出變化判定部判定為拍攝方向存在變化的情況下的狀況的圖。

圖3是示意地示出用戶追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置進(jìn)行操作的情況下的不同的2幀的圖像的圖。

圖4是示意地示出用戶無法追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置進(jìn)行操作的情況下的不同的2幀的圖像的圖。

圖5是示意地說明攝像裝置的拍攝方向沒有變化、用戶無法追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置進(jìn)行操作的情況下的變化量的圖。

圖6是重疊且示意地示出顯示部顯示的輔助圖像及其前后的圖像的圖。

圖7是示出歷史圖像的顯示部中的顯示例的圖。

圖8是示出攝像裝置進(jìn)行的處理的概要的流程圖(其一)。

圖9是示出攝像裝置進(jìn)行的處理的概要的流程圖(其二)。

圖10是示出歷史圖像生成部進(jìn)行的歷史圖像的數(shù)據(jù)生成處理的概要的流程圖。

具體實(shí)施方式

下面，參照附圖對(duì)用于實(shí)施本發(fā)明的方式(以下稱為“實(shí)施方式”)進(jìn)行說明。另外，以下說明中參照的附圖是示意性的，在利用不同附圖示出相同物體的情況下，尺寸和比例尺等有時(shí)也不同。

圖1是示出本發(fā)明的一個(gè)實(shí)施方式的包含圖像處理裝置的攝像裝置的功能結(jié)構(gòu)的框圖。該圖所示的攝像裝置1具有根據(jù)攝像參數(shù)對(duì)被攝體進(jìn)行攝像并生成圖像數(shù)據(jù)的攝像部2、收集外部聲音并生成聲音數(shù)據(jù)的由麥克風(fēng)等構(gòu)成的聲音輸入部3、受理各種操作指示信號(hào)的輸入的輸入部4、檢測(cè)攝像裝置1的姿勢(shì)的姿勢(shì)檢測(cè)部5、顯示包含攝像部2進(jìn)行攝像而得到的圖像的各種信息的顯示部6、輸出聲音的由揚(yáng)聲器等構(gòu)成的聲音輸出部7、對(duì)攝像裝置1的動(dòng)作進(jìn)行總括控制的控制部8、存儲(chǔ)與攝像裝置1的動(dòng)作等有關(guān)的信息的存儲(chǔ)部9。

攝像部2具有使用一個(gè)或多個(gè)鏡頭構(gòu)成并使來自被攝體的光會(huì)聚的光學(xué)系統(tǒng)、以及對(duì)經(jīng)由光學(xué)系統(tǒng)成像的光進(jìn)行光電轉(zhuǎn)換并生成電氣的攝像信號(hào)的攝像元件。光學(xué)系統(tǒng)使用一個(gè)或多個(gè)各種光學(xué)元件構(gòu)成。攝像元件使用cmos(complementarymetaloxidesemiconducter)或ccd(chargecoupleddevice)等圖像傳感器構(gòu)成。

輸入部4使用層疊設(shè)置在顯示部6的畫面顯示區(qū)域內(nèi)的觸摸面板、設(shè)置在攝像裝置1的主體表面的包含受理靜態(tài)圖像拍攝的指示輸入的釋放開關(guān)和受理動(dòng)態(tài)圖像拍攝的開始和結(jié)束的指示輸入的動(dòng)態(tài)圖像開關(guān)在內(nèi)的各種開關(guān)或各種按鈕等用戶接口構(gòu)成。輸入部4也可以具有聲音輸入用的麥克風(fēng)。

姿勢(shì)檢測(cè)部5例如由相互正交的三軸方向的加速度傳感器構(gòu)成。姿勢(shì)檢測(cè)部5通過檢測(cè)攝像裝置1的三軸方向的加速度，檢測(cè)攝像裝置1的姿勢(shì)。

顯示部6使用由液晶或有機(jī)el(electroluminescence)等構(gòu)成的顯示面板構(gòu)成。顯示部6能夠進(jìn)行以規(guī)定時(shí)間(例如3秒鐘)顯示與輸入部4受理了輸入的釋放信號(hào)對(duì)應(yīng)的圖像數(shù)據(jù)的記錄瀏覽顯示、對(duì)存儲(chǔ)部9存儲(chǔ)的圖像數(shù)據(jù)進(jìn)行再現(xiàn)的再現(xiàn)顯示、以及沿著時(shí)間序列依次顯示與攝像部2連續(xù)生成的圖像數(shù)據(jù)對(duì)應(yīng)的實(shí)時(shí)取景圖像的實(shí)時(shí)取景顯示等。并且，顯示部6能夠顯示攝像裝置1的操作信息和與攝像動(dòng)作有關(guān)的信息。

控制部8具有本實(shí)施方式的圖像處理裝置的功能?？刂撇?具有圖像處理部81、姿勢(shì)/運(yùn)動(dòng)判定部82、變化判定部83、變化量計(jì)算部84、時(shí)機(jī)判定部85、輔助圖像生成部86、歷史圖像生成部87、顯示控制部88。

圖像處理部81對(duì)攝像部2生成的圖像數(shù)據(jù)(raw數(shù)據(jù))進(jìn)行各種圖像處理，生成已處理的圖像數(shù)據(jù)。圖像處理部81進(jìn)行的圖像處理包括光學(xué)黑體減法處理、白平衡(wb)調(diào)整處理、同時(shí)化處理(攝像部2的攝像元件具有拜耳排列的濾色器的情況)、彩色矩陣運(yùn)算處理、伽馬校正處理、顏色再現(xiàn)處理和邊緣強(qiáng)調(diào)處理等中的至少一部分。圖像處理部81根據(jù)規(guī)定的靜態(tài)圖像或動(dòng)態(tài)圖像格式對(duì)上述各種處理后的圖像數(shù)據(jù)進(jìn)行壓縮并輸出。作為靜態(tài)圖像格式，例如能夠舉出jpeg、exif等，作為動(dòng)態(tài)圖像格式，例如能夠舉出mpeg-4avc/h.264、avchd等。

姿勢(shì)/運(yùn)動(dòng)判定部82使用姿勢(shì)檢測(cè)部5的檢測(cè)結(jié)果判定攝像裝置1的姿勢(shì)，另一方面，使用攝像部2生成的圖像數(shù)據(jù)判定被攝體的運(yùn)動(dòng)。在判定運(yùn)動(dòng)的情況下，例如，圖像處理部81生成表示兩張圖像間的被攝體的代表點(diǎn)的運(yùn)動(dòng)的運(yùn)動(dòng)向量，使用該運(yùn)動(dòng)向量判定被攝體的運(yùn)動(dòng)。

變化判定部83根據(jù)姿勢(shì)/運(yùn)動(dòng)判定部82的判定結(jié)果，判定攝像部2的拍攝方向是否變化，并且判定畫面內(nèi)的被攝體的位置是否變化。變化判定部83例如對(duì)規(guī)定的2幀(例如相鄰的2幀)進(jìn)行比較來判定背景的運(yùn)動(dòng)，由此判定攝像部2的拍攝方向有無變化。另外，在使攝像裝置1具有手抖判定用的振動(dòng)傳感器的情況下，變化判定部83也可以根據(jù)振動(dòng)傳感器的檢測(cè)結(jié)果來判定攝像部2的拍攝方向有無變化。

圖2是示意地示出變化判定部83判定為拍攝方向存在變化的情況下的狀況的圖。在圖2中，示意地示出攝像裝置1的用戶101將滑雪板sb上的滑雪者102作為拍攝對(duì)象、對(duì)滑雪者102在滑行中跳躍的狀況進(jìn)行動(dòng)態(tài)圖像拍攝的狀況。在圖2所示的狀況下，需要根據(jù)用戶101是否改變了拍攝方向、換言之是否追隨于滑雪者102的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作來改變處理。下面，舉出具體例對(duì)這點(diǎn)進(jìn)行說明。

圖3是示意地示出用戶追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的情況下的不同的2幀的圖像的圖。在圖3中，圖像201中的滑雪者102-1的位置和此后拍攝的圖像202中的滑雪者102-2的位置均是畫面的大致中央部。因此，在圖3所示的情況下，滑雪者102的位置在2幀之間幾乎沒有變化。

與此相對(duì)，圖4是示意地示出用戶無法追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的情況下的不同的2幀的圖像的圖。在圖4中，圖像203中的滑雪者102-3的位置是畫面的大致中央部，與此相對(duì)，圖像204中的滑雪者102-4的位置是畫面的右上部。因此，在圖4所示的情況下，滑雪者102的位置在幀間大幅變化。

變化判定部83將圖3所示的狀況判定為拍攝方向變化，另一方面，將圖4所示的狀況判定為拍攝方向沒有變化。

變化量計(jì)算部84計(jì)算被攝體的位置的變化量。例如，如圖3所示，在用戶追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的情況下，變化量計(jì)算部84使用攝像部2的光軸方向相對(duì)于水平方向的角度(仰角)的變化δθ，通過下式計(jì)算鉛直方向的變化量δy。

δy＝d1·sinδθ…(1)

下面，將該變化量δy稱為第1變化量。這里，右邊的d1是從攝像裝置1到被攝體的距離，是根據(jù)對(duì)焦結(jié)果等求出的量，δθ是根據(jù)姿勢(shì)檢測(cè)部5的檢測(cè)結(jié)果求出的。

圖5是示意地說明攝像裝置1的拍攝方向沒有變化、用戶無法追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的情況下的變化量的圖。在圖5中，當(dāng)設(shè)攝像元件21的檢測(cè)范圍為s1、設(shè)光學(xué)系統(tǒng)22的焦距為f1時(shí)，在攝像部2幾乎沒有移動(dòng)、位于點(diǎn)p的被攝體的代表點(diǎn)的y坐標(biāo)移動(dòng)了δy而到達(dá)點(diǎn)p’的情況下，在與該被攝體之間的距離為d1時(shí)，變化量計(jì)算部84使用攝像元件21上的像的位置變化δs、距離d1和焦距f1，通過下式計(jì)算移動(dòng)距離δy。

δy＝δs·d1/f1…(2)

下面，將該變化量稱為第2變化量。另外，在式(2)中，其前提在于在時(shí)間上連續(xù)拍攝時(shí)，不怎么引起畫面的進(jìn)深方向的變化。并且，這里說明了鉛直方向的變化量，但是，還可以同樣計(jì)算水平方向的變化量。進(jìn)而，在以攝像裝置1的高度為基準(zhǔn)來求出被攝體的高度的情況下，在對(duì)位于點(diǎn)p的被攝體的代表點(diǎn)進(jìn)行拍攝的時(shí)點(diǎn)，在攝像部2的光軸方向相對(duì)于水平方向具有角度時(shí)，除了式(2)的δy的以外求出該角度量即可。

另外，這里說明的變化量計(jì)算部84的變化量計(jì)算處理只不過是一例，除此之外，例如還可以進(jìn)行被攝體的面部檢測(cè)，計(jì)算規(guī)定幀間的面部的旋轉(zhuǎn)量作為變化量。

時(shí)機(jī)判定部85判定是否是在圖像再現(xiàn)時(shí)生成并插入輔助圖像的數(shù)據(jù)的時(shí)機(jī)。作為該時(shí)機(jī)，例如可以舉出被攝體在畫面上剛剛停止運(yùn)動(dòng)之后的時(shí)機(jī)、高度剛剛到達(dá)最高點(diǎn)或最低點(diǎn)之后的時(shí)機(jī)等。更具體而言，例如在對(duì)圖2所示的滑雪板上的人正在滑行的狀況進(jìn)行動(dòng)態(tài)圖像拍攝的情況下，作為進(jìn)行跳躍來決定技巧的時(shí)機(jī)或停止運(yùn)動(dòng)的時(shí)機(jī)，可以舉出剛剛到達(dá)最高點(diǎn)之后的時(shí)機(jī)。并且，在對(duì)棒球投手投球的狀況進(jìn)行動(dòng)態(tài)圖像拍攝的情況下，可以舉出手臂伸長(zhǎng)的狀態(tài)或指尖剛剛到達(dá)最高點(diǎn)之后的時(shí)機(jī)。并且，在對(duì)高爾夫球手?jǐn)[動(dòng)的狀況進(jìn)行動(dòng)態(tài)圖像拍攝的情況下，可以舉出高爾夫球棍的前端剛剛到達(dá)最下點(diǎn)之后的時(shí)機(jī)。這樣，關(guān)于在運(yùn)動(dòng)競(jìng)技的動(dòng)態(tài)圖像中插入輔助圖像的時(shí)機(jī)，也可以將要插入的時(shí)機(jī)的動(dòng)作的模板預(yù)先存儲(chǔ)在存儲(chǔ)部9中，時(shí)機(jī)判定部85通過進(jìn)行模板匹配來判定要插入的時(shí)機(jī)。

輔助圖像生成部86生成輔助圖像的數(shù)據(jù)。圖6是重疊且示意地示出顯示部6顯示的輔助圖像及其前后的圖像的圖。在圖6中，顯示輔助圖像301、該輔助圖像301之前依次顯示的圖像205、206以及輔助圖像301之后顯示的圖像207，圖像的位置對(duì)應(yīng)于拍攝方向(高度)。在圖6中，示出用戶追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的情況下的輔助圖像，圖像20n(n＝5、6、7)中的滑雪者102-n的位置全部是畫面的大致中央部。在輔助圖像301中，除了最高點(diǎn)的高度信息311(顯示為○○(m))以外，還顯示示意性地施加網(wǎng)格顯示之前幀的被攝體的虛擬圖像dm、以及表示被攝體正在跳躍的“jump”這樣的文字。也可以還在輔助圖像301中顯示被攝體的速度信息。在圖6所示的情況下，在被攝體到達(dá)了最高點(diǎn)的圖像206之后的時(shí)機(jī)插入輔助圖像301。以圖像的視聽者能夠視覺辨認(rèn)的程度的時(shí)間(例如2～3秒左右)顯示輔助圖像301。另外，在圖6中，為了能夠識(shí)別輔助圖像301而利用粗框記載了其外緣，但是，這只不過是用于明確說明的簡(jiǎn)化方式。并且，虛擬圖像也可以不使用之前幀的圖像。

代替虛擬圖像dm，輔助圖像生成部86也可以僅重疊一幀前的圖像206中的被攝體的圖像而生成輔助圖像的數(shù)據(jù)，還可以重疊針對(duì)一幀前的被攝體的圖像實(shí)施了特殊效果處理的圖像的數(shù)據(jù)。這里所說的特殊效果處理是指組合多個(gè)圖像處理而產(chǎn)生視覺效果的處理。多個(gè)圖像處理例如是軟對(duì)焦處理、著色處理、合成處理、hdr處理和彩度強(qiáng)調(diào)處理等。

例如如將在滑雪板的u池中滑行的人作為被攝體的情況那樣，在能夠視為往復(fù)運(yùn)動(dòng)的情況下，歷史圖像生成部87生成隨著時(shí)間而變化的歷史圖像的數(shù)據(jù)。關(guān)于水平方向，歷史圖像生成部87例如也可以使用水平方向的加速度傳感器的檢測(cè)結(jié)果進(jìn)行兩次積分，由此取得位置信息。并且，歷史圖像生成部87也可以將圖像中的被攝體的水平方向的運(yùn)動(dòng)的變化換算成速度，使用該速度取得各時(shí)刻的位置信息。另外，歷史圖像生成部87生成的歷史圖像中顯示的歷史不限于往復(fù)運(yùn)動(dòng)，也可以生成描繪規(guī)定軌跡的歷史。例如，歷史圖像生成部87也可以生成如高爾夫球手打球時(shí)描繪的軌道那樣、顯示沿著大致圓軌道旋轉(zhuǎn)的歷史的歷史圖像。

圖7是示出歷史圖像的顯示部6中的顯示例的圖。該圖所示的歷史圖像401表示將在滑雪板的u池中滑行的滑雪者作為被攝體的情況下的歷史411。在歷史圖像401中還顯示虛擬圖像dm。但是，不是必須顯示虛擬圖像dm。在本實(shí)施方式中，設(shè)為在動(dòng)態(tài)圖像再現(xiàn)結(jié)束時(shí)顯示歷史圖像來進(jìn)行說明，但是，也可以在剛要開始動(dòng)態(tài)圖像再現(xiàn)之前顯示歷史圖像，還可以在動(dòng)態(tài)圖像再現(xiàn)中的適當(dāng)時(shí)機(jī)插入歷史圖像進(jìn)行顯示。

顯示控制部88對(duì)顯示部6中的圖像等的顯示進(jìn)行控制。顯示控制部88適當(dāng)插入輔助圖像或歷史圖像進(jìn)行顯示。顯示控制部88例如也可以進(jìn)行如下控制：在插入輔助圖像進(jìn)行顯示時(shí)，在輔助圖像顯示前逐漸降低再現(xiàn)圖像的幀率進(jìn)行顯示，另一方面，在輔助圖像插入后逐漸提高再現(xiàn)圖像的幀率進(jìn)行顯示。

具有以上功能結(jié)構(gòu)的控制部8使用cpu(centralprocessingunit)等通用處理器構(gòu)成。

存儲(chǔ)部9具有存儲(chǔ)各種圖像的數(shù)據(jù)的圖像數(shù)據(jù)存儲(chǔ)部91、以及存儲(chǔ)包含用于執(zhí)行本實(shí)施方式的攝像方法的攝像程序在內(nèi)的各種程序的程序存儲(chǔ)部92。

存儲(chǔ)部9使用ram(randomaccessmemory)等易失性存儲(chǔ)器和rom(readonlymemory)等非易失性存儲(chǔ)器構(gòu)成。其中，ram具有作為暫時(shí)存儲(chǔ)從圖像處理部81輸入的已處理的圖像數(shù)據(jù)和攝像裝置1的處理中的信息的暫時(shí)存儲(chǔ)部的功能。另外，也可以使用能夠從外部進(jìn)行拆裝的存儲(chǔ)卡等計(jì)算機(jī)可讀取的記錄介質(zhì)構(gòu)成存儲(chǔ)部9。

圖8和圖9是示出攝像裝置1進(jìn)行的處理的概要的流程圖。首先，參照?qǐng)D8進(jìn)行說明。在攝像裝置1設(shè)定為拍攝模式的情況下(步驟s101：是)，顯示控制部88使顯示部6顯示與攝像部2連續(xù)生成的實(shí)時(shí)取景圖像數(shù)據(jù)對(duì)應(yīng)的實(shí)時(shí)取景圖像(步驟s102)。

接著，姿勢(shì)/運(yùn)動(dòng)判定部82根據(jù)姿勢(shì)檢測(cè)部5的檢測(cè)結(jié)果判定攝像裝置1的姿勢(shì)，將判定結(jié)果記錄在存儲(chǔ)部9中(步驟s103)。并且，姿勢(shì)/運(yùn)動(dòng)判定部82使用攝像部2生成的圖像數(shù)據(jù)判定被攝體的運(yùn)動(dòng)，將判定結(jié)果寫入存儲(chǔ)部9中進(jìn)行存儲(chǔ)(步驟s104)。另外，姿勢(shì)/運(yùn)動(dòng)判定部82也可以在其他時(shí)機(jī)進(jìn)行姿勢(shì)/運(yùn)動(dòng)判定。

然后，在輸入部4的釋放開關(guān)受理了靜態(tài)圖像拍攝的指示輸入的情況下(步驟s105：是)，控制部8使攝像部2執(zhí)行靜態(tài)圖像拍攝(步驟s106)。該情況下，圖像處理部81對(duì)攝像部2生成的圖像數(shù)據(jù)(raw數(shù)據(jù))進(jìn)行規(guī)定的圖像處理。

然后，圖像處理部81將靜態(tài)圖像的圖像數(shù)據(jù)寫入圖像數(shù)據(jù)存儲(chǔ)部91中進(jìn)行存儲(chǔ)(步驟s107)。此時(shí)，圖像處理部81對(duì)攝像部2生成的圖像數(shù)據(jù)進(jìn)行尺寸調(diào)整處理而生成靜態(tài)圖像的縮略圖，和與該縮略圖對(duì)應(yīng)的已處理的圖像數(shù)據(jù)對(duì)應(yīng)起來存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)部91中。

接著，顯示控制部88使顯示部6以規(guī)定時(shí)間(例如3秒)顯示與攝像部2生成的靜態(tài)圖像的圖像數(shù)據(jù)對(duì)應(yīng)的靜態(tài)圖像(步驟s108)。

然后，在經(jīng)由輸入部4斷開攝像裝置1的電源的情況下(步驟s109：是)，攝像裝置1結(jié)束一連串的處理。與此相對(duì)，在未經(jīng)由輸入部4斷開攝像裝置1的電源的情況下(步驟s109：否)，攝像裝置1返回步驟s101。

在步驟s105中輸入部4的釋放開關(guān)未受理靜態(tài)圖像拍攝的指示輸入的情況下(步驟s105：否)，攝像裝置1轉(zhuǎn)移到步驟s110。

接著，在輸入部4的動(dòng)態(tài)圖像開關(guān)受理了動(dòng)態(tài)圖像拍攝的開始指示信號(hào)的輸入的情況下(步驟s110：是)，控制部8進(jìn)行開始動(dòng)態(tài)圖像拍攝的控制(步驟s111)。具體而言，控制部8開始使攝像部2根據(jù)規(guī)定的動(dòng)態(tài)圖像格式執(zhí)行動(dòng)態(tài)圖像拍攝，并且，圖像處理部81對(duì)由攝像部2連續(xù)生成的圖像數(shù)據(jù)執(zhí)行圖像處理，除了聲音輸入部3生成的聲音數(shù)據(jù)以外，還生成動(dòng)態(tài)圖像文件。另外，關(guān)于拍攝動(dòng)態(tài)圖像時(shí)的幀率，用戶能夠操作輸入部4來選擇設(shè)定期望的幀率。

然后，在動(dòng)態(tài)圖像開關(guān)受理了動(dòng)態(tài)圖像拍攝的結(jié)束指示信號(hào)的輸入的情況下(步驟s112：是)，控制部8進(jìn)行結(jié)束動(dòng)態(tài)圖像拍攝的控制(步驟s113)。在未受理動(dòng)態(tài)圖像拍攝的結(jié)束指示信號(hào)的輸入的情況下(步驟s112：否)，攝像裝置1反復(fù)進(jìn)行步驟s112。

接著，圖像處理部81將動(dòng)態(tài)圖像的圖像數(shù)據(jù)寫入圖像數(shù)據(jù)存儲(chǔ)部91中進(jìn)行存儲(chǔ)(步驟s114)。此時(shí)，圖像處理部81使用構(gòu)成動(dòng)態(tài)圖像數(shù)據(jù)的最初幀的圖像數(shù)據(jù)生成動(dòng)態(tài)圖像的縮略圖，和與該縮略圖對(duì)應(yīng)的動(dòng)態(tài)圖像文件對(duì)應(yīng)起來寫入圖像數(shù)據(jù)存儲(chǔ)部91中進(jìn)行存儲(chǔ)。然后，攝像裝置1轉(zhuǎn)移到步驟s109。

在步驟s110中不存在動(dòng)態(tài)圖像拍攝操作的情況下(步驟s110：否)，攝像裝置1轉(zhuǎn)移到步驟s109。

接著，對(duì)攝像裝置1未設(shè)定為拍攝模式(步驟s101：否)、攝像裝置1設(shè)定為再現(xiàn)模式的情況(步驟s115：是)進(jìn)行說明。該情況下，顯示控制部88進(jìn)行在顯示部6中依次顯示圖像數(shù)據(jù)存儲(chǔ)部91存儲(chǔ)的靜態(tài)圖像或動(dòng)態(tài)圖像的縮略圖的縮略圖顯示(步驟s116)。

接著，在輸入部4受理了顯示部6顯示的多個(gè)縮略圖中的任意一個(gè)縮略圖的選擇輸入的情況下(步驟s117：是)，如果選擇出的圖像是動(dòng)態(tài)圖像(步驟s118：是)，則顯示控制部88開始在顯示部6中再現(xiàn)選擇出的動(dòng)態(tài)圖像(步驟s119)。另外，在輸入部4未受理顯示部6顯示的多個(gè)縮略圖中的任意一個(gè)縮略圖的選擇輸入的情況下(步驟s117：否)，攝像裝置1轉(zhuǎn)移到步驟s109。

參照?qǐng)D9對(duì)接著步驟s119的處理進(jìn)行說明。在步驟s120中，變化判定部83判定攝像部的拍攝方向是否變化(步驟s120)。在拍攝方向變化的情況下(步驟s120：是)，在被攝體的畫面內(nèi)的位置沒有變化時(shí)(步驟s121：否)，變化量計(jì)算部84根據(jù)式(1)計(jì)算第1變化量(步驟s122)。如圖4所示，該狀況相當(dāng)于用戶追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的狀況。然后，攝像裝置1轉(zhuǎn)移到后述步驟s125。在步驟s121中被攝體的畫面內(nèi)的位置變化時(shí)(步驟s121：是)，攝像裝置1轉(zhuǎn)移到后述步驟s129。

另一方面，在步驟s120中拍攝方向沒有變化的情況下(步驟s120：否)，在被攝體的畫面內(nèi)的位置變化時(shí)(步驟s123：是)，變化量計(jì)算部84根據(jù)式(2)計(jì)算第2變化量(步驟s124)。如圖5所示，該狀況相當(dāng)于用戶無法追隨于被攝體的運(yùn)動(dòng)而對(duì)攝像裝置1進(jìn)行操作的狀況。在步驟s124之后，攝像裝置1轉(zhuǎn)移到步驟s125。在步驟s123中被攝體的畫面內(nèi)的位置沒有變化時(shí)(步驟s123：否)，攝像裝置1轉(zhuǎn)移到后述步驟s129。

在步驟s122或s124之后進(jìn)行的步驟s125中，時(shí)機(jī)判定部85根據(jù)步驟s122中計(jì)算出的第1變化量或步驟s124中計(jì)算出的第2變化量，判定插入輔助圖像進(jìn)行顯示的時(shí)機(jī)(步驟s125)。

在時(shí)機(jī)判定部85判定為是顯示輔助圖像的時(shí)機(jī)的情況下(步驟s126：是)，輔助圖像生成部86使用在該時(shí)機(jī)顯示的圖像的信息生成輔助圖像的數(shù)據(jù)(步驟s127)。這里所說的圖像的信息例如是與被攝體的高度、速度或朝向有關(guān)的信息中的至少任意一個(gè)信息。另外，時(shí)機(jī)判定部85也可以在動(dòng)態(tài)圖像剛剛拍攝之后判定顯示輔助圖像的時(shí)機(jī)，輔助圖像生成部86根據(jù)該判定結(jié)果生成輔助圖像的數(shù)據(jù)。并且，也可以設(shè)圖像的信息為利用被攝體的高度、速度或朝向等的實(shí)測(cè)值進(jìn)行預(yù)測(cè)的結(jié)果。另外，在步驟s126中時(shí)機(jī)判定部85判定為不是顯示輔助圖像的時(shí)機(jī)的情況下(步驟s126：否)，攝像裝置1轉(zhuǎn)移到步驟s129。該時(shí)機(jī)當(dāng)然可以是再現(xiàn)顯示的中途，也可以是再現(xiàn)顯示的前后。如果在再現(xiàn)前進(jìn)行顯示，則期待感提高，能夠引起鑒賞者、觀察者的注意。并且，當(dāng)在再現(xiàn)后進(jìn)行顯示時(shí)，能夠享受結(jié)局和預(yù)測(cè)，成為結(jié)尾或返場(chǎng)的效果。

然后，顯示控制部88使顯示部6顯示輔助圖像(步驟s128)。圖6所示的輔助圖像301是輔助圖像的顯示部6中的一個(gè)顯示例。

然后，在輸入部4受理了結(jié)束再現(xiàn)的指示輸入的情況下(步驟s129：是)，歷史圖像生成部87生成歷史圖像的數(shù)據(jù)(步驟s130)。在輸入部4未受理結(jié)束再現(xiàn)的指示輸入的情況下(步驟s129：否)，攝像裝置1返回步驟s121。另外，歷史圖像生成部87也可以與再現(xiàn)結(jié)束指示無關(guān)，在生成了動(dòng)態(tài)圖像數(shù)據(jù)的時(shí)點(diǎn)預(yù)先生成歷史圖像的數(shù)據(jù)，并將其存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)部91中。

圖10是示出歷史圖像生成部87進(jìn)行的歷史圖像的數(shù)據(jù)生成處理(步驟s130)的概要的流程圖。首先，歷史圖像生成部87進(jìn)行有效數(shù)據(jù)判定(步驟s201)。這里所說的有效數(shù)據(jù)是指在表示與被攝體的運(yùn)動(dòng)有關(guān)的歷史的方面有效的數(shù)據(jù)，例如是能夠在多幀中跟蹤的被攝體的代表點(diǎn)等。

接著，歷史圖像生成部87判定被攝體的大小的變化(步驟s202)。在判定為被攝體的大小的變化較小的情況下(步驟s202：是)，歷史圖像生成部87轉(zhuǎn)移到步驟s203。另一方面，在判定為被攝體的大小的變化較大的情況下(步驟s202：否)，歷史圖像生成部87結(jié)束歷史圖像生成處理。例如根據(jù)多個(gè)代表點(diǎn)之間的距離的幀間的變化量是否超過閾值來判定這里的被攝體的大小的變化量。

在步驟s203中，歷史圖像生成部87判定被攝體的反復(fù)動(dòng)作的起點(diǎn)和終點(diǎn)(步驟s203)。在能夠判定被攝體的反復(fù)動(dòng)作的起點(diǎn)和終點(diǎn)的情況下(步驟s203：是)，歷史圖像生成部87轉(zhuǎn)移到步驟s204。另一方面，在無法判定被攝體的反復(fù)動(dòng)作的起點(diǎn)和終點(diǎn)的情況下(步驟s203：否)，歷史圖像生成部87結(jié)束歷史圖像生成處理。

在步驟s204中，歷史圖像生成部87描繪有效數(shù)據(jù)(步驟s204)。然后，歷史圖像生成部87進(jìn)行對(duì)描繪出的有效數(shù)據(jù)進(jìn)行插值來描繪被攝體的歷史的處理(步驟s205)。由此，歷史圖像的數(shù)據(jù)完成，歷史圖像生成部87結(jié)束一連串的處理。圖7所示的歷史圖像401是該步驟s205中顯示的歷史圖像的一個(gè)顯示例。觀察到這種歷史圖像的人能夠預(yù)測(cè)被攝體的時(shí)間上的推移，并且能夠計(jì)測(cè)與運(yùn)動(dòng)對(duì)應(yīng)的速度和高度等的量。另外，不僅能夠如圖7所示一次性顯示全部歷史，還能夠進(jìn)行隨著時(shí)間經(jīng)過而逐漸描繪歷史這樣的顯示。并且，也可以根據(jù)歷史圖像進(jìn)行與將來的被攝體的移動(dòng)(時(shí)間推移)有關(guān)的預(yù)測(cè)，顯示該預(yù)測(cè)結(jié)果。

再次返回圖9，對(duì)攝像裝置1在步驟s130之后進(jìn)行的處理進(jìn)行說明。在存在歷史圖像的數(shù)據(jù)的情況下(步驟s131：是)，顯示控制部88使顯示部6顯示該歷史圖像(步驟s132)。然后，攝像裝置1轉(zhuǎn)移到上述步驟s109(參照?qǐng)D8)。另一方面，在步驟s131中不存在歷史圖像的數(shù)據(jù)的情況下(步驟s131：否)，攝像裝置1轉(zhuǎn)移到步驟s109。

再次參照?qǐng)D8對(duì)步驟s118中選擇了靜態(tài)圖像縮略圖的情況(步驟s118：否)進(jìn)行說明。該情況下，顯示控制部88使顯示部6顯示選擇出的靜態(tài)圖像(步驟s133)。

接著，在輸入部4受理了對(duì)再現(xiàn)圖像進(jìn)行變更的指示輸入的情況下(步驟s134：是)，顯示控制部88使顯示部6再現(xiàn)顯示根據(jù)指示進(jìn)行變更后的圖像(步驟s135)。具體而言，當(dāng)輸入部4受理圖像變更的指示輸入后，首先，顯示控制部88使顯示部6以縮略圖的方式顯示可選擇的圖像，向用戶提示要變更的圖像的選擇輸入。然后，在以縮略圖的方式顯示的畫面上，當(dāng)輸入部4受理縮略圖的選擇輸入后，顯示控制部88使顯示部6放大并再現(xiàn)顯示與選擇出的縮略圖對(duì)應(yīng)的靜態(tài)圖像。然后，攝像裝置1轉(zhuǎn)移到步驟s109。

在步驟s134中輸入部4未受理對(duì)再現(xiàn)圖像進(jìn)行變更的指示輸入的情況下(步驟s134：否)，顯示控制部88轉(zhuǎn)移到步驟s109。

最后，對(duì)步驟s115中攝像裝置1未設(shè)定為再現(xiàn)模式的情況(步驟s115：否)進(jìn)行說明。該情況下，攝像裝置1轉(zhuǎn)移到其他可設(shè)定的模式。省略與其他可設(shè)定的模式有關(guān)的記載。

根據(jù)以上說明的本發(fā)明的一個(gè)實(shí)施方式，使用連續(xù)拍攝的多個(gè)圖像的數(shù)據(jù)判定該多個(gè)圖像的拍攝方向有無變化，根據(jù)拍攝方向有無變化來計(jì)算多個(gè)圖像中拍攝出的被攝體的位置的變化量，生成顯示與變化量相關(guān)聯(lián)的被攝體的信息的輔助圖像的數(shù)據(jù)，所以，觀察再現(xiàn)圖像的人能夠通過輔助圖像直觀地掌握被攝體的特征。

并且，根據(jù)本實(shí)施方式，通過在動(dòng)態(tài)圖像再現(xiàn)中插入輔助圖像，能夠?qū)崿F(xiàn)具有變化的動(dòng)態(tài)圖像再現(xiàn)。

并且，根據(jù)本實(shí)施方式，在再現(xiàn)圖像中附帶顯示被攝體的歷史圖像，所以，觀察再現(xiàn)圖像的人能夠直觀地掌握被攝體中的特征的歷史。

另外，上述攝像裝置1也可以使用包含攝像部2且具有攝像功能的鏡頭型照相機(jī)和能夠與該照相機(jī)進(jìn)行通信的智能手機(jī)等便攜設(shè)備構(gòu)成。該情況下，本實(shí)施方式的圖像處理裝置的功能既可以在照相機(jī)側(cè)實(shí)現(xiàn)，也可以在便攜設(shè)備側(cè)實(shí)現(xiàn)。

攝像裝置1只要具有與被攝體的運(yùn)動(dòng)有關(guān)的計(jì)測(cè)功能和預(yù)測(cè)功能即可，也可以應(yīng)用于監(jiān)視照相機(jī)或車載照相機(jī)等。該情況下，根據(jù)固定攝像裝置1的位置和可動(dòng)范圍，包含從gps(globalpositioningsystem)取得的位置信息、仰角信息和方位信息等在內(nèi)，能夠增多用于計(jì)測(cè)或預(yù)測(cè)被攝體的運(yùn)動(dòng)和位置變化的各種信息的數(shù)量，并且能夠提高各種信息的精度。在能夠增多各種信息的數(shù)量并取得高精度的信息的情況下，能夠生成具有多個(gè)信息的豐富多彩的輔助圖像。

并且，上述攝像裝置1例如可以是如醫(yī)療用和工業(yè)用的內(nèi)窺鏡那樣具有攝像功能的裝置整體。該情況下，使處理器側(cè)具有本實(shí)施方式的圖像處理裝置的功能即可。

并且，還可以將上述攝像裝置1應(yīng)用于顯微鏡和測(cè)定用觀察設(shè)備。該情況下，能夠通過輔助圖像對(duì)用戶的視覺辨認(rèn)性進(jìn)行輔助。另外，不僅是被攝體的運(yùn)動(dòng)，還可以對(duì)裝置自身的運(yùn)動(dòng)進(jìn)行可視化，對(duì)用戶的操作進(jìn)行輔助。

在本說明書的流程圖的說明中，使用“首先”、“然后”、“接著”等表現(xiàn)明示了步驟間的處理的前后關(guān)系，但是，實(shí)施上述實(shí)施方式所需要的處理的順序不由這些表現(xiàn)唯一決定。即，能夠在不矛盾的范圍內(nèi)對(duì)本說明書中記載的流程圖中的處理的順序進(jìn)行變更。

并且，本說明書中使用流程圖說明的處理的算法可以記述為程序。這種程序可以記錄在計(jì)算機(jī)內(nèi)部的存儲(chǔ)部中，也可以記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中，例如存儲(chǔ)在存儲(chǔ)卡(rom卡、ram卡等)、磁盤(硬盤等)、光盤(cd-rom、dvd等)、半導(dǎo)體存儲(chǔ)器等外部存儲(chǔ)裝置的存儲(chǔ)介質(zhì)中進(jìn)行發(fā)布。關(guān)于程序針對(duì)存儲(chǔ)部或記錄介質(zhì)的記錄，可以在將計(jì)算機(jī)或記錄介質(zhì)作為產(chǎn)品進(jìn)行出廠時(shí)進(jìn)行記錄，也可以通過經(jīng)由通信網(wǎng)絡(luò)的下載進(jìn)行記錄。

這樣，本發(fā)明可以包括這里未記載的各種實(shí)施方式，能夠在由權(quán)利要求書確定的技術(shù)思想范圍內(nèi)進(jìn)行各種設(shè)計(jì)變更等。

標(biāo)號(hào)說明

1：攝像裝置；2：攝像部；3：聲音輸入部；4：輸入部；5：姿勢(shì)檢測(cè)部；6：顯示部；7：聲音輸出部；8：控制部；9：存儲(chǔ)部；21：攝像元件；22：光學(xué)系統(tǒng)；81：圖像處理部；82：姿勢(shì)/運(yùn)動(dòng)判定部；83：變化判定部；84：變化量計(jì)算部；85：時(shí)機(jī)判定部；86：輔助圖像生成部；87：歷史圖像生成部；88：顯示控制部；91：圖像數(shù)據(jù)存儲(chǔ)部；92：程序存儲(chǔ)部；101：用戶；102：滑雪者；201～207：圖像；301：輔助圖像；311：信息；401：歷史圖像；411：歷史；dm：虛擬圖像；sb：滑雪板。