專利名稱：攝像裝置和動態(tài)圖像再現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有使用外部設(shè)備來再現(xiàn)動態(tài)圖像的功能的攝像裝置和這樣的動態(tài) 圖像再現(xiàn)方法。
背景技術(shù)：
近年來，數(shù)字照相機和便攜電話機等具有各種攝像功能的便攜設(shè)備已經(jīng)能夠進(jìn)行 動態(tài)圖像攝影。然而，準(zhǔn)確捕捉不進(jìn)行規(guī)定運動的被攝體的運動來拍攝動態(tài)圖像，這對于普 通用戶來說是較困難的。因此，對于普通用戶，只能拍攝單調(diào)的動態(tài)圖像。與此相對，對于 內(nèi)行人士制作的電視節(jié)目等，可以在通過多個攝像機頻繁切換構(gòu)圖的同時進(jìn)行攝影。因此， 可以拍攝不單調(diào)的動態(tài)圖像。然而，普通用戶采取這種攝影方法是非常困難的。攝影時即使是單調(diào)的動態(tài)圖像，如果經(jīng)過適當(dāng)?shù)木庉嬜鳂I(yè)，也會成為值得欣賞的 動態(tài)圖像。近年來，提出了各種能對電視畫面上再現(xiàn)的動態(tài)圖像進(jìn)行動態(tài)圖像編輯的技術(shù) (例如參照日本專利第2822187號公報)。在日本專利第2822187號公報等現(xiàn)有的動態(tài)圖像編輯技術(shù)中，對于欣賞編輯后得 到的動態(tài)圖像的欣賞者的情況未作任何考慮，編輯后得到的動態(tài)圖像對于欣賞者來說未必 是感興趣的動態(tài)圖像。因此，動態(tài)圖像的欣賞者很有可能感到無聊。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種可獲得欣賞動態(tài)圖像的欣賞者容易感興趣的動態(tài)圖像 的攝像裝置和動態(tài)圖像再現(xiàn)方法。為了達(dá)到上述目的，本發(fā)明的第1方式的攝像裝置，其特征在于，該攝像裝置具 有攝像部，其取得動態(tài)圖像；記錄部，其記錄由上述攝像部取得的動態(tài)圖像；以及合成部， 其將在記錄于上述記錄部中的動態(tài)圖像的再現(xiàn)時使上述攝像部工作而獲得的動態(tài)圖像與 上述再現(xiàn)中的動態(tài)圖像進(jìn)行合成。為了達(dá)到上述目的，本發(fā)明的第2方式的攝像裝置，其特征在于，該攝像裝置具 有攝像部，其取得圖像；記錄部，其記錄由上述攝像部所取得的圖像中的第1圖像；發(fā)送 部，其將第3圖像與上述再現(xiàn)中的第1圖像進(jìn)行合成并發(fā)送到外部，該第3圖像基于在記錄 于上述記錄部內(nèi)的第1圖像的再現(xiàn)時使上述攝像部工作而獲得的圖像即第2圖像的一部 分；以及接收部，其接收切換上述第1圖像內(nèi)的上述第3圖像的合成位置的信號。為了達(dá)到上述目的，本發(fā)明的第3方式的動態(tài)圖像再現(xiàn)方法，其特征在于，所述方 法包括以下步驟取得動態(tài)圖像，在再現(xiàn)上述所取得的動態(tài)圖像時使攝像裝置的攝像部工 作，將使上述攝像部工作而獲得的動態(tài)圖像與上述再現(xiàn)的動態(tài)圖像進(jìn)行合成。


圖1是示出具有作為本發(fā)明的一個實施方式的攝像裝置的一例的數(shù)字照相機的 動態(tài)圖像再現(xiàn)系統(tǒng)的結(jié)構(gòu)的圖。
圖2是示出動態(tài)圖像再現(xiàn)系統(tǒng)使用時的情況的圖。圖3是示出數(shù)字照相機的主工作的流程圖的第1圖。圖4A是表示動態(tài)圖像的縮略圖像的顯示例。圖4B是用于選擇動態(tài)圖像的再現(xiàn)目的地的畫面的顯示例。圖4C是動態(tài)圖像再現(xiàn)時的例子。圖4D是表示是在通信模式中的顯示例。圖5是示出數(shù)字照相機的主工作的流程圖的第2圖。圖6A是示出臉部圖像的合成例的圖。圖6B是示出臉部圖像的合成位置變更例的圖。圖7是示出位置變更處理的流程圖。圖8是示出數(shù)字照相機的主工作的流程圖的第3圖。圖9A是示出遙控器操作顯示圖像的第1顯示例的圖。圖9B是示出遙控器操作顯示圖像的第2顯示例的圖。圖10是示出外部再現(xiàn)結(jié)束處理的流程圖。圖11是示出確認(rèn)畫面的顯示例的圖。
具體實施例方式以下，參照

本發(fā)明的實施方式。圖1是示出具有數(shù)字照相機(其作為本發(fā)明的一個實施方式的攝像裝置的一例) 的動態(tài)圖像再現(xiàn)系統(tǒng)的結(jié)構(gòu)的圖。如圖1所示，該動態(tài)圖像再現(xiàn)系統(tǒng)構(gòu)成為使數(shù)字照相機 100和電視接收機(以下簡稱為TV) 200經(jīng)由通信電纜以自由通信的方式連接。本實施方式的數(shù)字照相機100具有攝像部101，臉部檢測部102，顯示部103，聲 音采集部104，記錄部105，時鐘部106，控制部107，操作部108，以及通信接口部109。另外， 本實施方式中的數(shù)字照相機100至少具有以下工作模式用于進(jìn)行動態(tài)圖像攝影的動態(tài)圖 像攝影模式，用于進(jìn)行動態(tài)圖像再現(xiàn)的動態(tài)圖像再現(xiàn)模式，以及用于與TV 200進(jìn)行數(shù)據(jù)通 信的通信模式。攝像部101具有用于對未圖示的被攝體像進(jìn)行會聚的鏡頭、以及將由鏡頭所會聚 的被攝體像轉(zhuǎn)換成電信號的攝像元件等。該攝像部101對被攝體進(jìn)行攝像，取得被攝體的 靜態(tài)圖像。此外，通過連續(xù)地執(zhí)行攝像部101的攝像，還能取得動態(tài)圖像。臉部檢測部102檢測通過攝像部101的攝像而獲得的圖像中的被攝體的臉部。由 臉部檢測部102檢測出的臉部的信息例如可用于使構(gòu)成攝像部101的鏡頭的焦點對準(zhǔn)臉部 位置的控制、以及使圖像中的臉部的曝光合適的控制。另外，臉部檢測部102中的臉部檢測 是例如通過檢測圖像中的臉部的特征量(眼和鼻的形狀和位置關(guān)系等)來進(jìn)行的。并且， 本實施方式中的臉部檢測部102還能檢測臉部表情(特別是笑臉)。顯示部103顯示由攝像部101取得的靜態(tài)圖像或動態(tài)圖像。該顯示部103是例如 配設(shè)在數(shù)字照相機100背面的液晶顯示器。聲音采集部104取得動態(tài)圖像攝影時的數(shù)字照相機100周圍的聲音，將所取得的 聲音信號轉(zhuǎn)換成電信號。記錄部105記錄由攝像部101取得的靜態(tài)圖像或動態(tài)圖像。該記錄部105是例如可在數(shù)字照相機100上進(jìn)行自由拆裝的半導(dǎo)體存儲卡。時鐘部106對在攝像部101中進(jìn)行 靜態(tài)圖像攝影或動態(tài)圖像攝影的日期時刻進(jìn)行計時。由該時鐘部106所計時的攝影日期時 刻與由攝像部101所取得的靜態(tài)圖像或動態(tài)圖像相關(guān)聯(lián)地記錄在記錄部105中?？刂撇?07進(jìn)行數(shù)字照相機100內(nèi)部的各模塊的控制(包括攝像部101的攝像工 作的控制、顯示部103的顯示工作的控制、聲音采集部104的工作控制等)。此外，控制部 107還進(jìn)行針對由攝像部101所獲得的圖像的圖像處理、針對由聲音采集部104所獲得的聲 音的聲音處理等各種數(shù)據(jù)處理。這里，本實施方式中的控制部107還具有作為合成部的功 能。即，控制部107還進(jìn)行這樣的處理將記錄在記錄部105中的動態(tài)圖像與欣賞該動態(tài)圖 像的欣賞者的圖像進(jìn)行合成，并將欣賞者的聲音與記錄在記錄部105中的動態(tài)圖像關(guān)聯(lián)起 來。而且，控制部107還具有作為裁剪部的功能，對由攝像部101所獲得的圖像中的臉部圖 像(臉部圖像)進(jìn)行裁剪并提取。操作部108是用于供用戶進(jìn)行數(shù)字照相機100的各種操作的操作部。識別操作部 108的操作，控制部107執(zhí)行與操作部108的操作對應(yīng)的處理。另外，作為操作部108，例如 包含有用于設(shè)定數(shù)字照相機100的工作模式的操作部，用于指示數(shù)字照相機100的攝影執(zhí) 行/結(jié)束的操作部，用于進(jìn)行各種選擇工作的操作部等。通信接口部109是用于在數(shù)字照相機100與TV 200之間進(jìn)行數(shù)據(jù)通信的接口。 在本實施方式中，將HDMI (High Definition MultimediaInterface,高清晰度多媒體接口 ) (注冊商標(biāo))用作通信接口部109。然而，通信接口部109只要是適于動態(tài)圖像傳送的接口， 就不作特別限定。并且，圖1中示出了有線接口，但是也可以使用與紅外線通信或電波通信 等對應(yīng)的無線接口。作為本實施方式的外部設(shè)備的一例的TV 200具有廣播接收部201，顯示部202， 網(wǎng)絡(luò)通信部203，信息重疊部204，控制部205，遙控器信號接收部206，以及通信接口部207。廣播接收部201包含用于從未圖示的電視臺等接收電視廣播的天線等。顯示部 202顯示基于經(jīng)由廣播接收部201接收到的電視廣播的動態(tài)圖像。此外，本實施方式中的顯 示部202還能顯示作為數(shù)字?jǐn)?shù)據(jù)從數(shù)字照相機100傳送來的動態(tài)圖像。網(wǎng)絡(luò)通信部203是用于供TV 200經(jīng)由互聯(lián)網(wǎng)與未圖示的服務(wù)器等進(jìn)行通信的接 口。信息疊加部204使經(jīng)由網(wǎng)絡(luò)通信部203從未圖示的服務(wù)器等獲得的各種數(shù)據(jù)與顯示在 顯示部202上的動態(tài)圖像疊加?？刂撇?05進(jìn)行包含顯示部202的顯示工作的控制和信息疊加部204的工作控制 等的、TV 200內(nèi)部的各模塊的控制。遙控器信號接收部206接收來自TV 200的遙控器400 的遙控器信號。識別由遙控器信號接收部206接收到的遙控器信號，控制部205執(zhí)行與遙 控器400的操作對應(yīng)的處理。通信接口部207是用于供TV 200與數(shù)字照相機100之間進(jìn)行數(shù)據(jù)通信的接口。該 通信接口部207例如也是HDMI。圖2是示出本實施方式的動態(tài)圖像再現(xiàn)系統(tǒng)使用時的情況的圖。如圖2所示，數(shù) 字照相機100經(jīng)由通信電纜300與TV 200連接。在這樣的狀態(tài)下，欣賞者500可觀看顯示 在TV 200的顯示部202中的動態(tài)圖像202a。并且，欣賞者500通過操作遙控器400，能對 TV 200進(jìn)行遠(yuǎn)程操作。這里，在本實施方式中，在從數(shù)字照相機100經(jīng)由通信電纜300傳送的動態(tài)圖像
5202a的再現(xiàn)期間，由數(shù)字照相機100的攝像部101取得欣賞者500的臉部圖像，將欣賞者 500的臉部圖像202b與從數(shù)字照相機100傳送的動態(tài)圖像合成并顯示在TV 200的顯示部 202上。通過進(jìn)行這樣的顯示，例如如圖2所示，兩位欣賞者500在欣賞動態(tài)圖像202a時可 在顯示部202上確認(rèn)彼此的反應(yīng)，由此能使動態(tài)圖像202a的欣賞氣氛熱烈。這樣，即使未事 先編輯實際再現(xiàn)的動態(tài)圖像，也能對該動態(tài)圖像賦予不是僅僅觀看該動態(tài)圖像的樂趣。也 就是說，在本實施方式中，在TV 200的顯示部202上顯示具有與猶如觀看編輯過的圖像相 同的效果的圖像。以下，參照圖3 圖11說明圖2所示的動態(tài)圖像再現(xiàn)系統(tǒng)的工作詳情。另外，本 實施方式中的TV 200只進(jìn)行如下工作顯示從數(shù)字照相機100發(fā)送的動態(tài)圖像；以及在操 作了遙控器400的情況下，將表示遙控器400的操作內(nèi)容的操作信號作為外部信號發(fā)送到 數(shù)字照相機100。因此，在以下說明中對數(shù)字照相機100側(cè)的工作進(jìn)行特別說明。此外，本 實施方式中的數(shù)字照相機100也能進(jìn)行靜態(tài)圖像的攝影和再現(xiàn)，但是在以下說明中，對動 態(tài)圖像攝影和動態(tài)圖像再現(xiàn)所涉及的工作進(jìn)行特別說明。在圖3中，數(shù)字照相機100的控制部107首先判定數(shù)字照相機100的工作模式是否 是動態(tài)圖像攝影模式(步驟S101)。在步驟SlOl的判定中，在數(shù)字照相機100的工作模式 是動態(tài)圖像攝影模式的情況下，控制部107使攝像部101連續(xù)工作來進(jìn)行圖像的取入(步 驟S102)，將通過攝像部101的連續(xù)工作獲得的動態(tài)圖像實時顯示在顯示部103上(步驟 S103)。在觀看顯示在該顯示部103上的動態(tài)圖像的同時，攝影者能決定攝影開始的時機和 構(gòu)圖等。在顯示部103上顯示了動態(tài)圖像之后，控制部107判定是否攝影者通過操作操作 部108而進(jìn)行了動態(tài)圖像的攝影開始指示(步驟S104)。在步驟S104的判定中，在未進(jìn)行 動態(tài)圖像的攝影開始指示的情況下，控制部107再次進(jìn)行步驟SlOl的工作模式判定。并且， 在步驟S104的判定中，在進(jìn)行了動態(tài)圖像的攝影開始指示的情況下，控制部107開始將經(jīng) 由攝像部101獲得的動態(tài)圖像和經(jīng)由聲音采集部104獲得的聲音記錄到記錄部105內(nèi)(步 驟S105)。這里，作為動態(tài)圖像的記錄方式，在本實施方式中，例如使用Motion JPEG方式。 使用Motion JPEG的原因是因為以幀為單位編輯動態(tài)圖像(具體為后述的臉部圖像合成) 較容易。當(dāng)然，只要是允許合成時機的限定等預(yù)定條件的標(biāo)準(zhǔn)，就可以使用H. 264等的幀間 壓縮處理。此外，假定經(jīng)由攝像部101的動態(tài)圖像記錄和經(jīng)由聲音采集部104的聲音記錄 是同時進(jìn)行，使得彼此同步。在動態(tài)圖像的攝影開始后，控制部107判定是否攝影者通過操作操作部108而進(jìn) 行了動態(tài)圖像的攝影結(jié)束指示(步驟S106)。在步驟S106的判定中，在未進(jìn)行動態(tài)圖像的 攝影結(jié)束指示的情況下，處理回到步驟S105，控制部107繼續(xù)動態(tài)圖像的記錄。并且，在步 驟S106的判定中，在進(jìn)行了動態(tài)圖像的攝影結(jié)束指示的情況下，控制部107結(jié)束動態(tài)圖像 的記錄。此時，控制部107將記錄在記錄部105中的動態(tài)圖像與由時鐘部106所記錄的攝 影日期時刻關(guān)聯(lián)起來進(jìn)行記錄。在動態(tài)圖像的記錄結(jié)束后，控制部107進(jìn)行步驟SlOl以后 的處理。并且，在步驟SlOl的判定中，在數(shù)字照相機100的工作模式不是動態(tài)圖像攝影模 式的情況下，控制部107判定數(shù)字照相機100的工作模式是否是動態(tài)圖像再現(xiàn)模式(步驟 S107)。在步驟S107的判定中，在數(shù)字照相機100的工作模式是動態(tài)圖像再現(xiàn)模式的情況 下，控制部107將表示記錄在記錄部105中的動態(tài)圖像(還關(guān)聯(lián)有聲音)的縮略圖像如圖4A所示地顯示在顯示部103上(步驟S108)。另外，假定作為縮略圖像進(jìn)行顯示的圖像是 各動態(tài)圖像的代表圖像。該代表圖像例如是動態(tài)圖像中的第一幀的圖像或后述的附有索引 的幀的圖像。在顯示縮略圖像之后，控制部107判定是否欣賞者通過操作操作部108而進(jìn)行了 動態(tài)圖像的選擇(步驟S109)。在步驟S109的判定中，在未進(jìn)行動態(tài)圖像的選擇的情況下， 控制部107繼續(xù)顯示縮略圖像。并且，在步驟S109的判定中，在進(jìn)行了動態(tài)圖像的選擇的情 況下，控制部107將圖4B所示的選擇動態(tài)圖像的再現(xiàn)目的地的畫面顯示在顯示部103上。 在圖4B的例子中，“1.再現(xiàn)”表示動態(tài)圖像的再現(xiàn)目的地是數(shù)字照相機100的顯示部103， “2. TV”表示動態(tài)圖像的再現(xiàn)目的地是TV 200的顯示部202。在顯示圖4B的畫面之后，控 制部107判定是否將動態(tài)圖像顯示在顯示部103上，即動態(tài)圖像的再現(xiàn)目的地是否是顯示 部103 (步驟Sl 10)。在步驟SllO的判定中，在動態(tài)圖像的再現(xiàn)目的地是顯示部103的情況 下，控制部107從記錄部105中讀出當(dāng)前由欣賞者所選擇的動態(tài)圖像，如圖4C所示，開始在 顯示部103上再現(xiàn)所讀出的動態(tài)圖像(步驟Sl 11)。此時，如圖4C所示，可以顯示表示正在 再現(xiàn)動態(tài)圖像的消息。在動態(tài)圖像的再現(xiàn)開始后，控制部107判定是否用戶通過操作操作部108而進(jìn)行 了要在顯示部103上再現(xiàn)的動態(tài)圖像的切換(步驟S112)。在步驟S112的判定中，在進(jìn)行 了動態(tài)圖像的切換的情況下，控制部107結(jié)束動態(tài)圖像的再現(xiàn)，之后進(jìn)行要再現(xiàn)的動態(tài)圖 像的切換(步驟S113)。該切換是這樣進(jìn)行的，例如，每當(dāng)操作了操作部108時，將要再現(xiàn)的 動態(tài)圖像切換為攝影日期時刻比當(dāng)前正在再現(xiàn)的動態(tài)圖像早的(或者晚的)動態(tài)圖像。在 動態(tài)圖像切換后，控制部107對通過切換而選擇的動態(tài)圖像進(jìn)行步驟S109以后的處理。并且，在步驟S112的判定中，在未進(jìn)行動態(tài)圖像的切換的情況下，控制部107判定 是否用戶通過操作操作部108而指示了動態(tài)圖像的再現(xiàn)結(jié)束(步驟S114)。在步驟S114 的判定中，在未指示動態(tài)圖像結(jié)束的情況下，控制部107進(jìn)行步驟S109以后的處理。另一 方面，在步驟S114的判定中，在進(jìn)行了動態(tài)圖像的結(jié)束操作的情況下，控制部107進(jìn)行步驟 SlOl以后的處理。并且，在步驟S107的判定中，在數(shù)字照相機100的工作模式不是動態(tài)圖像再現(xiàn)模 式的情況下，控制部107執(zhí)行圖5所示的流程圖的處理。該圖5的處理是與通信模式對應(yīng) 的處理。具體情況將在后面敘述，但是在通信模式中，在TV 200的顯示部202上再現(xiàn)動態(tài) 圖像。然后，數(shù)字照相機100根據(jù)由欣賞者進(jìn)行的遙控器400的操作，依照從TV 200輸入 的外部信號進(jìn)行工作。在通信模式中，控制部107判定是否經(jīng)由通信接口部109從TV 200接收到外部信 號(步驟S201)。在步驟S201的判定中，在未從TV 200輸入外部信號的情況下，處理返回 至圖3的步驟SlOl。并且，在步驟S201的判定中，在從TV 200輸入了外部信號的情況下， 控制部107對所輸入的外部信號進(jìn)行識別(步驟S202)。然后，控制部107判定外部信號是 否是表示臉部圖像的合成命令的信號(步驟S203)。在步驟S203的判定中，在外部信號不 是表示臉部圖像的合成命令的信號的情況下，控制部107在當(dāng)前攝像部101正在工作的情 況下，停止攝像部101的工作(步驟S204)。具體情況將在后面敘述，但是在通信模式中，攝 像部101在表示臉部圖像的合成命令被輸入的期間進(jìn)行工作。在停止了攝像部101的工作 之后，控制部107判定外部信號是否是表示動態(tài)圖像的再現(xiàn)命令的信號(步驟S205)。在步驟S205的判定中，在外部信號是表示動態(tài)圖像的再現(xiàn)命令的信號的情況下，控制部107將 隨后應(yīng)發(fā)送的幀的圖像發(fā)送到TV 200(步驟S206)。另一方面，在步驟S206的判定中，在 外部信號不是表示動態(tài)圖像的再現(xiàn)命令的信號的情況下，控制部107在例如經(jīng)過預(yù)定時間 后進(jìn)行外部再現(xiàn)結(jié)束處理(步驟S207)。關(guān)于該外部再現(xiàn)結(jié)束處理將在后面描述。在步驟 S206或步驟S207中的處理結(jié)束后，控制部107進(jìn)行圖3的步驟SlOl以后的處理。并且，在步驟S203的判定中，在外部信號是表示合成命令的信號的情況下，控制 部107暫時停止正在再現(xiàn)的動態(tài)圖像的再現(xiàn)，之后啟動攝像部101，以幀為單位取得欣賞者 的圖像(步驟S208)。然后，控制部107利用臉部檢測部102檢測經(jīng)由攝像部101獲得的欣 賞者的圖像中的臉部，裁剪檢測出的臉部圖像，將所裁剪的臉部圖像合成到在TV 200的顯 示部202上正在再現(xiàn)的動態(tài)圖像的顯示框外。然后，控制部107例如將臉部圖像暫時記錄 在記錄部105中，以便以后能根據(jù)需要將欣賞者的臉部圖像與當(dāng)前正在再現(xiàn)的動態(tài)圖像進(jìn) 行合成并保存(步驟S209)。這樣，通過僅裁剪臉部圖像，能節(jié)約記錄部105的記錄容量。 此外，通過將合成范圍限定為較窄的范圍，連多余的背景等也不顯示，能容易地看見欣賞者 的表情。此時，可以使聲音采集部104啟動，同時取入聲音，可根據(jù)需要監(jiān)視聲音變化，也可 以如后所述，根據(jù)聲音變化決定將臉部合成到正在再現(xiàn)的動態(tài)圖像內(nèi)的時機。當(dāng)然，也可以 指定臉部圖像和聲音中的任一方。在再現(xiàn)畫面外(或者正在再現(xiàn)的動態(tài)圖像的周邊部)對臉部圖像進(jìn)行合成顯示處 理以及暫時記錄之后，控制部107進(jìn)行位置變更處理(步驟S210)。參照圖6A、圖6B、圖7 來說明該位置變更處理。位置變更處理是這樣的處理，如圖6A和圖6B所示，在再現(xiàn)顯示于 TV 200的顯示部202上的動態(tài)圖像202a的預(yù)定位置處合成欣賞者的臉部圖像202b，或者 變更所合成的臉部圖像202b的位置。此時，可以改變臉部的大小。在圖7中，控制部107判定位置變更處理中的處理模式是否是自動變更模式(步 驟 S301)。在步驟S301的判定中，在處理模式是自動變更模式的情況下，控制部107根據(jù)在 圖5的步驟S209中記錄至記錄部105中的欣賞者的臉部圖像，利用臉部檢測部102檢測欣 賞者的臉部表情，判定檢測出的臉部表情是否變化為例如笑臉(步驟S302)。該判定是例如 通過判定檢測出的臉部表情是否與表示笑臉的特征一致來進(jìn)行的。在步驟S302的判定中， 在欣賞者的臉部表情變化為笑臉的情況下，控制部107在隨后發(fā)送到TV200的幀的圖像中 的無對比部(例如圖6B所示的圖像中的背景部)，合成攝像中的臉部圖像(步驟S303)。為 了決定臉部圖像在該正在再現(xiàn)的動態(tài)圖像內(nèi)的合成顯示時機，除了使用表情的變化以外， 還可以利用笑聲或談話聲大小的變化。這是因為氣氛熱烈時的表情是大家所在乎的。在將 臉部圖像合成到正在再現(xiàn)的動態(tài)圖像內(nèi)時，控制部107將進(jìn)行臉部圖像合成的時機、此時 的臉部圖像、表示幀的位置的信息作為合成歷史記錄在記錄部105中。此時，如上所述，也 可以記錄笑聲或談話聲等聲音。由此，隨后可以了解欣賞者進(jìn)行了何種反應(yīng)。這樣，將臉部 圖像適當(dāng)合成到正在再現(xiàn)的動態(tài)圖像中，因而可進(jìn)行變化豐富的顯示。即使是容易陷于單 調(diào)的業(yè)余人士所拍攝的動態(tài)圖像，有時也成了具有欣賞者的臉部圖像進(jìn)入到畫面內(nèi)這種效 果的動態(tài)圖像，可獲得有變化的動態(tài)圖像。這里，只有笑臉進(jìn)入到了正在再現(xiàn)的動態(tài)圖像 內(nèi)，但是，如果是看起來無聊的臉部進(jìn)入的情況下，出于使單調(diào)的圖像有變化的想法，也可 以利用這種表情。
8
此外，如果始終保持臉部圖像進(jìn)入到正在再現(xiàn)的動態(tài)圖像的狀態(tài)，就會失去樂趣， 因而在表情或聲音的大小恢復(fù)的情況下，或者在有使用遙控器400的操作的情況下，使已 經(jīng)進(jìn)入的臉部圖像退避到正在再現(xiàn)的畫面以外或者周邊部。在數(shù)字照相機100中，為了實 現(xiàn)這樣的再現(xiàn)方式，雖然將正在再現(xiàn)的動態(tài)圖像與臉部圖像合成而顯示在TV 200上(使用 HDMI發(fā)送)，但是在該情況下，作為合成信息(歷史)，解除了合成。并且，在臉部圖像位于正在再現(xiàn)的動態(tài)圖像的顯示框外或者周邊部的情況下，最 好盡量顯示地不顯眼且小，因而也可以根據(jù)TV 200的顯示部202的畫面尺寸來變更臉部圖 像的顯示大小。如果是大畫面的TV 200，即使不使用寬的畫面范圍，也能確認(rèn)出放映的臉 部。另外，還可以考慮動態(tài)圖像的欣賞者是多人，在該情況下，不一定所有人的表情都 變化為笑臉。在這種作為經(jīng)由攝像部101得到的欣賞者圖像存在多個臉部的情況下，例如 僅將表情變化為笑臉的臉部圖像進(jìn)行合成。當(dāng)然，也可以將所有人的臉部圖像進(jìn)行合成。也 可以根據(jù)聲音大小來決定這樣的切換。如果是大的聲音，則將所有人的臉部合成到再現(xiàn)圖 像中，如果是小的聲音，則僅將笑臉的臉部合成到再現(xiàn)圖像中等。此外，盡管為了簡化說明 而作了省略，然而在欣賞者的表情不再是笑臉的情況下，解除步驟S303的合成，使臉部圖 像退避到再現(xiàn)圖像的畫面外或者周邊部。此外，也可以是沒有時間變化的部分而取代無對 比部。在人物是被攝體的情況下，如果是不隱藏人物臉部的位置，則其它位置也可以。此外，在步驟S301的判定中，在處理模式不是自動變更模式的情況下，或者在步 驟S302的判定中，在欣賞者的臉部表情未變化為笑臉的情況下，控制部107判定是否通過 欣賞者操作遙控器400而輸入了表示變更臉部圖像的合成位置的意思的外部信號(步驟 S304)。在步驟S304的判定中，在輸入了表示變更臉部圖像的合成位置的意思的外部信號 的情況下，控制部107在隨后發(fā)送到TV 200的幀的圖像中的、根據(jù)欣賞者操作遙控器400 所指定的位置，將記錄在記錄部105內(nèi)的臉部圖像進(jìn)行合成(步驟S305)。在臉部圖像合成 后，控制部107將表示進(jìn)行了臉部圖像合成的幀的位置的信息作為合成歷史記錄在記錄部 105 內(nèi)。在步驟S303或步驟S305的合成后，控制部107對隨后發(fā)送到TV 200的幀的圖像 賦予索引信息(步驟S306)。通過這種做法，可以作為隨后重新觀看時的檢索輔助。之后， 控制部107將合成了臉部圖像后的幀的圖像發(fā)送到TV 200(步驟S307)。之后，控制部107 結(jié)束圖7的處理。另外，在臉部圖像的合成后，控制部107將表示進(jìn)行了臉部圖像合成的幀 的位置的信息作為合成歷史記錄在記錄部105中。這樣，在本實施方式中，通過自動或手動在動態(tài)圖像中賦予索引信息，可自動或手 動指定在動態(tài)圖像的再現(xiàn)中被認(rèn)為氣氛熱烈的點。由此，在下次欣賞時，容易確定動態(tài)圖像 中的氣氛熱烈的點。并且，特別是，當(dāng)多人欣賞了動態(tài)圖像時，也能看見當(dāng)時各欣賞者的表 情，能生成對欣賞者來說趣味更高的動態(tài)圖像。并且，在步驟S304的判定中，在未輸入外部信號的情況下，控制部107在例如經(jīng)過 預(yù)定時間后，在隨后發(fā)送到TV 200的幀的圖像中的主顯示部以外的位置(例如圖6A所示 的動態(tài)圖像202a的外部)，將記錄在記錄部105中的臉部圖像進(jìn)行合成，將合成了臉部圖像 后的幀的圖像發(fā)送到TV 200(步驟S308)。這里，再次回到圖3的說明。在圖3的步驟SllO的判定中，在動態(tài)圖像的再現(xiàn)目的地是TV 200的顯示部202的情況下，控制部107進(jìn)行向圖8所示的通信模式的轉(zhuǎn)移處理。 即，控制部107經(jīng)由通信接口部109向TV 200發(fā)送當(dāng)前由欣賞者選擇的動態(tài)圖像的代表圖 像(例如，第一幀的圖像或者賦予了索引信息的幀的圖像)(步驟S401)。在發(fā)送代表圖像后，控制部107經(jīng)由通信接口部109向TV 200發(fā)送遙控器操作顯 示圖像(步驟S402)。遙控器操作顯示圖像是圖9A和圖9B所示的、在將來自數(shù)字照相機 100的動態(tài)圖像顯示在TV 200的顯示部202上時的、用于引導(dǎo)遙控器400的操作的顯示圖 像202c。通過觀看這樣的遙控器操作顯示圖像202c，欣賞者容易理解，只要操作遙控器400 的哪個按鈕就能進(jìn)行何種操作。這里，圖9A所示的遙控器操作顯示圖像202c是在代表圖像的發(fā)送后顯示在TV 200的顯示部202上的圖像。在形成了圖9A所示的遙控器操作顯示圖像202c時按下了遙 控器400的再現(xiàn)按鈕的情況下，從TV 200向數(shù)字照相機100輸入表示再現(xiàn)命令的信號。另 一方面，在按下了遙控器400的攝像按鈕的情況下，從TV 200向數(shù)字照相機100輸入表示 合成命令的信號。此外，圖9B所示的遙控器操作顯示圖像202c是在按下了遙控器400的 攝像按鈕之后顯示在TV 200的顯示部202上的圖像。在形成了圖9B所示的遙控器操作顯 示圖像202c時按下了遙控器400的再現(xiàn)按鈕的情況下，從TV 200向數(shù)字照相機100輸入 表示再現(xiàn)命令的信號。另一方面，在按下了遙控器400的位置變更按鈕的情況下，顯示在顯 示部202上的臉部圖像202b的位置發(fā)生變更，并且從TV 200向數(shù)字照相機100輸入表示 變更臉部圖像202b的合成位置的意思的信號。在發(fā)送遙控器操作顯示圖像202c后，控制部107關(guān)閉數(shù)字照相機100的顯示部 103的顯示(步驟S403)。在關(guān)閉顯示部103的顯示之后，控制部107進(jìn)行圖1的步驟SlOl 以后的處理。即，由于在通信模式中，記錄于數(shù)字照相機100內(nèi)的動態(tài)圖像顯示在TV 200的 顯示部202上，因而認(rèn)為欣賞者不會觀看數(shù)字照相機100的顯示部103。因此，為了實現(xiàn)節(jié) 能，關(guān)閉顯示部103的顯示。在關(guān)閉顯示部103的顯示之后，控制部107使數(shù)字照相機100 的工作模式轉(zhuǎn)移到通信模式(步驟S404)。另外，可以不關(guān)閉顯示部103的顯示而進(jìn)行表示 處于圖4D所示通信模式中的顯示。下面，參照圖10和圖11說明外部再現(xiàn)結(jié)束處理。在圖10中，控制部107判定與結(jié) 束再現(xiàn)的動態(tài)圖像對應(yīng)的合成歷史是否被記錄在記錄部105中(步驟S501)。在步驟S501 的判定中，在合成歷史被記錄在記錄部105中的情況下，控制部107向TV 200發(fā)送用于顯 示用來向欣賞者確認(rèn)是否將合成了臉部圖像后的動態(tài)圖像記錄在記錄部105中的畫面的 圖像(步驟S502)。圖11是示出顯示在TV 200的顯示部202上的確認(rèn)畫面的一例的圖。 在圖11的例子中，將結(jié)束再現(xiàn)的動態(tài)圖像的代表圖像202a顯示在顯示部202上，并顯示該 外部再現(xiàn)結(jié)束處理中的用于引導(dǎo)欣賞者的遙控器400的操作的遙控器操作顯示圖像202c。在發(fā)送用于顯示圖11所示的確認(rèn)畫面的圖像后，控制部107判定是否欣賞者通過 操作遙控器400而指示了保存動態(tài)圖像(步驟S503)。在步驟S503的判定中，在指示了保 存的情況下，根據(jù)合成歷史確定在動態(tài)圖像中進(jìn)行了合成的幀，將記錄在記錄部105的臉 部圖像與所確定的幀的圖像進(jìn)行合成并記錄在記錄部105中(步驟S504)。通過再次記錄 合成了臉部圖像后的動態(tài)圖像，其它成員也可隨后追加體驗例如大家欣賞動態(tài)圖像時的狀 況。例如，在使用數(shù)字照相機100拍攝了運動會的狀況等的情況下，記錄了該運動會狀況的 動態(tài)圖像首先由父母孩子欣賞，如果將此時的動態(tài)圖像送給祖父母等，則祖父母可以感受猶如參加了父母孩子團(tuán)聚的體驗。如上所述，在正在再現(xiàn)的動態(tài)圖像內(nèi)沒有臉部圖像的進(jìn) 入處理的情況下，在臉部圖像處于正在再現(xiàn)的動態(tài)圖像的畫面外、或者如圖6A所示處于周 邊部的情況下，認(rèn)為沒有合成歷史。僅圖6B所示的臉部圖像進(jìn)入場景為合成歷史的對象。 在該情況下，可以利用遙控器400變更臉部的大小。并且，當(dāng)照原樣顯示了臉部時，由于也 有人不愿意自己的臉部被觀看，因而可以用阿凡達(dá)等其它臉部圖像來代替顯示。這樣，在本實施方式中，由于是記錄了臉部圖像的合成歷史的形式，因而也能簡單 地將所記錄的臉部圖像置換為別的圖像。在步驟S501中合成歷史未被記錄于記錄部105中的情況下，在步驟S503中未指 示保存動態(tài)圖像的情況下，或者在步驟S504之后，控制部107判定是否欣賞者通過操作遙 控器400而指示了通信模式時的動態(tài)圖像的再現(xiàn)結(jié)束(步驟S505)。在步驟S505的判定 中，在指示了通信模式時的動態(tài)圖像的再現(xiàn)結(jié)束的情況下，控制部107將數(shù)字照相機100的 工作模式變更為再現(xiàn)模式(步驟S506)。之后，進(jìn)行步驟SlOl以后的處理。另一方面，在步 驟S505的判定中，在未指示通信模式時的動態(tài)圖像的再現(xiàn)結(jié)束的情況下，控制部107判定 是否欣賞者通過操作遙控器400而指示了重放(步驟S507)。在步驟S507的判定中，在未 指示重放的情況下，控制部107進(jìn)行步驟S505以后的處理。并且，在步驟S507的判定中， 在指示了重放的情況下，控制部107執(zhí)行圖5的步驟S201以后的處理。如以上說明那樣，根據(jù)本實施方式，在將記錄于數(shù)字照相機100的記錄部105中的 動態(tài)圖像在TV 200的顯示部202上再現(xiàn)時，也能一并再現(xiàn)欣賞該動態(tài)圖像的欣賞者的臉部 圖像。由此，可獲得動態(tài)圖像的欣賞者容易感興趣的動態(tài)圖像。并且，對于欣賞者的臉部表 情變?yōu)樾δ樁M(jìn)行了臉部圖像的合成后的幀、以及由欣賞者指定了臉部圖像的合成位置的 幀，通過對這些賦予索引信息，也能在后面的檢索中確定動態(tài)圖像中的重要場景。而且，由于TV 200中要再現(xiàn)的動態(tài)圖像僅為通過數(shù)字照相機100選擇的動態(tài)圖 像，因而記錄在數(shù)字照相機100內(nèi)的私人的動態(tài)圖像不會意想不到地在TV 200的顯示部 202上進(jìn)行大畫面顯示。這里，在上述實施方式中，將欣賞者的臉部圖像與在TV 200的顯示部202上再現(xiàn) 的動態(tài)圖像進(jìn)行合成。與此相對，本實施方式也能應(yīng)用于將欣賞者的臉部圖像與在數(shù)字照 相機100的顯示部103上再現(xiàn)的動態(tài)圖像進(jìn)行合成的情況。并且，可以使TV 200具有用于 拍攝欣賞者的臉部圖像的攝像部。并且，在上述實施方式中，以動態(tài)圖像的幀為單位來合成臉部圖像，因而只要使臉 部圖像的合成位置按各幀錯開，就也能使臉部圖像進(jìn)行動畫等。而且，在上述實施方式中，將臉部圖像與記錄在數(shù)字照相機100中的動態(tài)圖像進(jìn) 行合成并在TV 200上進(jìn)行再現(xiàn)，然而不限于此，本實施方式的方法能應(yīng)用于具有動態(tài)圖像 攝影功能的各種便攜設(shè)備。并且，這里以對動態(tài)圖像施加變化為前提進(jìn)行了說明，但是，當(dāng)然也能用于這樣的 用途在TV 200上顯示靜態(tài)圖像的同時，合成再現(xiàn)中獲得的臉部圖像、或者基于臉部圖像 信息的阿凡達(dá)等的圖像。由此，在觀看大量靜態(tài)圖像的情況下，當(dāng)場可以知道或者其它人可 以知道哪個圖像有人氣等。以上根據(jù)實施方式說明了本發(fā)明，然而本發(fā)明不限定于上述的實施方式，當(dāng)然能 在本發(fā)明的主旨的范圍內(nèi)進(jìn)行各種變形和應(yīng)用。
而且，在上述實施方式中包含各階段的發(fā)明，通過將公開的多個構(gòu)成要件適當(dāng)組 合，可提取各種發(fā)明。例如，即使從實施方式所示的全部構(gòu)成要件中刪除若干構(gòu)成要件，也 能解決上述問題，在獲得上述效果的情況下，刪除了該構(gòu)成要件后的結(jié)構(gòu)也能作為發(fā)明來 提取。
權(quán)利要求
一種攝像裝置，其特征在于，該攝像裝置具有攝像部，其取得動態(tài)圖像；記錄部，其記錄由上述攝像部取得的動態(tài)圖像；以及合成部，其將在記錄于上述記錄部中的動態(tài)圖像的再現(xiàn)時使上述攝像部工作而獲得的動態(tài)圖像與上述再現(xiàn)的動態(tài)圖像進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述合成部在上述攝像裝置與再現(xiàn) 記錄于上述記錄部的動態(tài)圖像的外部設(shè)備連接時進(jìn)行上述合成。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于，上述合成部在從上述外部設(shè)備輸入 了表示合成命令的信號時進(jìn)行上述合成。
4.根據(jù)權(quán)利要求1至3中任一項所述的攝像裝置，其特征在于，上述合成部將在上述再 現(xiàn)時使上述攝像部工作而獲得的動態(tài)圖像中的與所限定的區(qū)域?qū)?yīng)的動態(tài)圖像，與上述再 現(xiàn)中的動態(tài)圖像進(jìn)行合成。
5.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述記錄部進(jìn)一步記錄由上述合成 部進(jìn)行了合成后的動態(tài)圖像。
6.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于，上述記錄部進(jìn)一步記錄由上述合成 部進(jìn)行了合成后的動態(tài)圖像。
7.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，上述記錄部進(jìn)一步記錄由上述合成 部進(jìn)行了合成后的動態(tài)圖像。
8.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于，上述記錄部進(jìn)一步記錄由上述合成 部進(jìn)行了合成后的動態(tài)圖像。
9.一種攝像裝置，其特征在于，該攝像裝置具有攝像部，其取得圖像；記錄部，其記錄由上述攝像部所取得的圖像中的第1圖像；發(fā)送部，其將第3圖像與上述再現(xiàn)的第1圖像進(jìn)行合成并發(fā)送到外部，該第3圖像基于 在記錄于上述記錄部中的第1圖像的再現(xiàn)時使上述攝像部工作而獲得的圖像即第2圖像的 一部分；以及接收部，其接收切換上述第3圖像在上述第1圖像內(nèi)的合成位置的信號。
10.一種動態(tài)圖像再現(xiàn)方法，其特征在于，所述方法包括以下步驟取得動態(tài)圖像，在再現(xiàn)上述取得的動態(tài)圖像時使攝像裝置的攝像部工作，將使上述攝像部工作而獲得的動態(tài)圖像與上述再現(xiàn)的動態(tài)圖像進(jìn)行合成。
全文摘要
本發(fā)明的目的是提供一種攝像裝置和動態(tài)圖像再現(xiàn)方法，其能獲得欣賞動態(tài)圖像的欣賞者容易感興趣的動態(tài)圖像。為此，當(dāng)在TV(200)的顯示部(202)中再現(xiàn)記錄于數(shù)字照相機(100)的記錄部(105)中的動態(tài)圖像期間數(shù)字照相機(100)的工作模式是通信模式時，啟動數(shù)字照相機(100)的攝像部(101)來取得動態(tài)圖像的欣賞者的臉部圖像，將所取得的臉部圖像與正在再現(xiàn)的動態(tài)圖像進(jìn)行合成并顯示在顯示部(202)上。
文檔編號H04N5/92GK101945216SQ20101022280
公開日2011年1月12日 申請日期2010年7月2日 優(yōu)先權(quán)日2009年7月3日
發(fā)明者川口勝久, 新谷浩一, 石原晴之, 野中修 申請人:奧林巴斯映像株式會社