專利名稱：相機(jī)、聲音播放裝置以及聲音播放方法
技術(shù)領(lǐng)域：
本發(fā)明涉及相機(jī)和聲音播放裝置，更詳細(xì)而言，涉及攝影時(shí)能錄音的相機(jī)以及該
相機(jī)所攝影的攝影圖像的聲音播放裝置以及聲音播放方法。
背景技術(shù)：
近些年來大畫面電視機(jī)普及開來，在大畫面電視機(jī)上播放顯示攝影圖像進(jìn)行欣賞。另外，由于電視機(jī)的畫質(zhì)提升、消耗電力降低，因而還如海報(bào)那樣顯示攝影圖像，將圖像作為適于用戶生活空間的室內(nèi)裝飾進(jìn)行欣賞。進(jìn)而，用于取入所攝影的圖像數(shù)據(jù)，用于顯示能播放幻燈片的數(shù)字圖像的市場上的數(shù)字相框(Digital photo frame)也普及開來。這樣，最近人們通過攝影圖像來裝點(diǎn)著生活。 對于以適于用戶生活空間的室內(nèi)的感覺來進(jìn)行圖像顯示，大多使用壯美的風(fēng)景或美麗的花鳥風(fēng)月等安撫心靈的內(nèi)容，這就要求不同于以往的動(dòng)態(tài)圖像的攝影手法以及所攝影的圖像的顯示方法。 對于所攝影的圖像顯示，提出了合成多個(gè)圖像，進(jìn)行全景圖像顯示。例如，專利文獻(xiàn)1中公開了一種圖像顯示裝置，其通過獲取成為合成圖像的圖像之一的整體尺寸來表現(xiàn)全景圖像整體，進(jìn)行具有扣人心弦的顯示。另外，還提出了使用全景圖像合成多個(gè)圖像，在縱橫比為16 : 9的大型畫面上對全景圖像進(jìn)行靜態(tài)圖像顯示。
[專利文獻(xiàn)l]日本特開平5-308553號公報(bào) 另外，當(dāng)以適于用戶生活空間的室內(nèi)的感覺來顯示攝影圖像時(shí)，如果播放攝影時(shí)所錄音的聲音則會感到懷念，還能沉浸在過去的回憶中。以往提出有各種攝影時(shí)收錄聲音的技術(shù)。例如在專利文獻(xiàn)2中公開了由單聲道聲音圖像向立體聲聲音圖像轉(zhuǎn)換的聲源穩(wěn)定化裝置。即，該聲源穩(wěn)定化裝置使用圖像知識數(shù)據(jù)庫的信息，從所分割的圖像來解析圖像內(nèi)的物體、該物體的動(dòng)作(位置)和相機(jī)的操作等，從聲音信息中分離被認(rèn)為是由物體發(fā)出的聲源，將所分離的聲源重新配置在適于視頻的聲場空間上。
[專利文獻(xiàn)2]日本特開2000-295700號公報(bào) 這樣，例如通過進(jìn)行圖像合成，能獲得適合大畫面的圖像。而且在播放該圖像時(shí)，通過播放攝影時(shí)所收錄的聲音，攝影者(或者欣賞者)能獲得安撫效果和沉浸在回憶中。但是，在攝影者改變相機(jī)朝向?qū)Ρ粩z體進(jìn)行連續(xù)攝影時(shí)，會導(dǎo)致聲源位置移動(dòng)，無法進(jìn)行適合圖像欣賞的聲音播放。 關(guān)于這點(diǎn)，在上述專利文獻(xiàn)1所公開的圖像顯示裝置中完全不涉及聲音播放。另外，在專利文獻(xiàn)2公開的裝置中，將單聲道聲音圖像轉(zhuǎn)換為立體聲聲音圖像。另外，對于當(dāng)今市面上銷售的數(shù)碼相機(jī)，想到了例如運(yùn)動(dòng)會或聯(lián)歡會上能收錄小孩子聲音的用途，可對應(yīng)于視野內(nèi)的聲音，但是并沒有考慮到如全景攝影那樣合成了多個(gè)圖像的情況或播放動(dòng)態(tài)圖像的情況。
發(fā)明內(nèi)容
本發(fā)明是鑒于這種情況而完成的，其目的在于提供一種根據(jù)多個(gè)圖像播放合成靜
態(tài)圖像或動(dòng)態(tài)圖像的時(shí)候，能進(jìn)行成為沒有不適感的音響效果的聲音錄音的相機(jī)、播放由相機(jī)所錄音的立體聲聲音的播放裝置以及播放立體聲聲音的聲音播放方法。 為達(dá)成上述目的，本發(fā)明第1方面涉及的相機(jī)具有攝像部，其對被攝體進(jìn)行連續(xù)攝影；收音變更部，其能變更來自被攝體方向的聲音的收音范圍；圖像合成部，其合成通過上述攝像部連續(xù)攝影獲得的多個(gè)圖像，生成合成圖像；以及控制部，在對上述多個(gè)圖像進(jìn)行攝影時(shí)，該控制部變更上述收音變更部的收音范圍。 本發(fā)明第2方面涉及的相機(jī)在上述本發(fā)明第1方面的基礎(chǔ)上，按照從右向左獲得生成上述合成圖像的各圖像的情況和從左向右獲得生成上述合成圖像的各圖像的情況，由左向右或由右向左地變更各個(gè)收音范圍。 本發(fā)明第3方面涉及的相機(jī)具有攝像部，其使相機(jī)視野左右移動(dòng)并攝影連續(xù)圖像；聲音獲得部，其在上述攝影時(shí)收錄多個(gè)方向的聲音；圖像合成部，其合成通過上述攝像部連續(xù)攝影獲得的多個(gè)圖像，生成合成圖像；以及控制部，其在合成上述多個(gè)圖像時(shí)，變更通過上述聲音獲得部獲得的多個(gè)方向的聲音的合成。 本發(fā)明第4方面涉及的相機(jī)在上述本發(fā)明第3方面的基礎(chǔ)上，上述控制部按照生成上述合成圖像的各圖像中既定被攝體的位置變化來變更聲音合成。 本發(fā)明第5方面涉及的相機(jī)具有攝像部，其對被攝體連續(xù)攝影；收音變更部，其能變更來自上述被攝體的方向的聲音的收音范圍；以及控制部，其按照從右向左獲得通過上述攝像部連續(xù)攝影獲得的多個(gè)圖像的情況和從左向右獲得通過上述攝像部連續(xù)攝影獲得的多個(gè)圖像的情況，變更收音范圍。 本發(fā)明第6方面涉及的相機(jī)具有攝像部，其對被攝體連續(xù)攝影；收音變更部，其能變更來自上述被攝體的方向的聲音的收音范圍；圖像合成部，其合成通過上述攝像部連續(xù)攝影獲得的多個(gè)圖像，生成合成圖像；以及控制部，其在合成上述多個(gè)圖像時(shí)，在通過上述攝像部獲得的圖像方向上變更上述收音變更部的收音范圍。 本發(fā)明第7方面涉及的相機(jī)具有攝像部，其對被攝體連續(xù)攝影；收音變更部，其能變更來自上述被攝體的方向的聲音的收音范圍；動(dòng)作判定部，其判定相機(jī)的動(dòng)作；以及控制部，其在上述連續(xù)攝影時(shí)，根據(jù)上述動(dòng)作判定部的判定結(jié)果，變更上述收音變更部的收音范圍。 本發(fā)明第8方面涉及的相機(jī)在上述本發(fā)明第7方面的基礎(chǔ)上，上述動(dòng)作判定部根據(jù)從上述攝像部輸出的圖像數(shù)據(jù)進(jìn)行判定。 本發(fā)明第9方面涉及的相機(jī)在上述本發(fā)明第7方面的基礎(chǔ)上，還具有臉部檢測部，臉部檢測部根據(jù)從上述攝像部輸出的圖像數(shù)據(jù)，判定是否存在上述被攝體的臉部，在通過上述臉部檢測部檢測到臉部的情況下，上述控制部根據(jù)上述臉部來控制上述收音變更部的收音范圍。 本發(fā)明第10方面涉及的播放裝置具有存儲部，其存儲連續(xù)攝影得到的圖像數(shù)據(jù)以及在該連續(xù)攝影時(shí)進(jìn)行立體聲錄音得到的立體聲聲音數(shù)據(jù)；顯示部，其根據(jù)上述圖像數(shù)據(jù)，播放顯示圖像；聲音播放部，其能根據(jù)上述立體聲聲音數(shù)據(jù)，變更左右平衡再播放；動(dòng)作判定部，其判定相機(jī)的動(dòng)作；以及控制部，其在進(jìn)行上述圖像數(shù)據(jù)和上述立體聲聲音數(shù)據(jù)的播放時(shí)，根據(jù)上述相機(jī)的動(dòng)作，控制上述立體聲聲音數(shù)據(jù)的左右平衡。 本發(fā)明第11方面涉及的播放裝置在上述本發(fā)明第10方面的基礎(chǔ)上，上述控制部
根據(jù)上述相機(jī)的角速度和上述連續(xù)攝影的各幀的定時(shí)求出校正角，按照該校正角控制上述立體聲聲音數(shù)據(jù)的左右平衡。 本發(fā)明第12方面涉及的播放方法中，存儲連續(xù)攝影得到的圖像數(shù)據(jù)和在該連續(xù)攝影時(shí)進(jìn)行立體聲錄音得到的立體聲聲音數(shù)據(jù)，判定相機(jī)的動(dòng)作，在進(jìn)行上述圖像數(shù)據(jù)和上述立體聲聲音數(shù)據(jù)的播放時(shí)，根據(jù)上述相機(jī)的動(dòng)作，控制上述立體聲聲音數(shù)據(jù)的左右平衡。 本發(fā)明第13方面涉及的程序使計(jì)算機(jī)執(zhí)行如下處理存儲連續(xù)攝影得到的圖像數(shù)據(jù)和在該連續(xù)攝影時(shí)進(jìn)行立體聲錄音得到的立體聲聲音數(shù)據(jù)；判定相機(jī)的動(dòng)作，在進(jìn)行上述圖像數(shù)據(jù)和上述立體聲聲音數(shù)據(jù)的播放時(shí)，根據(jù)上述相機(jī)的動(dòng)作，控制上述立體聲聲音數(shù)據(jù)的左右平衡。 根據(jù)本發(fā)明，能夠提供一種在根據(jù)立體聲錄音得到的多個(gè)圖像來播放合成圖像或動(dòng)態(tài)圖像時(shí)，能進(jìn)行成為沒有不適感的音響效果的聲音錄音的相機(jī)。另外，還能提供一種在根據(jù)多個(gè)圖像來播放合成靜態(tài)圖像和動(dòng)態(tài)圖像時(shí)，以沒有不適感的音響效果來進(jìn)行聲音播放的聲音播放裝置以及播放聲音的聲音播放方法。
圖1是表示本發(fā)明第1實(shí)施方式所涉及的相機(jī)和外部設(shè)備的構(gòu)成的框圖。 圖2是說明本發(fā)明第1實(shí)施方式所涉及的相機(jī)的使用狀態(tài)的圖，(a)表示攝影時(shí)
的情形，(b)表示向電視機(jī)等外部設(shè)備傳送圖像的情形。 圖3是說明本發(fā)明第1實(shí)施方式所涉及的相機(jī)中的圖像和聲音的記錄的圖。
圖4是表示本發(fā)明第1實(shí)施方式中根據(jù)連續(xù)攝影的圖像來生成全景圖像的情形的圖，(a)是根據(jù)3幀圖像生成全景圖像的圖，(b)表示進(jìn)行在各幀中央部存在指向性的收音的情況下的聲音播放，(c)是表示在全景圖像中央部的圖像的方向上收音的情況的圖。
圖5是表示本發(fā)明第1實(shí)施方式所涉及的相機(jī)中相機(jī)控制的動(dòng)作的流程圖。
圖6是表示本發(fā)明第1實(shí)施方式的攝影/收音記錄的動(dòng)作的流程圖。
圖7是表示本發(fā)明第1實(shí)施方式中人作為主要被攝體的情況下的圖像。
圖8是表示本發(fā)明第1實(shí)施方式所涉及的相機(jī)中左右聲音收錄部的構(gòu)成的框圖。
圖9是表示本發(fā)明第1實(shí)施方式所涉及的相機(jī)中進(jìn)行圖像端部圖像記錄的情形的圖，(a)是表示相機(jī)與被攝體的位置關(guān)系的圖，(b)是表示相機(jī)所攝影的連續(xù)圖像的各幀的圖。 圖10是表示本發(fā)明第1實(shí)施方式的從右強(qiáng)調(diào)錄音到左強(qiáng)調(diào)錄音的動(dòng)作的流程圖。
圖11是表示本發(fā)明第2實(shí)施方式的相機(jī)控制動(dòng)作的流程圖。 圖12是表示本發(fā)明第2實(shí)施方式所涉及的相機(jī)中左右聲音收錄部的構(gòu)成的框圖。
圖13是表示本發(fā)明第2實(shí)施方式所涉及的相機(jī)中，進(jìn)行全景中央部圖像的方向上的聲音強(qiáng)調(diào)播放的情形的圖，(a)是表示相機(jī)與被攝體的位置關(guān)系的圖，(b)是表示與相機(jī)攝影的連續(xù)圖像的各幀合成后的全景圖像的圖。 圖14是表示本發(fā)明第2實(shí)施方式的全景中央部圖像的方向上的聲音強(qiáng)調(diào)的動(dòng)作
5的流程圖。 圖15是說明本發(fā)明第1、第2實(shí)施方式的變形例所涉及的相機(jī)中圖像和聲音的記
錄的圖，(a)是表示由相機(jī)進(jìn)行攝影和聲音收錄的情形的圖，(b)是表示在相機(jī)10a的位置
上進(jìn)行攝影的圖像的圖，(c)是表示在相機(jī)10b的位置上進(jìn)行攝影的圖像的圖。 圖16是表示在本發(fā)明第1、第2實(shí)施方式的變形例所涉及的相機(jī)中，使相機(jī)在縱長
方向上移動(dòng)并進(jìn)行連續(xù)攝影的情形的圖。 圖17是表示改進(jìn)了本發(fā)明第1實(shí)施方式后的第3實(shí)施方式所涉及的相機(jī)10和外 部設(shè)備20的構(gòu)成的框圖。 圖18是表示改進(jìn)了圖8后的第4實(shí)施方式所涉及的構(gòu)成的框圖。
圖19是表示改進(jìn)了圖12后的第5實(shí)施方式所涉及的構(gòu)成的框圖。
符號說明1信號處理和控制部2攝像部3變化判定部4記錄部6操作判定部7左右聲音收錄部8顯示部9時(shí)鐘部10相機(jī)10a相機(jī)10b相機(jī)12通信部15用戶(攝影者)15a眼睛15b眼睛15c耳朵20外部設(shè)備21信號處理和控制部22通信部23顯示/播放部24顯示優(yōu)先部25遙控接收部31a視場角31b視場角33a收音范圍33b收音范圍35可聽范圍41a右側(cè)麥克風(fēng)41b左側(cè)麥克風(fēng)42aAD轉(zhuǎn)換器42bAD轉(zhuǎn)換器43a加法器43b乘法器43c加法器43d加法器43e乘法器43f加法器51a —-51c圖像52a ' 52c聲源位置53a 53c聲源55樹 56a 56c圖像57人 58a 58c收音范圍59樹 61a 61c圖像62全景圖像
具體實(shí)施例方式
下面，按照附圖并使用應(yīng)用了本發(fā)明的數(shù)碼相機(jī)說明優(yōu)選實(shí)施方式。本實(shí)施方式 所涉及的數(shù)碼相機(jī)在連續(xù)攝影的同時(shí)以符合狀況的指向性來收錄聲音，成為在播放聲音時(shí)沒有不適感的音響效果。 圖1是表示本發(fā)明第1實(shí)施方式所涉及的相機(jī)10和外部設(shè)備20的構(gòu)成的框圖。 相機(jī)IO是數(shù)碼相機(jī)，具有信號處理和控制部1、攝像部2、變化判定部3、記錄部4、操作判定 部6、左右聲音收錄部7、顯示部8、時(shí)鐘部9和通信部12。 相機(jī)10內(nèi)的信號處理和控制部1通過相機(jī)10專用的信號處理LSI等構(gòu)成，控制 相機(jī)10整體并且對從攝像部2輸出的圖像數(shù)據(jù)進(jìn)行圖像處理。攝像部2通過攝影透鏡、將 由該攝影透鏡形成的被攝體像轉(zhuǎn)換為圖像數(shù)據(jù)的攝像元件等構(gòu)成。 記錄部4在通過信號處理和控制部1對從攝像部2輸出的圖像數(shù)據(jù)進(jìn)行圖像處理 和壓縮處理之后進(jìn)行記錄。變化判定部3使用從攝像部2輸出的圖像數(shù)據(jù)，判定相機(jī)的視 野變化。即，如果相機(jī)10從右向左移動(dòng)，則圖像會從左向右移動(dòng)，相機(jī)10若從左向右移動(dòng) 則圖像會從右向左移動(dòng)，變化判定部3檢測該動(dòng)作。根據(jù)變化判定部3的判定結(jié)果，進(jìn)行考 慮到相機(jī)10的動(dòng)作的聲音的收錄(也稱為集錄)。另外，變化判定部3使用圖像數(shù)據(jù)，檢測 人臉部的存在，在存在臉部部分的情況下，還通過其位置以及口、鼻、耳等進(jìn)行人體或動(dòng)物 等的臉部器官位置的判定。 左右聲音收錄部7具有配置在相機(jī)主體左右的立體聲麥克風(fēng)7a，分別記錄左右聲 音。另外，該左右聲音收錄部7能對來自立體聲麥克風(fēng)的聲音信號進(jìn)行信號處理，變更聲音 的收錄范圍。即，能夠在收音(也被稱為集音)時(shí)變更指向性。從左右聲音收錄部7輸出 的立體聲聲音數(shù)據(jù)在信號處理和控制部1進(jìn)行了信號處理之后，與圖像數(shù)據(jù)一起記錄在記 錄部4中。 操作判定部6具有釋放按鈕等操作部件以及與之聯(lián)動(dòng)的開關(guān)等。通過操作判定部 6所判定出的操作狀態(tài)被發(fā)送給信號處理和控制部1 ，信號處理和控制部1執(zhí)行對應(yīng)操作狀 態(tài)的處理。時(shí)鐘部9具有日期時(shí)間等日歷/計(jì)時(shí)功能，輸出攝影時(shí)的攝影日期時(shí)間信息等。 攝影日期時(shí)間信息與圖像數(shù)據(jù)一起記錄在記錄部4中。 顯示部8根據(jù)從攝像部2輸出的圖像數(shù)據(jù)，實(shí)時(shí)取景顯示被攝體像以用于取景， 另外，播放顯示記錄部4中所記錄的圖像數(shù)據(jù)。通信部12進(jìn)行與電視機(jī)等外部設(shè)備20 之間的發(fā)送和接收。作為通信單元，能通過無線LAN、靠近無線通信、紅外線通信、基于 USB(Universal Serial Bus :通用串行總線)電纜等的有線通信等實(shí)現(xiàn)，并發(fā)送由相機(jī)10 所攝影的圖像數(shù)據(jù)和聲音數(shù)據(jù)。另外，近些年來，為了向高畫質(zhì)顯示器發(fā)送圖像/聲音，傾 向于使用HDMI (High-Definition Multimedia Interface :高清晰多媒體接口)等，通信部 12具有HDMI端子，也可以是這種情況下的有線通信。 電視機(jī)和圖片瀏覽器(Digital photo frame和Photo Viewer :數(shù)碼相框和照片 瀏覽器)等外部設(shè)備20具有信號處理和控制部21、通信部22、顯示/播放部23、顯示優(yōu)先 部24和遙控(remote control)接收部25。信號處理和控制部21與相機(jī)10的信號處理和 控制部1同樣地由外部設(shè)備20專用的信號處理LSI等構(gòu)成，控制外部設(shè)備20整體，并且對 通過通信部22接收的圖像數(shù)據(jù)和立體聲聲音數(shù)據(jù)的播放顯示進(jìn)行控制。
通信部22與相機(jī)10進(jìn)行通信，從相機(jī)10接收圖像數(shù)據(jù)和立體聲聲音數(shù)據(jù)。與相 機(jī)10的通信部12同樣地能進(jìn)行無線LAN、靠近無線通信、紅外線通信、基于USB電纜、HDMI 電纜等的有線通信等的通信。顯示優(yōu)先部24判定圖像的優(yōu)先度。S卩，進(jìn)行是否為最初顯示 在內(nèi)置于相機(jī)10內(nèi)的顯示部8上的優(yōu)先圖像的判定。
顯示/播放部23具有薄型且大畫面的監(jiān)視器和揚(yáng)聲器，進(jìn)行從相機(jī)10接收的圖 像數(shù)據(jù)和立體聲聲音數(shù)據(jù)的播放顯示。在播放時(shí)，信號處理和控制部21按照顯示優(yōu)先部24 中是否為優(yōu)先圖像的判定結(jié)果，進(jìn)行播放控制。并且，在外部設(shè)備20是電視機(jī)的情況下，還 進(jìn)行通常的電視機(jī)播出等顯示。 遙控接收部25通過紅外線通信從遙控(remote control)裝置接收指示信號。通
過遙控裝置，例如能從相機(jī)10接受或播放或中斷所指定的圖像和聲音。 接著使用圖2說明該相機(jī)10的使用方法。如圖2(a)所示，用戶15具有相機(jī)10，
通過攝像部2的攝影透鏡對被攝體像進(jìn)行攝影，并且還能通過立體聲麥克風(fēng)7a記錄來自前
方的聲音。如圖2(b)所示，這樣攝影得到的圖像和聲音通過相機(jī)10的通信部12和外部設(shè)
備20的通信部22，被發(fā)送到外部設(shè)備20。外部設(shè)備20通過顯示/播放部23播放顯示所
接收到的圖像和聲音。 接著使用圖3和圖4說明本實(shí)施方式的相機(jī)10的攝影與聲音記錄。圖3表示通過 相機(jī)10進(jìn)行攝影和聲音收錄的情形。用戶最開始在相機(jī)10a的位置開始攝影，朝相機(jī)10b 的位置移動(dòng)相機(jī)10，其間進(jìn)行連續(xù)性攝影。此時(shí)，通過重疊所獲得的多個(gè)圖像的相似部分進(jìn) 行合成，從而如圖4(a)所示，能獲得靜態(tài)全景圖像。在該例子中，合成3幅圖像51a、51b、 51c，生成靜態(tài)全景圖像。 圖4(b)與圖4(a)同樣，是合成了 3幅圖像51a、51b、51c的靜態(tài)全景圖像。攝影 時(shí)，如果記錄了各圖像51a、51b、51c的畫面中央部方向的聲音，則播放時(shí)聲源53a、53b、53c 的位置會從左向右移動(dòng)，成為不自然的聲音播放。 于是，在本實(shí)施方式中，當(dāng)在相機(jī)10a的位置上進(jìn)行攝影的情況下，如圖3所示，在 視場角31a中靠右邊的收音范圍33a收音，當(dāng)在相機(jī)10b的位置進(jìn)行攝影的情況下，在視場 角31b中靠左邊的收音范圍33b收音。將這樣攝影得到的圖像合成為全景圖像，播放聲音， 則圖像51a的攝影時(shí)的聲音的聲源位置52a和圖像51c的攝影時(shí)的聲音的聲源位置52b大 致處于全景圖像的中央。即，如圖4(c)所示，從全景圖像大致中央的聲源位置52c傳來所 收音的聲音。幾乎不存在圖4(b)中所說明的聲源位置的移動(dòng)，能以自然的感覺進(jìn)行聲音播 放。 這樣，在本實(shí)施方式中，通過校正來抑制聲音的變化，不會感到是將按照時(shí)間序列
攝影的圖像貼合起來制作的圖像。并且，在本實(shí)施方式中是將3幅圖像貼合，但是，當(dāng)然也
可以花費(fèi)時(shí)間記錄多幅圖像，從其中選擇多幅圖像合成圖像，播放聲音。 接著，使用圖5所示的流程圖說明本實(shí)施方式的動(dòng)作。該流程圖中由相機(jī)10的信
號處理和控制部1進(jìn)行處理。 進(jìn)入圖5所示的相機(jī)控制的動(dòng)作，首先進(jìn)行是否為攝影模式的判定(S101)。該相 機(jī)10具有攝影模式和播放模式。在步驟S101中判定的結(jié)果為攝影模式的情況下，進(jìn)行圖 像的取入，進(jìn)行臉部檢測(S102)。在該步驟中，獲得從攝像部2輸出的圖像數(shù)據(jù)以用于實(shí) 時(shí)取景顯示，使用該獲得的圖像數(shù)據(jù)，由變化判定部3進(jìn)行臉部檢測。接著進(jìn)行圖像顯示 (S103)。這里，根據(jù)在步驟S102中獲得的圖像數(shù)據(jù)，在顯示部8上顯示被攝體像。攝影者 能在觀察該被攝體像的同時(shí)進(jìn)行取景。 進(jìn)行了圖像顯示后，進(jìn)行是否檢測到了臉部的判定(S104)。在步驟S102中進(jìn)行臉 部檢測，此時(shí)在本步驟中判定是否從圖像之中檢測出了臉部的一部分。在該判定的結(jié)果是判定為檢測到了臉部的情況下，檢測臉部位置和口、耳、目等人或動(dòng)物等的臉部器官的位置 (S105)。在此，檢測到的臉部位置在對焦和曝光控制時(shí)使用。 如果進(jìn)行了人或動(dòng)物等的臉部位置和口的位置判定，或在步驟S104的判定結(jié)果 中判定為不存在臉部的情況下，接著進(jìn)行是否開始記錄的判定(S106)。此時(shí)檢測釋放按鈕 的操作狀態(tài)，判定是否開始動(dòng)態(tài)攝影和全景攝影等。在該判定的結(jié)果是不開始記錄的情況 下，返回步驟S104，執(zhí)行上述動(dòng)作。 在步驟S106的判定結(jié)果為開始記錄的情況下，進(jìn)行攝影/收音記錄(S107)。在該 子程序內(nèi)，連續(xù)進(jìn)行圖像和聲音的記錄，并且隨時(shí)一并進(jìn)行畫面的動(dòng)作檢測等，按照該動(dòng)作 檢測結(jié)果變更收音范圍。攝影/收音動(dòng)作持續(xù)進(jìn)行到在該子程序內(nèi)進(jìn)行結(jié)束判定為止。后 面將使用圖6所示的動(dòng)作來描述該攝影/收音記錄的子程序。 在步驟S101中判定的結(jié)果是沒有設(shè)定攝影模式的情況下，進(jìn)行是否設(shè)定了播放 模式的判定(S112)。在該判定的結(jié)果是沒有設(shè)定播放模式的情況下，返回步驟SIOI。另一 方面，在步驟Slll的判定結(jié)果是設(shè)定了播放模式的情況下，進(jìn)行播放(S112)。
在該步驟S112中，從記錄部4讀出所記錄的攝影圖像，以縮略圖形式在顯示部8 顯示圖像，當(dāng)通過操作部選擇了圖像時(shí)，則放大顯示該圖像。另外，當(dāng)在顯示圖像的同時(shí)一 并記錄著立體聲聲音數(shù)據(jù)的情況下，對其(立體聲聲音數(shù)據(jù))進(jìn)行播放。并且，如果在相機(jī) 10內(nèi)沒有設(shè)置揚(yáng)聲器，則僅播放圖像，不播放聲音。 如果進(jìn)行了圖像的播放，則接著進(jìn)行是否進(jìn)行發(fā)送的判定(S113)。此時(shí)，為了向電 視機(jī)等外部設(shè)備20發(fā)送圖像，進(jìn)行是否操作了指示發(fā)送用的操作部件的判定。在該判定的 結(jié)果是發(fā)送的情況下，進(jìn)行顯示圖像的發(fā)送(S114)。在該步驟中，將在步驟S112中正在顯 示的圖像發(fā)送給外部設(shè)備20。并且，在選擇了多幅圖像的情況下，也能一并發(fā)送這些圖像。 在發(fā)送了顯示圖像時(shí)，在步驟S113的判定結(jié)果為未發(fā)送，或者在步驟S117中攝影/收音記 錄已結(jié)束，則結(jié)束相機(jī)控制流程，如果電源仍然導(dǎo)通，則返回步驟S101，執(zhí)行上述動(dòng)作。
接著，使用圖6所示的流程圖說明步驟S107中的攝影/收音記錄的子程序。
進(jìn)入該流程后，首先進(jìn)行是否為全景攝影的判定(Sl)。此時(shí)，進(jìn)行這樣的判定是 否通過操作部件設(shè)定了全景攝影模式?？梢栽跀z影之后判定是否為對應(yīng)全景的攝影，制作 全景，然而在本實(shí)施方式中，為了簡化動(dòng)作，說明使用操作判定部6通過用戶設(shè)定來進(jìn)行全 景攝影模式的情況。 在步驟Sl中判定的結(jié)果是沒有設(shè)定全景攝影模式的情況下，進(jìn)行與通常的動(dòng)態(tài) 圖像等相同的連續(xù)攝影(Sll)。接著，判定是否為望遠(yuǎn)攝影(S12)。此時(shí)，判定是否通過變 焦操作向望遠(yuǎn)側(cè)進(jìn)行了操作。在該判定的結(jié)果為望遠(yuǎn)的情況下，進(jìn)行中央集中收音(S13)， 另一方面，在判定的結(jié)果并非望遠(yuǎn)的情況下，進(jìn)行強(qiáng)調(diào)左右的立體聲感覺的收音(S14)。即， 按照相機(jī)10的攝影透鏡2a的視場角，切換為重點(diǎn)錄音中央，或拓寬收音范圍來進(jìn)行強(qiáng)調(diào) 立體聲感覺的錄音。并且，通過左右聲音收錄部7來進(jìn)行該收音范圍的變更。
如果進(jìn)行了中央集中錄音或立體聲強(qiáng)調(diào)錄音，則接下來進(jìn)行是否結(jié)束通常攝影的 判定(S15)。此時(shí)，進(jìn)行是否通過釋放按鈕進(jìn)行了結(jié)束操作的判定。在該判定的結(jié)果是沒有 結(jié)束的情況下，返回步驟S11，繼續(xù)進(jìn)行攝影。另一方面，在是結(jié)束的情況下，結(jié)束攝影/收 音記錄的子程序，返回原本的動(dòng)作。 在步驟S1的判定結(jié)果是全景攝影模式的情況下，首先進(jìn)行攝像，記錄圖像端部圖像(S2)。端部圖像的記錄例如是記錄在其他存儲器區(qū)域中，或是將端部圖像的特征保留于 標(biāo)簽上等進(jìn)行的，使得能在這些處理之后進(jìn)行使用。通過進(jìn)行該端部圖像記錄，在將相機(jī)10 移動(dòng)到箭頭方向的情況下，如圖9(a)所示，畫面內(nèi)的端部圖像(圖9(b)的例子中為樹55) 依次在圖像56a —圖像56b —圖像56c內(nèi)移動(dòng)，能生成以端部圖像(樹55)為中心的全景 圖像。而且，即便移動(dòng)了相機(jī)10，也始終進(jìn)行在端部圖像(樹55)的方向上具有聲音收錄的 指向性的錄音(記錄像方向上的錄音)，減輕了聲音播放時(shí)的不自然程度。
開始端部圖像記錄，進(jìn)行連續(xù)攝影(S3)。接著，最開始判定是否在中央存在既定 大小的臉部(S4)。此時(shí)，通過變化判定部3判定是否在畫面大致中央處存在既定大小的臉 部、例如畫面寬度的1/5的臉部。這是由于，在圖7所示的場景之中，當(dāng)從左側(cè)開始攝影時(shí)， 如果人57占據(jù)了既定以上的大小，則該人57為主要被攝體的可能性就很高。
這種情況下，由于存在人57在觀察風(fēng)景的同時(shí)說話的可能性，因而在攝影最開始 時(shí)(步驟S105的定時(shí))判定到存在臉部的情況下，從步驟S4分支到步驟S21，進(jìn)行臉部方 向跟蹤強(qiáng)調(diào)錄音(S21)。在臉部方向跟蹤強(qiáng)調(diào)錄音中，按照相機(jī)10的動(dòng)作依次變更收音范 圍58a 58c，在人57的方向上收音。這就能進(jìn)行適合以人57為主體的攝影的收音。
在步驟S4中判定的結(jié)果是最開始在中央不存在既定大小的臉部的情況下，進(jìn)行 畫面的動(dòng)作判定(S5)。如圖9所示，通過相機(jī)10對準(zhǔn)方向的變化來判定攝影圖像是從左向 右移動(dòng)還是從右向左移動(dòng)。接著進(jìn)行畫面動(dòng)作是否為從左向右的判定(S6)。在該判定的結(jié) 果是畫面動(dòng)作從左向右的情況下，將聲音收錄的強(qiáng)調(diào)方向從右強(qiáng)調(diào)轉(zhuǎn)為左強(qiáng)調(diào)(S8)。另一 方面，在畫面動(dòng)作是從右向左的情況下，從左強(qiáng)調(diào)錄音轉(zhuǎn)為右強(qiáng)調(diào)錄音(S7)。
使用圖10所示的流程圖說明步驟S8中從右強(qiáng)調(diào)錄音轉(zhuǎn)為左強(qiáng)調(diào)錄音的動(dòng)作。進(jìn) 入該動(dòng)作時(shí)，首先讀出畫面右端的像(S21)。接著進(jìn)行記錄像方向上的錄音(S22)。此時(shí)， 如在圖4和圖9中說明的那樣，最開始朝畫面右側(cè)的方向收音，隨著畫面移動(dòng)逐漸朝畫面左 側(cè)進(jìn)行收音。該收音動(dòng)作是通過左右聲音收錄部7進(jìn)行的。 并且，對于步驟S7中從左強(qiáng)調(diào)錄音轉(zhuǎn)為右強(qiáng)調(diào)錄音，只要進(jìn)行與從右強(qiáng)調(diào)錄音轉(zhuǎn)
為左強(qiáng)調(diào)錄音相反的動(dòng)作即可。另外，在圖io所示的動(dòng)作中，按照像在畫面內(nèi)的移動(dòng)來移
動(dòng)收音方向，但是也可以僅檢測畫面動(dòng)作的方向，單純按照動(dòng)作的方向，以數(shù)秒內(nèi)移動(dòng)120 度的程度來變更收音范圍。即，設(shè)想用戶以既定的速度改變視場角，在不使用來自攝像部2 的圖像的情況下，也能夠切換聲音收錄方向。 如果進(jìn)行了步驟S7、S8或S21的強(qiáng)調(diào)錄音，則接著判定攝影是否結(jié)束(SIO)。在該 步驟中，判定釋放按鈕的操作狀態(tài)。在該判定結(jié)果為并非攝影結(jié)束的情況下，返回步驟S3， 繼續(xù)進(jìn)行攝影。另一方面，在判定結(jié)果為結(jié)束的情況下，結(jié)束攝影/收音記錄的子程序，返 回原本的動(dòng)作。 如上所述，本實(shí)施方式所涉及的相機(jī)10在全景攝影模式等連續(xù)攝影圖像時(shí)，按照 相機(jī)10的動(dòng)作來移動(dòng)收音范圍。因此，在合成圖像并播放顯示時(shí)，聲音的聲源位置不會不 自然地移動(dòng)，能夠以沒有不適感的音響效果進(jìn)行聲音播放。 接著，說明用于改變收音范圍的左右聲音收錄部7的構(gòu)成和動(dòng)作。如圖8所示，左 右聲音收錄部7由立體聲麥克風(fēng)7a、 AD轉(zhuǎn)換器42、加法/乘法器43構(gòu)成。
立體聲麥克風(fēng)7a由右側(cè)麥克風(fēng)41a和左側(cè)麥克風(fēng)41b構(gòu)成，配置在相機(jī)主體10 的前表面?zhèn)?。立體聲麥克風(fēng)7a與AD轉(zhuǎn)換器42連接，對聲音信號進(jìn)行數(shù)字化。S卩，從右側(cè)CN 101729771 A
說明書
9/14頁 麥克風(fēng)41a側(cè)的AD轉(zhuǎn)換器42a輸出聲音數(shù)據(jù)。另外，從左側(cè)麥克風(fēng)41b側(cè)的AD轉(zhuǎn)換器42b
輸出數(shù)字聲音數(shù)據(jù)。 AD轉(zhuǎn)換器42的輸出端與加法/乘法器43連接，運(yùn)算左右的聲音差值。SP，輸出 右側(cè)麥克風(fēng)41a側(cè)的聲音數(shù)據(jù)的AD轉(zhuǎn)換器42a連接于加法器43a的正側(cè)輸入端和加法器 43d的負(fù)側(cè)輸入端。另外，輸出左側(cè)麥克風(fēng)41b的聲音數(shù)據(jù)的AD轉(zhuǎn)換器42b連接于加法器 43a的負(fù)側(cè)輸入端和加法器43d的正側(cè)輸入端。 加法器43a的輸出與乘法器43b的輸入端連接，加法器43d的輸出端與乘法器43e 的輸入端連接。乘法器43b和乘法器43e的控制端與信號處理和控制部1連接，輸入乘法 器43b、43e的增益。加法器43c的輸入端連接著AD轉(zhuǎn)換器42a的輸出端和乘法器43b的 輸出端。加法器43f的輸入端連接著AD轉(zhuǎn)換器42b的輸出端和乘法器43e的輸出端。
加法/乘法器43的輸出端是作為左右聲音收錄部7的輸出部，與記錄部4連接。 即，加法器43c的輸出端和加法器43f的輸出端分別輸出右側(cè)聲音數(shù)據(jù)和左側(cè)聲音數(shù)據(jù)，各 聲音數(shù)據(jù)通過這些輸出端記錄在記錄部4內(nèi)。 這樣就構(gòu)成了左右聲音收錄部7，能夠?qū)σ粤Ⅲw聲輸入的左右聲音數(shù)據(jù)中的任一 個(gè)進(jìn)行強(qiáng)調(diào)。由左右聲音收錄部7的2個(gè)麥克風(fēng)41a、41b所輸入的聲音信號通過AD轉(zhuǎn)換 器42a、42b被轉(zhuǎn)換為數(shù)字聲音數(shù)據(jù)，通過加法器43a運(yùn)算出右側(cè)聲音數(shù)據(jù)減去左側(cè)聲音數(shù) 據(jù)的值，通過加法器43d運(yùn)算出左側(cè)聲音數(shù)據(jù)減去右側(cè)聲音數(shù)據(jù)的值。即，通過加法器43a、 43d運(yùn)算出左右聲音數(shù)據(jù)的差值。此時(shí)，所運(yùn)算的差值是左右聲音的差異，通過強(qiáng)調(diào)該差值， 能夠獲得強(qiáng)調(diào)了向右或向左的擴(kuò)散的聲音數(shù)據(jù)，該相加運(yùn)算是為此進(jìn)行的前處理。
通過加法器43a、43d求出的差值在乘法器43b、43e中分別根據(jù)來自信號處理和控 制部1的增益相乘，并在加法器43c、43f中將該相乘結(jié)果與右側(cè)聲音數(shù)據(jù)以及左側(cè)聲音數(shù) 據(jù)相加。并且，由于加法器43a、43d的輸出為正，因此實(shí)質(zhì)上是相加。此時(shí)，如果增大乘法器 43b、43e中某一個(gè)的增益，則會強(qiáng)調(diào)增益較大側(cè)的聲音，能夠獲得強(qiáng)調(diào)了向右或向左的擴(kuò)散 的聲音輸出。另外，通過增大雙方的增益，能夠獲得重視中央的聲音輸出。信號處理和控制 部1在步驟S7、 S8、 S13、 S14、 S21的定時(shí)針對乘法器43b、43e控制增益，從而能夠改變擴(kuò)散 感。 這樣，本實(shí)施方式的左右聲音收錄部7就能夠使用一對相同性能的麥克風(fēng)，使收
音范圍的方向從右向左或從左向右變化。另外，由于判定畫面動(dòng)作來控制左右聲音收錄部
7的強(qiáng)調(diào)錄音，因此即便攝影視野發(fā)生變化，也能夠模擬地從一定的聲源位置播放聲音。 如上所述，根據(jù)本發(fā)明第1實(shí)施方式，由于按照畫面動(dòng)作改變收音范圍，因此在根
據(jù)多幅圖像播放合成靜態(tài)圖像時(shí)，能夠以沒有不適感的音響效果進(jìn)行聲音播放。 接著使用圖11至圖14說明本發(fā)明第2實(shí)施方式。在本發(fā)明第1實(shí)施方式中，在相
機(jī)10攝影時(shí)按照相機(jī)的動(dòng)作來改變收音范圍。在第2實(shí)施方式中，在攝影時(shí)不改變收音范
圍就進(jìn)行立體聲錄音，在播放全景圖像等合成圖像時(shí)，按照相機(jī)的動(dòng)作來改變聲源的位置。
本實(shí)施方式的構(gòu)成與圖1所示的第1實(shí)施方式的構(gòu)成相同，因而省略說明。 使用圖11所示的相機(jī)控制的流程圖說明本實(shí)施方式的動(dòng)作。在進(jìn)入相機(jī)控制的
動(dòng)作時(shí)，首先進(jìn)行是否設(shè)定為攝影模式的判定(S201)。步驟S201 S203與圖5所示的第
1實(shí)施方式的相機(jī)控制的動(dòng)作相同，省略詳細(xì)說明。其中，在步驟S202中取入圖像時(shí)進(jìn)行臉
部檢測，而在本實(shí)施方式中進(jìn)行了省略。當(dāng)然也可以進(jìn)行臉部檢測以進(jìn)行曝光控制和自動(dòng)
11調(diào)焦。 如果在步驟S203進(jìn)行了圖像顯示(實(shí)時(shí)取景顯示)，接著與步驟S106同樣地進(jìn)行 是否開始記錄的判定(S204)。此時(shí)，判定是否操作了釋放按鈕。在該判定的結(jié)果是未開始 記錄的情況下，返回步驟S201，執(zhí)行上述動(dòng)作。 在步驟S204的判定結(jié)果為開始記錄的情況下，開始連續(xù)攝影，并且同時(shí)開始立體 聲錄音(S206)。接著進(jìn)行動(dòng)作判定(S207)。在該步驟中，根據(jù)圖像數(shù)據(jù)基于圖像變化來判 定相機(jī)10的動(dòng)作。在該判定結(jié)果是存在動(dòng)作的情況下，記錄動(dòng)作特征(S208)。此時(shí)，動(dòng)作 特征與圖像數(shù)據(jù)一起記錄在記錄部4中。 在進(jìn)行了動(dòng)作特征記錄后，或者在步驟S207的判定結(jié)果為不存在動(dòng)作的情況下， 接著進(jìn)行是否結(jié)束記錄的判定(S209)。在該步驟中，根據(jù)釋放按鈕的操作狀態(tài)進(jìn)行判定。 如果該判定的結(jié)果為并非記錄結(jié)束，則返回步驟S206，繼續(xù)進(jìn)行連續(xù)攝影。另一方面，如果 判定的結(jié)果為記錄結(jié)束，則結(jié)束該動(dòng)作，重新返回步驟S201 。 在步驟S201的判定結(jié)果并非攝影模式的情況下，接著進(jìn)行是否設(shè)定了播放模式
的判定(S211)。此時(shí)，判定是否操作了播放按鈕等操作部件而由用戶進(jìn)行了播放開始指示。
在該判定的結(jié)果為沒有設(shè)定為播放模式的情況下，返回步驟S201。另一方面，如果判定的結(jié)
果為設(shè)定了播放模式的情況下，接著進(jìn)行是否為全景播放的判定(S212)。 在該步驟S212中，判定是否在步驟S208中與圖像數(shù)據(jù)一并記錄了動(dòng)作特征。艮卩，
在記錄了動(dòng)作特征的情況下，通過合成多個(gè)幀能夠獲得全景圖像。另外，在判定是否為全景
播放時(shí)，也能夠包括是否由用戶設(shè)定了全景播放模式來進(jìn)行判斷。 在步驟S212中判定的結(jié)果并非全景播放的情況下，進(jìn)行通常的動(dòng)態(tài)圖像播放 (S213)，進(jìn)行立體聲播放(S214)。此時(shí)，播放在步驟S206中錄像的動(dòng)態(tài)圖像和錄音的聲音。
在步驟S212中判定的結(jié)果是全景播放的情況下，進(jìn)行圖像連接播放(S221)。艮卩， 在該步驟中，將在步驟S206中攝影的連續(xù)圖像的共同部分貼合起來以靜態(tài)圖像方式生成 全景圖像。接著，通過全景中央部圖像的方向上的聲音強(qiáng)調(diào)來播放聲音(S222)。在該步驟 中，判定所完成的全景圖像中央部的圖像，根據(jù)該圖像位置和步驟S208中記錄的動(dòng)作特征 數(shù)據(jù)，校正在各位置處獲得的聲音，以聲源位置處于全景圖像中央部的方式進(jìn)行聲音播放。
在該步驟S222中的聲音強(qiáng)調(diào)下的聲音播放是在圖12所示的左右聲音收錄部7中 進(jìn)行控制的。在進(jìn)行步驟S206中的立體聲錄音時(shí)，左右聲音收錄部7不進(jìn)行聲音強(qiáng)調(diào)，原 樣將左右的立體聲聲音記錄在記錄部4中，在步驟S222中通過聲音強(qiáng)調(diào)來進(jìn)行播放。后面 將使用圖12敘述左右聲音收錄部7中的聲音播放。 另外，在進(jìn)行步驟S222中的聲音強(qiáng)調(diào)播放時(shí)，在第1實(shí)施方式中，如圖9所示，以 畫面內(nèi)端部的圖像(圖9(b)的例子中為樹55)為目標(biāo)取得聲音的方向平衡。因此，需要在 全景圖像的中央部包含端部圖像，在本實(shí)施方式中，即便在全景圖像中央部不存在作為目 標(biāo)的端部圖像，也能夠使用檢測相機(jī)處理時(shí)的角速度的傳感器(例如陀螺傳感器等)進(jìn)行 聲音強(qiáng)調(diào)播放。后面將使用圖13和圖14敘述該聲音強(qiáng)調(diào)播放。 如果進(jìn)行了步驟S222中的采用聲音強(qiáng)調(diào)的播放或步驟S214中的立體聲播放，則 接下來進(jìn)行是否結(jié)束播放的判定(S215)。此時(shí)，根據(jù)是否再次操作了播放按鈕等操作部件 等而由用戶作出了播放結(jié)束指示等來進(jìn)行判定。在該判定的結(jié)果是不結(jié)束播放的情況下， 返回步驟S212，繼續(xù)進(jìn)行播放動(dòng)作。
在步驟S215的判定結(jié)果為結(jié)束播放的情況下，接下來進(jìn)行是否進(jìn)行發(fā)送的判定 (S226)。此時(shí)，判定是否操作了發(fā)送按鈕等操作部件而將顯示中的播放圖像發(fā)送給外部設(shè) 備20。在該判定結(jié)果為發(fā)送的情況下，向外部設(shè)備20發(fā)送顯示圖像(S277)。如果發(fā)送了 顯示圖像，或者步驟S226中的判定結(jié)果不是發(fā)送的情況下，結(jié)束相機(jī)控制的動(dòng)作，從步驟 S201起重新執(zhí)行相機(jī)控制的動(dòng)作。 接著，使用圖12說明在步驟S222中進(jìn)行全景中央部圖像的方向上的聲音強(qiáng)調(diào)處 理的左右聲音收錄部7的構(gòu)成。 圖12是表示左右聲音收錄部7的構(gòu)成的框圖。該左右聲音收錄部7在播放時(shí)調(diào) 整左右聲音播放的平衡，進(jìn)行聲音強(qiáng)調(diào)處理。相比圖8所示的第1實(shí)施方式，不同之處在于 在AD轉(zhuǎn)換器42與加法/乘法器43之間連接著記錄部4，而各電路內(nèi)的構(gòu)成與第1實(shí)施方 式的左右聲音收錄部7相同。 S卩，對右側(cè)麥克風(fēng)41a的聲音信號進(jìn)行AD轉(zhuǎn)換的AD轉(zhuǎn)換器42a的輸出端與記錄 部4連接，通過該AD轉(zhuǎn)換器42a進(jìn)行AD轉(zhuǎn)換且記錄在記錄部4中的聲音數(shù)據(jù)輸出到加法 器43a、43c、43d。另外，對左側(cè)麥克風(fēng)41b的聲音信號進(jìn)行AD轉(zhuǎn)換的AD轉(zhuǎn)換器42b的輸出 端與記錄部4連接，通過該AD轉(zhuǎn)換器42b進(jìn)行AD轉(zhuǎn)換且記錄在記錄部4中的聲音數(shù)據(jù)輸 出到加法器43a、43d、43f。 在上述第1實(shí)施方式中，聲音收錄部7在攝影時(shí)進(jìn)行強(qiáng)調(diào)收音，變更收音范圍，然 而在本實(shí)施方式之中，攝影時(shí)通過AD轉(zhuǎn)換器對來自立體聲麥克風(fēng)7a的聲音進(jìn)行數(shù)字化，在 不變更該聲音數(shù)據(jù)的收音范圍的情況下原樣記錄在記錄部4中。而且，在播放時(shí)根據(jù)從記 錄部4讀出的聲音數(shù)據(jù)，利用加法/乘法器43控制聲音播放時(shí)左右的平衡。即，按照畫面 的移動(dòng)來改變施加給乘法器43b、43e的增益，以仿佛聲源存在于全景圖像中央部圖像的方 向上那樣進(jìn)行聲音播放。 接著，使用圖13和圖14說明步驟S222中全景中央部圖像的方向上的聲音強(qiáng)調(diào)的 子程序。如上所述，在第1實(shí)施方式中，在檢測全景圖像中央部的圖像的方向時(shí)，以畫面內(nèi) 的端部圖像(樹55)為基準(zhǔn)。在本實(shí)施方式中，即便在不存在這種端部圖像的情況下，也能 檢測全景圖像中央部的圖像的方向。 圖13(a)表示用于生成全景圖像而連續(xù)攝影圖像的情形。即，最開始在相機(jī)10a 的位置(定時(shí)T1)開始攝影。此時(shí)，如果用相機(jī)10攝影，則如圖13(b)所示，能夠獲得視場 角9的圖像61a。接著，如果在中途的定時(shí)T2攝影，則作為目標(biāo)物的樹59會映入，能獲得 圖像61b。而當(dāng)?shù)竭_(dá)終端，在相機(jī)10b的位置上(定時(shí)T3)攝影最后的圖像，則能夠獲得圖 像61c。并且，這些圖像61a 61c在步驟S206中(參見圖ll)獲得并記錄。
如果排列由相機(jī)10連續(xù)獲得的圖像61a 61c，則如圖13(b)所示，通過合成這些 圖像，能夠獲得全景圖像62。在該全景圖像中央部存在作為目標(biāo)圖像的樹59。本實(shí)施方式 中，即便在全景圖像的最開始和最后的圖像中不存在共同的圖像(樹59)，由于在合成獲得 的全景圖像的中央部存在樹59，因而也能根據(jù)到該樹進(jìn)入視野為止的定時(shí)的差異，進(jìn)行聲 音播放時(shí)的方向校正。 也就是說，如圖13(a)所示，相機(jī)10a在定時(shí)Tl獲得視場角e的圖像并開始攝影， 在相機(jī)10b的位置(定時(shí)T3)獲得視場角9的全景用圖像的最后圖像。在其間的定時(shí)T2， 獲得全景圖像的中央圖像。關(guān)于在定時(shí)T1和定時(shí)T2之間移動(dòng)了何種角度①，能夠根據(jù)視場角e和在視場角內(nèi)移動(dòng)的圖像的速度來判定。 如果圖像在AT的時(shí)間內(nèi)從視場角一端移動(dòng)到另一端，則根據(jù)由角速度傳感器獲 得的角速度v，可知將相機(jī)10移動(dòng)了何種角度9。在攝影中，在步驟S208中作為動(dòng)作特征 判定出該角速度v，并將該角速度v與圖像一起記錄。因此，通過使定時(shí)Tl和定時(shí)T2的差 值T2-T1乘以角速度v，能夠確定應(yīng)進(jìn)行校正的收音角度。 接著，使用圖14所示的流程圖說明全景中央部圖像的方向上的聲音強(qiáng)調(diào)的子程 序。進(jìn)入該流程中，首先進(jìn)行合成全景圖像時(shí)的中央幀的判定(S501)。在該步驟中，圖13 的例子中，將位于全景圖像中央部的圖像61b判定為中央幀。接著，將中央幀的攝影定時(shí)設(shè) 為T2(S502)。 接著，讀出在定時(shí)T獲得的聲音(S503)。在該步驟中，從記錄部4讀出導(dǎo)所讀出 的圖像數(shù)據(jù)對應(yīng)的聲音數(shù)據(jù)，將該聲音的定時(shí)設(shè)為T。接著通過(T2-T)X e/AT來求出校 正角(S504)。在該步驟中，如使用圖13所說明的那樣，通過對各定時(shí)T導(dǎo)中央部的差值 (T2-T)乘以角速度(v = 9 / AT)來求出校正角。 在運(yùn)算出校正角后，接下來使用該校正角進(jìn)行校正角聲音強(qiáng)調(diào)(S505)。在該步驟
中，按照校正角來改變施加給圖12所示的左右聲音收錄部7的乘法器43b、43e的增益。由
此，能夠進(jìn)行仿佛聲源位置位于全景圖像大致中央部的方向上的強(qiáng)調(diào)播放。 在進(jìn)行了校正角聲音強(qiáng)調(diào)之后，接著進(jìn)行是否結(jié)束的判定(S506)。此時(shí)，按照播放
按鈕等操作部件的操作狀態(tài)來判定播放是否結(jié)束。在該判定的結(jié)果為不結(jié)束的情況下，返
回步驟S503，繼續(xù)進(jìn)行采用聲音強(qiáng)調(diào)的聲音播放。另一方面，在步驟S506中判定的結(jié)果是
結(jié)束的情況下，返回原本的流程。 如上所述，在本實(shí)施方式的第2實(shí)施方式中，攝影時(shí)進(jìn)行立體聲錄音，播放時(shí)按照 畫面動(dòng)作進(jìn)行采用聲音強(qiáng)調(diào)的播放，以仿佛聲源位置在中央部的方式進(jìn)行聲音播放。因此， 能夠防止在通過靜態(tài)圖像播放顯示全景圖像時(shí)，聲源位置移動(dòng)而成為不自然的聲音播放的 情況。 另外，在本實(shí)施方式中，即便端部圖像(樹55)不存在于最初和最后的畫面內(nèi)，也 能通過運(yùn)算求出校正角。因此，即便在相比第1實(shí)施方式更廣的范圍內(nèi)進(jìn)行全景攝影時(shí)，也 能運(yùn)算校正角，即便攝影方向較大地變化，也不必?fù)?dān)心聲音發(fā)生變化。 并且，本發(fā)明以聲源仿佛位于中央部圖像的方向上的方式進(jìn)行聲音強(qiáng)調(diào)，該方向 除了中央部之外還能夠適當(dāng)進(jìn)行變更。這種情況下，還能夠手動(dòng)設(shè)定T2的定時(shí)。
接著，使用圖15和圖16說明本發(fā)明第l和第2實(shí)施方式的變形例。S卩，在第l和 第2實(shí)施方式中，連續(xù)進(jìn)行攝影，使用由此獲得的多個(gè)圖像合成全景圖像，以靜態(tài)圖像進(jìn)行 顯示。相對于此，本變形例中設(shè)想到依次播放連續(xù)攝影的圖像，按照動(dòng)態(tài)圖像那樣進(jìn)行播放 的情況。根據(jù)本變形例，能夠減少伴隨相機(jī)視野變更而產(chǎn)生的不需要的聲音的變化。
使用圖15說明本變形例中相機(jī)10的攝影和聲音記錄。圖15(a)表示通過相機(jī)10 進(jìn)行攝影和聲音收錄的情形。用戶15最開始在相機(jī)10b的位置開始攝影，朝相機(jī)10a的位 置移動(dòng)相機(jī)10。此時(shí)，如果在相機(jī)10a的位置攝影圖像，則能獲得圖15(b)所示的圖像，如 果在相機(jī)10b的位置攝影圖像，則能獲得圖15(c)所示的圖像。 如果對圖15(b) 、 (c)所示的海邊廣闊的情景以連拍或動(dòng)態(tài)圖像進(jìn)行攝影時(shí)一并 進(jìn)行錄音，則會收錄相當(dāng)于各相機(jī)10的位置前方的視場角的狹窄范圍內(nèi)的聲音。但是在該
14范圍內(nèi)，能夠在臉部不動(dòng)作的情況下，僅移動(dòng)人的眼睛15a、15b。也就是說，相機(jī)10按照畫 面的移動(dòng)變化對前方的聲音進(jìn)行收音，而攝影者的耳朵15c則有時(shí)會聽到可聽范圍35的聲 當(dāng)播放在這種狀況下錄音的聲音時(shí)，如果隨著相機(jī)10的動(dòng)作而不停變化，則無法 相應(yīng)地欣賞圖像和聲音。于是，在本變形例中，即便畫面移動(dòng)，聲源也處于畫面內(nèi)的既定場 所，聲音仿佛從該處傳來。 本變形例如第1實(shí)施方式那樣還能應(yīng)用于攝影時(shí)，此處說明應(yīng)用于第2實(shí)施方式 的例子。這種情況下，在圖11所示的相機(jī)控制的動(dòng)作中，只要在步驟S221、 S222中在播放 動(dòng)態(tài)圖像而不是靜態(tài)圖像全景圖像時(shí)進(jìn)行聲音強(qiáng)調(diào)播放即可。即，進(jìn)行這樣的播放一邊播 放顯示動(dòng)態(tài)圖像，一邊始終在記錄仿佛相機(jī)朝向全景情況下的畫面中央時(shí)的聲音。
例如圖16所示，考慮到了一邊沿著大樹樹干從下方到頂點(diǎn)緩慢地向上看一邊拍 攝動(dòng)態(tài)圖像的情況。這種情況下，如果蟬在樹干上鳴叫，則在拍攝最下方時(shí)會從畫面中央聽 到蟬鳴，而隨著畫面朝向頂端，以從畫面下側(cè)聽到蟬鳴的方式進(jìn)行聲音強(qiáng)調(diào)播放。由此，能 夠從相同的聲源位置聽到蟬鳴，因此不會感到不自然的感覺。當(dāng)然，與第1、第2實(shí)施方式相 同地，即便是向左右移動(dòng)的連續(xù)攝影，也能獲得同樣的效果。 通過采用這種構(gòu)成來進(jìn)行動(dòng)作，能夠進(jìn)行穩(wěn)定的環(huán)境聲音播放，能進(jìn)行具有豐富 氣氛的音響效果的聲音收錄和播放。相機(jī)10的用戶不必一定傾聽所觀察方向的范圍內(nèi)的 聲音。從存儲的再現(xiàn)的觀點(diǎn)而言，相比嚴(yán)密意義上的聲音再現(xiàn)，更優(yōu)選能沉迷于回憶的聲音 播放。希望進(jìn)行能夠順暢再現(xiàn)存留于記憶之中的聲音的聲音收音。于是，在本變形例中，在 進(jìn)行最佳收音的同時(shí)，重視了攝影者在攝影時(shí)聽到并存留于記憶中的環(huán)境聲音的記錄和播 放。由此，能夠在不慌忙切換聲音的情況下專心進(jìn)入回憶之中，能播放具有安撫效果的圖像 和聲音。 圖17是表示改進(jìn)了本發(fā)明第1實(shí)施方式后的第3實(shí)施方式所涉及的相機(jī)10和外 部設(shè)備20的構(gòu)成的框圖。相機(jī)10是數(shù)碼相機(jī)，具有帶信號處理功能的控制部cl、攝像部 2、使用了陀螺儀等的變化檢測部3、記錄部4、用戶能操作的帶開關(guān)功能的操作檢測部6、立 體聲聲音收錄部7、顯示部8、時(shí)鐘部9、通信部cl2、立體聲聲音生成部13。這里僅說明不同 于第1實(shí)施例的構(gòu)成。 進(jìn)而，電視機(jī)和數(shù)字相框(Digital photo frame或Photo Viewer)等外部設(shè)備20 具有信號處理和控制部21、通信部d22、顯示/播放部23和遙控(remote control)接收部 25。具有信號處理功能的控制部d21與相機(jī)10的控制部1同樣地通過外部設(shè)備20專用的 信號處理LSI等構(gòu)成，控制外部設(shè)備20整體，并且對通過通信部22接收的圖像數(shù)據(jù)和立體 聲聲音數(shù)據(jù)的播放顯示進(jìn)行控制。此處，通過控制部cl進(jìn)行本發(fā)明第1實(shí)施方式所示的判 定操作的事項(xiàng)和判定變化的事項(xiàng)。 相機(jī)10內(nèi)的信號處理和控制部1由相機(jī)10專用的信號處理LSI等構(gòu)成，控制相 機(jī)10整體并對從攝像部2輸出的圖像數(shù)據(jù)進(jìn)行圖像處理。具有信號處理功能的控制部21 與相機(jī)10的控制部1同樣地通過外部設(shè)備20專用的信號處理LSI等構(gòu)成，控制外部設(shè)備 20整體，并且對通過通信部22接收的圖像數(shù)據(jù)和立體聲聲音數(shù)據(jù)的播放顯示進(jìn)行控制。此 處，本發(fā)明第1實(shí)施方式所示的顯示優(yōu)先部24是通過控制部d21來執(zhí)行的。
圖18是表示本發(fā)明第1實(shí)施方式的左右聲音收錄部7中，改進(jìn)了圖8后的第4實(shí)施方式所涉及的構(gòu)成的框圖。 在立體聲聲音收錄部7內(nèi)，立體聲麥克風(fēng)7a由右側(cè)麥克風(fēng)41a和左側(cè)麥克風(fēng)41b 構(gòu)成，配置在相機(jī)主體10的前表面?zhèn)?。立體聲麥克風(fēng)7a通過放大器410a與AD轉(zhuǎn)換器42 連接，將聲音信號數(shù)字化。即，從右側(cè)麥克風(fēng)41a側(cè)的AD轉(zhuǎn)換器42a輸出數(shù)字聲音數(shù)據(jù)。另 外，從左側(cè)麥克風(fēng)41b側(cè)的AD轉(zhuǎn)換器42b輸出數(shù)字聲音數(shù)據(jù)。 進(jìn)而，在圖18中，本發(fā)明第1實(shí)施方式的控制部cl設(shè)置有加法/乘法器43和具 備聲音編碼處理功能的聲音編碼處理部44。圖18是表示改進(jìn)了圖8后的第4實(shí)施方式所 涉及的構(gòu)成的框圖。從該聲音編碼處理部44輸出的信號被記錄在記錄部4。
在圖19中，本發(fā)明第1實(shí)施方式的信號處理和控制部1設(shè)置有加法/乘法器43 和具備聲音解碼處理功能的聲音解碼處理部45。圖19是表示改進(jìn)了圖12后的第5實(shí)施方 式所涉及的構(gòu)成的框圖。在記錄部4和加法/乘法器43之間連接著聲音編碼處理部45。
立體聲聲音生成部13通過DAC 13a、放大器13b、揚(yáng)聲器13c和DAC13d、放大器 13e、揚(yáng)聲器13f構(gòu)成。 加法/乘法器43的加法器43c的輸出被輸入到DAC 13a。另外，加法/乘法器43 的加法器43f的輸出被輸入到DAC 13d。 如上所述，在本發(fā)明各實(shí)施方式中，當(dāng)根據(jù)多幅圖像來播放合成靜態(tài)圖像或動(dòng)態(tài)
圖像時(shí)，在連續(xù)攝影時(shí)變更收音范圍使得聲源位置恒定，能夠進(jìn)行沒有不適感的音響效果
下的聲音收錄。另外，在根據(jù)多幅圖像來播放合成靜態(tài)圖像或動(dòng)態(tài)圖像時(shí)，能夠變更聲音的
左右平衡，使得聲源位置恒定，能以沒有不適感的音響效果進(jìn)行聲音播放。 并且，在本發(fā)明各實(shí)施方式中，根據(jù)圖像數(shù)據(jù)來檢測畫面的移動(dòng)，然而不限于此，
當(dāng)然可以通過例如設(shè)置在相機(jī)10內(nèi)的角速度傳感器和加速度傳感器等來直接檢測相機(jī)10
的動(dòng)作。 另外，在本發(fā)明各實(shí)施方式中，以左右2聲道的立體聲錄音為前提進(jìn)行了說明，然 而不限于此，更多聲道的錄音當(dāng)然也可以應(yīng)用本發(fā)明。 進(jìn)而，在本發(fā)明的各實(shí)施方式中，在進(jìn)行播放顯示的情況下，從相機(jī)10的顯示部8 或相機(jī)10向外部設(shè)備20進(jìn)行發(fā)送。然而不限于此，例如也可以直接將記錄部4中記錄的 記錄介質(zhì)裝入電視或個(gè)人計(jì)算機(jī)中。 另外，在本發(fā)明的各實(shí)施方式中，作為用于攝影的設(shè)備，使用數(shù)碼相機(jī)進(jìn)行了說 明，而相機(jī)既可以是數(shù)字單反相機(jī)也可以是緊湊型數(shù)碼相機(jī)，還可以是攝像機(jī)、攝影相 機(jī)等動(dòng)態(tài)圖像用的相機(jī)，進(jìn)而還可以是內(nèi)置于移動(dòng)電話或移動(dòng)信息終端(PDA :Personal Digital Assist,個(gè)人數(shù)字助理)等中的相機(jī)。無論如何，只要是能夠一并記錄圖像和聲音 的用于攝影的設(shè)備，就能夠應(yīng)用本發(fā)明。 本發(fā)明不嚴(yán)格限定于上述實(shí)施方式，能夠在實(shí)施階段在不脫離其主旨的范圍內(nèi)對 構(gòu)成要素進(jìn)行變形來具體實(shí)現(xiàn)。另外，通過適當(dāng)組合沒有在上述實(shí)施方式中公開的多個(gè)構(gòu) 成要素，能夠形成各種發(fā)明。例如能夠刪除實(shí)施方式中所示的所有構(gòu)成要素中的某幾個(gè)構(gòu) 成要素，還能夠適當(dāng)組合不同實(shí)施方式中的構(gòu)成要素。
權(quán)利要求
一種相機(jī)，其特征在于，該相機(jī)具有攝像部，其對被攝體進(jìn)行連續(xù)攝影；立體聲的聲音收錄部，其進(jìn)行聲音的錄音；收音變更部，其能變更上述聲音收錄部的收音范圍；圖像合成部，其根據(jù)通過上述攝像部連續(xù)攝影得到的多個(gè)圖像，生成合成圖像；以及控制部，在對上述多個(gè)圖像進(jìn)行攝影時(shí)，該控制部根據(jù)相機(jī)的動(dòng)作和/或從上述攝像部輸出的圖像數(shù)據(jù)來變更上述收音變更部的收音范圍。
2. 根據(jù)權(quán)利要求1所述的相機(jī)，其特征在于，上述相機(jī)的動(dòng)作或所攝影的顯示圖像的 位置是從右向左獲得的或是從左向右獲得的。
3. 根據(jù)權(quán)利要求1所述的相機(jī)，其特征在于，上述控制部根據(jù)被攝體的位置變化來變 更聲音合成。
4. 根據(jù)權(quán)利要求1所述的相機(jī)，其特征在于，該相機(jī)還具有 動(dòng)作判定部，其判定上述相機(jī)的動(dòng)作；以及控制部，當(dāng)進(jìn)行上述連續(xù)攝影時(shí)，該控制部根據(jù)上述動(dòng)作判定部的判定結(jié)果來變更上 述收音變更部的收音范圍。
5. 根據(jù)權(quán)利要求1所述的相機(jī)，其特征在于，該相機(jī)還具有臉部檢測部，該臉部檢測部 根據(jù)從上述攝像部輸出的圖像數(shù)據(jù)，判定是否存在上述被攝體的臉部，在通過上述臉部檢測部檢測到臉部的情況下，上述控制部根據(jù)上述臉部來控制上述收 音變更部的收音范圍。
6. —種聲音播放裝置，其特征在于，該聲音播放裝置具有存儲部，其存儲連續(xù)攝影得到的圖像數(shù)據(jù)以及在該連續(xù)攝影時(shí)錄音得到的聲音收錄部 的輸出信號；顯示部，其播放顯示上述圖像數(shù)據(jù)；以及控制部，其根據(jù)上述聲音數(shù)據(jù)進(jìn)行能播放的聲音播放，并根據(jù)上述動(dòng)作判定部的輸出 信號和上述聲音數(shù)據(jù)，控制向聲音生成部輸入的輸入信號。
7 根據(jù)權(quán)利要求6所述的聲音播放裝置，其特征在于，上述控制部根據(jù)上述相機(jī)的角 速度和上述連續(xù)攝影的各幀的定時(shí)求出校正角，按照該校正角控制向上述聲音生成部輸入 的輸入信號。
8. —種聲音播放方法，其特征在于，該聲音播放方法具有存儲步驟，其存儲連續(xù)攝影得到的圖像數(shù)據(jù)，并將在連續(xù)攝影時(shí)判定出相機(jī)的動(dòng)作之 后對聲音進(jìn)行錄音的聲音收錄部的輸出信號存儲成聲音數(shù)據(jù)；以及控制步驟，其在顯示部上顯示上述圖像數(shù)據(jù)并且在播放上述聲音數(shù)據(jù)時(shí)判定出上述相 機(jī)的動(dòng)作之后，按照該判定信號控制向聲音生成部輸入的聲音數(shù)據(jù)。
9. 根據(jù)權(quán)利要求8所述的聲音播放方法，其特征在于，上述聲音收錄部采用立體聲錄 音，上述聲音數(shù)據(jù)用于控制左右平衡。
全文摘要
本發(fā)明提供相機(jī)、聲音播放裝置以及聲音播放方法，該相機(jī)能在根據(jù)多個(gè)圖像播放合成靜態(tài)圖像或動(dòng)態(tài)圖像的時(shí)候，進(jìn)行成為沒有不適感的音響效果的聲音收錄，該播放裝置以及播放方法能在根據(jù)多個(gè)圖像播放合成靜態(tài)圖像或動(dòng)態(tài)圖像的時(shí)候，以沒有不適感的音響效果來播放聲音。該相機(jī)具有對被攝體進(jìn)行連續(xù)攝影的攝像部(2)和能變更來自被攝體方向的聲音的收音范圍的左右聲音收錄部(7)，能將通過攝像部(2)連續(xù)獲得的多個(gè)圖像合成起來，生成合成圖像，在對多個(gè)圖像進(jìn)行連續(xù)攝影時(shí)，根據(jù)圖像動(dòng)作在左右聲音收錄部(7)中變更收音范圍(33a、33b)。
文檔編號H04N5/225GK101729771SQ20091017922
公開日2010年6月9日 申請日期2009年10月10日 優(yōu)先權(quán)日2008年10月10日
發(fā)明者松原浩輔, 野中修, 飯塚博 申請人:奧林巴斯映像株式會社