專利名稱：照相機、圖像合成方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及照相機、圖像合成方法以及程序，具體而言，涉及能夠 根據(jù)動態(tài)圖像來合成具有全景那樣的寬度的圖像的照相機、圖像合成方 法以及程序。
背景技術(shù)：
近年來，隨著數(shù)字圖像的普及，已經(jīng)開始提供各種圖像加工技術(shù)， 能夠以以往未曾想到的方式來欣賞圖像。由于照相機也實現(xiàn)了數(shù)字圖像 化，因此能夠簡單地進行動態(tài)圖像攝影。此外，隨著圖像的數(shù)字化，容 易通過數(shù)字變焦來擴大顯示圖像的一部分，用于遠距離的被攝體。數(shù)字 變焦用于縮小視野的方向，相反，也在照相機上搭載用于擴大攝影范圍 的技術(shù)。
例如，在專利文獻1中公開了下述攝像裝置連接分割圖像來進行 圖像合成，得到再現(xiàn)廣闊視野的全景圖像。
專利文獻1日本特許第3804313號公報
上述專利文獻1所公開的攝像裝置能夠擴大攝影范圍。但是，該攝 像裝置是以被攝體靜止為前提的，只能應(yīng)用于像風(fēng)景那樣靜止的圖像。 即，專利文獻1所公開的攝像裝置不適于有運動的被攝體的攝影。

發(fā)明內(nèi)容
本發(fā)明正是鑒于上述問題而完成的，其目的在于提供如下的照相機、 圖像合成方法以及程序，即使不準(zhǔn)備特殊的廣角鏡頭等也能夠表現(xiàn)如全 景那樣的廣闊感并且能夠在宏大的背景圖像中表現(xiàn)被攝體的運動。
為了實現(xiàn)上述目的，第一發(fā)明的照相機具有連續(xù)圖像記錄部，其 記錄連續(xù)拍攝到的圖像幀；共同部圖像判定部，其判定上述連續(xù)拍攝到的圖像幀的共同部圖像；背景合成部，其用于取得合成了多個上述共同 部圖像的圖像；以及動態(tài)圖像合成部，其依次合成上述背景合成部的結(jié) 果和上述連續(xù)拍攝到的圖像幀。
第二發(fā)明的照相機是在上述第一發(fā)明中，上述照相機還具有運動檢 測部，該動作檢測部檢測當(dāng)照相機的朝向變化時的運動方向，上述共同 部圖像判定部在上述連續(xù)拍攝到的圖像幀的下一幀圖像中，利用與上述 運動檢測部所檢測到的上述運動方向相反方向的圖像端部的圖像，來判 定上述共同部圖像。
第三發(fā)明的照相機是在上述第二發(fā)明中，上述照相機還具有粘貼用 空白賦予部，該粘貼用空白賦予部對上述共同部圖像賦予粘貼部，在上 述連續(xù)拍攝到的圖像的前面圖像中，利用與上述運動檢測部所檢測到的 上述運動方向相反方向的圖像端部的圖像，來判定上述粘貼用空白賦予 部。
第四發(fā)明的照相機是在上述第一發(fā)明中，上述動態(tài)圖像合成部使上 述連續(xù)拍攝到的圖像幀的各幀中的上述共同部圖像的位置相對于上述背 景合成部的結(jié)果一致，且除去上述背景合成部的結(jié)果中的相應(yīng)幀寬度的 的背景圖像，用上述對應(yīng)的幀來置換該除去的圖像并進行顯示。
第五發(fā)明的圖像再生裝置具有共同部提取部，其在連續(xù)拍攝到的 圖像幀之間提取共同部圖像；背景合成部，其依次合成多個上述提取出 的共同部圖像，并生成背景圖像；以及動態(tài)圖像合成部，其從上述背景 圖像中檢測與上述連續(xù)拍攝到的圖像幀共同的部分，根據(jù)該共同的部分 來置換成上述圖像幀并合成動態(tài)圖像。
第六發(fā)明的圖像再生裝置是在上述第五發(fā)明中，上述動態(tài)圖像合成 部在由上述背景合成部完成了背景圖像生成之后，依次置換上述圖像幀 并合成動態(tài)圖像。
第七發(fā)明的圖像再生裝置是在上述第五發(fā)明中，交替地反復(fù)由上述 背景合成部進行的基于上述圖像幀的上述背景圖像的生成、和由上述動 態(tài)圖像合成部進行的上述動態(tài)圖像的合成。
第八發(fā)明的圖像再生裝置是在上述第五發(fā)明中還具有存儲部，該存儲部存儲上述連續(xù)拍攝到的圖像幀，上述動態(tài)圖像合成部依次讀出上述 存儲部中存儲的上述圖像幀，并且在上述背景圖像上合成上述動態(tài)圖像。 第九發(fā)明的圖像合成方法具有以下步驟記錄連續(xù)拍攝到的圖像幀;
提取上述連續(xù)拍攝到的圖像幀的共同部圖像；合成多個上述共同部圖像 并取得背景圖像；以及在上述背景圖像上依次合成上述連續(xù)拍攝到的圖 像幀，并合成動態(tài)圖像。
第十發(fā)明的圖像合成方法具有以下步驟在連續(xù)拍攝到的圖像幀之 間提取共同部圖像；依次合成多個上述提取出的共同部圖像，并生成背 景圖像；從上述背景圖像中檢測與上述連續(xù)拍攝到的圖像幀共同的部分， 根據(jù)該共同的部分來置換成上述圖像幀并合成動態(tài)圖像。
第十一發(fā)明的程序使計算機執(zhí)行下述步驟記錄連續(xù)拍攝到的圖像 幀的步驟；判定上述連續(xù)拍攝到的圖像幀的共同部圖像的步驟；得到合 成了多個上述共同部圖像的圖像的步驟；以及在上述合成了多個共同部 圖像的圖像上依次合成上述連續(xù)圖像幀的步驟。
第十二發(fā)明的程序使計算機執(zhí)行下述步驟在連續(xù)拍攝到的圖像幀 之間提取共同部圖像的步驟；依次合成多個上述提取出的共同部圖像， 并生成背景圖像的步驟；以及從上述背景圖像中檢測與上述連續(xù)拍攝到 的圖像幀共同的部分，根據(jù)該共同的部分來置換成上述圖像幀并合成動 態(tài)圖像的步驟。
根據(jù)本發(fā)明能夠提供如下的照相機、圖像合成方法以及程序，即使 不準(zhǔn)備特殊的廣角鏡頭等也能夠表現(xiàn)如全景那樣的廣闊感，并且能夠在 宏大的背景圖像中表現(xiàn)被攝體的運動。


圖1是示出本發(fā)明第1實施方式的照相機的結(jié)構(gòu)的框圖。
圖2是示出在本發(fā)明第1實施方式的照相機中動態(tài)拍攝到的圖像中
的各幀圖像的圖。
圖3是示出關(guān)于本發(fā)明第1實施方式的照相機、被攝體在背景圖像中
運動的狀況的動態(tài)圖像，(a)是初始階段的圖像，(b)是(a)之后的圖像。圖4是說明在本發(fā)明第1實施方式的照相機中生成背景圖像的圖，(a) 是最初的幀的圖像，(b)是下一幀的圖像，(c)是提取出兩個圖像的共同 部(部分背景圖像)的圖，(d)與(b)相同是下一幀的圖像，(e)是再 下一個的圖像，(f)是提取出下一幀和再下一幀的兩個圖像的共同部(部 分背景圖像)的圖，(g)是對共同部(部分背景圖像)進行合成后的圖。
圖5是說明在本發(fā)明第1實施方式的照相機中動態(tài)圖像的生成方法 的圖，(a)是背景圖像的圖，(b) (c)是說明將背景圖像的一部分置換 成構(gòu)成動態(tài)圖像的幀圖像來生成動態(tài)圖像的圖。
圖6是說明在本發(fā)明第1實施方式的照相機中動態(tài)圖像的生成辦法 的圖。
圖7是本發(fā)明第1實施方式的照相機中的背景圖像合成的流程圖。 圖8是本發(fā)明第1實施方式的照相機中的動態(tài)圖像顯示的流程圖。 圖9是示出在本發(fā)明第2實施方式的照相機中的背景圖像的圖， (a) (c)依次示出背景圖像延長的狀況。
圖10是本發(fā)明第2實施方式的照相機中的背景圖像合成的流程圖。 標(biāo)號說明
1、控制部；2、鏡頭；3、攝像部；4、運動判定部；5a、第1緩存 器；5b、第2緩存器；5c類似提取部；5d、第3緩存器；5e、空白部；6、 圖像處理部；7a、合成部；7b、動態(tài)圖像合成部；8、顯示部；9a、動態(tài) 圖像記錄部；9b、背景記錄部；10、照相機；21a 21e、幀圖像；22、 山脈；23、樹；24、人物；24a、人物的部分；25a 25b、部分背景圖像 (共同部分)；26a 26b空白部(粘貼部)；27、背景圖像；27a 27c、 背景圖像；27e、背景圖像的一部分
具體實施例方式
以下，根據(jù)附圖使用適用本發(fā)明的照相機來說明優(yōu)選的實施方式。 圖1是示出本發(fā)明的第1實施方式的照相機10的結(jié)構(gòu)的框圖。照相機10 是數(shù)碼相機，可以拍攝靜止圖像和動態(tài)圖像。在照相機10的內(nèi)部設(shè)置有 控制部1、操作部la、鏡頭2、攝像部3、運動判定部4、第1緩存器5a、第2緩存器5b、類似提取部5c、第3緩存器5d、空白部5e、圖像處理 部6、合成部7a、動態(tài)圖像合成部7b、顯示部8、動態(tài)圖像記錄部9a以 及背景記錄部9b。
控制部1由CPU (Central Processing Unit:中央處理器)等構(gòu)成， 并與該照相機10的各部連接，根據(jù)內(nèi)置的程序來進行總體控制。操作部 la包括釋放按鈕、菜單按鈕、再生按鈕等操作部件，當(dāng)用戶操作了操作 部la時，控制部1根據(jù)操作向各部輸出控制信號。
鏡頭2是用于形成被攝體像的光學(xué)鏡頭。攝像部3包含攝像元件及 其讀取電路等，將由鏡頭2形成的被攝體像轉(zhuǎn)換成圖像數(shù)據(jù)。運動判定 部4輸入來自攝像部3的圖像數(shù)據(jù)，檢測照相機10的運動方向。g卩，對 連續(xù)得到的圖像進行比較，判定照相機10的攝影畫面在哪個方向上運動。
第1緩存器5a是用于臨時存儲來自攝像部3的圖像數(shù)據(jù)的存儲部。 第2緩存器5b是用于如下用途的存儲部在向第1緩存器5a臨時存儲 圖像數(shù)據(jù)時，將之前臨時存儲在第1緩存器5a中的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到第2 緩存器5b進行臨時存儲。
類似提取部5c對分別臨時存儲在第1緩存器5a和第2緩存器5b中 的圖像數(shù)據(jù)的端部側(cè)進行比較，僅提取出類似的部分(以下，將類似的 部分稱為部分背景圖像(參照后述圖4中的25a、 25b))。這里，端部側(cè)是 相對于運動判定部4所檢測到的照相機10的運動方向位于后側(cè)的端部側(cè)。
空白部5e僅提取臨時存儲在第1緩存器5a中的圖像數(shù)據(jù)的端部側(cè) 來作為空白部(也稱為粘貼部)。另外，空白部的位置是在運動判定部4 所檢測到的照相機10的運動方向的相反側(cè)。第3緩存器5是臨時存儲由 類似提取部5c提取出的部分背景圖像、和由空白部5e提取出的空白部 的存儲部。
合成部7a依次合成臨時存儲在第3緩存器5d中的部分背景圖像。 即，每當(dāng)從攝像部3向第1緩存器5a輸出構(gòu)成動態(tài)圖像的各幀圖像數(shù)據(jù) 時，在第3緩存器5d中臨時存儲部分背景圖像和空白部，并輸出到合成 部7a。每當(dāng)輸出部分背景圖像時，合成部7a以部分背景圖像的一部分與 空白部重復(fù)的方式來貼合部分背景圖像，并生成背景圖像。即，每當(dāng)輸出各幀圖像數(shù)據(jù)時，部分背景圖像逐漸向空白部的相反方向延伸，成為 如全景圖像那樣的背景圖像。
圖像處理部6進行用于減少存儲容量的圖像壓縮等圖像處理。由圖
像處理部6以JPEG形式或動態(tài)JPEG形式等對由合成部7a生成的背景 圖像的圖像數(shù)據(jù)、和從攝像部3輸出的構(gòu)成動態(tài)圖像的各幀圖像數(shù)據(jù)進 行壓縮等的圖像處理。
背景記錄部9b記錄由合成部7a生成、并被圖像處理部6壓縮處理 后的背景圖像的圖像數(shù)據(jù)。動態(tài)圖像記錄部9a記錄從攝像部3輸出的背 景分離處理前的動態(tài)圖像。動態(tài)圖像記錄部9a和背景記錄部9b可分別 設(shè)置，也可以在同一記錄介質(zhì)中分配至不同的區(qū)域。
動態(tài)圖像合成部7b在背景記錄部9b中記錄的背景圖像上合成記錄 在動態(tài)圖像記錄部9a中的動態(tài)圖像。即，動態(tài)圖像合成部7b針對構(gòu)成 動態(tài)圖像的各幀來檢測與背景圖像一致的部分，將該檢測出的部分置換 成動態(tài)圖像來合成圖像。由此，能夠合成如在寬闊的風(fēng)景中奔馳的圖像。
顯示部8包含液晶監(jiān)視器等顯示裝置，其再生顯示由動態(tài)圖像合成 部7b合成的動態(tài)圖像或者記錄在動態(tài)圖像記錄部9a中的動態(tài)圖像。另 外，不僅將動態(tài)圖像合成部7b所合成的圖像數(shù)據(jù)顯示在顯示部8上，還 能夠?qū)⒃搱D像數(shù)據(jù)記錄在動態(tài)圖像記錄部9a等中。
接下來，使用圖2和圖3對本實施方式中合成的動態(tài)圖像進行說明。 圖2示出在以山脈22和樹23為背景動態(tài)地拍攝快跑的人物24的情況下 構(gòu)成動態(tài)圖像的各幀21a 21d?？梢酝ㄟ^依次再生各幀21a 21d來作為 動態(tài)圖像進行欣賞。
如圖2所示，當(dāng)連續(xù)拍攝在廣闊的風(fēng)景中人物正在奔跑的狀況、小 鳥正在飛翔的狀況、交通工具等正在飛馳的狀況時，不能在一幀中顯現(xiàn) 全部的廣闊背景?？膳臄z多幀圖像來描繪出本來的廣闊感。
因此，在本實施方式中，如圖3所示，根據(jù)構(gòu)成動態(tài)圖像的多個幀 來生成背景圖像27，在該背景圖像27中表現(xiàn)作為被攝體的人物24運動 的狀況。即，圖3 (a)示出人物24從右側(cè)往左側(cè)奔跑的狀況，圖3 (b) 示出在圖3 (a)時刻之后的時刻人物24在左側(cè)奔跑的狀況。這樣，在本實施方式中，能夠再現(xiàn)被攝體在畫面內(nèi)運動的狀況以及 與該運動狀況相對應(yīng)的寬廣背景。現(xiàn)有的照相機能夠在同一位置依次再 生靜止的全景或如圖2所示的各幀，但無法表現(xiàn)出運動和廣闊感。與此
相對，本實施方式的照相機IO能夠表現(xiàn)出運動和廣闊感。
接下來，使用圖4和圖5來說明背景圖像27的生成方法。圖4(a)、 (b)示出了連續(xù)得到的攝影幀。在各攝影幀的作為被攝體的人物24的 后面?zhèn)?，作為背景存在共同的區(qū)域。即，因為攝影者是追趕人物24的運 動，所以向人物24運動方向的相反側(cè)稍稍偏移，但是背景是共同的。在 圖4 (a)、 (b)中的共同部分(部分背景圖像)25a上加斜線示出。
從該共同部分(部分背景圖像)25a到中央的范圍內(nèi)，人物24的一 部分24a (在圖中為腳的部分)發(fā)生變化，因此背景和人物24在兩個圖 像(圖4 (a)和圖4 (b))上不同，類似提取部5c不對該部分24a進行 類似檢測。因此，作為兩個圖像類似而被提取的部分是施加了斜線的共 同部分(部分背景圖像)25a，類似提取部5c只提取出該長方形狀的共 同部分(部分背景圖像)25a。另外，在本實施方式中，在將畫面橫向等 分成8個的長方形范圍內(nèi)提取類似部分。針對該分割數(shù)量和該形狀可適 當(dāng)?shù)剡M行變更。
圖4 (c)是取出共同部分(部分背景圖像)25a、還從圖4 (a)取 出空白部(粘貼部)26a并將兩者合成后的圖?？瞻撞?6a是與部分背景 圖像25a鄰接的部分。該部分被利用為與下一部分背景圖像25b合成時 的空白部(粘貼部)。
通過比較圖4 (a)和圖4 (b)的幀來提取部分背景圖像25a，然后 通過比較圖4 (d)和圖4 (e)的幀來提取部分背景圖像25b。即，圖4 (d)是與圖4 (b)相同的圖像，但是由于要與下一幀進行比較，所以其 提取出的共同部分(部分背景圖像)的位置不同于圖4 (b)的情況。部 分背景圖像25b以與部分背景圖像25a相同的方式被提取，此外還提取 出空白部(粘貼部)26a。
這樣，提取出帶有長方形狀的空白部26a、 26b的部分背景圖像25a、 25b，然后以空白部26a重疊到部分背景圖像25a上的方式，由合成部7a進行圖像合成，從而得到如圖4 (g)所示的背景圖像。之后，每當(dāng)從攝像部3輸出構(gòu)成動態(tài)圖像的攝影幀的圖像數(shù)據(jù)時，依次比較攝影幀，生 成并合成部分背景圖像等，由此合成如圖5 (a)所示的背景圖像27。后 面會使用圖7所示的流程圖來敘述該背景圖像的合成步驟。接著，使用圖5和圖6來說明在背景圖像27上嵌入動態(tài)圖像的攝影 幀并生成動態(tài)圖像的方法。在如前所述地生成背景圖像27后，接著在該 背景圖像27中依次檢測與動態(tài)圖像的各幀類似的部分，將該類似部分的 圖像依次置換到背景圖像27中，由此得到在如圖3所示的全景風(fēng)景中人 物24正在奔跑這樣的動態(tài)圖像。首先，從圖6所示的背景圖像27中檢測與構(gòu)成動態(tài)圖像的各幀21e 的部分背景圖像25e—致的部分背景圖像25e'。當(dāng)檢測出一致部分時，從 背景圖像27中除去與嵌入圖像相當(dāng)?shù)牟糠?部分背景圖像21e的寬度Y) 27e，在該部分上嵌入幀21e。如圖5 (b)、 (c)所示，可以通過依次錯開 構(gòu)成動態(tài)圖像的各幀，來得到如人物24正在奔跑這樣的動態(tài)圖像。該動 態(tài)圖像的合成是由動態(tài)圖像合成部7b來進行的。此外，關(guān)于動態(tài)圖像的 合成步驟，在后面會使用圖8所示的流程圖進行描述。接下來，使用圖7所示的流程圖來說明圖4和圖5所說明的背景圖 像合成。通過由控制部1控制各個部來執(zhí)行該背景圖像合成的流程。進入背景圖像合成的流程后，首先進行運動判定(Sl)。在該步驟中， 運動判定部根據(jù)由攝像部3取得的圖像的周邊部的圖像數(shù)據(jù)，來檢測運 動矢量，并檢測視野范圍正在往哪兒移動。如前所述，在本實施方式中， 在照相機10的移動方向的后方合成背景圖像，根據(jù)該運動方向來確定合 成背景圖像的方向。接下來，第l緩存器取得圖像(S2)。在該步驟中，將來自攝像部3 的圖像數(shù)據(jù)臨時存儲在第l緩存器5a中。然后，進行是否取得了下一圖 像的判定(S3)。攝像部3以預(yù)定時間間隔取得圖像數(shù)據(jù)，在該步驟中， 判定是否經(jīng)過了預(yù)定時間并讀出構(gòu)成動態(tài)圖像的下一攝影幀的圖像數(shù)據(jù) 而取得了圖像。在步驟S3的判定結(jié)果是取得了下一圖像的情況下，向第2緩存器進行轉(zhuǎn)發(fā)(S4)。在該步驟中，將臨時存儲在第1緩存器5a中的圖像數(shù)據(jù) 轉(zhuǎn)發(fā)到第2緩存器5b，將新得到的圖像數(shù)據(jù)臨時存儲在第1緩存器5a中。 另一方面，在步驟S3的判定結(jié)果是未取得下一圖像的情況下，判定可否 對臨時存儲在第1緩存器5a和第2緩存器5b中的兩個圖像進行比較 (Sll)。在該步驟中，兩個緩存器內(nèi)臨時存儲有圖像數(shù)據(jù)，判定是否尚 未進行比較。在步驟Sll的判定結(jié)果是不能比較的情況下，進入步驟S18。另一 方面，在步驟Sll的判定結(jié)果是能夠比較的情況下，提取第1緩存器中 的后面部分與第2緩存器中的共同部分，并對此進行記錄(S12)。在該 步驟中，如圖4所說明的那樣，根據(jù)后取得的圖像(對應(yīng)于圖4 (a)所 示的圖像，臨時存儲在第l緩存器5a中)的運動方向的后側(cè)部分，與先 前取得的圖像(對應(yīng)于圖4 (b)所示的圖像，轉(zhuǎn)發(fā)到了第2緩存器5b) 進行比較，并提取出一致的部分背景圖像25a，將其臨時存儲在第3緩存 器5d中。接下來，從第2緩存器中將共同部的后面存儲為粘貼部(S13)，如 圖4 (c)、 (f)中所說明的那樣，從先前取得并臨時存儲在第2緩存器5b 內(nèi)的圖像數(shù)據(jù)中復(fù)制作為粘貼部的空白部26a、 26b，并將其與部分背景 圖像25a、 25b—起臨時存儲。接下來，進行是否能夠合成的判定(S14)。即，在步驟S12、 S13 中已臨時存儲了用于背景圖像合成的部分背景圖像25a、 25b和空白部 26a、 26b，因此判定是否能夠使用這些數(shù)據(jù)來進行圖像合成。在該判定 結(jié)果是不能合成的情況下，進入步驟S18。另一方面，如果步驟S14中的判定結(jié)果是能夠合成，則接著對之前 的共同部(部分背景圖像)和粘貼部進行重疊來合成圖像(S15)。艮卩， 如圖4 (g)所示，使用長方形狀的部分背景圖像25a、 25b和空白部26a、 26b來合成背景圖像27。該合成是由合成部7a來進行的。接下來，記錄在步驟S15中合成的各幀和共同部(部分背景圖像) (S16)。各幀是構(gòu)成動態(tài)圖像的圖像數(shù)據(jù)，其記錄在動態(tài)圖像記錄部.9a 中，合成了共同部(部分背景圖像)的背景圖像27記錄在背景記錄部9b中。進行記錄， 針對該記錄的動態(tài)圖像進行背景圖像合成，此時，在采用預(yù)先記錄的全 部動態(tài)圖像幀進行了背景圖像合成的情況下判定為結(jié)束。在步驟S18中的判定結(jié)果不是結(jié)束的情況下，返回步驟S3，取得下 一圖像并執(zhí)行上述動作。另一方面，當(dāng)判定的結(jié)果是結(jié)束的情況下，返 回到對照相機10進行總體控制的最初流程。接下來，在前述的背景圖像上重疊動態(tài)圖像來進行合成，使用圖8 所示的流程圖，說明用于生成如圖3所示的動態(tài)圖像的動態(tài)圖像顯示的 流程。進入動態(tài)圖像顯示的流程后，首先顯示合成后的背景圖像27(S21)。 在該步驟中，在顯示部8上顯示由合成部7a合成的如圖5 (a)所示的背 景圖像27。然后，進行是否是預(yù)定定時的判定(S22)。在該步驟中，判 定是否是從動態(tài)圖像記錄部9a讀出的動態(tài)圖像的每個幀的定時，在不是 預(yù)定定時的情況下，等待成為預(yù)定定時。當(dāng)在步驟S22中的判定結(jié)果為預(yù)定定時時，接著進行是否有未合成 圖像的判定(S23)。在該步驟中，判定是否從動態(tài)圖像記錄部9a讀出了 全部的構(gòu)成動態(tài)圖像的攝影幀。在該判定結(jié)果是沒有未合成圖像的情況 下，返回到進行照相機10的總體控制的流程。另一方面，在步驟S23中的判定結(jié)果是存在未合成圖像的情況下， 檢測兩個圖像的共同部(S24)。在該步驟中，如在圖6中說明的那樣， 檢測背景圖像27的與相當(dāng)于一個動態(tài)圖像幀的幀圖像21e的部分背景圖 像25e相對應(yīng)的部分25e'。然后，如圖6中說明的那樣，確定從部分背景圖像(共同部)25e 到其相反側(cè)的寬度Y (S25)，從背景圖像27中除去相當(dāng)于該寬度Y部分 的圖像(S26)。然后，在除去的部分嵌入動態(tài)圖像的幀圖像21e并合成 圖像(S27)。即，在這些步驟中，在背景圖像27中，從部分背景圖像(共 同部分)幵始除去與嵌入圖像的寬度相當(dāng)?shù)膶挾萗的部分，在該部分嵌來進行顯示。在預(yù)定時間的期間內(nèi)顯 示該合成后的圖像。接下來，從在步驟S27中合成的圖像將背景恢復(fù)到背景圖像27 (S28)。當(dāng)恢復(fù)背景時，返回步驟S22并執(zhí)行上述動作。這樣，通過反 復(fù)執(zhí)行步驟S22 S28，來依次比較背景圖像27和動態(tài)圖像的幀圖像，針 對包含共同部的寬度Y的背景圖像27，置換圖像來依次獲得圖像，從而 合成動態(tài)圖像。如以上所說明的那樣，在本實施方式中，能夠在一次靜止圖像攝影 所不能拍攝的全景背景中，以動態(tài)圖像的方式再現(xiàn)移動體正在移動的狀 況(參照圖3)。尤其因為大畫面電視機等面向于顯示廣闊風(fēng)景，所以可預(yù)先記錄由 本實施方式的照相機所拍攝的圖像，并與大畫面電視機連接后進行再生 顯示。此外，可以通過再生設(shè)備來對普通的攝像機所拍攝的圖像進行圖 像分析，進行與本實施方式相同的再生顯示。接下來，針對本發(fā)明的第2實施方式，使用圖9和圖10來進行說明。 如圖3所示，第1實施方式預(yù)先生成全景狀的背景圖像27，在該背景圖 像27中顯示移動體移動的狀況。在第2實施方式中，如圖9所示，根據(jù) 移動體的運動來延長背景圖像。艮口，如圖9 (a) (c)所示，根據(jù)人物24的移動，背景圖像27a 27c依次延長。這種顯示方法在表示移動體移動的過程時是有效的，能夠 體驗起初不知道在移動目的地有什么的刺激效果。該第2實施方式的結(jié)構(gòu)與圖l所示的相同，取代圖7所示的流程圖， 執(zhí)行圖IO所示的背景圖像合成的流程圖。該背景圖像合成的流程與圖7所示的流程幾乎相同，取代步驟S16 中的各幀和共同部區(qū)域記錄，執(zhí)行步驟S17的第1緩存圖像合成。在第1 實施方式中，在生成所有的部分背景圖像25a、 25b之后，對它們進行合 成來生成背景圖像27。但是，在第2實施方式中，每當(dāng)生成部分背景圖 像時，都利用到此為止生成的部分背景圖像來進行合成。另外，關(guān)于步驟S18中是否結(jié)束的判定，在第l實施方式中判定是否通過所有的部分背景圖像生成了背景圖像27，而在第2實施方式中， 如果生成了部分背景圖像則暫且結(jié)束并進行動態(tài)圖像顯示。進行了 1幀 的動態(tài)圖像顯示時，返回背景圖像合成，之后反復(fù)動態(tài)圖像顯示和背景 圖像合成。以上，如說明的那樣，按照本發(fā)明的各實施方式，根據(jù)連續(xù)拍攝的 圖像幀來生成背景圖像，檢測圖像幀與背景圖像共同的部分，在該共同 部分處依次置換連續(xù)拍攝到的圖像幀來合成動態(tài)圖像。因此，即使不準(zhǔn) 備特殊的廣角鏡頭等，也能夠表現(xiàn)全景般的廣闊感并且在宏大的背景圖 像中表現(xiàn)被攝體的運動。即，能夠進行同時表現(xiàn)廣闊的風(fēng)景和移動體的 運動狀況的圖像顯示。另外，在本實施方式中，用照相機進行拍攝并對該拍攝到的圖像進 行再生顯示。但不限于此，照相機可以只是拍攝和動態(tài)圖像記錄，在再 生設(shè)備中，如本實施方式所示在全景風(fēng)格的背景圖像中以移動體移動的 方式進行再生顯示。該情況下，可以依次讀出所記錄的動態(tài)圖像數(shù)據(jù)， 臨時存儲到第1緩存器5a和第2緩存器5b并進行轉(zhuǎn)發(fā)，使用該臨時存 儲的圖像數(shù)據(jù)進行與本發(fā)明的實施方式相同的處理。此外，作為動態(tài)圖像，不僅是像電視機或電影這樣的自然運動的圖 像，即使是幀拍攝或連拍等連續(xù)拍攝的圖像，顯然也能夠適用本發(fā)明。此外，在本實施方式中，作為用于攝影的設(shè)備，使用數(shù)碼相機進行 了說明，但是作為照相機，可以是具有動態(tài)圖像等連續(xù)攝影功能的數(shù)字 單反相機，可以是小型數(shù)碼相機，可以是如攝像機、電影攝像機那樣的 動態(tài)圖像專用攝像機，并且還可以是內(nèi)置于移動電話或便攜信息終端 (PDA: Personal Digital Assist,個人數(shù)碼助理)等的照相機。不管是哪 一種，只要是能夠連續(xù)取得圖像的攝影設(shè)備，都能適用本發(fā)明。本發(fā)明不只限于上述實施方式，在實施階段中可以在不脫離其主旨 的范圍內(nèi)對構(gòu)成要素進行變型并具體化。另外可以通過適當(dāng)組合上述實 施方式中公開的多個構(gòu)成要素來形成各種發(fā)明。例如，可以刪除在實施 方式中示出的全部構(gòu)成要素中的幾個。而且，還可以適當(dāng)組合不同實施 方式中的構(gòu)成要素。
權(quán)利要求
1.一種照相機，其特征在于，該照相機具有連續(xù)圖像記錄部，其記錄連續(xù)拍攝到的圖像幀；共同部圖像判定部，其判定上述連續(xù)拍攝到的圖像幀的共同部圖像；背景合成部，其用于取得合成了多個上述共同部圖像的圖像；以及動態(tài)圖像合成部，其依次合成上述背景合成部的結(jié)果和上述連續(xù)拍攝到的圖像幀。
2. 根據(jù)權(quán)利要求1所述的照相機，其特征在于， 上述照相機還具有運動檢測部，該運動檢測部檢測當(dāng)照相機的朝向變化時的運動方向，上述共同部圖像判定部在上述連續(xù)拍攝到的圖像幀的下一幀圖像 中，利用與上述運動檢測部所檢測到的上述運動方向相反方向的圖像端 部的圖像，.來判定上述共同部圖像。
3. 根據(jù)權(quán)利要求2所述的照相機，其特征在于， 上述照相機還具有粘貼用空白賦予部，該粘貼用空白賦予部對上述共同部圖像賦予粘貼部，在上述連續(xù)拍攝到的圖像的前面圖像中，利用與上述運動檢測部所 檢測到的上述運動方向相反方向的圖像端部的圖像，來判定上述粘貼用 空白賦予部。
4. 根據(jù)權(quán)利要求1所述的照相機，其特征在于， 上述動態(tài)圖像合成部使上述連續(xù)拍攝到的圖像幀的各幀中的上述共同部圖像的位置相對于上述背景合成部的結(jié)果一致，且除去上述背景合 成部的結(jié)果中的相應(yīng)幀寬度的背景圖像，用上述相應(yīng)幀來置換該除去的 圖像并進行顯示。
5. —種圖像再生裝置，其特征在于，該圖像再生裝置具有 共同部提取部，其在連續(xù)拍攝到的圖像幀之間提取共同部圖像； 背景合成部，其依次合成多個上述提取出的共同部圖像，并生成背景圖像；以及動態(tài)圖像合成部，其從上述背景圖像中檢測與上述連續(xù)拍攝到的圖 像幀共同的部分，根據(jù)該共同的部分來置換成上述圖像幀并合成動態(tài)圖 像。
6. 根據(jù)權(quán)利要求5所述的圖像再生裝置，其特征在于， 上述動態(tài)圖像合成部在由上述背景合成部完成了背景圖像生成之后，依次置換上述圖像幀并合成動態(tài)圖像。
7. 根據(jù)權(quán)利要求5所述的圖像再生裝置，其特征在于， 該圖像再生裝置交替地反復(fù)由上述背景合成部進行的基于上述圖像幀的上述背景圖像的生成、和由上述動態(tài)圖像合成部進行的上述動態(tài)圖 像的合成。
8. 根據(jù)權(quán)利要求5所述的圖像再生裝置，其特征在于，該圖像再生裝置還具有存儲部，該存儲部存儲上述連續(xù)拍攝到的圖 像幀，上述動態(tài)圖像合成部依次讀出存儲在上述存儲部中的上述圖像幀， 并且在上述背景圖像上合成上述動態(tài)圖像。
9. 一種圖像合成方法，其特征在于，該圖像合成方法具有以下步驟 記錄連續(xù)拍攝到的圖像幀； 提取上述連續(xù)拍攝到的圖像幀的共同部圖像； 合成多個上述共同部圖像并取得背景圖像；以及在上述背景圖像上依次合成上述連續(xù)拍攝到的圖像幀，并合成動態(tài) 圖像。
10. —種圖像合成方法，其特征在于，該圖像合成方法具有以下步驟在連續(xù)拍攝到的圖像幀之間提取共同部圖像； 依次合成多個上述提取出的共同部圖像，并生成背景圖像； 從上述背景圖像中檢測與上述連續(xù)拍攝到的圖像幀共同的部分，根 據(jù)該共同的部分來置換成上述圖像幀并合成動態(tài)圖像。
11. 一種程序，其特征在于，該程序使計算機執(zhí)行下述步驟 記錄連續(xù)拍攝到的圖像幀的步驟；判定上述連續(xù)拍攝到的圖像幀的共同部圖像的步驟；得到合成了多個上述共同部圖像的圖像的步驟；以及 在上述合成了多個共同部圖像的圖像上依次合成上述連續(xù)圖像幀的 步驟。
12. —種程序，其特征在于，該程序使計算機執(zhí)行下述步驟 在連續(xù)拍攝到的圖像幀之間提取共同部圖像的步驟； 依次合成多個上述提取出的共同部圖像，并生成背景圖像的步驟；以及從上述背景圖像中檢測與上述連續(xù)拍攝到的圖像幀共同的部分，根 據(jù)該共同的部分來置換成上述圖像幀并合成動態(tài)圖像的步驟。
全文摘要
本發(fā)明提供照相機、圖像合成方法以及程序，其效果是即使不準(zhǔn)備特殊的廣角鏡頭等也能夠表現(xiàn)如全景那樣的廣闊感并且能夠在宏大的背景圖像中表現(xiàn)被攝體的運動。該照相機具有動態(tài)圖像記錄部(9a)，其記錄連續(xù)拍攝到的圖像幀；類似提取部(5c)，其判定連續(xù)拍攝到的圖像幀的共同部圖像并進行提?。缓铣刹?7a)，其合成多個共同部圖像來得到背景圖像；以及動態(tài)圖像合成部(7b)，其在背景圖像上依次合成連續(xù)拍攝到的圖像幀。
文檔編號H04N5/232GK101656836SQ200910167430
公開日2010年2月24日 申請日期2009年8月21日 優(yōu)先權(quán)日2008年8月22日
發(fā)明者上村達之, 丸山淳, 志村和彥, 野中修 申請人:奧林巴斯映像株式會社