專(zhuān)利名稱(chēng)：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，并且具體地，涉及分析圖像以執(zhí)行圖像處理的圖像處
理裝置和圖像處理方法、以及使得計(jì)算機(jī)執(zhí)行其方法的程序。
背景技術(shù)：
近年來(lái)，如數(shù)字?jǐn)z像機(jī)的成像裝置(例如，集成相機(jī)/記錄器)已經(jīng)得到廣泛使 用。例如，游覽各個(gè)旅游景點(diǎn)的游客將經(jīng)常在背景中具有著名建筑物或風(fēng)景等的情況下，使 用成像裝置拍攝一個(gè)人或多個(gè)人的運(yùn)動(dòng)畫(huà)面。 例如可以在家中使用播放器播放由此拍攝的運(yùn)動(dòng)畫(huà)面。然而，在使用播放器來(lái)播 放運(yùn)動(dòng)畫(huà)面的情況下，從開(kāi)始播放整個(gè)運(yùn)動(dòng)畫(huà)面可能意味著播放時(shí)間被延長(zhǎng)，并且存在對(duì) 運(yùn)動(dòng)畫(huà)面的興趣可能降低的可能性。而且，播放在多個(gè)旅游景點(diǎn)拍攝的多個(gè)運(yùn)動(dòng)畫(huà)面可能 意味著播放時(shí)間被進(jìn)一步延長(zhǎng)，并且對(duì)于觀看所有運(yùn)動(dòng)畫(huà)面的興趣可能降低。而且，用于觀 看運(yùn)動(dòng)畫(huà)面的時(shí)間相對(duì)長(zhǎng)，因此，觀看者通常滿(mǎn)意于觀看已經(jīng)播放和觀看的運(yùn)動(dòng)畫(huà)面一次， 因此，很少有對(duì)于重復(fù)觀看這樣的運(yùn)動(dòng)畫(huà)面的需求。 因此，例如，已經(jīng)提出了這樣的播放器，其在顯示單元上顯示膠片滾動(dòng)(roll)圖 像(例如，參見(jiàn)日本未審專(zhuān)利申請(qǐng)公開(kāi)No. 2008-167155)。該膠片滾動(dòng)圖像例如是這樣的圖 像，其中表示構(gòu)成運(yùn)動(dòng)畫(huà)面的場(chǎng)景的靜態(tài)圖像的縮略圖像以對(duì)應(yīng)于每個(gè)場(chǎng)景的場(chǎng)景的回放 時(shí)間點(diǎn)的順序布置。

發(fā)明內(nèi)容
根據(jù)上述現(xiàn)有技術(shù)，在觀看在多個(gè)旅游景點(diǎn)拍攝的多個(gè)運(yùn)動(dòng)畫(huà)面的情況下，例如， 用戶(hù)可以容易地理解這些運(yùn)動(dòng)畫(huà)面的整體內(nèi)容。 然而，在顯示表示構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)場(chǎng)景的縮略圖像的情況下，顯示對(duì)應(yīng)于其 縮略圖像的成像范圍，但是沒(méi)有顯示對(duì)應(yīng)于其縮略圖像的場(chǎng)景處的其他成像空間。例如，在 其場(chǎng)景的成像范圍中包括人、并且可以容易地綜合已經(jīng)拍攝其場(chǎng)景的地點(diǎn)、周?chē)沫h(huán)境等 的情況下，可以預(yù)期可促進(jìn)對(duì)其場(chǎng)景的興趣。在此情況下，例如，執(zhí)行對(duì)用戶(hù)有吸引力的呈 現(xiàn)是重要的，從而促進(jìn)對(duì)其運(yùn)動(dòng)畫(huà)面的興趣。
已經(jīng)發(fā)現(xiàn)期望提高對(duì)運(yùn)動(dòng)畫(huà)面的興趣。 根據(jù)本發(fā)明實(shí)施例，提供了 一種圖像處理裝置和圖像處理方法、以及使得計(jì)算機(jī) 執(zhí)行該方法的程序，所述圖像處理裝置包括變換信息計(jì)算單元，配置為基于構(gòu)成成像的運(yùn) 動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算關(guān)于多個(gè)合成目標(biāo)圖像的變換信息，該多個(gè)合成目 標(biāo)圖像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的合成目標(biāo)；以及裝飾圖像確定單元， 配置為計(jì)算作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作為根據(jù)所述變換信息變換 后的所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的偏移量，以基于所述偏移量確定要添加 到所述第二合成目標(biāo)圖像的外圍的裝飾圖像。因此，提供了這樣的效果計(jì)算用作合成目標(biāo) 圖像的第一合成目標(biāo)圖像、以及用作根據(jù)變換信息變換后的合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的偏移量，以基于所述偏移量確定要添加到所述第二合成目標(biāo)圖像的外圍的裝飾 圖像。 對(duì)所述合成目標(biāo)圖像的每個(gè)，所述變換信息計(jì)算單元可以以所述合成目標(biāo)圖像中 的一個(gè)合成目標(biāo)圖像作為參考圖像，計(jì)算用于變換其他所述合成目標(biāo)圖像的所述變換信 息，其中所述裝飾圖像確定單元計(jì)算合成圖像和所述第二合成目標(biāo)圖像之間的偏移量，并 基于所述偏移量確定所述裝飾圖像，所述合成圖像用所述變換信息變換并且從所述合成目 標(biāo)圖像中的至少一個(gè)合成目標(biāo)圖像合成。因此，提供了這樣的效果計(jì)算合成圖像和根據(jù)變 換信息變換后的第二合成目標(biāo)圖像之間的偏移量，并基于所述偏移量確定所述裝飾圖像。
所述裝飾圖像確定單元可基于所計(jì)算的偏移量的大小確定所述裝飾圖像的厚度。 因此，提供了這樣的效果基于所計(jì)算的偏移量的大小確定所述裝飾圖像的厚度。
所述裝飾圖像確定單元可計(jì)算與所述合成目標(biāo)圖像的所有合成目標(biāo)圖像相關(guān)的 所述偏移量，以基于所述偏移量確定要添加到所有所述合成目標(biāo)圖像的外圍的相同的裝飾 圖像。因此，提供了這樣的效果計(jì)算與所有合成目標(biāo)圖像相關(guān)的所述偏移量，以基于所述 偏移量確定要添加到所有所述合成目標(biāo)圖像的外圍的相同的裝飾圖像。 所述圖像處理裝置還可包括圖像變換單元，配置為基于所述變換信息變換所述 合成目標(biāo)圖像，以生成所述第二合成目標(biāo)圖像；以及圖像合成單元，配置為將所確定的裝飾 圖像添加到所述第二合成目標(biāo)圖像，并且合成已經(jīng)對(duì)其添加所述裝飾圖像的所述第二合成 目標(biāo)圖像和所述第一合成目標(biāo)圖像，以生成合成圖像。因此，提供了這樣的效果基于變換 信息變換合成目標(biāo)圖像，以生成第二合成目標(biāo)圖像，將所確定的裝飾圖像添加到所述第二 合成目標(biāo)圖像，并且合成已經(jīng)對(duì)其添加所述裝飾圖像的所述第二合成目標(biāo)圖像和所述第一 合成目標(biāo)圖像，以生成合成圖像。 所述圖像處理裝置還可包括對(duì)象檢測(cè)單元，配置為檢測(cè)所述合成目標(biāo)圖像中包 括的對(duì)象，其中在所述對(duì)象包括在所述第二合成目標(biāo)圖像中的情況下，所述裝飾圖像確定 單元確定所述裝飾圖像，以便不使包括所述對(duì)象的對(duì)象區(qū)域與所述裝飾圖像的區(qū)域重疊。 因此，提供了這樣的效果在所述對(duì)象包括在所述第二合成目標(biāo)圖像中的情況下，確定裝飾 圖像，以便不使包括所述對(duì)象的對(duì)象區(qū)域與所述裝飾圖像的區(qū)域重疊。 此外，根據(jù)本發(fā)明實(shí)施例，提供了一種圖像處理裝置和圖像處理方法、以及使得計(jì) 算機(jī)執(zhí)行該方法的程序，所述圖像處理裝置包括變換信息計(jì)算單元，配置為基于構(gòu)成成像 的運(yùn)動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算關(guān)于合成目標(biāo)圖像的變換信息，該合成目標(biāo)圖 像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的合成目標(biāo)；以及裝飾圖像確定單元，配置 為基于作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作為根據(jù)所述變換信息變換后的 所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的相對(duì)位置關(guān)系，確定要添加到所述第二合成 目標(biāo)圖像的外圍的裝飾圖像。因此，提供了這樣的效果基于第一合成目標(biāo)圖像、以及根據(jù) 所述變換信息變換后的第二合成目標(biāo)圖像之間的相對(duì)位置關(guān)系，確定要添加到所述第二合 成目標(biāo)圖像的外圍的裝飾圖像。 所述裝飾圖像確定單元可基于所述第一合成目標(biāo)圖像和所述第二合成目標(biāo)圖像 之間的每個(gè)頂點(diǎn)的轉(zhuǎn)換，確定所述裝飾圖像的位置。因此，提供了這樣的效果基于所述第 一合成目標(biāo)圖像和根據(jù)所述變換信息變換后的所述第二合成目標(biāo)圖像之間的每個(gè)頂點(diǎn)的 轉(zhuǎn)換，確定所述裝飾圖像的位置。
所述裝飾圖像確定單元可基于與所述第一合成目標(biāo)圖像重疊的所述第二合成目 標(biāo)圖像的邊緣部分的大小和位置，確定所述裝飾圖像的位置。因此，提供了這樣的效果基 于與所述第一合成目標(biāo)圖像重疊的變換后的所述第二合成目標(biāo)圖像的邊緣部分的大小和 位置，確定所述裝飾圖像的位置。 所述裝飾圖像確定單元可關(guān)于所述合成目標(biāo)圖像的所有合成目標(biāo)圖像計(jì)算所述 重疊邊緣部分的大小和位置，并且基于計(jì)算的大小和位置，確定要添加到所述合成目標(biāo)圖 像的所有外圍的相同的裝飾圖像。因此，提供了這樣的效果關(guān)于所有合成目標(biāo)圖像計(jì)算所 述重疊邊緣部分的大小和位置，并且基于計(jì)算的大小和位置，確定要添加到所述合成目標(biāo) 圖像的所有外圍的相同的裝飾圖像。 根據(jù)上述配置，提供了可以提高對(duì)運(yùn)動(dòng)畫(huà)面的興趣的出眾的效果。


圖1是圖示根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的功能配置示例的框圖；
圖2是圖示根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元的功能配置示例的框圖；
圖3A和3B是示意性圖示根據(jù)本發(fā)明第一實(shí)施例、在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元和元數(shù)據(jù) 存儲(chǔ)單元中存儲(chǔ)的文件的圖； 圖4是示意性圖示根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元的存 儲(chǔ)內(nèi)容的圖； 圖5A到5C是圖示構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的示例的圖； 圖6A到6C是圖示通過(guò)省略關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的背景等而簡(jiǎn)化的圖像的 圖； 圖7是圖示使用仿射變換參數(shù)而變換矩形的情況的圖； 圖8(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的面部檢測(cè)單元的面部 檢測(cè)方法的圖； 圖9(a)到(c)是概念性圖示用于面部表情評(píng)估值的計(jì)算的判別(discriminant) 軸信息、以及生成該判別軸信息時(shí)的流程的圖； 圖10(a)到(c)是示意性圖示在根據(jù)本發(fā)明第一實(shí)施例的PCA處理時(shí)要輸入的采 樣圖像的遮蓋處理的圖； 圖11是示意性圖示在像素空間和PCA空間中的判別軸、以及要評(píng)估的面部圖像之 間的關(guān)系的圖； 圖12是圖示在根據(jù)本發(fā)明第一實(shí)施例的面部表情評(píng)估值輸出為數(shù)值的情況下的 計(jì)算示例的圖； 圖13是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的元數(shù)據(jù)記錄處理的過(guò) 程的流程圖； 圖14是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的元數(shù)據(jù)記錄處理的 過(guò)程中包括的仿射變換參數(shù)計(jì)算過(guò)程的流程圖； 圖15(a)到(c)是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖； 圖16(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元選
擇的圖像中包括的被攝體的所在地(locus)的 圖17(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖18(a)到(c)是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖； 圖19(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元選
擇的圖像中包括的被攝體的所在地的圖； 圖20(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖21 (a)到(c)是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖； 圖22(a)到(c)是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元選
擇的圖像中包括的被攝體的所在地的圖； 圖23(a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元合成圖像的 情況下的圖像合成示例的圖； 圖24(a)和(b)是以時(shí)間序列方式圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢 測(cè)單元計(jì)算的可靠度確定分?jǐn)?shù)的圖； 圖25(a)和(b)是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作 檢測(cè)單元計(jì)算的仿射變換參數(shù)計(jì)算的積分變焦分量的圖； 圖26(a)和(b)是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作 檢測(cè)單元計(jì)算的仿射變換參數(shù)計(jì)算的積分平移分量的圖； 圖27A和27B是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分選 擇單元選擇的圖像合成目標(biāo)部分中包括的圖像的圖； 圖28(a)到(d)是示意性圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像選擇 單元選擇合成目標(biāo)圖像的情況下的選擇方法的圖； 圖29(a)到(f)是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分 選擇單元和合成目標(biāo)圖像選擇單元確定的運(yùn)動(dòng)畫(huà)面的圖； 圖30是圖示關(guān)于通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面而選擇的合成目標(biāo)圖像的示例的圖；
圖31 (a)到(d)是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元?jiǎng)?chuàng)建的合成圖 像的轉(zhuǎn)換的圖； 圖32(a)到(d)是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元?jiǎng)?chuàng)建的合成圖 像的轉(zhuǎn)換的圖； 圖33(a)到(c)是通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元?jiǎng)?chuàng)建的合成圖像的 另一合成示例； 圖34是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程的流程圖； 圖35是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的部分提取過(guò)程的流程圖； 圖36是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的幀選擇過(guò)程的流程圖； 圖37是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成圖像顯示處理的 過(guò)程的流程 圖38是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置的合成圖像顯示處理 的過(guò)程中包括的圖像合成過(guò)程的流程圖； 圖39是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元的功能配置示例的框 圖； 圖40 (a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元 計(jì)算可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖； 圖41是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元的功能配置示例的框 圖； 圖42 (a)到(c)是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元 計(jì)算可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖； 圖43是圖示根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置的功能配置示例的框圖；
圖44A和44B是示意性圖示根據(jù)本發(fā)明第三實(shí)施例的、在參考信息存儲(chǔ)單元和元 數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的內(nèi)容的圖； 圖45是圖示根據(jù)本發(fā)明第三實(shí)施例的顯示單元上顯示的選擇屏幕的示例的圖；
圖46是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元計(jì)算選擇確定 分?jǐn)?shù)使用的分?jǐn)?shù)的示例的圖； 圖47A和47B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元執(zhí)行 幀選擇的情況下的選擇方法的概述的圖； 圖48A和48B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元執(zhí)行 幀選擇的情況下的選擇方法的概述的圖； 圖49是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置的幀選擇處理的過(guò)程的 流程圖； 圖50是圖示根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的功能配置示例的框圖；
圖51是示意性圖示根據(jù)本發(fā)明第四實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元的存 儲(chǔ)內(nèi)容的圖； 圖52A到52C是圖示是被安排來(lái)通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元 確定白框的厚度(heaviness)的確定方法的概述的圖； 圖53A到53C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的裝飾 圖像的示例的圖； 圖54A到54C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元用于裝飾圖 像的確定方法的示例的圖； 圖55A和55B是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元用于裝飾圖 像的確定方法的示例的圖； 圖56A到56D是圖示合成通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖57A到57D是圖示合成通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的圖； 圖58A到58D是圖示合成通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元確定的 裝飾圖像的合成示例的 圖59是圖示考慮到面部的、通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元的 裝飾圖像確定方法的示例的圖； 圖60A到60C是圖示通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元、被確定為要添加 到合成目標(biāo)圖像的裝飾圖像的陰影的示例的圖； 圖61A和61B是圖示被安排來(lái)通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元確定陰影 的方向的確定方法的概述的圖； 圖62是圖示考慮到面部的、通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元的陰影確 定方法的示例的圖； 圖63是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程的流程圖； 圖64是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程的流程圖； 圖65是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成目標(biāo)圖像元數(shù)據(jù) 記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程的流程圖； 圖66是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成圖像顯示處理的 過(guò)程的流程圖； 圖67是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置的合成圖像顯示處理的 過(guò)程中包括的圖像合成過(guò)程的流程圖； 圖68是圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器的配置示例的圖；
圖69是圖示根據(jù)本發(fā)明第五實(shí)施例的控制處理器核心的配置示例的圖；
圖70是圖示根據(jù)本發(fā)明第五實(shí)施例的算術(shù)處理器核心的配置示例的圖；
圖71是示意性圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器的計(jì)算方法的圖；
圖72是示意性圖示在通過(guò)根據(jù)本發(fā)明第五實(shí)施例的多核處理器執(zhí)行計(jì)算的情況 下的程序和數(shù)據(jù)的流程的圖； 圖73 (a)和(b)是示意性圖示被安排來(lái)通過(guò)每個(gè)對(duì)應(yīng)的命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的 處理的計(jì)算方法的概述、以及作為被安排來(lái)通過(guò)單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算 方法的SMD計(jì)算的概述的圖； 圖74是圖示通過(guò)根據(jù)本發(fā)明第五實(shí)施例的控制處理器核心或算術(shù)處理器核心執(zhí) 行的程序的配置示例的圖； 圖75是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例的主存儲(chǔ)器中存儲(chǔ)的圖像數(shù)據(jù)使用 Sobel濾波器經(jīng)歷濾波處理的情況下的數(shù)據(jù)結(jié)構(gòu)和處理流程的圖； 圖76是示意性圖示根據(jù)本發(fā)明第五實(shí)施例的、在Sobel濾波器用于執(zhí)行關(guān)于主存 儲(chǔ)器中存儲(chǔ)的圖像數(shù)據(jù)的SIMD計(jì)算的情況下的數(shù)據(jù)流程的圖； 圖77是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例使用Sobel濾波器執(zhí)行濾波處理的 情況下、被安排來(lái)從在第一緩沖器中存儲(chǔ)的圖像數(shù)據(jù)創(chuàng)建九個(gè)矢量的矢量創(chuàng)建方法的圖；
圖78是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例使用Sobel濾波器執(zhí)行濾波處理的 情況下、被安排來(lái)使用SIMD計(jì)算來(lái)執(zhí)行關(guān)于矢量數(shù)據(jù)的矢量計(jì)算的矢量計(jì)算方法的圖；
圖79是以時(shí)間序列方式示意性圖示根據(jù)本發(fā)明第五實(shí)施例的相機(jī)工作參數(shù)計(jì)算 處理的流程的圖；以及
圖80(a)到(c)是示意性圖示作為記錄介質(zhì)的示例的藍(lán)光盤(pán)、在藍(lán)光盤(pán)中記錄的 數(shù)據(jù)、以及能夠播放藍(lán)光盤(pán)的藍(lán)光盤(pán)播放器的內(nèi)部配置的圖。
具體實(shí)施例方式
以下，將以下面的順序關(guān)于執(zhí)行本發(fā)明的優(yōu)選實(shí)施例(以下，簡(jiǎn)稱(chēng)為"實(shí)施例")進(jìn) 行描述。 1.第一實(shí)施例(合成圖像創(chuàng)建控制從運(yùn)動(dòng)畫(huà)面選擇合成目標(biāo)圖像、并且其用于 創(chuàng)建合成圖像的示例) 2.第二實(shí)施例(圖像合成目標(biāo)部分選擇控制其中從運(yùn)動(dòng)畫(huà)面選擇用于選擇合成 目標(biāo)圖像的圖像合成目標(biāo)部分的修改) 3.第三實(shí)施例(合成目標(biāo)圖像選擇控制其中從圖像合成目標(biāo)部分選擇合成目標(biāo) 圖像的修改) 4.第四實(shí)施例(裝飾圖像確定控制確定要添加到合成目標(biāo)圖像的裝飾圖像的示 例) 5.第五實(shí)施例(特征點(diǎn)提取處理和光學(xué)流程計(jì)算處理通過(guò)多核處理器執(zhí)行的示 例) 1.第一實(shí)施例 圖像處理裝置的配置示例 圖1是圖示根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的功能配置示例的框圖。 圖像處理裝置100包括運(yùn)動(dòng)畫(huà)面輸入單元110、相機(jī)工作檢測(cè)單元120、面部檢測(cè)單元130、 面部表情評(píng)估值計(jì)算單元140、判別軸信息存儲(chǔ)單元141、記錄控制單元150、部分選擇單元 160、以及合成目標(biāo)圖像選擇單元170。此外，圖像處理裝置100包括文件獲得單元180、圖像 變換單元190、運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200、元數(shù)據(jù)存儲(chǔ)單元210、圖像合成單元220和圖像存儲(chǔ) 器230。此外，圖像處理裝置100包括顯示控制單元240、顯示單元250、操作接受單元260 和合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270。圖像處理裝置IOO可通過(guò)個(gè)人計(jì)算機(jī)實(shí)現(xiàn)，該個(gè)人計(jì) 算機(jī)可將通過(guò)例如如數(shù)字?jǐn)z像機(jī)等的成像裝置成像的運(yùn)動(dòng)畫(huà)面經(jīng)歷用于提取特征量的視 頻分析，并經(jīng)歷使用該提取的特征量的各種圖像處理。 運(yùn)動(dòng)畫(huà)面輸入單元110是配置為輸入通過(guò)如數(shù)字?jǐn)z像機(jī)等的成像裝置(以下，簡(jiǎn) 稱(chēng)為"相機(jī)")成像的運(yùn)動(dòng)畫(huà)面的運(yùn)動(dòng)畫(huà)面輸入單元。運(yùn)動(dòng)畫(huà)面輸入單元iio將輸入的運(yùn)動(dòng) 畫(huà)面輸出到相機(jī)工作檢測(cè)單元120、面部檢測(cè)單元130、面部表情評(píng)估值計(jì)算單元140和記 錄控制單元150。 相機(jī)工作檢測(cè)單元120分析從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面，以檢測(cè) 在成像(也稱(chēng)為"相機(jī)工作")時(shí)的運(yùn)動(dòng)信息，并且基于相機(jī)的運(yùn)動(dòng)信息計(jì)算相機(jī)工作參 數(shù)。此外，當(dāng)計(jì)算相機(jī)工作參數(shù)時(shí)，相機(jī)工作檢測(cè)單元120計(jì)算指示相機(jī)工作參數(shù)的似然度 (likelihood)的可靠度確定分?jǐn)?shù)，并且將計(jì)算的相機(jī)工作參數(shù)和可靠度確定分?jǐn)?shù)輸出到記 錄控制單元150。具體地，相機(jī)工作檢測(cè)單元120從構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)圖像提取特征點(diǎn)， 并且計(jì)算關(guān)于該特征點(diǎn)的光流(optical flow)(運(yùn)動(dòng)矢量)。相機(jī)工作檢測(cè)單元120分析 計(jì)算的關(guān)于特征點(diǎn)的光流，以選擇展現(xiàn)支配(dominant)運(yùn)動(dòng)的特征點(diǎn)，并且基于關(guān)于展現(xiàn) 支配運(yùn)動(dòng)的特征點(diǎn)的光流，估計(jì)相機(jī)的運(yùn)動(dòng)。這里，"支配運(yùn)動(dòng)"意味著關(guān)于多個(gè)特征點(diǎn)的多個(gè)光流當(dāng)中的相對(duì)大量的光流展現(xiàn)的規(guī)則的運(yùn)動(dòng)。此外，在圖像內(nèi)的各特征點(diǎn)中，基于展現(xiàn) 支配運(yùn)動(dòng)的特征點(diǎn)和除了該特征點(diǎn)以外的特征點(diǎn)之間的比率計(jì)算可靠度確定分?jǐn)?shù)。注意， 將參照?qǐng)D2詳細(xì)描述相機(jī)工作檢測(cè)單元120的內(nèi)部配置。注意，相機(jī)工作檢測(cè)單元120是 發(fā)明內(nèi)容中所指的計(jì)算單元的示例。 面部檢測(cè)單元130檢測(cè)構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元IIO輸出的運(yùn)動(dòng)畫(huà)面的圖像中 包括的人的面部，并且將關(guān)于檢測(cè)的面部的面部檢測(cè)信息輸出到面部表情評(píng)估值計(jì)算單 元140和記錄控制單元150。該面部檢測(cè)方法的示例包括通過(guò)匹配其中記錄面部輝度 (luminance)分布信息的模板以及實(shí)際圖像的面部檢測(cè)方法(例如，參見(jiàn)日本未審專(zhuān)利申 請(qǐng)公開(kāi)No. 2004-133637)、以及基于圖像中包括的皮膚部分、以及人臉的特征量的面部檢測(cè) 方法。此外，可采用這樣的面部檢測(cè)方法，其中，關(guān)于作為包括面部的圖像的面部圖像，學(xué) 習(xí)面部圖像上的兩個(gè)像素之間的輝度差，從該學(xué)習(xí)獲得的特征量預(yù)先存儲(chǔ)為面部檢測(cè)參考 數(shù)據(jù)，并且使用該面部檢測(cè)參考數(shù)據(jù)執(zhí)行面部檢測(cè)。將參照?qǐng)D8詳細(xì)描述使用該面部檢測(cè) 參考數(shù)據(jù)的面部檢測(cè)方法。此外，面部檢測(cè)信息包括檢測(cè)的面部圖像的位置和大小。面部 檢測(cè)信息中包括的面部位置的示例包括圍繞檢測(cè)的面部的矩形面部檢測(cè)窗口的位置(例 如，面部檢測(cè)窗口的左上角的坐標(biāo)，以下稱(chēng)為"面部位置信息")。此外，面部檢測(cè)信息中包 括的面部大小的示例包括其面部檢測(cè)窗口的大小(例如，面部檢測(cè)窗口的水平方向和垂直 方向上的像素?cái)?shù))。注意，面部檢測(cè)信息可包括指示檢測(cè)的面部的朝向的滾動(dòng)(roll)、傾斜 (pitch)和偏轉(zhuǎn)(yaw)。 面部表情評(píng)估值計(jì)算單元140使用在判別軸信息存儲(chǔ)單元141中存儲(chǔ)的判別軸信 息，以計(jì)算關(guān)于通過(guò)面部檢測(cè)單元130檢測(cè)的面部的面部表情的面部表情評(píng)估值，并且將 計(jì)算的面部表情評(píng)估值輸出到記錄控制單元150。例如，基于從面部檢測(cè)單元130輸出的面 部檢測(cè)信息(面部的位置和大小)，從構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的圖像 提取面部圖像，該面部圖像是至少包括由面部檢測(cè)單元130檢測(cè)的面部的一部分的矩形區(qū) 域。規(guī)范化(normalized)該提取的面部圖像，并且計(jì)算關(guān)于規(guī)范化的面部圖像的面部表情 評(píng)估值?；谠撚?jì)算的面部表情評(píng)估值，可確定要計(jì)算的面部的面部表情是否是特定面部 表情。注意，在本發(fā)明第一實(shí)施例的情況下，將描述這樣的示例，其中笑臉被確定為特定面 部表情。此外，將參照?qǐng)D9到12詳細(xì)描述面部表情評(píng)估值計(jì)算。此外，面部表情評(píng)估值計(jì) 算單元140是發(fā)明內(nèi)容中所指的確定單元的示例。 判別軸信息存儲(chǔ)單元141存儲(chǔ)用于由面部表情評(píng)估值計(jì)算單元140計(jì)算面部表情 評(píng)估值的判別軸信息，并且將存儲(chǔ)的判別軸信息提供到面部表情評(píng)估值計(jì)算單元140。注 意，將參照?qǐng)D9等詳細(xì)描述判別軸信息。 記錄控制單元150執(zhí)行關(guān)于運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200、元數(shù)據(jù)存儲(chǔ)單元210、以及合 成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270的記錄控制。也就是說(shuō)，記錄控制單元150將從運(yùn)動(dòng)畫(huà)面 輸入單元110輸出的運(yùn)動(dòng)畫(huà)面作為運(yùn)動(dòng)畫(huà)面文件記錄在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中。此外， 記錄控制單元150將從相機(jī)工作檢測(cè)單元120輸出的可靠度確定分?jǐn)?shù)和仿射變換參數(shù)、從 面部檢測(cè)單元130輸出的面部檢測(cè)信息、以及從面部表情評(píng)估值計(jì)算單元140輸出的面部 表情評(píng)估值記錄在元數(shù)據(jù)存儲(chǔ)單元210中。這樣的每條信息以與運(yùn)動(dòng)畫(huà)面和幀(圖像)相 關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中，作為元數(shù)據(jù)文件。此外，記錄控制單元150將從合 成目標(biāo)圖像選擇單元170輸出的合成目標(biāo)圖像信息(幀選擇信息)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中，作為合成目標(biāo)圖像元數(shù)據(jù)。 部分選擇單元160使用元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)以選擇圖像合成目標(biāo) 部分，該圖像合成目標(biāo)部分是用作用于創(chuàng)建關(guān)于存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà) 面的合成圖像的目標(biāo)的部分，并且部分選擇單元160將關(guān)于選擇的圖像合成目標(biāo)部分的信 息輸出到合成目標(biāo)圖像選擇單元170。注意，將參照?qǐng)D24到26詳細(xì)描述圖像合成目標(biāo)部分 的選擇。 合成目標(biāo)圖像選擇單元170使用存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的元數(shù)據(jù)，以從由 部分選擇單元160輸出的圖像合成目標(biāo)部分中包括的各幀中選擇用于創(chuàng)建合成圖像的幀， 并且將關(guān)于選擇的幀的合成目標(biāo)圖像信息(幀選擇信息)輸出到記錄控制單元150。具體 地，合成目標(biāo)圖像選擇單元170首先選擇要重疊和合成在合成的圖像的頂端的最前面的圖 像(最前面的幀)，并且利用所選擇的最前面的圖像作為參考圖像，按順序選擇另一合成目 標(biāo)圖像。在以最前面的圖像作為參考圖像進(jìn)行該選擇的時(shí)候，計(jì)算用于使選擇的合成目標(biāo) 圖像經(jīng)歷仿射變換的仿射變換參數(shù)。注意，將參照?qǐng)D27A到29詳細(xì)描述合成目標(biāo)圖像選擇。 此外，部分選擇單元160和合成目標(biāo)圖像選擇單元170是發(fā)明內(nèi)容中所指的選擇單元的示 例。此外，合成目標(biāo)圖像選擇單元170是發(fā)明內(nèi)容中所指的圖像選擇單元的示例。
運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200基于記錄控制單元150的控制，將從運(yùn)動(dòng)畫(huà)面輸入單元110 輸出的運(yùn)動(dòng)畫(huà)面存儲(chǔ)為運(yùn)動(dòng)畫(huà)面文件。此外，運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200響應(yīng)于來(lái)自文件獲得 單元180的請(qǐng)求，將運(yùn)動(dòng)畫(huà)面文件提供到文件獲得單元180，并且響應(yīng)于來(lái)自顯示控制單元 240的請(qǐng)求，將運(yùn)動(dòng)畫(huà)面文件提供到顯示控制單元240。注意，將參照?qǐng)D3A和3B詳細(xì)描述 要在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中存儲(chǔ)的運(yùn)動(dòng)畫(huà)面文件。 元數(shù)據(jù)存儲(chǔ)單元210基于記錄控制單元150的控制，將從相機(jī)工作檢測(cè)單元120、 面部檢測(cè)單元130、和面部表情評(píng)估值計(jì)算單元140輸出的每條信息以與運(yùn)動(dòng)畫(huà)面和幀相 關(guān)的方式存儲(chǔ)為元數(shù)據(jù)文件。此外，元數(shù)據(jù)存儲(chǔ)單元210將元數(shù)據(jù)文件提供到部分選擇單 元160和合成目標(biāo)圖像選擇單元170。注意，將參照?qǐng)D3A和3B詳細(xì)描述要存儲(chǔ)在元數(shù)據(jù)存 儲(chǔ)單元210中的元數(shù)據(jù)文件。 合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270基于記錄控制單元150的控制，將從合成目標(biāo) 圖像選擇單元170輸出的合成目標(biāo)圖像信息存儲(chǔ)為合成目標(biāo)圖像元數(shù)據(jù)文件。此外，合成 目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270響應(yīng)于來(lái)自文件獲得單元180的請(qǐng)求，將合成目標(biāo)圖像元數(shù) 據(jù)文件提供到文件獲得單元180。注意，將參照?qǐng)D4詳細(xì)描述要存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù) 存儲(chǔ)單元270中的元數(shù)據(jù)文件。 文件獲得單元180響應(yīng)于由操作接受單元260接受的操作輸入，獲得在運(yùn)動(dòng)畫(huà)面 存儲(chǔ)單元200和元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的每個(gè)文件，并且將獲得的每個(gè)文件的信息提 供到圖像變換單元190。具體地，在操作接受單元260已經(jīng)接受用于顯示合成圖像的指令操 作的情況下，文件獲得單元180從運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200獲得運(yùn)動(dòng)畫(huà)面文件。此外，文件獲 得單元180從合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270獲得與該運(yùn)動(dòng)畫(huà)面文件對(duì)應(yīng)的合成目標(biāo)圖 像元數(shù)據(jù)文件。隨后，文件獲得單元180使用該合成目標(biāo)圖像元數(shù)據(jù)文件以從構(gòu)成獲得的 運(yùn)動(dòng)畫(huà)面文件的每個(gè)圖像提取要合成的圖像，并且將該提取的圖像、以及對(duì)應(yīng)于該圖像的 合成目標(biāo)圖像元數(shù)據(jù)輸出到圖像變換單元190。 圖像變換單元190使用對(duì)應(yīng)于該圖像的合成目標(biāo)圖像元數(shù)據(jù)，使從文件獲得單元180輸出的圖像經(jīng)歷仿射變換，并且將經(jīng)歷仿射變換的圖像輸出到圖像合成單元220。具體 地，圖像變換單元190以單個(gè)圖像(例如，最前面的圖像)的位置作為參考，使另一圖像按 順序經(jīng)歷仿射變換。此外，在操作接受單元260已經(jīng)接受用于顯示合成圖像的指令操作的 情況下，圖像變換單元190根據(jù)其指令操作，按照顯示順序使圖像按順序經(jīng)歷仿射變換。注 意，將參照?qǐng)D15到23、31、32等詳細(xì)描述該圖像變換。 圖像合成單元220使用圖像存儲(chǔ)器230合成通過(guò)圖像變換單元190經(jīng)歷仿射變換 的圖像，以創(chuàng)建合成圖像，并且將創(chuàng)建的合成圖像順序地輸出到顯示控制單元240。此外，當(dāng) 合成通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像時(shí)，圖像合成單元220通過(guò)將白框添加到 圖像的外圍來(lái)合成圖像。將參照?qǐng)D31和32以及其他附圖詳細(xì)描述該圖像合成。
圖像存儲(chǔ)器230是由圖像合成單元220創(chuàng)建合成圖像時(shí)使用的工作緩沖器，保持 包括通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像的歷史圖像，并且將保持的歷史圖像提供 到圖像合成單元220。圖像存儲(chǔ)器230也稱(chēng)為"畫(huà)布(canvas)"，等效于存儲(chǔ)圖像數(shù)據(jù)的存 儲(chǔ)器的一個(gè)圖像的量(worth)。 顯示控制單元240根據(jù)通過(guò)操作接受單元260接受的操作輸入的內(nèi)容，在顯示單 元250上顯示從圖像合成單元220輸出的合成圖像。此外，在操作接受單元260已經(jīng)接受 用于播放運(yùn)動(dòng)畫(huà)面的指令操作的情況下，顯示控制單元240根據(jù)該指令操作從運(yùn)動(dòng)畫(huà)面存 儲(chǔ)單元200獲得運(yùn)動(dòng)畫(huà)面文件，并且控制顯示單元250顯示構(gòu)成該運(yùn)動(dòng)畫(huà)面文件的圖像。
顯示單元250基于顯示控制單元240的控制，顯示每個(gè)圖像。顯示單元250可例 如用個(gè)人計(jì)算機(jī)的顯示器或電視機(jī)來(lái)實(shí)現(xiàn)。注意，將參照?qǐng)D31到33等詳細(xì)描述合成圖像 的顯示示例。 操作接受單元260接受從由各類(lèi)鍵構(gòu)成的鍵盤(pán)、鼠標(biāo)(指向設(shè)備)等的操作，并 且將接受的操作輸入的內(nèi)容輸出到文件獲得單元180、圖像變換單元190或顯示控制單元 240。 圖2是圖示根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元120的功能配置示例的框 圖。相機(jī)工作檢測(cè)單元120包括特征點(diǎn)提取單元121、光流計(jì)算單元122、相機(jī)工作參數(shù)計(jì) 算單元123和可靠度確定分?jǐn)?shù)計(jì)算單元124。 特征點(diǎn)提取單元121從對(duì)應(yīng)于構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元IIO輸出的運(yùn)動(dòng)畫(huà)面的幀 的整個(gè)圖像提取特征點(diǎn)，并將提取的特征點(diǎn)輸出到光流計(jì)算單元122和可靠度確定分?jǐn)?shù)計(jì) 算單元124。這里，特征點(diǎn)提取單元121從關(guān)于構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元IIO輸出的運(yùn)動(dòng)畫(huà) 面的幀的頂部幀的整個(gè)圖像提取特征點(diǎn)。此外，特征點(diǎn)提取單元121與對(duì)應(yīng)于之前的幀的 圖像比較，以從該關(guān)于頂部幀以外的幀的新成像的區(qū)域部分提取特征點(diǎn)。注意，例如，在垂 直方向和水平方向上邊緣的梯度強(qiáng)的點(diǎn)可被提取為特征點(diǎn)(通常，稱(chēng)為"角落點(diǎn)"，以下稱(chēng) 為"角落點(diǎn)")。角落點(diǎn)是關(guān)于光流計(jì)算強(qiáng)的特征點(diǎn)，并且可用邊緣檢測(cè)獲得。注意，將參照 圖5A到6C詳細(xì)描述角落點(diǎn)的提取。注意，利用該示例，特征點(diǎn)提取單元121從關(guān)于頂部幀 的整個(gè)圖像提取特征點(diǎn)，并且與對(duì)應(yīng)于之前的幀的圖像比較，以從關(guān)于頂部幀以外的幀的 新成像的區(qū)域部分提取特征點(diǎn)。然而，還可以根據(jù)處理能力，從關(guān)于頂部幀以外的每個(gè)幀的 整個(gè)圖像提取特征點(diǎn)。 光流計(jì)算單元122計(jì)算關(guān)于從特征點(diǎn)提取單元121輸出的每個(gè)特征點(diǎn)的光流，并 且將計(jì)算的光流輸出到相機(jī)工作參數(shù)計(jì)算單元123。具體地，光流計(jì)算單元122比較與構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀(當(dāng)前幀和緊接在前面的幀)相對(duì) 應(yīng)的每個(gè)圖像，從而計(jì)算當(dāng)前幀的光流。也就是說(shuō)，光流計(jì)算單元122關(guān)于對(duì)應(yīng)于緊接在前 面的幀的圖像的每個(gè)特征點(diǎn)，計(jì)算關(guān)于對(duì)應(yīng)于當(dāng)前幀的圖像的光流。該光流對(duì)構(gòu)成運(yùn)動(dòng)畫(huà) 面的每個(gè)幀計(jì)算。注意，可使用如梯度方法、塊匹配方法等的檢測(cè)方法作為用于檢測(cè)光流的 檢測(cè)方法。注意，將參照?qǐng)D5A到6C詳細(xì)描述該光流計(jì)算。此外，光流計(jì)算單元122是發(fā)明
內(nèi)容中所指的運(yùn)動(dòng)量計(jì)算單元的示例。 相機(jī)工作參數(shù)計(jì)算單元123執(zhí)行相機(jī)工作參數(shù)計(jì)算處理，其中對(duì)應(yīng)于從光流計(jì)算 單元122輸出的每個(gè)特征點(diǎn)的光流用于計(jì)算相機(jī)工作參數(shù)。隨后，相機(jī)工作參數(shù)計(jì)算單元 123將計(jì)算的相機(jī)工作參數(shù)輸出到記錄控制單元150，并且將關(guān)于用于相機(jī)工作參數(shù)的計(jì) 算的特征點(diǎn)的信息輸出到可靠度確定分?jǐn)?shù)計(jì)算單元124。相機(jī)工作參數(shù)是關(guān)于連續(xù)兩個(gè)幀 (當(dāng)前幀和緊接在前面的幀)的變換信息(相機(jī)的運(yùn)動(dòng)信息)。 現(xiàn)在，在本發(fā)明第一實(shí)施例的情況下，根據(jù)相機(jī)的運(yùn)動(dòng)變換和合成關(guān)于要播放的 運(yùn)動(dòng)畫(huà)面而選擇的每個(gè)合成目標(biāo)圖像。為了執(zhí)行該圖像變換，使用通過(guò)光流計(jì)算單元122 計(jì)算的光流提取相機(jī)的運(yùn)動(dòng)，并且基于提取的運(yùn)動(dòng)計(jì)算相機(jī)工作參數(shù)(變換參數(shù))。
而且，在本發(fā)明第一實(shí)施例的情況下，將關(guān)于使用仿射變換作為用于變換合成目 標(biāo)圖像的圖像變換方法的示例進(jìn)行描述。此外，將關(guān)于使用基于光流計(jì)算的仿射變換參數(shù) 作為相機(jī)工作參數(shù)的示例進(jìn)行描述。注意，可采用使用投射變換參數(shù)等作為相機(jī)工作參數(shù) 的另一圖像變換方法。注意，可通過(guò)使用三個(gè)點(diǎn)之間的矢量的計(jì)算獲得仿射變換參數(shù)。此 外，可通過(guò)使用四個(gè)點(diǎn)之間的矢量的計(jì)算獲得投射變換參數(shù)?，F(xiàn)在，相機(jī)工作參數(shù)是以構(gòu)成 成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的至少一個(gè)成像的圖像作為參考來(lái)變換另一成像的圖像的 變換信息，并且至少包括在相機(jī)的坐標(biāo)系統(tǒng)中描述的位置信息和姿態(tài)(attitude)信息。也 就是說(shuō)，在通過(guò)用戶(hù)成像的情況下，相機(jī)工作參數(shù)包括關(guān)于相機(jī)的位置和姿態(tài)的信息。此 外，可基于通過(guò)相機(jī)工作參數(shù)計(jì)算單元123計(jì)算的仿射變換參數(shù)估計(jì)根據(jù)通過(guò)用戶(hù)的操作 的相機(jī)的運(yùn)動(dòng)，例如，如放大、縮小、搖動(dòng)(pan)、傾斜(tilt)、旋轉(zhuǎn)等。注意，將參照?qǐng)D5A到 6C詳細(xì)描述仿射變換參數(shù)的計(jì)算。也就是說(shuō)，利用第一實(shí)施例，在連續(xù)圖像的單個(gè)圖像被取 為參考圖像的情況下，進(jìn)行定義為對(duì)應(yīng)于仿射矩陣的仿射變換參數(shù)，該仿射矩陣指示該參 考圖像的下一圖像移動(dòng)到哪兒。注意，相機(jī)工作參數(shù)計(jì)算單元123是發(fā)明內(nèi)容中所指的運(yùn) 動(dòng)信息計(jì)算單元的示例。 可靠度確定分?jǐn)?shù)計(jì)算單元124基于關(guān)于從特征點(diǎn)提取單元121輸出的特征點(diǎn)、以 及從相機(jī)工作參數(shù)計(jì)算單元123輸出的特征點(diǎn)的信息，計(jì)算可靠度確定分?jǐn)?shù)，并且將計(jì)算 的可靠度確定分?jǐn)?shù)輸出到記錄控制單元150。該可靠度確定分?jǐn)?shù)基于要經(jīng)歷仿射變換參數(shù) 的計(jì)算的圖像的整個(gè)屏幕中的特征點(diǎn)的數(shù)量、與在整個(gè)屏幕中展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的數(shù) 量之間的比率計(jì)算。將參照?qǐng)D5A到6C詳細(xì)描述該可靠度確定分?jǐn)?shù)的計(jì)算。
圖3A和3B是示意性圖示根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200和元數(shù) 據(jù)存儲(chǔ)單元210中存儲(chǔ)的文件的圖。圖3A圖示存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà) 面文件201到203、以與運(yùn)動(dòng)畫(huà)面文件201到203相關(guān)聯(lián)的方式存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210 中的元數(shù)據(jù)文件211到213。現(xiàn)在，假設(shè)作為用于標(biāo)識(shí)存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的每 個(gè)運(yùn)動(dòng)畫(huà)面文件的標(biāo)識(shí)信息的運(yùn)動(dòng)畫(huà)面ID附加到每個(gè)運(yùn)動(dòng)畫(huà)面文件。例如，"#1"附加到 運(yùn)動(dòng)畫(huà)面文件201， "#2"附加到運(yùn)動(dòng)畫(huà)面文件202，并且"fe"附加到運(yùn)動(dòng)畫(huà)面文件203。
圖3B示意性圖示存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件201、以與運(yùn)動(dòng) 畫(huà)面文件201相關(guān)的方式存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的元數(shù)據(jù)文件211?，F(xiàn)在，運(yùn)動(dòng)畫(huà)面 文件201是包括m個(gè)幀的運(yùn)動(dòng)畫(huà)面文件，并且這m個(gè)幀示出為幀"l"204到幀"m"207。此 外，在元數(shù)據(jù)文件211中，運(yùn)動(dòng)畫(huà)面ID 214、幀號(hào)215、仿射變換參數(shù)216、可靠度確定分?jǐn)?shù) 217、面部檢測(cè)信息218、以及面部表情評(píng)估值219以相關(guān)方式存儲(chǔ)。 運(yùn)動(dòng)畫(huà)面ID 214是附加到對(duì)應(yīng)的運(yùn)動(dòng)畫(huà)面文件的運(yùn)動(dòng)畫(huà)面ID，并且例如存儲(chǔ)附 加到運(yùn)動(dòng)畫(huà)面文件201的"#1"。 幀號(hào)215是構(gòu)成對(duì)應(yīng)運(yùn)動(dòng)畫(huà)面文件的每個(gè)幀的序列號(hào)，并且例如存儲(chǔ)對(duì)應(yīng)于構(gòu)成 運(yùn)動(dòng)畫(huà)面文件201的運(yùn)動(dòng)畫(huà)面的幀"1" 204到幀"m" 207的"1"到"m"。
仿射變換參數(shù)216是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算的仿射變換參 數(shù)。注意，對(duì)應(yīng)于幀號(hào)215的"l"的仿射變換參數(shù)216 "al， bl， cl， dl， el， fl"是單位矩陣 的仿射變換參數(shù)。此外，例如，對(duì)應(yīng)于幀號(hào)215的"i(i是2或更大整數(shù))"的"ai， bi， ci， di， ei， f i "的仿射變換參數(shù)216是幀"i "關(guān)于緊接在前面的幀"i-l"的仿射變換參數(shù)。
可靠度確定分?jǐn)?shù)217是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算的可靠度確 定分?jǐn)?shù)，并且例如存儲(chǔ)值0到1。 面部檢測(cè)信息218是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀檢測(cè)的面部檢測(cè)信 息，并且存儲(chǔ)從面部檢測(cè)單元130輸出的面部檢測(cè)信息。注意，圖3B圖示省略其特定內(nèi)容 的面部檢測(cè)信息。在已經(jīng)從一幀檢測(cè)多個(gè)面部的情況下，這樣的多個(gè)面部檢測(cè)信息以與其 幀相關(guān)的方式存儲(chǔ)。 面部表情評(píng)估值219是關(guān)于對(duì)應(yīng)于幀號(hào)215的運(yùn)動(dòng)畫(huà)面的每個(gè)幀中包括的面部計(jì) 算的面部表情評(píng)估值，并且存儲(chǔ)從面部表情評(píng)估值計(jì)算單元140輸出的面部表情評(píng)估值。 注意，在對(duì)應(yīng)的幀中不包括面部的情況下，面部表情評(píng)估值219存儲(chǔ)"O"。例如，在沒(méi)有從對(duì) 應(yīng)于幀號(hào)215的"l"和"m"的幀檢測(cè)到面部的情況下，沒(méi)有通過(guò)面部表情評(píng)估值計(jì)算單元 140計(jì)算面部表情評(píng)估值，因此，面部表情評(píng)估值219存儲(chǔ)"O"。另一方面，在沒(méi)有從對(duì)應(yīng)于 幀號(hào)215的"i"和"j"的幀檢測(cè)面到部的情況下，面部表情評(píng)估值219存儲(chǔ)通過(guò)面部表情評(píng) 估值計(jì)算單元140計(jì)算的面部表情評(píng)估值。例如，對(duì)應(yīng)于幀號(hào)215的"i"的面部表情評(píng)估 值219存儲(chǔ)"124"，并且對(duì)應(yīng)于幀號(hào)215的"j"的面部表情評(píng)估值219存儲(chǔ)"405"。在此情 況下，例如，可以確定下述情況存在高度可能性關(guān)于幀"j "檢測(cè)的面部比關(guān)于幀"i "檢測(cè) 的面部更類(lèi)似笑臉。注意，i和j是滿(mǎn)足1 < i < j < m的整數(shù)。此外，在已經(jīng)從一幀檢測(cè) 到多個(gè)面部的情況下，關(guān)于這多個(gè)面部計(jì)算的面部表情評(píng)估值以與其幀相關(guān)的方式存儲(chǔ)。
圖4是示意性圖示根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270的 存儲(chǔ)內(nèi)容的圖。運(yùn)動(dòng)畫(huà)面ID 271、部分號(hào)272、幀號(hào)273、仿射變換參數(shù)274、最前面的幀275、 以及面部數(shù)據(jù)276以相關(guān)的方式存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。
運(yùn)動(dòng)畫(huà)面ID 271是附加到對(duì)應(yīng)的運(yùn)動(dòng)畫(huà)面文件的運(yùn)動(dòng)畫(huà)面ID，并且例如，存儲(chǔ)附 加到運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中存儲(chǔ)的每個(gè)運(yùn)動(dòng)畫(huà)面文件的"#1"、"#2"等。
部分號(hào)272是用于標(biāo)識(shí)由部分選擇單元160選擇的圖像合成目標(biāo)部分的序列號(hào)， 并且例如以關(guān)于運(yùn)動(dòng)畫(huà)面文件201選擇的順序存儲(chǔ)"#101"、"#102"、"#103"等。例如，在 關(guān)于運(yùn)動(dòng)畫(huà)面文件201創(chuàng)建合成圖像的情況下，對(duì)部分號(hào)272的每個(gè)部分(例如，"#101"、 "#102"、"#103")創(chuàng)建合成圖像。
幀號(hào)273是利用通過(guò)部分選擇單元160選擇的圖像合成目標(biāo)部分、由合成目標(biāo)圖 像選擇單元170選擇的幀的幀號(hào)。該幀號(hào)對(duì)應(yīng)于圖3B中所示的幀號(hào)215。例如，在部分號(hào) 272的"# 101"的情況下，在已經(jīng)通過(guò)合成目標(biāo)圖像選擇單元170選擇幀"1 "、"6"、"9"和 "17"的情況下，存儲(chǔ)這些幀的幀號(hào)"1 "、"6"、"9"和"17"。 仿射變換參數(shù)274是用于使由合成目標(biāo)圖像選擇單元170選擇的每個(gè)幀經(jīng)歷仿射 變換的仿射變換參數(shù)。這里，要存儲(chǔ)在仿射變換參數(shù)274中的仿射變換參數(shù)是用于以相同 圖像合成目標(biāo)部分中的一個(gè)幀作為參考幀、使另一幀經(jīng)歷仿射變換的仿射變換參數(shù)。該參 考幀可以設(shè)置為例如最前面的幀。此外，要以與該參考幀相關(guān)的方式存儲(chǔ)在仿射變換參數(shù) 274中的仿射變換參數(shù)是單位矩陣的仿射變換參數(shù)。 最前面的幀275是指示通過(guò)合成目標(biāo)圖像選擇單元170選擇的最前面的幀的信 息。例如，在已經(jīng)選擇對(duì)應(yīng)的幀作為最前面的幀的情況下，最前面的幀275存儲(chǔ)"1"，并且 在對(duì)應(yīng)的幀還沒(méi)有選擇為最前面的幀的情況下，最前面的幀275存儲(chǔ)"0"。例如，在運(yùn)動(dòng)畫(huà) 面ID 271 "#1"的部分號(hào)272 "#101"的每個(gè)幀中，在幀"9"已經(jīng)選擇為最前面的幀的情況 下，幀"9"的最前面的幀275存儲(chǔ)"1"。在此情況下，在部分號(hào)272 "#101"的每個(gè)幀中，關(guān) 于幀"9"以外的幀，最前面的幀275存儲(chǔ)"0"。 面部數(shù)據(jù)276是關(guān)于在通過(guò)合成目標(biāo)圖像選擇單元170選擇的每個(gè)幀中包括的面 部的信息。在面部檢測(cè)信息218中包括的面部檢測(cè)信息中，存儲(chǔ)例如面部的位置信息和大 小信息作為該信息。在圖4所示的示例的情況下，面部的位置信息示出為(xn，yn)，并且面 部的大小信息示出為(Hn，Wn)。這里，n是對(duì)應(yīng)于幀號(hào)273的數(shù)值。注意，在已經(jīng)從一幀選 擇多個(gè)面部的情況下，這樣的多個(gè)面部數(shù)據(jù)以與其幀相關(guān)的方式存儲(chǔ)。
相機(jī)工作參數(shù)和可靠度確定分?jǐn)?shù)的計(jì)算示例 接下來(lái)，將參照附圖，關(guān)于用于計(jì)算要用于圖像變換的相機(jī)工作參數(shù)(仿射變換 參數(shù))和可靠度確定分?jǐn)?shù)的計(jì)算方法進(jìn)行詳細(xì)的描述。 圖5A到5C是圖示構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的示例的圖。圖6A到6C是圖示通過(guò)省略 關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的背景等而簡(jiǎn)化的圖像的圖。圖5A到5C圖示圖像300作為構(gòu)成 運(yùn)動(dòng)畫(huà)面的圖像的示例。此外，圖6A圖示通過(guò)省略關(guān)于對(duì)應(yīng)于圖像300的緊接在前面的幀 的圖像的背景等而簡(jiǎn)化的圖像320。此外，圖6B和6C圖示通過(guò)省略關(guān)于圖像300的背景等 而簡(jiǎn)化的圖像330。 圖5A到6C中所示的圖像300、320和330包括人正在騎的馬的圖像301、321和 331、以及馬圖像301、321和331的前端布置的蛇的圖像302、322和332。此外，如圖5A到 5C所示，在這些圖像的背景上提供了旗子、椅子等，并且該旗子正在風(fēng)中飄揚(yáng)。
圖6A所示的圖像320是關(guān)于下述圖像簡(jiǎn)化的圖像，所述圖像對(duì)應(yīng)于與圖5A到5C、 6B和6C中所示的圖像300和330所對(duì)應(yīng)的幀的緊接在前面的幀。此外，對(duì)應(yīng)于兩個(gè)連續(xù)幀 的圖像320和330是指示在屏幕內(nèi)的被攝體的大小逐漸增加的情況下的轉(zhuǎn)換的圖像。也就 是說(shuō)，在該成像的時(shí)候，執(zhí)行放大操作，其中用于增加屏幕內(nèi)的被攝體的大小的操作逐漸增 加。 在本發(fā)明第一實(shí)施例的情況下，將關(guān)于下述方法作為示例進(jìn)行描述，其中從構(gòu)成 運(yùn)動(dòng)畫(huà)面的圖像檢測(cè)特征點(diǎn)，并且使用對(duì)應(yīng)于該特征點(diǎn)的光流計(jì)算仿射變換參數(shù)。此外，在 該示例的情況下，將關(guān)于角落點(diǎn)用作特征點(diǎn)的情況進(jìn)行描述。
現(xiàn)在，將利用圖6A到6C關(guān)于下述方法作為示例進(jìn)行描述，其中使用對(duì)應(yīng)于從圖像 320和330檢測(cè)的三個(gè)角落點(diǎn)的光流計(jì)算仿射變換參數(shù)。 例如，在圖6A所示的圖像320的情況下，設(shè)馬圖像321的嘴周?chē)慕锹潼c(diǎn)323、馬 圖像321的人的臀部周?chē)慕锹潼c(diǎn)324、以及蛇圖像322的嘴周?chē)慕锹潼c(diǎn)325被檢測(cè)為 特征點(diǎn)。在此情況下，利用圖6B所示的圖像330，根據(jù)梯度方法、塊匹配方法等，檢測(cè)關(guān)于 圖像320的角落點(diǎn)323、324和325的光流337、338和339。隨后，基于檢測(cè)的光流337、338 和339，檢測(cè)對(duì)應(yīng)于圖像320的角落點(diǎn)323、324和325的角落點(diǎn)333、334和335。
現(xiàn)在，例如，圖6A和6B中所示的圖像320和330中包括的馬圖像321和331以及 蛇圖像322和332被安裝在地面上，因此，而不管相機(jī)運(yùn)動(dòng)與否都不移動(dòng)。因此，可基于關(guān) 于下述角落點(diǎn)獲得的光流精確地估計(jì)相機(jī)的運(yùn)動(dòng)，所述角落點(diǎn)是關(guān)于馬圖像321和331以 及蛇圖像322和332檢測(cè)的。例如，如圖6C所示，基于在圖像330中檢測(cè)的三個(gè)光流337 到339，可以估計(jì)圖像330是以點(diǎn)336為中心、從圖像320放大的圖像。因此，可確定對(duì)圖 像330成像時(shí)的相機(jī)的運(yùn)動(dòng)是以點(diǎn)336為中心的放大操作。因此，關(guān)于不管相機(jī)運(yùn)動(dòng)與否 都不移動(dòng)的對(duì)象檢測(cè)角落點(diǎn)，并且基于關(guān)于該角落點(diǎn)獲得的光流，可以精確地檢測(cè)具有特 定規(guī)律的相機(jī)的運(yùn)動(dòng)。因此，可通過(guò)使用關(guān)于這些角落點(diǎn)獲得的光流的計(jì)算來(lái)獲得仿射變 換參數(shù)。 然而，可預(yù)期這樣的情況，其中不管相機(jī)運(yùn)動(dòng)與否都移動(dòng)的對(duì)象包括在圖像中，如 在風(fēng)中飄揚(yáng)的旗子等。例如，圖5A到5C中所示的圖像300包括在風(fēng)中飄揚(yáng)的旗子。在關(guān) 于不管相機(jī)的運(yùn)動(dòng)都移動(dòng)的對(duì)象檢測(cè)角落點(diǎn)、并且使用關(guān)于該角落點(diǎn)獲得的光流估計(jì)相機(jī) 的運(yùn)動(dòng)的情況下，難以精確地估計(jì)相機(jī)的運(yùn)動(dòng)。 例如，圖5B所示的圖像300中檢測(cè)的光流以箭頭指示，并且以箭頭頂端的白色圓 圈指示通過(guò)光流檢測(cè)的角落點(diǎn)。這里，角落點(diǎn)303到305是對(duì)應(yīng)于圖6B和6C中所示的角 落點(diǎn)333到335的角落點(diǎn)。此外，角落點(diǎn)306到311是關(guān)于在馬圖像301的背景上布置的 旗子而檢測(cè)的角落點(diǎn)。這些旗子在風(fēng)中飄揚(yáng)，相應(yīng)地，由于風(fēng)的影響而導(dǎo)致的每個(gè)旗子的運(yùn) 動(dòng)已經(jīng)被檢測(cè)為光流。也就是說(shuō)，對(duì)應(yīng)于角落點(diǎn)306到311的光流是關(guān)于不管相機(jī)運(yùn)動(dòng)與 否都移動(dòng)的旗子檢測(cè)的光流。因此，在計(jì)算仿射變換參數(shù)的情況下中使用的三個(gè)光流包括 與角落點(diǎn)306到311的至少一個(gè)角落點(diǎn)對(duì)應(yīng)的光流的情況下，難以精確地檢測(cè)相機(jī)的運(yùn)動(dòng)。 在此情況下，難以計(jì)算精確的仿射變換參數(shù)。 如上所述，例如，從在一些情況下成像的圖像檢測(cè)關(guān)于不管相機(jī)運(yùn)動(dòng)與否都移動(dòng) 的對(duì)象的光流(對(duì)應(yīng)于圖5B中所示的角落點(diǎn)306到311的光流)。此外，從在一些情況下 成像的圖像檢測(cè)具有與相機(jī)的運(yùn)動(dòng)有關(guān)的特定規(guī)律性的光流(除對(duì)應(yīng)于圖5B中所示的角 落點(diǎn)306到311的光流以外的光流)。 因此，利用本發(fā)明第一實(shí)施例，仿射變換參數(shù)計(jì)算處理執(zhí)行多次，其中基于三個(gè)光 流計(jì)算仿射變換參數(shù)，從而獲得多個(gè)仿射變換參數(shù)。將關(guān)于這樣的示例進(jìn)行描述，其中從該 多個(gè)仿射變換參數(shù)選擇最佳仿射變換參數(shù)。注意，利用該示例，設(shè)構(gòu)成運(yùn)動(dòng)畫(huà)面的每個(gè)圖像 中包括的移動(dòng)對(duì)象的大小關(guān)于圖像的區(qū)域相對(duì)較小。 現(xiàn)在，將關(guān)于仿射變換進(jìn)行描述。在二維坐標(biāo)上移動(dòng)源的位置設(shè)置為(x，y)、并且 仿射變換后的移動(dòng)目的地的位置設(shè)置為(x'，y')的情況下，仿射變換的矩陣表達(dá)可用表達(dá) 式1來(lái)表示。注意，表達(dá)式1的右側(cè)的3X3的矩陣是仿射矩陣。
<formula>formula see original document page 18</formula>
這里，a到f是仿射變換參數(shù)。此外，仿射變換參數(shù)可用以仿射變換參數(shù)作為矩陣 AM的下述表達(dá)式表示。注意，可分別獲得X方向上的變焦分量XZ、Y方向上的變焦分量YZ、 X方向上的平移分量XT、Y方向上的平移分量YT、X方向上的旋轉(zhuǎn)分量9x、以及Y方向上的 旋轉(zhuǎn)分量9 y。注意，在單位矩陣的情況下，保持a二e二l、以及b二c二d二f二0。
<formula>formula see original document page 18</formula>
移分i
(X和Y方向上的變焦分量、平
因此，可從仿射變換參數(shù)獲得相機(jī)工作的每個(gè)分j 、旋轉(zhuǎn)分量)。注意，將參照?qǐng)D7描述旋轉(zhuǎn)分量。
圖7是圖示使用仿射變換參數(shù)變換矩形340的情況的圖。如圖7所示，設(shè)矩形340 的一個(gè)頂點(diǎn)為原點(diǎn)，并且利用x-y坐標(biāo)，其中與對(duì)應(yīng)于原點(diǎn)的頂點(diǎn)相鄰的矩形340的兩邊被 取為x軸和y軸，使用預(yù)定的仿射變換參數(shù)變換矩形340后獲得的矩形被取為矩形341 。在 此情況下，設(shè)通過(guò)矩形340和341的x軸側(cè)上的各邊形成的角度是旋轉(zhuǎn)分量9 x，并且通過(guò) 矩形340和341的y軸側(cè)上的各邊形成的角度是旋轉(zhuǎn)分量9 y。 接下來(lái)，將描述用于計(jì)算相機(jī)工作分量的和值的方法。相機(jī)工作分量的和值是通 過(guò)將與從用作計(jì)算目標(biāo)的圖像合成目標(biāo)部分的頂部幀到用作計(jì)算目標(biāo)的當(dāng)前幀的每個(gè)幀 相對(duì)應(yīng)的相機(jī)工作的每個(gè)分量相加而獲得的值。例如，設(shè)從頂部幀到當(dāng)前幀的幀被取為幀 1到5，并且?guī)?到5的相機(jī)工作分量的X方向上的平移分量被取為XT1到XT5。在此情況 下，相機(jī)工作分量的X方向上的平移分量的和值可通過(guò)"XT1+XT2+XT3+XT4+XT5"計(jì)算。此 外，另一相機(jī)工作的每個(gè)分量的和值可以相同方式計(jì)算。 接下來(lái)，將描述用于計(jì)算仿射變換參數(shù)的方法。首先，利用與作為構(gòu)成運(yùn)動(dòng)畫(huà)面的 幀的一個(gè)幀的當(dāng)前幀對(duì)應(yīng)的圖像，從已經(jīng)檢測(cè)其光流的特征點(diǎn)選擇三個(gè)特征點(diǎn)。例如，從在 圖5B所示的圖像300中檢測(cè)的角落點(diǎn)(以白色圓圈指示)隨機(jī)選擇三個(gè)角落點(diǎn)。注意，在 投射變換參數(shù)用作相機(jī)工作參數(shù)的情況下，隨機(jī)選擇四個(gè)特征點(diǎn)。 隨后，使用與選擇的三個(gè)特征點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì)算仿射變換參數(shù)。例如，使用與 從圖5B所示的圖像300中的角落點(diǎn)(以白色圓圈指示)選擇的三個(gè)角落點(diǎn)對(duì)應(yīng)的光流(以 連接到白色圓圈的箭頭指示)計(jì)算仿射變換參數(shù)。可使用表達(dá)式1獲得仿射變換參數(shù)。
隨后，基于獲得的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù)。具體地，使用獲得的 仿射變換參數(shù)，獲得與當(dāng)前幀的緊接在前面的幀對(duì)應(yīng)的圖像中的所有特征點(diǎn)的運(yùn)動(dòng)目的地 的位置。隨后，比較使用仿射變換參數(shù)獲得的特征點(diǎn)的位置、以及在當(dāng)前幀檢測(cè)的特征點(diǎn)的位置，并且對(duì)每個(gè)特征點(diǎn)計(jì)算彼此相對(duì)應(yīng)的兩個(gè)特征點(diǎn)的位置的差值。例如，彼此相對(duì)應(yīng)的 兩個(gè)特征點(diǎn)的位置之間的絕對(duì)距離被計(jì)算為差值。隨后，對(duì)每個(gè)特征點(diǎn)比較計(jì)算的差值和 預(yù)定的閾值，并且其差值小于閾值的特征點(diǎn)的數(shù)量被獲得為仿射變換參數(shù)的分?jǐn)?shù)。因此，從 已經(jīng)檢測(cè)其光流的特征點(diǎn)隨機(jī)選擇三個(gè)特征點(diǎn)。隨后，處理重復(fù)預(yù)定次數(shù)，其中基于與這些 特征點(diǎn)對(duì)應(yīng)的光流計(jì)算仿射變換參數(shù)的分?jǐn)?shù)，從而計(jì)算仿射變換參數(shù)的多個(gè)分?jǐn)?shù)。該預(yù)定 次數(shù)可根據(jù)要比較的圖像的類(lèi)型、圖像處理裝置100的處理能力等適當(dāng)?shù)卦O(shè)置，或可使用 固定值。例如，在考慮圖像處理裝置100的處理能力的情況下，二十次等可設(shè)置為該預(yù)定次 數(shù)。 例如，考慮這樣的情況，其中已經(jīng)從自圖5B所示的圖像300檢測(cè)的角落點(diǎn)選擇除 角落點(diǎn)306到311以外的三個(gè)角落點(diǎn)。在使用與選擇的三個(gè)角落點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì)算仿 射變換參數(shù)的情況下，如上所述，這三個(gè)光流具有特定規(guī)律性。因此，獲得用于根據(jù)一定規(guī) 則變換與緊接在前面的幀對(duì)應(yīng)的圖像的仿射變換參數(shù)。此外，相對(duì)小的值被計(jì)算為使用仿 射變換參數(shù)獲得的角落點(diǎn)的位置、和在當(dāng)前幀檢測(cè)的角落點(diǎn)的位置之間的差值，其關(guān)于除 角落點(diǎn)306到311以外的角落點(diǎn)的獲得。因此，仿射變換參數(shù)的分?jǐn)?shù)變?yōu)榇蟮闹怠?
另一方面，考慮這樣的情況，其中已經(jīng)從圖5B所示的圖像300選擇包括角落點(diǎn)306 到311的至少一個(gè)的三個(gè)角落點(diǎn)。在使用與由此選擇的三個(gè)角落點(diǎn)對(duì)應(yīng)的三個(gè)光流計(jì)算仿 射變換參數(shù)的情況下，如上所述，這三個(gè)光流包括沒(méi)有特定規(guī)律性的光流。因此，獲得不用 于根據(jù)一定規(guī)則變換與緊接在前面的幀對(duì)應(yīng)的圖像的仿射變換參數(shù)。此外，在任意角落點(diǎn) 計(jì)算相對(duì)大的值，作為關(guān)于使用仿射變換參數(shù)獲得的角落點(diǎn)的位置、以及在當(dāng)前幀檢測(cè)的 角落點(diǎn)的位置獲得的差值。因此，仿射變換參數(shù)的分?jǐn)?shù)變?yōu)樾〉闹怠?隨后，在獲得的多個(gè)仿射變換參數(shù)的分?jǐn)?shù)中，具有最高分?jǐn)?shù)值的仿射變換參數(shù)被 選擇為代表仿射變換參數(shù)。隨后，選擇的代表仿射變換參數(shù)用于以緊接在前面的幀作為參 考幀、計(jì)算用于使當(dāng)前幀經(jīng)歷仿射變換的仿射變換參數(shù)，并且仿射變換參數(shù)以與當(dāng)前幀相 關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中。因此，在構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像經(jīng)歷仿射變換的情 況下，可使用最佳仿射變換參數(shù)使該圖像經(jīng)歷仿射變換。 此外，利用本發(fā)明第一實(shí)施例，使用由此選擇的代表仿射變換參數(shù)的分?jǐn)?shù)計(jì)算可
靠度確定分?jǐn)?shù)。例如，在用作代表仿射變換參數(shù)的、圖像的整個(gè)屏幕檢測(cè)的特征點(diǎn)的數(shù)量被
取為N、并且代表仿射變換參數(shù)的分?jǐn)?shù)取為Nml的情況下，可用下面的表達(dá)式計(jì)算可靠度確
定分?jǐn)?shù)SHS。 SHS = Nml/N 這里，代表仿射變換參數(shù)的分?jǐn)?shù)Nml是在要檢測(cè)的圖像的整個(gè)屏幕展現(xiàn)支配運(yùn)動(dòng) 的特征點(diǎn)的數(shù)量。此外，特征點(diǎn)的數(shù)量N變?yōu)檎宫F(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的數(shù)量Nml、和其他特 征點(diǎn)(展現(xiàn)噪聲狀運(yùn)動(dòng)的特征點(diǎn))的數(shù)量Nm2的總值(S卩，N = Nml+Nm2)。此外，值0到1 計(jì)算為可靠度確定分?jǐn)?shù)SHS。 由此計(jì)算的可靠度確定分?jǐn)?shù)以與當(dāng)前幀相關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210 中。使用該可靠度確定分?jǐn)?shù)從運(yùn)動(dòng)畫(huà)面選擇圖像合成目標(biāo)部分。 如上所述，即使在如人或車(chē)等的移動(dòng)的物體(移動(dòng)物體)包括在構(gòu)成運(yùn)動(dòng)畫(huà)面的 每個(gè)圖像中的情況下，在其移動(dòng)物體的大小相對(duì)于圖像的面積相對(duì)小的情況下，可提取相 機(jī)的運(yùn)動(dòng)，而不受移動(dòng)物體的影響。
此外，提取相機(jī)的運(yùn)動(dòng)，從而可估計(jì)被認(rèn)為是用戶(hù)有意的移動(dòng)的運(yùn)動(dòng)(如放大、縮 小、搖動(dòng)、傾斜、旋轉(zhuǎn)等)。注意，利用表達(dá)式l，可基于兩個(gè)光流計(jì)算仿射變換參數(shù)，其中a =e并且d = -b。例如，在圖像經(jīng)歷使用基于三個(gè)光流計(jì)算的仿射變換參數(shù)的仿射變換的 情況下，在一些情況下將矩形圖像變換為平行四邊形。另一方面，在圖像經(jīng)歷使用基于兩個(gè) 光流計(jì)算的仿射變換參數(shù)的仿射變換的情況下，在矩形圖像狀態(tài)下可執(zhí)行平移運(yùn)動(dòng)、旋轉(zhuǎn) 和變焦的至少一個(gè)變換(x和y方向上的變焦比是相同的)。利用本發(fā)明第一實(shí)施例，將關(guān) 于這樣的示例進(jìn)行描述，其中使用基于三個(gè)光流計(jì)算的仿射變換參數(shù)變換圖像。然而，本發(fā) 明的第一實(shí)施例可類(lèi)似地應(yīng)用到這樣的情況，其中使用基于兩個(gè)光流計(jì)算的仿射變換參數(shù) 變換圖像。 面部表情評(píng)估值的計(jì)算示例 接下來(lái)，將參照附圖詳細(xì)描述面部表情評(píng)估值計(jì)算方法，其中計(jì)算關(guān)于從圖像檢 測(cè)的面部的面部表情評(píng)估值。 圖8是示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的面部檢測(cè)單元130的面部檢測(cè)方 法的圖。在圖8中，(a)和(b)圖示構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的圖像 450。此外，設(shè)人451的面部452包括在圖像450中。因此，在面部452包括在圖像450中 的情況下，通過(guò)面部檢測(cè)單元130從圖像450檢測(cè)面部452。注意，在圖8中，將關(guān)于其中使 用面部檢測(cè)參考數(shù)據(jù)執(zhí)行面部檢測(cè)的情況作為示例進(jìn)行描述。 例如，如圖8(a)所示，具有一定大小的面部檢測(cè)窗口 453布置在圖像450的左上 角，并且基于面部檢測(cè)參考數(shù)據(jù)計(jì)算用于確定面部是否包括在面部檢測(cè)窗口 453內(nèi)的圖像 中的估計(jì)。隨后，面部檢測(cè)窗口在右側(cè)方向(以箭頭454指示的方向)偏移一個(gè)像素，并且 類(lèi)似地計(jì)算估計(jì)。此后，以相同方式，面部檢測(cè)窗口在右側(cè)方向上順序地一次偏移一個(gè)像 素，從而順序計(jì)算估計(jì)。隨后，在面部檢測(cè)窗口偏移到圖像450的右邊緣位置、并且計(jì)算了 估計(jì)時(shí)，面部檢測(cè)窗口向下端偏移一像素，并且移動(dòng)到圖像450的左邊緣。隨后，在計(jì)算緊 接在移動(dòng)到圖像450的左邊緣之后的估計(jì)后，面部檢測(cè)窗口在右側(cè)方向順序地一次偏移一 個(gè)像素，從而順序計(jì)算估計(jì)。此后，以相同方式，順序計(jì)算估計(jì)。在面部檢測(cè)窗口偏移到圖 像450的右下邊緣位置、并且計(jì)算了估計(jì)時(shí)，通過(guò)預(yù)定比例(scale)因子減小面部檢測(cè)窗 口，并且順序執(zhí)行相同的處理。因此，具有一定大小的面部檢測(cè)窗口用于關(guān)于要順序減小的 圖像450順序執(zhí)行估計(jì)的計(jì)算。隨后，基于計(jì)算的每個(gè)估計(jì)檢測(cè)面部，并且獲得作為至少包 括該面部的一部分的矩形區(qū)域的面部區(qū)域。例如，如圖8(b)所示，檢測(cè)圖像450中包括的 人451的面部452，并且獲得包括面部452的面部區(qū)域455。此外，獲得關(guān)于檢測(cè)的面部的 面部檢測(cè)信息(面部的位置、大小等)。例如，如圖8(c)所示，設(shè)置x-y坐標(biāo)，其中圖像450 的左上角取為原點(diǎn)，水平方向取為x軸，并且垂直方向取為y軸。利用x-y坐標(biāo)，以面部區(qū) 域455的左上角作為原點(diǎn)的頂點(diǎn)456的坐標(biāo)(x， y)計(jì)算為面部的位置。類(lèi)似地，利用x-y 坐標(biāo)，面部區(qū)域455的水平方向的長(zhǎng)度W、以及面部區(qū)域455的垂直方向的長(zhǎng)度H計(jì)算為面 部的大小。面部檢測(cè)單元130將這樣的面部檢測(cè)信息輸出到面部表情評(píng)估值計(jì)算單元140 和記錄控制單元150。 隨后，面部表情評(píng)估值計(jì)算單元140基于從面部檢測(cè)單元130輸出的面部檢測(cè)信 息，從圖像450提取面部區(qū)域455的圖像(圖像數(shù)據(jù))。也就是說(shuō)，面部表情評(píng)估值計(jì)算單 元140訪問(wèn)存儲(chǔ)器(RAM)，其中暫時(shí)存儲(chǔ)了用作面部檢測(cè)目標(biāo)的圖像數(shù)據(jù)，并且僅讀出對(duì)應(yīng)于從面部檢測(cè)單元130輸出的面部檢測(cè)信息的面部區(qū)域內(nèi)的圖像數(shù)據(jù)。 隨后，面部表情評(píng)估值計(jì)算單元140將提取的圖像變換為一定大小的圖像，并且
對(duì)其規(guī)范化以生成規(guī)范化的面部圖像。也就是說(shuō)，提取的圖像經(jīng)歷分辨率轉(zhuǎn)換，作為一定大
小(一定分辨率)的圖像，從而生成規(guī)范化的面部圖像。設(shè)規(guī)范化后的圖像大小是用作當(dāng)
面部表情評(píng)估值計(jì)算單元140計(jì)算關(guān)于面部的面部表情評(píng)估值時(shí)的處理單元的大小。利用
本發(fā)明第一實(shí)施例，例如，設(shè)用于規(guī)范化的一定大小是48像素X48像素的大小。 隨后，面部表情評(píng)估值計(jì)算單元140基于規(guī)范化的面部圖像和判別軸信息存儲(chǔ)單
元141中存儲(chǔ)的判別軸信息，計(jì)算指示規(guī)范化的面部圖像中包括的面部表情的程度的面部
表情評(píng)估值。該計(jì)算的面部表情評(píng)估值輸出到記錄控制單元150。該面部表情評(píng)估值是指
示要確定的面部表情類(lèi)似于兩個(gè)不同的面部表情中的哪個(gè)的程度的值。利用本發(fā)明第一實(shí)
施例，將關(guān)于這樣的示例進(jìn)行描述，其中兩個(gè)不同的面部表情是"笑臉"和"正常面部表情"，
并且做出評(píng)估隨著計(jì)算的面部表情評(píng)估值增加、要確定的面部表情是"笑臉"的程度強(qiáng)。另
一方面，做出評(píng)估隨著計(jì)算的面部表情評(píng)估值減小，要確定的面部表情是"正常面部表情"
的程度強(qiáng)。注意，將關(guān)于圖9到12詳細(xì)描述該面部表情評(píng)估值計(jì)算方法。 圖9是概念性圖示用于計(jì)算面部表情評(píng)估值的判別軸信息、以及在生成該判別軸
信息時(shí)的流程的圖。 利用本發(fā)明第一實(shí)施例，將關(guān)于使用Fisher的線(xiàn)性判別分析的面部表情評(píng)估值 計(jì)算方法作為示例進(jìn)行描述。利用該面部表情評(píng)估值計(jì)算方法，首先，預(yù)先準(zhǔn)備包括兩個(gè)不 同面部表情中的一個(gè)的大量采樣圖像。隨后，考慮作為兩個(gè)不同面部表情之間的兩類(lèi)問(wèn)題， 基于這些采樣圖像的數(shù)據(jù)執(zhí)行線(xiàn)性判別分析(LDA)。因此，形成判別軸466(如圖9(c)所 示)，其中這兩個(gè)不同的面部表情被很好地判別。隨后，該判別軸466存儲(chǔ)在判別軸信息存 儲(chǔ)單元141中。此外，在面部表情評(píng)估時(shí)，通過(guò)獲得要評(píng)估的面部圖像的數(shù)據(jù)和判別軸466 之間的內(nèi)積計(jì)算面部表情評(píng)估值。下面將參照附圖具體進(jìn)行描述。 利用本發(fā)明第一實(shí)施例，為了使用"笑臉"作為特定面部表情，將關(guān)于笑臉采樣圖 像和正常面部表情采樣圖像用作關(guān)于兩個(gè)不同面部表情的采樣圖像的情況作為示例進(jìn)行 描述。在圖9中，(a)圖示作為笑臉采樣圖像組461的笑臉采樣圖像組，并且圖示作為正常 面部表情采樣圖像組462的正常面部表情采樣圖像組。設(shè)采樣圖像組461和462中包括 的每個(gè)采樣圖像是被規(guī)范化、使得面部變?yōu)橐欢ù笮〉木匦螆D像內(nèi)的一定大小(例如，48 像素X48像素)的圖像。采樣圖像組461和462中包括的每個(gè)采樣圖像的數(shù)據(jù)被處理為 48 X 48維矢量數(shù)據(jù)，從而執(zhí)行LDA處理。 這里，處理48X48維矢量數(shù)據(jù)的矢量空間是包括48X48坐標(biāo)軸的極高維空間。因 此，在執(zhí)行LDA處理之前，關(guān)于48 X 48維矢量數(shù)據(jù)執(zhí)行主分量分析(PCA)。隨后，將48 X 48 維矢量數(shù)據(jù)轉(zhuǎn)換(維度壓縮)為僅有效地表示面部的特征的低維空間數(shù)據(jù)。
利用該P(yáng)CA處理，考慮獲得M軸，使得M(例如，M = 300)N維(N = 48X48)輸入 采樣圖像組之間的不規(guī)律性(分散)變得最大。這樣的軸可作為關(guān)于采樣圖像組的協(xié)方差 矩陣的特征值問(wèn)題的解(特征矢量)而獲得。隨后，僅具有相對(duì)大系數(shù)的矢量分量提取為 主分量，從而48X48維矢量數(shù)據(jù)可維度壓縮為僅包括適于表示面部的特征的矢量分量的 N'維(N > N')數(shù)據(jù)。例如，已經(jīng)理解通過(guò)設(shè)置N' = 40等維持關(guān)于面部表情判別的足夠 精度。注意，在PCA處理獲得的主分量中，按系數(shù)遞減順序消除若干主分量，從而維數(shù)進(jìn)一步減少，同時(shí)維持面部表情判別精度，因此，可減少下一 PCA處理的負(fù)載。 現(xiàn)在，將參照?qǐng)D10詳細(xì)描述在PCA處理時(shí)要輸入的采樣圖像的遮蓋處理。 圖10是示意性圖示根據(jù)本發(fā)明第一實(shí)施例、在PCA處理時(shí)要輸入的采樣圖像的遮
蓋處理的圖。在圖10中，(a)圖示屬于笑臉采樣圖像組461的采樣圖像470。笑臉475包
括在采樣圖像470中。注意，如上所述，采樣圖像470是規(guī)范化為矩形形狀使得面部475變
為一定大小的圖像。 現(xiàn)在，如圖10(a)所示，在采樣圖像470按原樣用來(lái)執(zhí)行PCA處理的情況下，在一 些情況下，由于如面部475的背景、以及頭發(fā)等的影響，阻礙了適當(dāng)?shù)闹鞣至康倪x擇。因此， 如圖10 (b)所示，除了面部475的皮膚以外的區(qū)域用遮蓋472覆蓋，從而覆蓋采樣圖像470， 使得僅保留皮膚部分的面部區(qū)域。注意，在圖10(b)和(c)的情況下，遮蓋472和474的區(qū) 域用陰影部分指示。在面部的信息密度增強(qiáng)的狀態(tài)下，圖10(b)所示的轉(zhuǎn)換后的采樣圖像 471經(jīng)歷PCA處理，從而可執(zhí)行更高精度的維度壓縮。注意，在面部區(qū)域中，根據(jù)面部表情， 嘴極大地改變，因此，嘴經(jīng)常變?yōu)楦蓴_因子。因此，如圖10(c)所示，面部475的嘴的周?chē)鷧^(qū) 域也用遮蓋474覆蓋，從而采樣圖像470被轉(zhuǎn)換，使得保留除了嘴的周?chē)鷧^(qū)域以外的、皮膚 部分的面部區(qū)域。圖10(c)所示的轉(zhuǎn)換后的采樣圖像473用于執(zhí)行PCA處理，從而可以增 強(qiáng)維度壓縮的精度。因此，在本發(fā)明第一實(shí)施例的情況下，將關(guān)于在PCA處理時(shí)要輸入的采 樣圖像經(jīng)歷圖10(c)所示的遮蓋處理的情況作為示例進(jìn)行描述。 現(xiàn)在，設(shè)圖9 (b)和(c)所示的PCA空間465是僅包括有效地表示采樣圖像中包括 的面部的特征的坐標(biāo)軸的部分空間。 屬于已經(jīng)通過(guò)上述PCA處理維度壓縮的笑臉采樣圖像組461或正常面部表情采樣 圖像組462的每個(gè)采樣圖像被轉(zhuǎn)換為PCA空間465上的矢量數(shù)據(jù)，如圖9 (b)所示，其示意 性圖示了這樣的狀態(tài)，其中屬于笑臉采樣圖像組461或正常面部表情采樣圖像組462的每 個(gè)采樣圖像投射到PCA空間465上。如圖9(b)所示，在屬于同一采樣圖像組的采樣圖像投 射到PCA空間465上的情況下，采樣圖像之間的距離是相對(duì)近的距離。因此，在屬于笑臉采 樣圖像組461的采樣圖像投射到PCA空間465之后，通過(guò)其采樣圖像形成的簇取為簇463。 此外，在屬于正常面部表情采樣圖像組462的采樣圖像投射到PCA空間465之后，通過(guò)其采 樣圖像形成的簇取為簇464。通過(guò)LDA處理形成適當(dāng)?shù)胤蛛x簇463和464的投射軸(判別 軸466)。這樣的判別軸466稱(chēng)為"Fisher投射軸"。 通常，根據(jù)LDA處理，獲得判別軸，使得投射到N'維特征矢量上的簇內(nèi)和簇間的分 散變?yōu)樽畲?。也就是說(shuō)，獲得對(duì)應(yīng)于簇內(nèi)和簇間的每個(gè)協(xié)方差矩陣的最大特征值的特征矢 量，并且其取為判別軸466上的矢量(Fisher矢量)。每個(gè)協(xié)方差矩陣和特征值/特征矢量 之間的關(guān)系如表達(dá)式11和12所示。<formula>formula see original document page 22</formula>表達(dá)式ll <formula>formula see original document page 22</formula>表達(dá)式12 Fisher矢量:^ 4關(guān)于最大特征值入max的特征矢量^
d " max 這里，Rw表示簇內(nèi)協(xié)方差矩陣，Re表示簇間協(xié)方差矩陣，并且A表示特征值。此
外，關(guān)于表達(dá)式12的逆矩陣、特征值、和特征矢量的計(jì)算，可分別采用下-上(lower-upper,LU)分解方法、QR分解方法(Q :正交矩陣，R :上三角矩陣)和高斯消除。如Fisher矢量的
每個(gè)分量的系數(shù)等的信息存儲(chǔ)在判別軸信息存儲(chǔ)單元141中，作為由此計(jì)算的判別軸466
的信息。也就是說(shuō)，判別軸466的信息是包括指示面部表情的判別軸的矢量的系數(shù)的信息，
通過(guò)基于信號(hào)分量執(zhí)行線(xiàn)性判別分析獲得該面部表情的判別軸，從關(guān)于兩個(gè)不同面部表情
等的大量面部采樣圖像的圖像數(shù)據(jù)中通過(guò)主分量分析獲得該信號(hào)分量。 圖11是示意性圖示在像素空間和PCA空間中的判別軸和要評(píng)估的面部圖像之間
的關(guān)系的圖。 在使用圖9(c)所示的判別軸466計(jì)算面部表情評(píng)估值的情況下，首先，從成像的 圖像檢測(cè)的面部(面部圖像)的圖像數(shù)據(jù)經(jīng)歷PCA處理以提取主分量。對(duì)應(yīng)于其圖像數(shù)據(jù) 的面部圖像的面部表情被評(píng)估為關(guān)于經(jīng)歷PCA處理的面部圖像矢量(輸入的面部圖像矢 量)的判別軸466 (矢量Ad)的投射分量，如圖11中的PCA空間465中所示。也就是說(shuō)，如 表達(dá)式15所示，面部表情評(píng)估值E，可通過(guò)輸入面部圖像矢量和Fisher矢量之間的內(nèi)積 而計(jì)算。
<formula>formula see original document page 23</formula>:像素空間上的面部圖像矢量、 idj)xl:像素空間上的F i sher矢量 A,…,^,:主分量的矢量 gexp :面部表情評(píng)估值 & : PCA處理后的面部圖像矢量
、in_pc3 y Fisher矢量的信息可轉(zhuǎn)換為像素空間Spxl (PCA處理之前的原始圖像數(shù)據(jù)具有的 維度空間)上的信息。表達(dá)式13和14是表示作為像素空間Spxl上的矢量的Fisher矢量 和輸入面部圖像矢量的表達(dá)式。圖ll概念性圖示了用表達(dá)式13和14表示的關(guān)系。如表 達(dá)式13、14和11所示，通過(guò)PCA處理獲得的除主分量i^到y(tǒng)『之外的矢量分量可用作為 所有輸入圖像的平均值的常數(shù)C近似。因此，如表達(dá)式15所示的內(nèi)積計(jì)算可等效地表示為 像素空間Spxl上的矢量?jī)?nèi)積計(jì)算，如表達(dá)式16所示。 如表達(dá)式16所示，可預(yù)先計(jì)算像素空間Spxl上的Fisher矢量分量和常數(shù)C之間的減法結(jié)果。因此，該減法結(jié)果和常數(shù)C存儲(chǔ)在判別軸信息存儲(chǔ)單元141中，作為判別軸信 息。隨后，面部表情評(píng)估值計(jì)算單元140計(jì)算從成像的圖像檢測(cè)的面部圖像的矢量，此后執(zhí) 行表達(dá)式16的內(nèi)積計(jì)算，而不使該矢量經(jīng)歷PCA處理。這里，關(guān)于通過(guò)表達(dá)式16對(duì)一個(gè)面 部的面部表情評(píng)估值的計(jì)算，減法、乘法和加法最多執(zhí)行48X48次，并且實(shí)際上，僅執(zhí)行對(duì) 應(yīng)于大約40個(gè)主分量y工到y(tǒng) N，的系數(shù)的計(jì)算。因此，與對(duì)PCA空間465執(zhí)行矢量?jī)?nèi)積計(jì) 算的情況相比，計(jì)算量可以極大地減小，而不劣化面部表情評(píng)估的精度，并且在記錄成像的 圖像之前，可以以場(chǎng)角匹配狀態(tài)容易地計(jì)算面部表情評(píng)估值Erap。 采用了這樣的面部表情評(píng)估值計(jì)算方法，由此例如與通過(guò)大量面部圖像模板和檢 測(cè)的面部圖像之間的匹配來(lái)評(píng)估面部表情的面部表情評(píng)估方法相比，可以高精度執(zhí)行面部 表情評(píng)估，同時(shí)減少處理負(fù)載。例如，在使用模板執(zhí)行匹配的情況下，通常，需要從檢測(cè)的面 部圖像提取如眼、嘴等的部分，以對(duì)每個(gè)部分執(zhí)行匹配處理。另一方面，利用用于本發(fā)明第 一實(shí)施例的面部表情評(píng)估值計(jì)算方法，在檢測(cè)的面部規(guī)范化到一定大小之后，其面部圖像 用矢量信息替代，從而這可按原樣(或部分遮蓋地)應(yīng)用到內(nèi)積計(jì)算。其內(nèi)積計(jì)算可以簡(jiǎn) 化為包括大約40維減法、乘法和加法的簡(jiǎn)單計(jì)算。 圖12是圖示在根據(jù)本發(fā)明第一實(shí)施例的面部表情評(píng)估值輸出為數(shù)值的情況下的 計(jì)算示例的圖。 利用本發(fā)明第一實(shí)施例，例如，基于采樣圖像的PCA處理，獲得PCA空間上的笑臉 圖像的分布481的平均482、以及PCA空間上的正常面部表情面部圖像的分布483的平均 484。隨后，確定關(guān)于平均482和484的判別軸466的投射點(diǎn)。隨后，以平均482和484的 投射點(diǎn)的中點(diǎn)485作為參考，將面部表情評(píng)估值E⑩轉(zhuǎn)換為數(shù)值。也就是說(shuō)，如圖12所示， 關(guān)于面部圖像的判別軸466的投射點(diǎn)486、以及平均482和484的投射點(diǎn)的中點(diǎn)485之間的 距離取為面部表情評(píng)估值E，，并且笑臉采樣圖像分布的一側(cè)取為正數(shù)值。因此，檢測(cè)的面 部圖像類(lèi)似于笑臉還是正常面部表情可輸出為連續(xù)的數(shù)值。在此情況下，根據(jù)面部表情評(píng) 估值E，的增加，笑臉的程度評(píng)估為高。此外，在已經(jīng)通過(guò)面部檢測(cè)單元130從一個(gè)圖像檢 測(cè)多個(gè)面部的情況下，通過(guò)面部表情評(píng)估值計(jì)算單元140關(guān)于這些面部的每個(gè)面部執(zhí)行面 部表情評(píng)估值的計(jì)算。隨后，關(guān)于其每個(gè)面部計(jì)算的面部表情評(píng)估值存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單 元210中。 圖像處理裝置的操作示例 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的操作。圖 13是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的元數(shù)據(jù)記錄處理的過(guò)程的流 程圖。 首先，運(yùn)動(dòng)畫(huà)面文件輸入到運(yùn)動(dòng)畫(huà)面輸入單元110(步驟S901)。隨后，解碼輸入到 運(yùn)動(dòng)畫(huà)面輸入單元110的運(yùn)動(dòng)畫(huà)面文件，獲得按時(shí)間序列順序的一幀的圖像(步驟S902)。 面部檢測(cè)單元130執(zhí)行關(guān)于獲得的一幀的面部檢測(cè)處理(步驟S903)。面部表情評(píng)估值計(jì)算 單元140執(zhí)行關(guān)于通過(guò)面部檢測(cè)處理檢測(cè)的面部的面部表情評(píng)估值計(jì)算處理(步驟S904)。
隨后，確定獲得的一幀是否是輸入到運(yùn)動(dòng)畫(huà)面輸入單元110的運(yùn)動(dòng)畫(huà)面文件的頂 部幀(步驟S905)。在獲得的一幀是頂部幀的情況下(步驟S905)，從對(duì)應(yīng)于該頂部幀的整 個(gè)圖像提取特征點(diǎn)(步驟S906)。隨后，單位矩陣的仿射變換參數(shù)被選擇為仿射變換參數(shù) (步驟S907) ， " 1. 0"計(jì)算為可靠度確定分?jǐn)?shù)，并且流程進(jìn)行到步驟S913。
另一方面，在獲得的一個(gè)幀是頂部幀的情況下(步驟S905)，以對(duì)應(yīng)于緊接在前面的幀的圖像作為參考，從新成像的區(qū)域提取特征點(diǎn)(步驟S905)。也就是說(shuō)，可通過(guò)對(duì)應(yīng)于該特征點(diǎn)的光流獲得已經(jīng)用對(duì)應(yīng)于緊接在前面的幀的圖像提取的特征點(diǎn)，因此，不用對(duì)應(yīng)于當(dāng)前幀的圖像提取該特征點(diǎn)。隨后，保持對(duì)應(yīng)于緊接在前面的幀的整個(gè)圖像的特征點(diǎn)的數(shù)量(步驟S910)。 隨后，計(jì)算關(guān)于從與緊接在前面的幀對(duì)應(yīng)的圖像提取的每個(gè)特征點(diǎn)的光流(步驟S911)。相機(jī)工作參數(shù)計(jì)算單元123執(zhí)行仿射變換參數(shù)計(jì)算處理(步驟S920)。將參照?qǐng)D14詳細(xì)描述該仿射變換參數(shù)計(jì)算處理。注意，步驟S920是發(fā)明內(nèi)容中所指的計(jì)算過(guò)程的示例。 隨后，基于保持的整個(gè)圖像中的特征點(diǎn)的數(shù)量以及選擇的代表仿射變換參數(shù)的分?jǐn)?shù)，計(jì)算可靠度確定分?jǐn)?shù)(步驟S912)。關(guān)于當(dāng)前幀獲得的每條元數(shù)據(jù)以與當(dāng)前幀相關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中(步驟S913)。注意，在當(dāng)前幀是頂部幀的情況下，選擇的單位矩陣的仿射變換參數(shù)以與頂部幀相關(guān)的方式記錄在元數(shù)據(jù)存儲(chǔ)單元210中。隨后，對(duì)應(yīng)于當(dāng)前幀的圖像、以及該圖像的特征點(diǎn)以重寫(xiě)方式存儲(chǔ)(步驟S914)。
隨后，確定當(dāng)前幀是否是輸入到運(yùn)動(dòng)畫(huà)面輸入單元110的運(yùn)動(dòng)畫(huà)面文件的最后幀(步驟S915)。在當(dāng)前幀不是最后幀的情況下(步驟S915)，流程返回到步驟S902，其中重復(fù)元數(shù)據(jù)記錄處理(步驟S902到S914以及S920)。另一方面，在當(dāng)前幀是最后幀的情況下(步驟S915)，元數(shù)據(jù)記錄處理結(jié)束。 圖14是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的元數(shù)據(jù)記錄處理的過(guò)程中包括的仿射變換參數(shù)計(jì)算過(guò)程(圖13中所示的步驟S920的過(guò)程)的流程圖。
首先，變量i初始化為"l"(步驟S921)。隨后，從已經(jīng)檢測(cè)其光流的特征點(diǎn)選擇M個(gè)特征點(diǎn)(步驟S922)。例如，在仿射變換參數(shù)用作相機(jī)工作參數(shù)的情況下，隨機(jī)選擇三個(gè)特征點(diǎn)。此外，在投射變換參數(shù)用作相機(jī)工作參數(shù)的情況下，隨機(jī)選擇四個(gè)特征點(diǎn)。隨后，基于對(duì)應(yīng)于選擇的M個(gè)特征點(diǎn)計(jì)算的M個(gè)光流計(jì)算仿射變換參數(shù)(步驟S923)。
隨后，基于計(jì)算的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù)(步驟S924)。具體地，
計(jì)算的仿射變換參數(shù)用于獲得對(duì)應(yīng)于緊接在前面的幀的圖像的所有特征點(diǎn)的運(yùn)動(dòng)目的地的位置。隨后，比較用其仿射變換參數(shù)獲得的特征點(diǎn)的位置、以及對(duì)應(yīng)于在計(jì)算步驟S911
的光流時(shí)獲得的當(dāng)前幀的圖像的特征點(diǎn)的位置。對(duì)每個(gè)特征點(diǎn)計(jì)算相互對(duì)應(yīng)的兩個(gè)特征點(diǎn)的位置之間的差值。例如，相互對(duì)應(yīng)的兩個(gè)位置之間的絕對(duì)距離計(jì)算為差值。隨后，對(duì)每個(gè)特征點(diǎn)比較計(jì)算的差值和預(yù)定閾值，并且獲得其差值小于閾值的特征點(diǎn)的數(shù)量，作為仿射變換參數(shù)的分?jǐn)?shù)。 隨后，對(duì)變量i加"l"(步驟S925)，并且確定變量i是否大于常數(shù)N(步驟S926)。
在變量i等于或小于常數(shù)N的情況下(步驟S926)，流程返回到步驟S922，其中重復(fù)仿射變
換參數(shù)的分?jǐn)?shù)計(jì)算處理(步驟S922到S925)。例如，20可用作常數(shù)N。 另一方面，在變量i大于常數(shù)N的情況下(步驟S926)，在獲得的仿射變換參數(shù)的
分?jǐn)?shù)中，具有最高分?jǐn)?shù)值的仿射變換參數(shù)選擇為代表仿射變換參數(shù)(步驟S927)。 利用本發(fā)明第一實(shí)施例，已經(jīng)關(guān)于這樣的示例進(jìn)行描述，其中基于從構(gòu)成運(yùn)動(dòng)畫(huà)
面的圖像檢測(cè)的光流，將仿射變換參數(shù)檢測(cè)為相機(jī)工作參數(shù)。然而，例如，為相機(jī)提供如加
速度傳感器或回轉(zhuǎn)儀(gyro)傳感器等的傳感器、在執(zhí)行變焦操作時(shí)使用的變焦按鈕，并且在成像時(shí)相機(jī)的運(yùn)動(dòng)量通過(guò)該傳感器和變焦按鈕檢測(cè)。隨后，可基于相機(jī)的運(yùn)動(dòng)量獲得相機(jī)工作參數(shù)。替代地，可進(jìn)行這樣的安排，其中通過(guò)相機(jī)工作參數(shù)計(jì)算單元123預(yù)先檢測(cè)多個(gè)相機(jī)工作參數(shù)，并且基于在成像時(shí)檢測(cè)的相機(jī)的運(yùn)動(dòng)量，從多個(gè)相機(jī)工作參數(shù)選擇一個(gè)相機(jī)工作參數(shù)。 圖像的仿射變換示例 接下來(lái)，將參照附圖關(guān)于這樣的情況詳細(xì)進(jìn)行描述，其中通過(guò)相機(jī)工作檢測(cè)單元
120計(jì)算的仿射變換參數(shù)用于使構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像經(jīng)歷仿射變換?，F(xiàn)在，為說(shuō)明方便，簡(jiǎn)
化圖15到23中所示的每個(gè)圖像，并且在構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像中，圖示了其圖像之間的運(yùn)動(dòng)
量相對(duì)小的圖像。此外，設(shè)圖15到23中的每個(gè)圖像是通過(guò)合成目標(biāo)圖像選擇單元170選
擇的圖像。此外，示出了隨后的幀重寫(xiě)在時(shí)間軸上的之前的幀上的情況作為示例。 首先，將關(guān)于這樣的情況進(jìn)行描述，其中在通過(guò)相機(jī)成像時(shí)，雖然不變焦，但是以
相機(jī)的位置作為中心，將相機(jī)的鏡頭的方向在四個(gè)方向之一上移動(dòng)。 圖15是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖。圖15圖示在以山為背景對(duì)人400成像的情況下、構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像401到403。此外，該示例圖示這樣的情況，其中用戶(hù)正拍攝圖像，同時(shí)將相機(jī)的鏡頭的方向向用戶(hù)右側(cè)和左側(cè)移動(dòng)。在該示例中，要通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面中包括的人400從右側(cè)移動(dòng)到左側(cè)，并且移動(dòng)到構(gòu)成其運(yùn)動(dòng)畫(huà)面的圖像中的下側(cè)。 圖16是示意性圖示在通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元170選擇的圖像401到403中包括的被攝體的所在地的圖。注意，在圖16(b)和(c)所示的圖像402和403的情況下，對(duì)應(yīng)于之前的幀的圖像用虛線(xiàn)示出。圖16(a)中所示的圖像401與圖15(a)中示出的圖像401相同。此外，圖16(b)中示出的圖像402的實(shí)線(xiàn)部分與圖15(b)中示出的圖像402相同，并且圖16(b)中示出的圖像402的虛線(xiàn)部分與圖16(a)中示出的圖像401的實(shí)線(xiàn)部分相同。此外，圖16(b)中所示的圖像402的箭頭404到406是指示圖像401和402中包括的被攝體的所在地的箭頭。此外，圖16(c)中所示的圖像403的實(shí)線(xiàn)部分與圖15(c)中所示的圖像403相同，并且圖16(c)中所示的圖像403的虛線(xiàn)部分與圖16(b)中所示的圖像402的實(shí)線(xiàn)部分相同。此外，圖16(c)中所示的圖像403的箭頭407到409是指示圖像402和403中包括的被攝體的所在地的箭頭。 如圖16 (b)和(c)所示，圖像中包括的背景的山和人400與相機(jī)的運(yùn)動(dòng)一起移動(dòng)?；谕ㄟ^(guò)該運(yùn)動(dòng)檢測(cè)的每個(gè)光流，可獲得圖像之間的仿射變換參數(shù)。例如，在圖像401取為參考圖像的情況下，將關(guān)于圖像401和402的每個(gè)圖像計(jì)算的仿射變換參數(shù)的仿射矩陣相乘，從而可以獲得用于使圖像402經(jīng)歷仿射變換的仿射變換參數(shù)。此外，關(guān)于圖像401到403的每個(gè)圖像計(jì)算的仿射變換參數(shù)的仿射矩陣相乘，從而可以獲得用于使圖像403經(jīng)歷仿射變換的仿射變換參數(shù)?，F(xiàn)在，設(shè)參考圖像的仿射變換參數(shù)是單位矩陣的仿射變換參數(shù)。
圖17是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220合成圖像的情況下的圖像合成示例的圖。利用該示例，將關(guān)于這樣的情況進(jìn)行描述，其中以圖像401為參考圖像，圖像402和403使用存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中的仿射變換參數(shù)經(jīng)歷仿射變換。 例如，在與圖像401相關(guān)的仿射變換參數(shù)的仿射矩陣取為Al的情況下，圖像變換單元190以頂部幀的圖像401的位置和大小作為參考，通過(guò)矩陣A1使圖像401經(jīng)歷仿射變換。這里，圖像401是參考圖像，因此，Al是單位矩陣。因此，不變換圖像401的位置和大小。 隨后，在合成對(duì)應(yīng)于下一幀的圖像402的情況下，圖像變換單元190使用與圖像402相關(guān)的仿射變換參數(shù)，使圖像402經(jīng)歷仿射變換。例如，設(shè)與圖像402相關(guān)的仿射變換參數(shù)的矩陣是A2。在此情況下，圖像變換單元190以頂部幀的圖像401的位置和大小作為參考，使圖像402通過(guò)矩陣A2經(jīng)歷仿射變換。注意，在圖17(b)所示的示例的情況下，如箭頭415和416所示，僅變換圖像402的位置。隨后，圖像合成單元220將通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像402重寫(xiě)在對(duì)應(yīng)于之前的幀的圖像401上，以便在其上重疊并合成。具體地，在圖像401的區(qū)域中，與圖像402重疊的區(qū)域410通過(guò)圖像402的圖像而重寫(xiě)。此外，在圖像401的區(qū)域中，不與圖像402重疊的區(qū)域411不用圖像402的圖像重寫(xiě)。也就是說(shuō)，在合成對(duì)應(yīng)于第二幀的圖像402的情況下，如圖17(b)所示，創(chuàng)建這樣的圖像，其中合成圖像402的整個(gè)部分以及對(duì)應(yīng)于圖像401的區(qū)域411的部分。 隨后，在顯示對(duì)應(yīng)于第二幀的圖像403的情況下，圖像變換單元190使用與圖像403相關(guān)的仿射變換參數(shù)，使圖像403經(jīng)歷仿射變換。例如，設(shè)對(duì)應(yīng)于圖像403的仿射變換參數(shù)的矩陣是A3。在此情況下，圖像變換單元190以圖像401的位置和大小作為參考，使圖像403通過(guò)矩陣A3經(jīng)歷仿射變換。注意，在圖17(c)所示的圖像的情況下，如箭頭417和418所示，僅變換圖像403的位置。隨后，圖像合成單元220將通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像403重寫(xiě)在對(duì)應(yīng)于之前的幀的圖像401和402的合成圖像上，以便在其上重疊并合成。具體地，在圖像401和402的合成圖像的區(qū)域中，與圖像403重疊的區(qū)域413和414通過(guò)圖像403的圖像而重寫(xiě)。此外，在圖像401和402的合成圖像的區(qū)域中，不與圖像403重疊的區(qū)域411和412與圖像401和402的合成圖像合成。也就是說(shuō)，在合成對(duì)應(yīng)于第三幀的圖像403的情況下，如圖17(c)所示，創(chuàng)建這樣的圖像，其中合成圖像403的整個(gè)部分、對(duì)應(yīng)于圖像401的區(qū)域411的部分、以及對(duì)應(yīng)于圖像402的區(qū)域412的部分。
接下來(lái)，將關(guān)于這樣的情況進(jìn)行描述，其中在通過(guò)相機(jī)成像時(shí)，盡管相機(jī)的鏡頭的方向沒(méi)變，但是已經(jīng)變焦。 圖18是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖。圖18圖示與在以山為
背景對(duì)人420成像的情況下的運(yùn)動(dòng)畫(huà)面中包括的連續(xù)幀對(duì)應(yīng)的圖像421到423。該示例圖
示用戶(hù)在放大的同時(shí)拍攝圖像的情況。在此情況下，通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面中包括的人
420的大小在構(gòu)成其運(yùn)動(dòng)畫(huà)面的圖像上逐漸增加。注意，盡管在一些情況下在變焦時(shí)相機(jī)的
位置在一定程度上移動(dòng)，但是在該示例的情況下，將不考慮相機(jī)的位置的移動(dòng)來(lái)進(jìn)行描述。 圖19是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元170選擇的
圖像421到423中包括的被攝體的所在地的圖。注意，圖19中所示的仿射變換參數(shù)計(jì)算示
例與圖16中所示的仿射變換參數(shù)計(jì)算示例相同，因此，這里將省略其描述。 圖20是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220合成圖像的情況
下的圖像合成示例的圖。注意，圖20所示的圖像合成示例與圖17中所示的圖像合成示例
相同，因此，這里將省略其描述。 接下來(lái)，將關(guān)于這樣的情況進(jìn)行描述，其中，在通過(guò)相機(jī)成像時(shí)，盡管相機(jī)的鏡頭的方向和焦距沒(méi)有變，但是相機(jī)已經(jīng)以光軸作為旋轉(zhuǎn)中心而旋轉(zhuǎn)。 圖21是圖示通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的轉(zhuǎn)換的示例的圖。圖21圖示與在以山為背景對(duì)人440成像的情況下的運(yùn)動(dòng)畫(huà)面中包括的連續(xù)幀對(duì)應(yīng)的圖像441到443。該示例圖 示了這樣的情況，其中用戶(hù)正在執(zhí)行成像，同時(shí)以光軸方向?yàn)樾D(zhuǎn)中心旋轉(zhuǎn)相機(jī)。在此情況 下，通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面中包括的人440在構(gòu)成其運(yùn)動(dòng)畫(huà)面的圖像上逐漸旋轉(zhuǎn)。注意， 盡管在一些情況下，由于相機(jī)的旋轉(zhuǎn)導(dǎo)致相機(jī)的位置在一定程度上移動(dòng)，但是在本示例的 情況下，將不考慮相機(jī)的位置的移動(dòng)而進(jìn)行描述。 圖22是示意性圖示通過(guò)根據(jù)本發(fā)明實(shí)施例的合成目標(biāo)圖像選擇單元170選擇的
圖像441到443中包括的被攝體的所在地的圖。注意，圖22中所示的仿射變換參數(shù)計(jì)算示
例與圖16中所示的仿射變換參數(shù)計(jì)算示例相同，因此，這里將省略其描述。 圖23是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220合成圖像的情況
下的圖像合成示例的圖。注意，圖23所示的圖像合成示例與圖17中所示的圖像合成示例
相同，因此，這里將省略其描述。 圖像合成目標(biāo)部分的選擇示例 接下來(lái)，將參照附圖，關(guān)于用于從運(yùn)動(dòng)畫(huà)面選擇用于選擇合成目標(biāo)圖像的部分 (圖像合成目標(biāo)部分)的部分選擇方法詳細(xì)進(jìn)行描述。在本發(fā)明第一實(shí)施例的情況下，將關(guān) 于滿(mǎn)足下面條件(1)到(4)的部分選擇為圖像合成目標(biāo)部分的示例進(jìn)行描述。
(1)相機(jī)工作檢測(cè)的可靠度高。
(2)變焦率低，即，變焦改變小。
(3)水平方向或垂直方向上的運(yùn)動(dòng)量等于或大于一定像素量。 (4)圖像合成目標(biāo)部分的長(zhǎng)度是在一定范圍內(nèi)(例如，在2秒到20秒的范圍內(nèi))
的長(zhǎng)度。 此外，在本發(fā)明第一實(shí)施例的情況下，在滿(mǎn)足下面(a)和(b)條件的情況下，確定 上面的條件(1)相機(jī)工作檢測(cè)的可靠度高。 (a)在圖像的整個(gè)屏幕中的特征點(diǎn)中，指示展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率的值超 過(guò)閾值。 (b)各幀之間的改變率在一定范圍內(nèi)。各幀之間的改變率是指示通過(guò)與各幀之間 相關(guān)的仿射變換參數(shù)計(jì)算的相機(jī)工作的每個(gè)分量的值。 圖24是以時(shí)間序列方式圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元 120計(jì)算的可靠度確定分?jǐn)?shù)的圖。在圖24中，(a)使用矩形示意性圖示用作可靠度確定分 數(shù)計(jì)算目標(biāo)的幀。注意，在圖24(a)中，指示每個(gè)幀的幀序列號(hào)附加到矩形的內(nèi)部。
在圖24中，(b)圖示表示對(duì)每個(gè)幀、關(guān)于圖24(a)中所示的幀1到15計(jì)算的可靠 度確定分?jǐn)?shù)的曲線(xiàn)圖。在圖24(b)所示的曲線(xiàn)圖的情況下，水平軸是指示成像的時(shí)間的軸， 并且垂直軸是指示關(guān)于每幀計(jì)算的可靠度確定分?jǐn)?shù)的值的軸。此外，在垂直軸的情況下， 設(shè)上述條件(1)的閾值是閾值TH1。這里，例如值0.5到0.8可設(shè)為閾值TH1。注意，在圖 24(b)所示的曲線(xiàn)圖的水平軸的情況下，示出對(duì)應(yīng)于成像的時(shí)間點(diǎn)的每個(gè)幀號(hào)。這里，可靠 度確定分?jǐn)?shù)SHS是通過(guò)可靠度確定分?jǐn)?shù)計(jì)算單元124計(jì)算的值，并且以與構(gòu)成運(yùn)動(dòng)畫(huà)面存 儲(chǔ)單元200中存儲(chǔ)的運(yùn)動(dòng)畫(huà)面文件的每個(gè)幀相關(guān)的方式存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中。
在該示例的情況下，為了說(shuō)明方便，如圖24(a)所示，設(shè)上述條件(4)中的一定范 圍是K1和K2之間的范圍。此外，在圖24(b)所示的曲線(xiàn)圖的情況下，關(guān)于每幀計(jì)算的可靠 度確定分?jǐn)?shù)用白色圓圈表示。在表示可靠度確定分?jǐn)?shù)的白色圓圈中，超過(guò)閾值TH1的分?jǐn)?shù)用粗線(xiàn)圓圈表示。 如圖24(b)所示，例如，幀1和3的可靠度確定分?jǐn)?shù)低于閾值TH1，因此，幀1和3 沒(méi)有確定為圖像合成目標(biāo)部分候選。此外，幀2的可靠度確定分?jǐn)?shù)超過(guò)閾值TH1，但是相鄰 的幀1和3的可靠度分?jǐn)?shù)低于閾值TH1，因此，不滿(mǎn)足上述條件(4)。因此，幀2不確定為圖 像合成目標(biāo)部分候選。另一方面，例如幀4到14的可靠度確定分?jǐn)?shù)超過(guò)閾值TH1。然而，幀 14的長(zhǎng)度超過(guò)上述條件(4)的一定范圍(K1和K2之間的范圍)。因此，在幀4到14中，在 上述條件(4)的一定范圍內(nèi)的幀4到13被部分選擇單元160確定為圖像合成目標(biāo)部分候 選500。也就是說(shuō)，部分選擇單元160提取可靠度確定分?jǐn)?shù)SHS超過(guò)閾值TH1的、包括在上 述條件(4)的一定范圍內(nèi)的連續(xù)幀，作為圖像合成目標(biāo)部分候選。 隨后，部分選擇單元160確定圖像合成目標(biāo)部分候選中包括的每個(gè)幀(相機(jī)工作
的每個(gè)分量)的改變率是否滿(mǎn)足下面的條件(11)到(17)。 (ll)XZthl < XZ < XZth2 (12)YZthl < YZ < YZth2 (13)XT<XTth (14)YT<YTth (15)XR<XRth (16)YR<YRth (17) |XR-YR| < ADRth 這里，XZ表示相機(jī)工作的X方向上的變焦分量，并且YZ表示相機(jī)工作的Y方向上 的變焦分量。此外，XT表示相機(jī)工作的X方向上的平移分量，并且YT表示相機(jī)工作的Y方 向上的平移分量。此外，XR表示相機(jī)工作的X方向上的旋轉(zhuǎn)分量，并且YR表示相機(jī)工作的 Y方向上的旋轉(zhuǎn)分量。此外，XZthl、 XZth2、 YZthl、 YZth2、 XTth、 YTth、 XRth、 YRth和ADRth
表示閾值。 例如，值0. 7到0. 9可設(shè)置為閾值XZthl和YZthl。此夕卜，例如，值1. 1到1. 3可設(shè) 置為閾值XZth2和YZth2。此外，例如，值W/20到W/5可設(shè)置為閾值XTth。注意，W是指示 要處理的圖像的水平方向上的像素的數(shù)量的值。此外，例如，值H/20到H/5可設(shè)置為閾值 YTth。注意，H是指示要處理的圖像的垂直方向上的像素的數(shù)量的值。此外，例如，3度到5 度可設(shè)置為閾值XRth和YRth。此外，例如，O. 5度到1. 0度可設(shè)置為閾值A(chǔ)DRth。
在基于可靠度確定分?jǐn)?shù)提取的圖像合成目標(biāo)部分候選中包括的每個(gè)幀的相機(jī)工 作的每個(gè)分量滿(mǎn)足條件(11)到(17)的情況下，確定是否滿(mǎn)足條件(2)和(3)。另一方面， 在圖像合成目標(biāo)部分候選中包括的每個(gè)幀的相機(jī)工作的每個(gè)分量不滿(mǎn)足條件(11)到(17) 的情況下，其圖像合成目標(biāo)部分候選不被確定為圖像合成目標(biāo)部分。 圖25是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元 120計(jì)算的仿射變換參數(shù)計(jì)算的積分變焦分量的圖。在圖25中，(a)使用矩形示意性圖示 用作積分變焦分量計(jì)算目標(biāo)的幀。注意，圖25(a)中示出的幀l到15與圖24(a)中所示的 幀相同。 在圖25中，(b)圖示表示對(duì)于每幀、關(guān)于圖25(a)中所示的幀1到15計(jì)算的水平 方向(X方向)上的積分變焦分量的曲線(xiàn)圖。在圖25(b)所示的曲線(xiàn)圖的情況下，水平軸是 指示成像的時(shí)間點(diǎn)的軸，并且垂直軸是指示關(guān)于每幀計(jì)算的積分變焦分量的值的軸。該積分變焦分量是通過(guò)將與從參考幀到目標(biāo)幀的每幀相關(guān)的仿射變換參數(shù)的仿射矩陣相乘計(jì) 算的仿射矩陣的變焦分量的值。現(xiàn)在，設(shè)與參考幀相關(guān)的仿射變換參數(shù)是單位矩陣的值。具 體地，參考幀的積分變焦分量的值是1. O，并且目標(biāo)幀的積分變焦分量的值是關(guān)于參考幀的 相對(duì)值。此外，該積分變焦分量關(guān)于相機(jī)工作的X方向上的變焦分量和Y方向上的變焦分 量計(jì)算。注意，在圖25所示的示例的情況下，關(guān)于X方向上的變焦分量計(jì)算的積分變焦分 量圖示為示例。 在圖25(b)所示的曲線(xiàn)圖的情況下，關(guān)于每幀計(jì)算的積分變焦分量用白色圓圈圖 示。此外，在指示關(guān)于圖像合成目標(biāo)部分候選500中包括的每幀計(jì)算的積分變焦分量的白 色圓圈中，對(duì)應(yīng)于頂部幀的白色圓圈圖示為積分變焦分量501。此外，在指示關(guān)于圖像合成 目標(biāo)部分候選500中包括的每幀計(jì)算的積分變焦分量的白色圓圈中，指示最大值的白色圓 圈圖示為積分變焦分量502，并且指示最小值的白色圓圈圖示為積分變焦分量503。注意， 圖25(b)所示的曲線(xiàn)圖的水平軸指示根據(jù)成像的時(shí)間點(diǎn)的每個(gè)幀號(hào)。此外，在圖25(b)所 示的曲線(xiàn)圖的垂直軸的情況下，指示最大值的積分變焦分量502的值圖示為M2，并且指示 最小值的積分變焦分量503的值圖示為Ml。 現(xiàn)在，用于條件(2)的變焦率是指示積分變焦分量的最大值和最小值之間的比率 的值。該條件(2)基于關(guān)于圖像合成目標(biāo)部分候選中包括的每幀的變焦率是否包括在一定 范圍內(nèi)而確定。該一定范圍可以是例如低于閾值XZth2的范圍，如下所示。
XZml/XZm2 < XZth2 這里，XZml是關(guān)于圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的X方向上的積分變 焦分量的最大值，并且XZm2是其積分變焦分量的最小值。注意，例如，值1. 5到3. 0可設(shè)置 為閾值XZth2 。此外，關(guān)于Y方向上的變焦分量計(jì)算的變焦率可基于下面的表達(dá)式是否滿(mǎn)足 而確定。 YZml/YZm2 < YZth2 這里，YZml是關(guān)于圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的Y方向上的積分變 焦分量的最大值，并且YZm2是其積分變焦分量的最小值。注意，例如，值1. 5到3. 0可設(shè)置 為閾值YZth2。 在關(guān)于滿(mǎn)足條件(11)到(17)的圖像合成目標(biāo)部分候選中包括的每幀計(jì)算的X方 向和Y方向上的變焦率滿(mǎn)足條件(2)的情況下，確定是否滿(mǎn)足條件(3)。另一方面，關(guān)于圖 像合成目標(biāo)部分候選中包括的每幀計(jì)算的X方向和Y方向上的變焦率不滿(mǎn)足條件(2)，其圖 像合成目標(biāo)部分候選不確定為圖像合成目標(biāo)部分。 圖26是以時(shí)間序列方式圖示用通過(guò)根據(jù)本發(fā)明第一實(shí)施例的相機(jī)工作檢測(cè)單元 120計(jì)算的仿射變換參數(shù)計(jì)算的積分平移分量的圖。在圖26中，(a)使用矩形示意性圖示 用作積分平移分量計(jì)算目標(biāo)的幀。注意，圖26(a)中示出的幀l到15與圖24(a)中所示的 幀相同。 在圖26中，(b)圖示表示對(duì)于每幀、關(guān)于圖26(a)中所示的幀1到15計(jì)算的水平 方向(X方向)上的積分平移分量的曲線(xiàn)圖。在圖26(b)所示的曲線(xiàn)圖的情況下，水平軸是 指示成像的時(shí)間點(diǎn)的軸，并且垂直軸是指示關(guān)于每幀計(jì)算的積分平移分量的值的軸。該積 分平移分量是通過(guò)將與從參考幀到目標(biāo)幀的每幀相關(guān)的仿射變換參數(shù)的仿射矩陣相乘計(jì) 算的仿射矩陣的平移分量的值。現(xiàn)在，設(shè)與參考幀相關(guān)的仿射變換參數(shù)是單位矩陣的值。具體地，參考幀的積分平移分量的值是0. 0，并且目標(biāo)幀的積分平移分量的值是關(guān)于參考幀的 相對(duì)值。此外，該積分平移分量關(guān)于相機(jī)工作的X方向上的平移分量和Y方向上的平移分 量計(jì)算。注意，在圖26所示的示例的情況下，關(guān)于X方向上的平移分量計(jì)算的積分平移分 量圖示為示例。 在圖26(b)所示的曲線(xiàn)圖的情況下，關(guān)于每幀計(jì)算的積分平移分量用白色圓圈圖 示。此外，指示關(guān)于圖像合成目標(biāo)部分候選500中包括的每幀計(jì)算的積分平移分量的白色 圓圈用粗線(xiàn)圖示。注意，圖26(b)所示的曲線(xiàn)圖的水平軸指示根據(jù)成像的時(shí)間點(diǎn)的每個(gè)幀 號(hào)。此外，在圖25(b)所示的曲線(xiàn)圖的垂直軸的情況下，指示用于條件(a)的閾值XTth2 和-XTth2。 這里，基于水平方向或垂直方向上的運(yùn)動(dòng)量是否等于或大于一定像素?cái)?shù)而確定條 件(3)。具體地，基于搖動(dòng)和傾斜的至少一個(gè)是否相對(duì)大而進(jìn)行確定。例如，如下所示，基于 積分平移分量XT1的絕對(duì)值是否超過(guò)閾值XTth2而進(jìn)行確定。
|XT11 > XTth2 這里，例如，值3W到10W可設(shè)置為閾值XTth2。注意，W是指示圖像的水平方向上 的像素?cái)?shù)的值。此外，關(guān)于Y方向的積分平移分量YT1，也可基于是否滿(mǎn)足下面的表達(dá)式而 進(jìn)行確定。 |YT11 > YTth2 這里，例如，值3H到10H可設(shè)置為閾值YTth2。注意，H是指示圖像的垂直方向上 的像素?cái)?shù)的值。 例如，在圖26所示的示例的情況下，關(guān)于圖像合成目標(biāo)部分候選500中包括的幀 12和13計(jì)算的X方向上的積分平移分量的值超過(guò)閾值XTth2。也就是說(shuō)，在圖26所示的 示例的情況下，關(guān)于圖像合成目標(biāo)部分候選500中包括的每個(gè)幀計(jì)算的X方向上的積分平 移分量的絕對(duì)值超過(guò)閾值XTth2，因此，確定滿(mǎn)足條件(3)。此外，即使在關(guān)于圖像合成目標(biāo) 部分候選500中包括的每個(gè)幀計(jì)算的Y方向上的積分平移分量的絕對(duì)值超過(guò)閾值XTth2的 情況下，也確定滿(mǎn)足條件(3)。因此，通過(guò)部分選擇單元160選擇確定為滿(mǎn)足條件(3)的圖 像合成目標(biāo)部分候選作為圖像合成目標(biāo)部分。另一方面，在關(guān)于其圖像合成目標(biāo)部分候選 中包括的每個(gè)幀計(jì)算的X方向上的積分平移分量和Y方向上的積分平移分量都不滿(mǎn)足條件 (3)的情況下，其圖像合成目標(biāo)部分候選不被確定為圖像合成目標(biāo)部分。
在上述示例的情況下，關(guān)于滿(mǎn)足條件(1)和(4)的圖像合成目標(biāo)部分候選中包括 的每個(gè)幀確定是否滿(mǎn)足條件(11)到(17)。隨后，關(guān)于滿(mǎn)足條件(11)和(17)的圖像合成目 標(biāo)部分候選中包括的每個(gè)幀確定是否滿(mǎn)足條件(2)和(3)。然而，這些確定可以以不同順序 進(jìn)行。此外，在條件(1)到(4)以及條件(11)到(17)中，可省略確定條件之一。此外，例 如，可使用關(guān)于圖像合成目標(biāo)部分候選中包括的每個(gè)幀的另一確定條件選擇圖像合成目標(biāo) 部分。例如，可利用積分旋轉(zhuǎn)分量，將旋轉(zhuǎn)率小設(shè)為確定條件。 由此選擇的圖像合成目標(biāo)部分中包括的所有幀用于創(chuàng)建合成圖像。然而，例如，可 以預(yù)期，可通過(guò)創(chuàng)建合成圖像將通過(guò)運(yùn)動(dòng)畫(huà)面的簡(jiǎn)單回放不能體驗(yàn)的經(jīng)驗(yàn)提供給用戶(hù)，其 中在相同成像位置處、在相對(duì)廣的范圍的空間上成像的多個(gè)靜態(tài)圖像被結(jié)合在一起。也就 是說(shuō)，可向用戶(hù)提供通過(guò)從運(yùn)動(dòng)畫(huà)面的回放不能體驗(yàn)的、由靜態(tài)圖像構(gòu)成的全景式合成圖 像(例如，其中照片結(jié)合在一起的圖像)。因此，在本發(fā)明第一實(shí)施例的情況下，從圖像合成目標(biāo)部分中包括的每個(gè)幀進(jìn)一步選擇用于合成圖像的創(chuàng)建的幀?，F(xiàn)在，在本發(fā)明第一實(shí)施 例的情況下，將描述這樣的示例，其中在圖像合成目標(biāo)部分優(yōu)選地選擇包括面部的圖像，該 圖像選擇最前面的幀，另一幀基于與該最前面的幀的重疊率而選擇。此外，在存在多個(gè)包括 面部的圖像的情況下，在多個(gè)面部中，可將具有指示笑臉程度的最高面部表情評(píng)估值(笑 臉?lè)謹(jǐn)?shù))的圖像選擇為最前面的幀。注意，除了面部表情評(píng)估值以外的模糊條件評(píng)估值等 可用于確定。 圖27A和27B是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分選 擇單元160選擇的圖像合成目標(biāo)部分中包括的圖像的圖。圖27A圖示在以靜態(tài)的狗、人和 車(chē)為被攝體、用戶(hù)已經(jīng)拍攝圖像同時(shí)在水平方向上移動(dòng)相機(jī)的鏡頭的方向的情況下的圖像 的轉(zhuǎn)換。圖27B圖示在以樹(shù)和山為被攝體、用戶(hù)已經(jīng)拍攝圖像同時(shí)在水平方向上移動(dòng)相機(jī) 的鏡頭的方向的情況下的圖像的轉(zhuǎn)換。注意，為了說(shuō)明方便，簡(jiǎn)化了圖27A到27B中示出的 圖像，并且放大圖示了連續(xù)兩個(gè)幀之間的運(yùn)動(dòng)量。 在圖27A所示的圖像511到518中，圖像512到515包括人臉。此外，設(shè)在圖像 512到515包括的臉中，關(guān)于圖像513中包括的臉計(jì)算的面部表情評(píng)估值是最高值。在通過(guò) 部分選擇單元160選擇的圖像合成目標(biāo)部分中包括的圖像包括臉的情況下，合成目標(biāo)圖像 選擇單元170選擇包括臉的圖像作為最前面的幀。此外，如圖27A所示，在多個(gè)圖像包括臉 的情況下，包括具有關(guān)于這些臉計(jì)算的面部表情評(píng)估值的最高值的臉的圖像被選擇為最前 面的幀。在圖27A所示的示例的情況下，選擇圖像513。 此外，圖27B所示的圖像521到528不包括人臉。因此，在通過(guò)部分選擇單元160
選擇的圖像合成目標(biāo)部分中包括的圖像不包括臉的情況下，合成目標(biāo)圖像選擇單元170選
擇圖像合成目標(biāo)部分中包括的圖像的時(shí)間軸上的頂部圖像作為最前面的幀。在圖27B所示
的示例的情況下，選擇對(duì)應(yīng)于圖像合成目標(biāo)部分中包括的頂部幀的圖像521。 從圖像合成目標(biāo)部分如此選擇的最前面的幀被取為參考幀，并且基于該參考幀選
擇另一幀。在本發(fā)明第一實(shí)施例的情況下，將關(guān)于這樣的示例進(jìn)行描述，其中基于圖像合成
目標(biāo)部分中包括的各圖像之間的重疊區(qū)域選擇幀。 圖28是示意性圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的合成目標(biāo)圖像選擇單元170 選擇合成目標(biāo)圖像的情況下的選擇方法的圖。在該示例的情況下，將關(guān)于這樣的情況進(jìn)行 描述，其中兩個(gè)工作緩沖器用于關(guān)于最前面的幀選擇另一幀。 第一工作緩沖器531和第二工作緩沖器532是通過(guò)一位表示構(gòu)成圖像的每個(gè)像素 的工作緩沖器。也就是說(shuō)，在圖像粘貼(pasted)到第一工作緩沖器531和第二工作緩沖器 532的情況下，粘貼位置的位設(shè)置為開(kāi)。此外，選擇的圖像粘貼到第一工作緩沖器531作為 合成圖像，并且用作選擇確定目標(biāo)的一個(gè)圖像經(jīng)歷仿射變換并粘貼到第二工作緩沖器532。 隨后，計(jì)算粘貼到第一工作緩沖器531的合成圖像和粘貼到第二工作緩沖器532的圖像之 間的重疊部分?，F(xiàn)在，設(shè)計(jì)算的重疊部分的區(qū)域的面積是面積C，粘貼到第一工作緩沖器 531的合成圖像的面積是面積A，并且粘貼到第二工作緩沖器532的圖像的面積是面積B。 在此情況下，計(jì)算面積C/面積A的值和面積C/面積B的值，并且在這兩個(gè)值中，計(jì)算較大 值作為重疊率。 隨后，在計(jì)算的重疊率低于閾值的情況下，選擇其圖像。例如，60%可設(shè)置為該閾 值。其中計(jì)算的重疊率低于閾值的圖像選擇為合成目標(biāo)圖像，并且還粘貼到第一工作緩沖器531。隨后，關(guān)于下一幀執(zhí)行相同的確定處理。 例如，設(shè)選擇為最前面的幀的圖像534和接下來(lái)選擇的圖像535之間的合成圖像 已經(jīng)被粘貼到第一工作緩沖器531，如圖28 (a)所示。此外，從圖像534和535創(chuàng)建的合成圖 像的區(qū)域用實(shí)線(xiàn)圖示。此外，設(shè)用作確定目標(biāo)的圖像536已經(jīng)粘貼到第二工作緩沖器532， 如圖28(a)所示。此外，圖像536的區(qū)域用實(shí)線(xiàn)矩形圖示?，F(xiàn)在，以圖28 (a)所示的、粘貼 到第一工作緩沖器531的最前面的幀(圖像534)的位置為參考，使用作確定目標(biāo)的圖像經(jīng) 歷仿射變換，然后粘貼到第二工作緩沖器532。該仿射變換使用元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ) 的仿射變換參數(shù)執(zhí)行。注意，圖28所示的示例是這樣的示例，其中在圖像536中，僅變換了 位置，而沒(méi)有變換角度和大小。 隨后，如圖28(b)所示，計(jì)算粘貼到第一工作緩沖器531的合成圖像(圖像534和 535的合成圖像)和粘貼到第二工作緩沖器532的圖像536之間的重疊部分538。注意， 圖28 (b)所示的工作緩沖器范圍533是指示對(duì)應(yīng)于第一工作緩沖器531和第二工作緩沖器 532的大小的范圍。在該工作緩沖器范圍533的情況下，計(jì)算的重疊部分538用內(nèi)部有陰 影的矩形表示，并且其他圖像部分用虛線(xiàn)表示?，F(xiàn)在，設(shè)計(jì)算的重疊部分538的面積是面積 Cl，粘貼到第一工作緩沖器531的合成圖像(圖像534和535的合成圖像)的面積是面積 A1，并且粘貼到第二工作緩沖器532的圖像536的面積是面積B 1。在此情況下，面積A1的 值大于面積B 1的值，因此，面積C1/面積B1的值大于面積C1/面積A1的值。因此，面積 Cl/面積Bl的值被計(jì)算為重疊率。 隨后，在計(jì)算的重疊率(面積Cl/面積Bl的值)低于閾值的情況下，圖像536選 擇為合成目標(biāo)圖像。因此，在已經(jīng)選擇合成目標(biāo)圖像的情況下，計(jì)算其中將從最前面的幀到 當(dāng)前幀的仿射變換參數(shù)的仿射矩陣相乘的矩陣的值。這里，關(guān)于最前面的幀的仿射變換參 數(shù)，使用單位矩陣的值。隨后，計(jì)算的矩陣的仿射變換參數(shù)、以及選擇的合成目標(biāo)圖像的幀 號(hào)和面部數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。注意，關(guān)于選擇為最前面的圖 像的合成目標(biāo)圖像，指示最前面的幀的信息與這樣的信息一起記錄在合成目標(biāo)圖像元數(shù)據(jù) 存儲(chǔ)單元270中。 此外，在圖像536已經(jīng)選擇為合成目標(biāo)圖像的情況下，如圖28(c)所示，圖像536 粘貼到第一工作緩沖器531。具體地，圖像534到536的合成圖像粘貼到第一工作緩沖器 531。隨后，如圖28(d)所示，以相同方式關(guān)于下一圖像537執(zhí)行確定處理。另一方面，在計(jì) 算的重疊率不低于閾值的情況下，圖像536不粘貼到第一工作緩沖器531。在此情況下，在 下一圖像、圖像534和535之間執(zhí)行確定處理。 注意，在該示例的情況下，通過(guò)使用兩個(gè)工作緩沖器順序計(jì)算重疊率來(lái)選擇合成 目標(biāo)圖像，但是可通過(guò)僅使用存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元210中的仿射變換參數(shù)計(jì)算重疊率來(lái) 選擇合成目標(biāo)圖像。 圖29是以時(shí)間序列方式示意性圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的部分選擇單元 160和合成目標(biāo)圖像選擇單元170要確定的運(yùn)動(dòng)畫(huà)面的圖。在圖29中，(a)示意性圖示構(gòu) 成作為存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件的運(yùn)動(dòng)畫(huà)面文件540的幀。在圖29 中，(b)圖示作為關(guān)于運(yùn)動(dòng)畫(huà)面文件540選擇的圖像合成目標(biāo)部分組的圖像合成目標(biāo)部分 組541。在圖29中，(c)圖示作為指示下述部分的面部檢測(cè)部分組的面部檢測(cè)部分組544， 在所述部分中，關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面文件540的每個(gè)幀檢測(cè)面部。在圖29中，(d)圖示作為指示下述部分的笑臉檢測(cè)部分組的笑臉檢測(cè)部分組546，在所述部分中，關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面 文件540的每個(gè)幀檢測(cè)的臉確定為笑臉。在圖29中，(e)圖示在圖像合成目標(biāo)部分選擇的 最前面的幀、以及作為其中以最前面的幀為參考幀搜索另一幀的方向的搜索方向548。在 圖29中，(f)圖示作為關(guān)于運(yùn)動(dòng)畫(huà)面文件540選擇的幀(合成目標(biāo)圖像)的組的選擇幀組 554。注意，構(gòu)成運(yùn)動(dòng)畫(huà)面文件540的每個(gè)幀用在內(nèi)部附上幀號(hào)的矩形圖示。此外，每個(gè)部 分用內(nèi)部有陰影的矩形圖示。此外，在圖29(e)中，最前面的幀用白色圓圈表示，并且從最 前面的幀起的搜索方向用箭頭表示。 例如，設(shè)部分選擇單元160已經(jīng)關(guān)于運(yùn)動(dòng)畫(huà)面文件540選擇圖像合成目標(biāo)部分542 和543。此外，設(shè)在圖像合成目標(biāo)部分542中包括的幀中，面部檢測(cè)部分545已經(jīng)檢測(cè)到面 部。此外，設(shè)在面部檢測(cè)部分545中包括的幀中，面部表情評(píng)估值在笑臉檢測(cè)部分547處已 經(jīng)檢測(cè)為一定值或更大，并且被確定為笑臉。在該示例的情況下，設(shè)在笑臉檢測(cè)部分547中 包括的幀中，具有最高面部表情評(píng)估值的幀為幀h。在此情況下，幀h在圖像合成目標(biāo)部分 542處被選擇為最前面的幀549。隨后，幀選擇處理朝作為時(shí)間軸上的前端搜索方向的搜索 方向550和作為時(shí)間軸上的后端搜索方向的搜索方向551執(zhí)行。該選擇方法與圖28所示 的選擇方法相同。在此情況下，例如，設(shè)已經(jīng)選擇幀g+2， . . . ， h， . . . ， h+m， . . . ， i。
此外，設(shè)在圖像合成目標(biāo)部分543中包括的每個(gè)幀沒(méi)有檢測(cè)面部。在此情況下， 在圖像合成目標(biāo)部分543中包括的幀中，時(shí)間軸上的最前端的幀j+l被選擇為最前面的幀 552。隨后，朝向作為時(shí)間軸上的后端的搜索方向的搜索方向553選擇幀。該選擇方法與圖 28所示的選擇方法相同。在此情況下，例如，設(shè)已經(jīng)選擇幀j+l， . . . ， j+n， . . . ， k-3。
因此，關(guān)于單個(gè)運(yùn)動(dòng)畫(huà)面文件選擇單個(gè)或多個(gè)圖像合成目標(biāo)部分，并且從其圖像 合成目標(biāo)部分選擇多個(gè)幀。使用由此選擇的多個(gè)幀創(chuàng)建合成圖像。 因此，選擇的圖像合成目標(biāo)部分中的標(biāo)識(shí)號(hào)、以及選擇的每個(gè)幀號(hào)以相關(guān)方式存 儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。同時(shí)地，計(jì)算的仿射變換參數(shù)、指示最前面的幀 的最前面的幀信息、以及作為與關(guān)于幀檢測(cè)的面部相關(guān)的數(shù)據(jù)的面部數(shù)據(jù)以相關(guān)方式記錄 在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中。合成圖像可使用在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元 270中存儲(chǔ)的每條信息通過(guò)用戶(hù)操作而顯示。例如，可以顯示在圖像合成目標(biāo)部分542選 擇的幀g+2，. . . ， h，. . . ， h+m，. . . ， i的合成圖像。此外，可以顯示在圖像合成目標(biāo)部分543 選擇的幀j+l， ， j+n， ， k-3的合成圖像。 現(xiàn)在，例如，在構(gòu)成運(yùn)動(dòng)畫(huà)面的多個(gè)幀中包括面部的情況下，并且在關(guān)于每個(gè)面部
計(jì)算的每個(gè)面部表情評(píng)估值低于一定值的情況下，可使用面部檢測(cè)信息中包括的位置和大
小選擇最前面的幀。例如，可將這樣的圖像選擇為最前面的幀，其中檢測(cè)的面部的位置向中
心偏移，并且其大小相對(duì)大。 圖像合成示例 接下來(lái)，示出關(guān)于通過(guò)相機(jī)實(shí)際成像的運(yùn)動(dòng)畫(huà)面而選擇的合成目標(biāo)圖像、以及合 成目標(biāo)圖像的合成示例。 圖30是圖示關(guān)于通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面選擇的合成目標(biāo)圖像的示例的圖。圖 30圖示在對(duì)以包括巖石的山坡為背景站立的女士成像、同時(shí)移動(dòng)相機(jī)的情況下、關(guān)于運(yùn)動(dòng) 畫(huà)面選擇的圖像561到568。設(shè)以對(duì)應(yīng)于時(shí)間軸上的前端的幀的圖像為圖像561，沿箭頭方 向按時(shí)間序列對(duì)該運(yùn)動(dòng)畫(huà)面成像。此外，設(shè)用作被攝體的女士的位置大致在圖像的中心，并且用作笑臉的圖像566已經(jīng)選擇為最前面的幀。 圖31和32是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220創(chuàng)建的合成圖 像的轉(zhuǎn)換的圖。圖31和32所示的圖像571到578是這樣的圖像，其中將白框添加到圖30 所示的圖像561到568的外圍，并且與圖像561到568相同，除了為其附加了白框。
例如，以選擇為最前面的幀的圖像576作為參考，使用與其他圖像561到575、577 和568相關(guān)的仿射變換參數(shù)計(jì)算要關(guān)于圖像571到578創(chuàng)建的合成圖像的大小。基于如此 計(jì)算的合成圖像的大小，計(jì)算最前面幀的位置和大小。隨后，基于最前面的幀的位置和大 小，使其他圖像順序經(jīng)歷仿射變換，并且在圖像存儲(chǔ)器230中合成。例如，如圖31(a)到(d) 所示，并且在圖32(a)中，在同一圖像合成目標(biāo)部分選擇的幀中，以時(shí)間序列順序合成最前 面的圖像的頂部幀到緊接在前面的幀。也就是說(shuō)，順序合成圖像571到575。隨后，例如， 如圖32(b)和(c)所示，在同一圖像合成目標(biāo)部分選擇的幀中，以時(shí)間序列順序合成最前面 的幀的最后幀到緊接在前面的幀。也就是說(shuō)，順序合成圖像577和578。隨后，例如，如圖 32(d)所示，合成在同一圖像合成目標(biāo)部分選擇的最前面的圖像576。因此，從關(guān)于在同一 圖像合成目標(biāo)部分選擇的每個(gè)幀的頂部幀和最后幀的每個(gè)重疊圖像，并且最終，選擇為最 前面的幀的圖像重寫(xiě)在其上。因此，選擇為最前面的幀的圖像在頂端顯示，從而可以創(chuàng)建清 楚合成的圖像。 因此，在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中存儲(chǔ)的元數(shù)據(jù)文件用于合成構(gòu)成運(yùn) 動(dòng)畫(huà)面的部分圖像，從而可以創(chuàng)建表示在其運(yùn)動(dòng)畫(huà)面中包括的一個(gè)場(chǎng)景的全景式合成圖 像。在此情況下，將白框添加到滿(mǎn)足一定條件的幀，以不使用構(gòu)成運(yùn)動(dòng)畫(huà)面的所有連續(xù)幀來(lái) 合成幀，從而可顯示合成圖像使得照片連結(jié)在一起。在此情況下，可以提供與在普通運(yùn)動(dòng)畫(huà) 面回放時(shí)觀看的圖像完全不同的令人感興趣的圖像。此外，可關(guān)于運(yùn)動(dòng)畫(huà)面中包括的每個(gè) 場(chǎng)景自動(dòng)顯示全景式合成圖像，從而用戶(hù)可以容易地理解其運(yùn)動(dòng)畫(huà)面是否包括何種場(chǎng)景。 此外，可選擇性地顯示成像的場(chǎng)景，從而可將重要的圖像提供給用戶(hù)。此外，人的笑臉圖像 取為最前面的圖像，并且基于該圖像選擇用作合成目標(biāo)的另一圖像，從而可提供全景合成 圖像，使得將重點(diǎn)給予其笑臉的人。 到目前已經(jīng)示出了這樣的示例，其中選擇為最前面的幀的圖像以重寫(xiě)方式合成在 頂部，但是例如，如接下來(lái)的附圖所示，可通過(guò)用戶(hù)選擇按照時(shí)間點(diǎn)順序，以重寫(xiě)方式合成。
圖33是通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像合成單元220創(chuàng)建的合成圖像的另一 合成示例。在圖33中，(a)圖示顯示方法選擇屏幕580，其用于選擇通過(guò)圖像合成單元220 創(chuàng)建的合成圖像的顯示方法，并且顯示在顯示單元250上。選取(check)字段581和582、 "全景式合成圖像顯示"按鈕583、以及"取消"按鈕584提供給顯示方法選擇屏幕580。
如圖31和32所示，選取字段581是用于選擇其中最前面的幀重疊并合成在頂部 并且顯示的顯示方法的選取字段。如圖33(b)所示，選取字段582是用于選擇其中每幀合 成并顯示同時(shí)以時(shí)間序列順序重疊的顯示方法的選取字段。使用光標(biāo)585來(lái)執(zhí)行將選取標(biāo) 記添加到這些選取字段的操作輸入。"全景式合成圖像顯示"按鈕583是在顯示單元250上顯示合成圖像時(shí)按下的按 鈕。也就是說(shuō)，在將選取標(biāo)記添加到選取字段581和582之一后，使用光標(biāo)585按下"全景 式合成圖像顯示"按鈕583，從而順序顯示通過(guò)已經(jīng)向其添加選取標(biāo)記的合成方法合成的圖 像。
"取消"按鈕584是在消除添加到選取字段581和582之一的選取標(biāo)記的情況下要 按下的按鈕。 例如，在選取標(biāo)記添加到選取字段581的狀態(tài)下已經(jīng)按下"全景式合成圖像顯示" 按鈕583的情況下，如圖32和33所示，順序合成最前面的幀的兩側(cè)的幀，并且最前面的幀 重疊并合成在頂部。此外，在選取標(biāo)記添加到選取字段582的狀態(tài)下已經(jīng)按下"全景式合成 圖像顯示"按鈕583的情況下，如圖33(b)所示，每個(gè)幀通過(guò)以時(shí)間序列順序重疊而合成并 顯示。 在圖33中，(b)圖示圖像571到578已經(jīng)以時(shí)間序列順序合成。注意，圖571到 578與圖31和32所示的圖像571到578相同。因此，在以時(shí)間序列順序合成圖像的情況 下，可參照顯示的合成圖像清楚地理解成像的時(shí)間。然而，例如，下一圖像重寫(xiě)到在選擇為 最前面的幀的圖像576中包括的人附近的區(qū)域上，存在該人可能被隱藏的可能性。因此，例 如，使用與圖像576相關(guān)的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中存儲(chǔ)的面部數(shù)據(jù)，從而可防 止其他圖像重疊到距面部區(qū)域的一定范圍上。 在圖33中，(c)示意性圖示圖像重寫(xiě)在距對(duì)應(yīng)于最前面的幀的圖像576中包括的 面部區(qū)域586 —定范圍(例如，距離L1)內(nèi)的情況。例如，如圖33(c)所示，在圖像571到 578以時(shí)間序列正常地合成的情況下，圖像577重寫(xiě)在距圖像576中包括的面部區(qū)域586距 離L1內(nèi)。因此，如圖33(c)所示，圖像577在箭頭方向587移動(dòng)，以便距圖像576中包括的 面部區(qū)域586分開(kāi)距離Ll或更多。因此，在移動(dòng)最前面的圖像的上端重疊的圖像的情況下， 移動(dòng)的圖像之后的圖像也移動(dòng)相同距離。也就是說(shuō)，圖像578被移動(dòng)與圖像577相同的距 離。因此，例如，如圖33(c)所示，看到圖像576中包括的人臉的周?chē)?，從而可進(jìn)一步欣賞合 成圖像。 此外，可進(jìn)行這樣的安排，其中預(yù)先創(chuàng)建并存儲(chǔ)與單個(gè)或多個(gè)運(yùn)動(dòng)畫(huà)面有關(guān)的合 成圖像，基于用戶(hù)的操作顯示由此存儲(chǔ)的每個(gè)合成圖像。替代地，可進(jìn)行這樣的安排，其中 預(yù)先對(duì)每個(gè)圖像順序地存儲(chǔ)合成圖像的合成轉(zhuǎn)換，順序顯示這樣的轉(zhuǎn)換。
圖像處理裝置的操作示例 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的操作。
圖34是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程的流程圖。 首先，部分選擇單元160執(zhí)行部分提取處理(步驟S930)。將參照?qǐng)D35詳細(xì)描述 該部分選擇處理。隨后，合成目標(biāo)圖像選擇單元170執(zhí)行幀選擇處理(步驟S950)。將參照 圖36描述該幀選擇處理。注意，步驟S930和S950是發(fā)明內(nèi)容中所指的選擇過(guò)程的示例。
圖35是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程中包括的部分提取過(guò)程(圖34中所示的步驟S930中的過(guò)程)的流程 圖。 首先，變量t初始化為"1"(步驟S931)，并且將構(gòu)成運(yùn)動(dòng)畫(huà)面文件的幀t設(shè)置為 參考幀(步驟S932)。隨后，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得與幀t對(duì)應(yīng)的 仿射變換參數(shù)和可靠度確定分?jǐn)?shù)(步驟S933)。 隨后，計(jì)算從參考幀到幀t過(guò)去的時(shí)間T (步驟S934)，并且確定過(guò)去的時(shí)間T是否 超過(guò)閾值TM1 (步驟S935)。在過(guò)去的時(shí)間T超過(guò)閾值TM1的情況下(步驟S935)，流程進(jìn)行到步驟S946。另一方面，在過(guò)去的時(shí)間T未超過(guò)閾值TM1的情況下(步驟S935)，確定與 幀t對(duì)應(yīng)的可靠度確定分?jǐn)?shù)SHS是否超過(guò)閾值TH1 (步驟S936)。在與幀t對(duì)應(yīng)的可靠度確 定分?jǐn)?shù)SHS超過(guò)閾值TH1的情況下(步驟S936)，從與幀t對(duì)應(yīng)的仿射變換參數(shù)計(jì)算相機(jī) 工作的每個(gè)分量(步驟S937)。隨后，確定是否相機(jī)工作的分量的所有值都包括在閾值的 范圍內(nèi)(步驟S938)。在相機(jī)工作的分量的所有值都包括在閾值的范圍內(nèi)的情況下(步驟 S938)，計(jì)算與從參考幀到幀t的每個(gè)幀對(duì)應(yīng)的變焦率(步驟S939)。 隨后，確定計(jì)算的變焦率是否包括在閾值的范圍內(nèi)(步驟S940)。在計(jì)算的變焦 率包括在閾值的范圍內(nèi)的情況下(步驟S940)，計(jì)算對(duì)應(yīng)于參考幀到幀t的每個(gè)幀的運(yùn)動(dòng) 量(積分平移分量)(步驟S941)。隨后，確定計(jì)算的運(yùn)動(dòng)量是否包括在閾值的范圍內(nèi)(步 驟S942)。在計(jì)算的運(yùn)動(dòng)量包括在閾值的范圍內(nèi)的情況下(步驟S942)，確定幀t是否是構(gòu) 成要處理的運(yùn)動(dòng)畫(huà)面的幀中的最后的幀(步驟S943)。在幀t不是最后的幀的情況下(步 驟S943)，對(duì)變量t加"l"，其中重復(fù)部分選擇處理。另一方面，在幀t是最后的幀的情況下 (步驟S943)，部分選擇處理結(jié)束。 此外，在與幀t對(duì)應(yīng)的可靠度確定分?jǐn)?shù)SHS沒(méi)有超過(guò)閾值THl的情況下(步驟 S936)，或在不是相機(jī)工作的變量的所有值都包括在閾值的范圍內(nèi)的情況下(步驟S938)， 流程進(jìn)行到步驟S945。此外，在計(jì)算的變焦率不包括在閾值的范圍內(nèi)的情況下(步驟 S940)，或在計(jì)算的運(yùn)動(dòng)量不包括在閾值的范圍內(nèi)的情況下(步驟S942)，流程進(jìn)行到步驟 S945。 隨后，確定過(guò)去的時(shí)間T是否低于圖像合成目標(biāo)部分范圍TM2(步驟S945)。在過(guò) 去的時(shí)間T不低于圖像合成目標(biāo)部分范圍TM2的情況下(步驟S945)，從參考幀到幀t的部 分選擇為圖像合成目標(biāo)部分(步驟S946)。另一方面，在過(guò)去的時(shí)間T低于圖像合成目標(biāo) 部分范圍TM2的情況下(步驟S945)，對(duì)變量t加"1"(步驟S947)，并且流程返回到步驟 S932，其中重復(fù)部分選擇處理。 圖36是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程中包括的幀選擇過(guò)程(圖34所示的步驟S950中的過(guò)程)的流程圖。
首先，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得與通過(guò)部分選擇單元160 選擇的圖像合成目標(biāo)部分之一中包括的每個(gè)幀對(duì)應(yīng)的仿射變換參數(shù)、面部檢測(cè)信息、和面 部表情評(píng)估值(步驟S951)。隨后，使用與獲得的圖像合成目標(biāo)部分中包括的每個(gè)幀對(duì)應(yīng)的 仿射變換參數(shù)計(jì)算用于合成與每個(gè)幀對(duì)應(yīng)的圖像的大小，并且確保具有該大小的兩個(gè)工作 緩沖器(步驟S952)。 隨后，基于獲得的面部檢測(cè)信息確定面部是否包括在與用作選擇目標(biāo)的圖像合成 目標(biāo)部分中包括的每個(gè)幀對(duì)應(yīng)的圖像中(步驟S953)。在面部包括在對(duì)應(yīng)于每個(gè)幀的圖 像中的情況下(步驟S953)，具有對(duì)應(yīng)于包括面部的圖像的面部表情評(píng)估值的最高值的圖 像被選擇為最前面的幀(步驟S954)。另一方面，在面部不包括在對(duì)應(yīng)于每個(gè)幀的圖像的 情況下(步驟S953)，圖像合成目標(biāo)部分中包括的幀的頂部幀被選擇為最前面的幀(步驟 S955)。 隨后，選擇的最前面的幀粘貼到第一工作緩沖器(步驟S956)，并且將與選擇的最 前面的幀相關(guān)的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S957)。隨 后，計(jì)算選擇的最前面的幀、以及與最前面的幀的各方向之一鄰近的幀之間的重疊率(步驟S958)。也就是說(shuō)，用作重疊率計(jì)算目標(biāo)的幀粘貼到第二工作緩沖器，并且計(jì)算關(guān)于粘貼 到第一工作緩沖器的最前面的幀的重疊率。 隨后，確定計(jì)算的重疊率是否低于閾值(步驟S959)。在計(jì)算的重疊率低于閾值的 情況下(步驟S959)，選擇用作重疊率計(jì)算目標(biāo)的幀，并且將選擇的幀粘貼到第一工作緩沖 器(步驟S960)。隨后，與選擇的幀相關(guān)的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元 270中(步驟S961)，并且流程進(jìn)行到步驟S962。 另一方面，在計(jì)算的重疊率不低于閾值的情況下(步驟S959)，確定是否已經(jīng)完成 關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)幀的重疊率的計(jì)算(步驟S962)。在 沒(méi)有完成關(guān)于每個(gè)幀的重疊率的計(jì)算的情況下(步驟S962)，計(jì)算與緊接在之前已經(jīng)計(jì)算 其重疊率的幀相鄰的幀的重疊率(步驟S964)。也就是說(shuō)，將用作重疊率計(jì)算目標(biāo)的幀粘貼 到第二工作緩沖器，并且計(jì)算關(guān)于粘貼到第一工作緩沖器的合成圖像的重疊率。注意，在緊 接在之前已經(jīng)計(jì)算其重疊率的幀是圖像合成目標(biāo)部分的頂部幀或最后幀的情況下，計(jì)算與 最前面的幀的其他方向相鄰的幀的重疊率。 在已經(jīng)完成關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)幀的重疊率的 計(jì)算的情況下(步驟S962)，確定是否已經(jīng)關(guān)于由部分選擇單元160選擇的所有圖像合成目 標(biāo)部分完成幀選擇處理(步驟S963)。在沒(méi)有關(guān)于所有圖像合成目標(biāo)部分完成幀選擇處理 的情況下(步驟S963)，流程返回到步驟S951，其中重復(fù)幀選擇處理(步驟S951到S964)。 另一方面，在關(guān)于所有圖像合成目標(biāo)部分完成幀選擇處理的情況下(步驟S963)，幀選擇處 理的操作結(jié)束。 圖37是圖示通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成圖像顯示處 理的過(guò)程的流程圖。在該示例的情況下，最前面的幀重疊并合成在頂端。此外，在本示例的 情況下，將關(guān)于這樣的示例進(jìn)行描述，其中順序顯示與存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的 運(yùn)動(dòng)畫(huà)面文件相關(guān)的合成圖像。 首先，文件獲得單元180獲得存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中存儲(chǔ)的 每條元數(shù)據(jù)(步驟S970)。隨后，文件獲得單元180解碼對(duì)應(yīng)于獲得的每條元數(shù)據(jù)的運(yùn)動(dòng) 畫(huà)面文件，并且獲得構(gòu)成運(yùn)動(dòng)畫(huà)面文件的每個(gè)幀(步驟S971)。隨后，使用用作合成目標(biāo)的 獲得的圖像合成目標(biāo)部分之一的元數(shù)據(jù)中包括的每個(gè)仿射變換參數(shù)，計(jì)算用于合成對(duì)應(yīng)于 每幀的圖像的大小，并且在圖像存儲(chǔ)器230中確保具有該大小的工作緩沖器(步驟S972)。 此外，基于由此計(jì)算的合成圖像的大小，計(jì)算最前面的幀的位置和大小。
隨后，基于獲得的元數(shù)據(jù)中包括的最前面的幀信息確定最前面的幀是否是在圖像 合成目標(biāo)部分處的頂部幀(步驟S973)。在最前面的幀是在圖像合成目標(biāo)部分處的頂部幀 的情況下(步驟S973)，在獲得的元數(shù)據(jù)中包括的每個(gè)幀中，以幀號(hào)的升序提取圖像(步驟 S974)。 隨后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng) 歷仿射變換(步驟S975)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的 外圍，并且將已經(jīng)對(duì)其添加白框的圖像保持在圖像存儲(chǔ)器230中(步驟S976)。也就是說(shuō)， 關(guān)于圖像存儲(chǔ)器230中存儲(chǔ)的歷史圖像，合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖像。 注意，在第一圖像的情況下，僅其圖像保持在圖像存儲(chǔ)器230中。隨后，顯示控制單元240 控制顯示單元250以顯示在圖像存儲(chǔ)器230處保持的合成圖像(步驟S977)。隨后，確定在圖像存儲(chǔ)器230處保持的圖像是否是用作合成目標(biāo)的圖像合成目標(biāo)部分的最后幀(步驟
S978)。在圖像存儲(chǔ)器230處保持的圖像時(shí)最后幀的情況下(步驟S978)，確定是否已經(jīng)關(guān)
于所有圖像合成目標(biāo)部分完成合成圖像顯示處理(步驟S979)。在沒(méi)有關(guān)于所有圖像合成
目標(biāo)部分完成合成圖像顯示處理的情況下(步驟S979)，流程返回到步驟S972，其中重復(fù)合
成圖像顯示處理(步驟S972到S978和S980)。另一方面，在已經(jīng)關(guān)于所有圖像合成目標(biāo)部
分完成合成圖像顯示處理的情況下(步驟S979)，合成圖像顯示處理的操作結(jié)束。 此外，在最前面的幀不是圖像合成目標(biāo)部分處的頂部幀的情況下(步驟S973)，執(zhí)
行圖像合成處理(步驟S980)。將參照?qǐng)D38詳細(xì)描述該圖像合成處理。 圖38是圖示在通過(guò)根據(jù)本發(fā)明第一實(shí)施例的圖像處理裝置100的合成圖像顯示
處理的過(guò)程中包括的圖像合成過(guò)程(圖37中所示的步驟S980中的過(guò)程)的流程圖。在該
示例的情況下，在從圖像合成目標(biāo)部分的頂部幀朝最前面的幀執(zhí)行圖像合成之后，從最后
的幀朝最前面的幀執(zhí)行圖像合成，并且最終合成最前面的幀。 首先，在獲得的元數(shù)據(jù)中包括的每幀中，以幀號(hào)的升序提取圖像(步驟S981)。隨 后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng)歷仿射變換 (步驟S982)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的外圍，并且將 已經(jīng)對(duì)其添加白框的圖像保持在圖像存儲(chǔ)器230中(步驟S983)。也就是說(shuō)，關(guān)于存儲(chǔ)在圖 像存儲(chǔ)器230中的歷史圖像合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖像。注意，在第一 圖像的情況下，僅其圖像保持在圖像存儲(chǔ)器230中。隨后，顯示控制單元240控制顯示單元 250以顯示在圖像存儲(chǔ)器230處保持的合成圖像(步驟S984)。隨后，確定圖像存儲(chǔ)器230 處保持的圖像是否是用作合成目標(biāo)的圖像合成目標(biāo)部分處的、緊接在最前面的幀之前的幀 (步驟S985)。在圖像存儲(chǔ)器230處保持的圖像不是緊接在最前面的幀之前的幀的情況下 (步驟S985)，流程返回到步驟S981，其中從頂部幀到緊接在最前面的幀之前的幀重復(fù)圖像 合成處理(步驟S981到S984)。 另一方面，在圖像存儲(chǔ)器230處保持的圖像是緊接在最前面的幀之前的幀的情況 下(步驟S985)，在獲得的元數(shù)據(jù)中包括的每個(gè)幀中，以幀號(hào)的降序順序提取圖像(步驟 S986)。隨后，圖像變換單元190使用與提取的圖像相關(guān)的仿射變換參數(shù)，以使其圖像經(jīng)歷 仿射變換(步驟S987)。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的圖像的外 圍，并且將已經(jīng)對(duì)其添加白框的該圖像保持在圖像存儲(chǔ)器230中(步驟S988)。也就是說(shuō)， 關(guān)于圖像存儲(chǔ)器230處保持的歷史圖像合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖像。 隨后，顯示控制單元240控制顯示單元250顯示在圖像存儲(chǔ)器230處保持的合成圖像(步 驟S989)。隨后，確定圖像存儲(chǔ)器230處保持的圖像是否是用作合成目標(biāo)的圖像合成目標(biāo)部 分處的、緊接在最前面的幀之前的幀(步驟S990)。在圖像存儲(chǔ)器230處保持的圖像不是緊 接在最前面的幀之后的幀的情況下(步驟S990)，流程返回到步驟S986，其中從最后幀到緊 接在最前面的幀之后的幀重復(fù)圖像合成處理(步驟S986到S986)。 另一方面，在圖像存儲(chǔ)器230處保持的圖像是緊接在最前面的幀之前的幀的情況 下(步驟S990)，提取最前面的幀的圖像(步驟S991)。隨后，圖像變換單元190使用與最 前面的幀的提取圖像相關(guān)的仿射變換參數(shù)，以使最前面的幀的圖像經(jīng)歷仿射變換(步驟 S992)。注意，與最前面的幀相關(guān)的仿射變換參數(shù)是單位矩陣的值，因此，實(shí)際上不變換最前 面的幀的圖像。隨后，圖像合成單元220將白框添加到經(jīng)歷仿射變換的最前面的幀的圖像的外圍，并且將已經(jīng)對(duì)其添加白框的圖像保持在圖像存儲(chǔ)器230中(步驟S993)。也就是
說(shuō)，關(guān)于圖像存儲(chǔ)器230處保持的歷史圖像合成已經(jīng)對(duì)其添加白框的、經(jīng)歷仿射變換的圖
像。隨后，顯示控制單元240控制顯示單元250顯示在圖像存儲(chǔ)器230處保持的合成圖像
(步驟S994)。 2.第二實(shí)施例 圖像處理裝置的配置示例 在本發(fā)明第一實(shí)施例的情況下，已經(jīng)描述了這樣的示例，其中在計(jì)算與各幀之間 相關(guān)的仿射變換參數(shù)時(shí)，展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的比率計(jì)算為可靠度確定分?jǐn)?shù)。下面將參 照附圖關(guān)于這樣的示例詳細(xì)進(jìn)行描述，其中使用另一計(jì)算方法計(jì)算可靠度確定分?jǐn)?shù)。這里， 根據(jù)本發(fā)明第二實(shí)施例的功能配置通常與圖像處理裝置100的功能配置相同，除了圖1所 示的圖像處理裝置100中包括的相機(jī)工作檢測(cè)單元120不同。因此，除相機(jī)工作檢測(cè)單元 120以外的配置將用與本發(fā)明第一實(shí)施例中的參考標(biāo)號(hào)相同的參考標(biāo)號(hào)表示，并且將僅描 述具有不同功能的配置，而將省略其他描述。 圖39是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元125的功能配置示例的 框圖。相機(jī)工作檢測(cè)單元125包括特征點(diǎn)計(jì)算單元121、光流計(jì)算單元122、相機(jī)工作參數(shù) 計(jì)算單元123和可靠度確定分?jǐn)?shù)計(jì)算單元126。這里，特征點(diǎn)計(jì)算單元121、光流計(jì)算單元 122和相機(jī)工作參數(shù)計(jì)算單元123與圖2所示的相機(jī)工作檢測(cè)單元120中的那些相同。因 此，下面將以可靠度確定分?jǐn)?shù)計(jì)算單元126為中心進(jìn)行描述。此外，在該示例的情況下，將 關(guān)于這樣的示例進(jìn)行描述，其中使用連續(xù)兩個(gè)幀的重疊區(qū)域中包括的各像素之間的輝度差 值來(lái)計(jì)算可靠度確定分?jǐn)?shù)。 可靠度確定分?jǐn)?shù)計(jì)算單元126使用從相機(jī)工作參數(shù)計(jì)算單元123輸出的相機(jī)工作
參數(shù)，以計(jì)算與構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀相關(guān)的可靠度
確定分?jǐn)?shù)，并且將計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制單元150。注意，將參照?qǐng)D40詳細(xì)
描述可靠度確定分?jǐn)?shù)計(jì)算。 可靠度確定分?jǐn)?shù)計(jì)算示例 圖40是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算 可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖。圖40圖示之前的幀590和時(shí)間軸上的隨后的 幀，作為構(gòu)成運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀。此外，圖40(a)圖示其中以幀590作為參考使幀591 經(jīng)歷仿射變換、并且仿射變換后的幀591關(guān)于幀590重疊的情況。此外，幀590和591之間 的重疊區(qū)域592的范圍用粗線(xiàn)表示。在圖40中，(b)圖示圖40(a)中示出的幀590，并且圖 40(c)圖示圖40(a)中示出的幀591。此外，設(shè)幀590和591中包括的正方形指示構(gòu)成每個(gè) 幀的像素。注意，圖40(b)和(c)僅使用正方形圖示重疊區(qū)域592中包括的像素。
在可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算可靠度確定分?jǐn)?shù)的情況下，首先，關(guān)于構(gòu)成 從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀，以時(shí)間軸上的之前的幀作為參考 幀，使隨后的幀經(jīng)歷仿射變換。該仿射變換使用從相機(jī)工作參數(shù)計(jì)算單元123輸出的相機(jī) 工作參數(shù)執(zhí)行(與之前的幀(參考幀)和隨后的幀相關(guān)的仿射變換參數(shù))。隨后，可靠度確 定分?jǐn)?shù)計(jì)算單元126計(jì)算在仿射變換后的重疊區(qū)域中包括的各像素之間的輝度差值的絕 對(duì)值。隨后，可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算對(duì)每個(gè)像素計(jì)算的差值的絕對(duì)值的總值，并 且計(jì)算通過(guò)將計(jì)算的總值除以用作計(jì)算目標(biāo)的像素?cái)?shù)獲得的值，作為可靠度確定分?jǐn)?shù)。
例如，如圖40(a)到(c)所示，設(shè)采用x-y坐標(biāo)，其中幀590的左上角取為原點(diǎn)，幀 590的上側(cè)的邊取為x軸，并且?guī)?90的左側(cè)的邊取為y軸。利用該x_y坐標(biāo)，例如，設(shè)幀 590的重疊區(qū)域的坐標(biāo)(i，j)處的輝度值是Il(i，j)，并且?guī)?91的重疊區(qū)域的坐標(biāo)(i，j) 處的輝度值是12 (i， j)。此外，如果設(shè)用于差值的計(jì)算的像素?cái)?shù)是P皿m，則可靠度確定分?jǐn)?shù) SHS1可用下面的表達(dá)式獲得
<formula>formula see original document page 41</formula> 這里，R表示幀590和591之間的重疊區(qū)域。也就是說(shuō)，如圖40(b)和(c)所示 的箭頭593到595，在幀590和591之間的重疊區(qū)域中包括的像素中，順序計(jì)算對(duì)應(yīng)位置處 布置的兩個(gè)像素的輝度差值的絕對(duì)值。隨后，使用這些差值的絕對(duì)值計(jì)算可靠度確定分?jǐn)?shù) SHSl。 因此，通過(guò)可靠度確定分?jǐn)?shù)計(jì)算單元126計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制 單元150，并且記錄在元數(shù)據(jù)存儲(chǔ)單元210中。具體地，可靠度確定分?jǐn)?shù)記錄在圖3B所示的 元數(shù)據(jù)文件211的可靠度確定分?jǐn)?shù)217中。注意，可靠度確定分?jǐn)?shù)217的記錄內(nèi)容具有與 圖3B所示的情況不同的數(shù)值。此外，部分選擇單元160使用該可靠度確定分?jǐn)?shù)，以基于可 靠度確定分?jǐn)?shù)是否超過(guò)閾值來(lái)執(zhí)行圖像合成目標(biāo)部分的選擇。例如，在可靠度確定分?jǐn)?shù)低 于一定閾值的情況下，可靠度確定為高。 到目前為止已經(jīng)關(guān)于這樣的情況進(jìn)行了描述，其中使用在連續(xù)兩個(gè)幀的重疊區(qū)域 中包括的所有像素計(jì)算可靠度確定分?jǐn)?shù)。然而，例如，可使用與用作相機(jī)工作參數(shù)計(jì)算單元 123的仿射變換參數(shù)計(jì)算目標(biāo)的特征點(diǎn)相關(guān)的信息計(jì)算可靠度確定分?jǐn)?shù)。
圖像處理裝置的配置示例 圖41是圖示根據(jù)本發(fā)明第二實(shí)施例的相機(jī)工作檢測(cè)單元127的功能配置示例的 框圖。相機(jī)工作檢測(cè)單元127包括特征點(diǎn)提取單元121、光流計(jì)算單元122、相機(jī)工作參數(shù) 計(jì)算單元123和可靠度確定分?jǐn)?shù)計(jì)算單元128。這里，特征點(diǎn)計(jì)算單元121、光流計(jì)算單元 122和相機(jī)工作參數(shù)計(jì)算單元123與圖2所示的相機(jī)工作檢測(cè)單元120中的那些相同。因 此，下面將以可靠度確定分?jǐn)?shù)計(jì)算單元128為中心進(jìn)行描述。此外，在該示例的情況下，將 關(guān)于這樣的示例進(jìn)行描述，其中在連續(xù)兩個(gè)幀的重疊區(qū)域中包括的像素中，使用圍繞展現(xiàn) 支配運(yùn)動(dòng)的特征點(diǎn)布置的像素的輝度差值計(jì)算可靠度確定分?jǐn)?shù)。 可靠度確定分?jǐn)?shù)計(jì)算單元128使計(jì)算與構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元IIO輸出的運(yùn)動(dòng)
畫(huà)面的連續(xù)兩個(gè)幀相關(guān)的可靠度確定分?jǐn)?shù)，并且將計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制
單元150。在該可靠度確定分?jǐn)?shù)計(jì)算的情況下，使用通過(guò)相機(jī)工作參數(shù)計(jì)算單元123計(jì)算的
相機(jī)工作參數(shù)、以及用于該相機(jī)工作參數(shù)計(jì)算的特征點(diǎn)。注意，將參照?qǐng)D42詳細(xì)描述可靠
度確定分?jǐn)?shù)計(jì)算。 可靠度確定分?jǐn)?shù)計(jì)算 圖42是圖示在通過(guò)根據(jù)本發(fā)明第二實(shí)施例的可靠度確定分?jǐn)?shù)計(jì)算單元128計(jì)算 可靠度確定分?jǐn)?shù)時(shí)的計(jì)算方法的概述的圖?，F(xiàn)在，圖42所示的幀590和591之間的關(guān)系、 以及幀590和591之間的重疊區(qū)域與圖40中的那些相同，因此，這里將省略其描述。注意， 圖42(b)和(c)使用虛線(xiàn)圖示重疊區(qū)域592的范圍。此外，在圖42(a)到(c)所示的重疊區(qū)域592中包括的每個(gè)像素(用正方形表示)中，展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)用正方形內(nèi)加單 個(gè)圓圈表示，并且其他特征點(diǎn)用正方形內(nèi)加兩個(gè)圓圈表示。例如，圖40(a)到(c)中所示的 重疊區(qū)域592包括展現(xiàn)支配運(yùn)動(dòng)的四個(gè)特征點(diǎn)以及其他單個(gè)特征點(diǎn)。在該示例的情況下， 將關(guān)于這樣的示例進(jìn)行描述，其中，在重疊區(qū)域592中包括的像素中，圍繞展現(xiàn)支配運(yùn)動(dòng)的 四個(gè)特征點(diǎn)的像素(例如，八個(gè)鄰近像素)用于計(jì)算輝度差值。這里，在重疊區(qū)域592中包 括的像素中，不使用圍繞其他單個(gè)特征點(diǎn)的像素。此外，例如，在圍繞展現(xiàn)支配運(yùn)動(dòng)的四個(gè) 特征點(diǎn)的像素和圍繞其他單個(gè)特征點(diǎn)的像素共同的情況下，對(duì)一個(gè)特征點(diǎn)給予優(yōu)先級(jí)，并 且這些像素不用于計(jì)算。也就是說(shuō)，在圖42所示的示例的情況下，區(qū)域601到608中包括 的每個(gè)像素用作可靠度確定分?jǐn)?shù)計(jì)算目標(biāo)。 在可靠度確定分?jǐn)?shù)計(jì)算單元128計(jì)算可靠度確定分?jǐn)?shù)的情況下，首先，在構(gòu)成從
運(yùn)動(dòng)畫(huà)面輸入單元iio輸出的運(yùn)動(dòng)畫(huà)面的連續(xù)兩個(gè)幀中，時(shí)間軸上的之前的幀取為參考
幀，并且隨后的幀經(jīng)歷仿射變換。該仿射變換與圖40中所示的示例相同。隨后，可靠度確 定分?jǐn)?shù)計(jì)算單元128計(jì)算，在連續(xù)兩個(gè)幀中包括的像素中，在包括在仿射變換后的重疊區(qū) 域中的、展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)周?chē)南袼氐妮x度差值的絕對(duì)值。隨后，可靠度確定分?jǐn)?shù)計(jì) 算單元128計(jì)算對(duì)圍繞展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的每個(gè)像素計(jì)算的差值的絕對(duì)值的總值，并 且計(jì)算通過(guò)將計(jì)算的總值除以用作計(jì)算目標(biāo)的像素?cái)?shù)獲得的值，作為可靠度確定分?jǐn)?shù)。
例如，設(shè)采用x-y坐標(biāo)，其中幀590的左上角取為原點(diǎn)，幀590的上側(cè)的邊取為x 軸，并且?guī)?90的左側(cè)的邊取為y軸。利用該x-y坐標(biāo)，例如，設(shè)幀590的重疊區(qū)域的坐標(biāo) (i，j)處的輝度值是Ill(i，j)，并且?guī)?91的重疊區(qū)域的坐標(biāo)(i，j)處的輝度值是I12(i， j)。此外，如果設(shè)用于差值的計(jì)算的像素?cái)?shù)是Pl皿m，則可靠度確定分?jǐn)?shù)SHS2可用下面的表 達(dá)式獲得
I I ll(i， j)-I 12(i' j)
SHS2 二 s-
111eri，ii2eri Pln咖 這里，Rl表示在幀590和591之間的重疊區(qū)域中，圍繞展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的 區(qū)域(例如，八個(gè)相鄰區(qū)域)。也就是說(shuō)，在圍繞展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)的像素、以及圍繞 其他特征點(diǎn)的像素共同的情況下，設(shè)R1取為不包括這樣的像素的區(qū)域。也就是說(shuō)，關(guān)于圖 42(b)和(c)所示的區(qū)域601到608計(jì)算在對(duì)應(yīng)位置處布置的兩個(gè)像素的輝度差值的絕對(duì) 值。隨后，使用這些差值的絕對(duì)值計(jì)算可靠度確定分?jǐn)?shù)SHS2。 因此，通過(guò)可靠度確定分?jǐn)?shù)計(jì)算單元128計(jì)算的可靠度確定分?jǐn)?shù)輸出到記錄控制 單元150，并且記錄在元數(shù)據(jù)存儲(chǔ)單元210中。具體地，可靠度確定分?jǐn)?shù)記錄在圖3B所示的 元數(shù)據(jù)文件211的可靠度確定分?jǐn)?shù)217中。注意，可靠度確定分?jǐn)?shù)217的記錄內(nèi)容具有與 圖3B所示的情況不同的數(shù)值。此外，部分選擇單元160使用該可靠度確定分?jǐn)?shù)，以基于可 靠度確定分?jǐn)?shù)是否超過(guò)閾值來(lái)執(zhí)行圖像合成目標(biāo)部分的選擇。例如，在可靠度確定分?jǐn)?shù)低 于一定閾值的情況下，可靠度可以確定為高。 到目前為止已經(jīng)關(guān)于這樣的情況進(jìn)行了描述，其中使用輝度差值計(jì)算可靠度確定 分?jǐn)?shù)。然而，可進(jìn)行這樣的安排，其中，替代輝度差值，例如，可關(guān)于G(綠)、R(紅)和B(藍(lán)) 的每個(gè)計(jì)算差值，并且基于該差值計(jì)算可靠度確定分?jǐn)?shù)。 此外，例如，可進(jìn)行這樣的安排，其中將高斯濾波器應(yīng)用到對(duì)應(yīng)于連續(xù)兩個(gè)幀的圖像，以平滑圖像，減少平滑的圖像，并且將減少的圖像的像素用于以與上面相同的方式計(jì)算 可靠度確定分?jǐn)?shù)。 此外，到目前為止已經(jīng)描述了這樣的示例，其中對(duì)應(yīng)于連續(xù)兩個(gè)幀的圖像用于計(jì) 算可靠度確定分?jǐn)?shù)，但是例如，相機(jī)傳感器信息可用于計(jì)算可靠度確定分?jǐn)?shù)。例如，在通過(guò) 包括三維加速度傳感器和三維回轉(zhuǎn)儀傳感器的相機(jī)記錄運(yùn)動(dòng)畫(huà)面的情況下，從這些傳感器 輸出的傳感器信息以與運(yùn)動(dòng)畫(huà)面相關(guān)的方式記錄為相機(jī)運(yùn)動(dòng)信息。隨后，與傳感器信息相
關(guān)的運(yùn)動(dòng)畫(huà)面輸入到運(yùn)動(dòng)畫(huà)面輸入單元iio，并且計(jì)算關(guān)于構(gòu)成該運(yùn)動(dòng)畫(huà)面的每個(gè)幀計(jì)算
的運(yùn)動(dòng)信息、和用傳感器信息指定的運(yùn)動(dòng)信息之間的差值。隨后，該差值可用作可靠度確定
分?jǐn)?shù)。在此情況下，在可靠度確定分?jǐn)?shù)不超過(guò)閾值的情況下，可靠度可確定為高。也就是說(shuō)，
可采用這樣的方法，其中，在使用從相機(jī)輸出的傳感器信息估計(jì)的圖像運(yùn)動(dòng)、和從構(gòu)成運(yùn)動(dòng)
畫(huà)面的圖像計(jì)算的圖像運(yùn)動(dòng)之間的匹配度高的情況下，可靠度確定為高。 3.第三實(shí)施例 圖像處理裝置的操作示例 在本發(fā)明第一實(shí)施例的情況下，已經(jīng)關(guān)于這樣的示例進(jìn)行了描述，其中包括在圖 像中的臉或笑臉用于選擇最前面的幀。在本發(fā)明第三實(shí)施例的情況下，將參照附圖關(guān)于這 樣的示例進(jìn)行詳細(xì)描述，其中與臉有關(guān)的除了笑臉以外的面部狀態(tài)用于選擇最前面的幀。
圖43是圖示根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置101的功能配置示例的框圖。 圖像處理裝置101包括合成目標(biāo)圖像選擇單元171、面部屬性狀態(tài)確定單元280、參考信息 存儲(chǔ)單元281、以及元數(shù)據(jù)存儲(chǔ)單元290。注意，其他功能配置與圖1中所示的圖像處理裝 置100中的那些大致相同，因此，對(duì)其指示與圖像處理裝置100的參考標(biāo)號(hào)相同的參考標(biāo) 號(hào)，將以具有不同功能的組件為中心進(jìn)行描述，并且將省略其他描述。 合成目標(biāo)圖像選擇單元171使用元數(shù)據(jù)記錄單元290中存儲(chǔ)的元數(shù)據(jù)，以從由部 分選擇單元160輸出的圖像合成目標(biāo)部分中包括的幀選擇用于創(chuàng)建合成圖像的幀，并且將 與選擇的幀有關(guān)的合成目標(biāo)圖像信息(幀選擇信息)輸出到記錄控制單元150。注意，將參 照?qǐng)D45到48詳細(xì)描述合成目標(biāo)圖像選擇。 面部屬性狀態(tài)確定單元280使用參考信息存儲(chǔ)單元281中存儲(chǔ)的參考信息，以確 定通過(guò)面部檢測(cè)單元130檢測(cè)的面部的屬性和狀態(tài)，并且將確定結(jié)果輸出到記錄控制單元 150。具體地，面部屬性狀態(tài)確定單元280計(jì)算指示面部圖像和參考信息存儲(chǔ)單元281中存 儲(chǔ)的各類(lèi)數(shù)據(jù)之間的相關(guān)性的相關(guān)值，該面部圖像從構(gòu)成從運(yùn)動(dòng)畫(huà)面輸入單元110輸出的 運(yùn)動(dòng)畫(huà)面的圖像提取并規(guī)范化，面部屬性狀態(tài)確定單元280基于計(jì)算的相關(guān)值，確定相關(guān) 性的高度，并且提取與規(guī)范化的面部圖像相關(guān)的各種數(shù)據(jù)。這樣的提取處理重復(fù)執(zhí)行，并且 基于提取的各種數(shù)據(jù)，確定規(guī)范化的面部圖像的面部表情等。因此，為了識(shí)別人臉，可采用 這樣的技術(shù)，其與綜合了大量人臉的數(shù)據(jù)庫(kù)執(zhí)行模板匹配(例如，參見(jiàn)日本未審專(zhuān)利申請(qǐng) 公開(kāi)No. 2003-271933，日本未審專(zhuān)利申請(qǐng)公開(kāi)No. 2004-30629等)。例如，預(yù)先從大量笑臉 采樣圖像建立笑臉數(shù)據(jù)庫(kù)，從圖像部分提取的該面部圖像經(jīng)歷模板匹配處理，從而可以確 定面部是笑臉還是非笑臉。類(lèi)似地，還可以關(guān)于其他屬性或狀態(tài)進(jìn)行確定。注意，可使用本 發(fā)明第一實(shí)施例中所示的評(píng)估值進(jìn)行確定。此外，面部屬性狀態(tài)確定單元280是
發(fā)明內(nèi)容
中所指的確定單元的示例。 參考信息存儲(chǔ)單元281存儲(chǔ)如用于性別確定的面部的各部分的參考信息，并將存儲(chǔ)的參考信息提供到面部屬性狀態(tài)確定單元280。注意，將參考圖44A和44B詳細(xì)描述參考 信息存儲(chǔ)單元281中存儲(chǔ)的參考信息。 元數(shù)據(jù)存儲(chǔ)單元290基于記錄控制單元150的控制，以與運(yùn)動(dòng)畫(huà)面和幀相關(guān)的方 式，將從相機(jī)工作檢測(cè)單元120、面部檢測(cè)單元130和面部屬性狀態(tài)確定單元280輸出的各 種信息存儲(chǔ)為元數(shù)據(jù)文件。此外，元數(shù)據(jù)存儲(chǔ)單元290將元數(shù)據(jù)文件提供到部分選擇單元 160和合成目標(biāo)圖像選擇單元171。注意，將參照?qǐng)D44A和44B詳細(xì)描述元數(shù)據(jù)存儲(chǔ)單元 290中存儲(chǔ)的元數(shù)據(jù)文件。 圖44A和44B是示意性圖示根據(jù)本發(fā)明第三實(shí)施例、在參考信息存儲(chǔ)單元281和 元數(shù)據(jù)存儲(chǔ)單元290中存儲(chǔ)的內(nèi)容的圖。圖44A圖示在參考信息存儲(chǔ)單元281中存儲(chǔ)的 參考信息。該參考信息例如是圖像自身，如眼、嘴等，即，用作人臉的特征數(shù)據(jù)庫(kù)、用作與特 定人臉相關(guān)的特征數(shù)據(jù)庫(kù)等。例如，如圖44A所示，在參考信息存儲(chǔ)單元281中存儲(chǔ)性別數(shù) 據(jù)庫(kù)282、年齡數(shù)據(jù)庫(kù)283、笑臉數(shù)據(jù)庫(kù)284、閉眼數(shù)據(jù)庫(kù)285、以及人物(character)數(shù)據(jù)庫(kù) 286。性別數(shù)據(jù)庫(kù)282是用于確定面部圖像的性別的數(shù)據(jù)庫(kù)，并且年齡數(shù)據(jù)庫(kù)283是用于確 定面部圖像的年齡的數(shù)據(jù)庫(kù)。此外，笑臉數(shù)據(jù)庫(kù)284是用于確定面部圖像的面部笑臉的數(shù) 據(jù)庫(kù)，并且閉眼數(shù)據(jù)庫(kù)285是用于確定面部圖像的閉眼的數(shù)據(jù)庫(kù)。此外，人物數(shù)據(jù)庫(kù)286是 用于將由用戶(hù)確定的人確定為人物的數(shù)據(jù)庫(kù)。通常，根據(jù)特征數(shù)據(jù)，與圖像自身相比，可以 以相對(duì)小的存儲(chǔ)容量保持大量的各種類(lèi)型的數(shù)據(jù)庫(kù)。 圖44B示意性圖示與存儲(chǔ)在運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中的運(yùn)動(dòng)畫(huà)面文件201相關(guān)地 存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元290中的元數(shù)據(jù)文件291。注意，運(yùn)動(dòng)畫(huà)面文件201和元數(shù)據(jù)文件 291之間的對(duì)應(yīng)關(guān)系與圖3B所示的示例相同，因此，這里將省略其描述。運(yùn)動(dòng)畫(huà)面ID 292、 幀號(hào)293、仿射變換參數(shù)294、可靠度確定分?jǐn)?shù)295、面部檢測(cè)信息296、性別297、年齡298、 笑臉299、閉眼287、以及人物288以相關(guān)方式存儲(chǔ)在元數(shù)據(jù)文件291中。注意，運(yùn)動(dòng)畫(huà)面ID 292、幀號(hào)293、仿射變換參數(shù)294、可靠度確定分?jǐn)?shù)295和面部檢測(cè)信息296與圖3B中示出 的那些相同，因此，這里將省略其描述。 性別297是關(guān)于對(duì)應(yīng)于幀號(hào)293的圖像的每幀中包括的面部確定的性別，其中存 儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括面部的情況 下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為男性的情況下，在性別297中存 儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為女性的情況下，在性別297中存儲(chǔ) "0"。 年齡298是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的年齡，其 中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括面部的 情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為成年人的情況下，在年齡298 中存儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為兒童的情況下，在年齡298中存 儲(chǔ)"0"。 笑臉299是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的是否存在 笑臉，其中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括 面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為笑臉的情況下，在笑 臉299中存儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為非笑臉的情況下，在笑臉 299中存儲(chǔ)"O"。
閉眼287是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的是否存在 閉眼的臉，其中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不 包括面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為閉眼的臉的情況 下，在閉眼287中存儲(chǔ)"1"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為非閉眼的臉的情 況下，在閉眼287中存儲(chǔ)"O"。 人物288是關(guān)于對(duì)應(yīng)于幀號(hào)293的運(yùn)動(dòng)畫(huà)面的每幀中包括的面部確定的是否存在 人物，其中存儲(chǔ)從面部屬性狀態(tài)確定單元280輸出的確定結(jié)果。例如，在對(duì)應(yīng)的幀中不包括 面部的情況下，不存儲(chǔ)東西。例如，在對(duì)應(yīng)的幀中包括的面部被確定為A先生的情況下，在 人物288中存儲(chǔ)"A"。另一方面，在對(duì)應(yīng)的幀中包括的面部被確定為B先生的情況下，在人 物288中存儲(chǔ)"B"。
合成目標(biāo)圖像的選擇示例 圖45是圖示根據(jù)本發(fā)明第三實(shí)施例、在顯示單元250上顯示的選擇屏幕的示例的 圖。選擇部分610是其中用戶(hù)執(zhí)行選擇操作以顯示期望的合成圖像的選擇屏幕。選擇屏幕 610例如包括用于選擇性別611、年齡612、人物613、和面部表情614作為面部屬性的選取 字段。此外，選擇屏幕610包括用于選擇合成順序的合成順序615、以及用于選擇重疊率616 的下拉按鈕617。此外，選擇屏幕610包括"全景式合成圖像顯示"按鈕619和"取消"按鈕 620。 例如，設(shè)利用選擇屏幕610，光標(biāo)618用于對(duì)性別611的女性字段添加標(biāo)記、對(duì)年 齡612的成年人字段添加標(biāo)記、并且對(duì)面部表情614的笑臉字段添加標(biāo)記。此外，在對(duì)人物 613的人物字段添加標(biāo)記的情況下，顯示在人物數(shù)據(jù)庫(kù)286上登記的人物的姓名(例如，A 先生、B先生和C先生)，對(duì)來(lái)自這些人物的期望的姓名的字段添加標(biāo)記。例如，對(duì)B先生添 加標(biāo)記。此外，利用選擇屏幕610，光標(biāo)618用于對(duì)合成順序615的遞增字段添加標(biāo)記。此 外，光標(biāo)618用于按下下拉按鈕617，從而如圖45顯示重疊率列表"高"、"中"和"低"?？?從該重疊率列表選擇期望的重疊率。這里，例如，在已經(jīng)選擇"高"的情況下，選擇60%到 70%的重疊率，并且在已經(jīng)選擇"中"的情況下，選擇60%到40%的重疊率，并且在已經(jīng)選 擇"低"的情況下，選擇40%到35%的重疊率。注意，在該示例的情況下，用戶(hù)從重疊率列 表選擇期望的重疊率，但是用戶(hù)可以直接輸入期望的重疊率。注意，不可以選擇用戶(hù)不具體 希望的項(xiàng)。 此外，在已經(jīng)完成通過(guò)用戶(hù)對(duì)于這些項(xiàng)的每個(gè)的選擇操作的情況下，用戶(hù)使用光 標(biāo)618來(lái)按下"全景式合成圖像顯示"按鈕619。因此，在按下"全景式合成圖像顯示"按鈕 613時(shí)選擇的每個(gè)項(xiàng)目的選擇信息從操作接受單元260輸出到合成目標(biāo)圖像選擇單元171。 基于該選擇信息，合成目標(biāo)圖像選擇單元171執(zhí)行幀選擇處理。注意，在按下"取消"按鈕 620時(shí)，釋放每個(gè)項(xiàng)目的選擇狀態(tài)。 圖46是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元171計(jì)算選擇 確定分?jǐn)?shù)使用的分?jǐn)?shù)的示例的圖。選擇確定分?jǐn)?shù)是用于選擇幀的值，并且基于與幀中包括 的面部相關(guān)的每條信息而計(jì)算。此外，在一個(gè)幀中包括多個(gè)面部的情況下，對(duì)每個(gè)面部計(jì)算 與這些面部相關(guān)的分?jǐn)?shù)，并且將對(duì)每個(gè)面部的分?jǐn)?shù)相加的值計(jì)算為選擇確定分?jǐn)?shù)。此外，例 如基于如圖45所示的選擇屏幕610處選擇的項(xiàng)目、圖46所示的分?jǐn)?shù)、和關(guān)于面部的屬性和 狀態(tài)計(jì)算選擇確定分?jǐn)?shù)。使用存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元290中的元數(shù)據(jù)作為關(guān)于面部的屬性和狀態(tài)。 具體地，計(jì)算指示確定的面部屬性的屬性值Z1、指示確定的面部狀態(tài)的狀態(tài)值 Jl，并且將屬性值Zl和狀態(tài)值Jl相加，從而計(jì)算選擇確定分?jǐn)?shù)。這里，屬性值Zl是例如用 作為面部屬性的性別621、年齡622、以及是否存在特定人623確定的值。此外，狀態(tài)值Jl 是例如用作為面部狀態(tài)的笑臉624、閉眼625、圖像內(nèi)的面部位置(距圖像中心的距離626)、 圖像內(nèi)的面部大小627確定的值。 例如，關(guān)于性別621、年齡622、以及特定人623，確定圖45所示的選擇屏幕610處 選擇的項(xiàng)目、以及用作選擇確定分?jǐn)?shù)計(jì)算目標(biāo)的圖像中包括的面部屬性是否匹配。與匹配 的項(xiàng)目相關(guān)的圖46所示的分?jǐn)?shù)加到屬性值Z1。此外，關(guān)于笑臉624，在圖45所示的選擇屏 幕610處選擇的圖像、以及用作選擇確定分?jǐn)?shù)計(jì)算目標(biāo)的圖像中包括的面部狀態(tài)(笑臉) 匹配的情況下，圖46所示的分?jǐn)?shù)加到狀態(tài)值Jl。此外，關(guān)于閉眼625、距圖像中心的距離 626、以及面部大小627，對(duì)應(yīng)于元數(shù)據(jù)存儲(chǔ)單元290中存儲(chǔ)的元數(shù)據(jù)的每個(gè)分?jǐn)?shù)加到狀態(tài) 值Jl。隨后，計(jì)算的屬性值Zl和狀態(tài)值Jl相加，從而計(jì)算選擇確定分?jǐn)?shù)。
此外，在一個(gè)幀中包括多個(gè)面部的情況下，對(duì)每個(gè)面部計(jì)算屬性值Z1和狀態(tài)值 J1，并且通過(guò)將屬性值Z1和狀態(tài)值Jl相加獲得的值計(jì)算為其圖像的選擇確定分?jǐn)?shù)。注意， 在該示例的情況下，在計(jì)算每個(gè)分?jǐn)?shù)時(shí)將每個(gè)值相加，但是，例如可通過(guò)將每個(gè)值相乘來(lái)計(jì) 算每個(gè)分?jǐn)?shù)。此外，可進(jìn)行這樣的安排，其中使用對(duì)應(yīng)于面部屬性和狀態(tài)的加權(quán)系數(shù)來(lái)替代 圖46所示的每個(gè)分?jǐn)?shù)，從而計(jì)算每個(gè)分?jǐn)?shù)。 使用由此計(jì)算的選擇確定分?jǐn)?shù)選擇最前面的圖像(最前面的幀)。也就是說(shuō)，關(guān)于 通過(guò)部分選擇單元160選擇的圖像合成目標(biāo)部分中包括的每個(gè)圖像計(jì)算選擇確定分?jǐn)?shù)，并 且在計(jì)算的選擇確定分?jǐn)?shù)中，具有最高計(jì)算值的圖像被選擇為最前面的圖像。隨后，選擇除 了最前面的幀以外的其他幀。將參照?qǐng)D47A到48B詳細(xì)描述該選擇方法。
圖47A和47B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元171 執(zhí)行幀選擇的情況下的選擇方法的概述的圖。圖47A圖示在計(jì)算要與已經(jīng)選擇的幀的下端 重疊的幀的選擇確定分?jǐn)?shù)的情況下的示例。例如，設(shè)幀460是選擇為最前面的幀的幀。在 以幀640作為參考幀選擇另一幀的情況下，排除關(guān)于要與幀640重寫(xiě)的區(qū)域中包括的面部 的分?jǐn)?shù)。例如，設(shè)在幀641中包括面部643到646的情況下，在關(guān)于最前面的幀640的重疊 區(qū)域642中包括圖像643和644的至少一部分。在此情況下，例如，在關(guān)于幀641確定需要 選擇的情況下，確定重疊區(qū)域642是否具有預(yù)定范圍內(nèi)的重疊率。設(shè)該重疊率的設(shè)置范圍 是在圖45所示的選擇屏幕610處選擇的內(nèi)容。隨后，在重疊區(qū)域642沒(méi)有預(yù)定范圍內(nèi)的重 疊率的情況下，不選擇幀641。在重疊區(qū)域642具有預(yù)定范圍內(nèi)的重疊率的情況下，關(guān)于幀 641計(jì)算選擇確定分?jǐn)?shù)。在此情況下，使用與不包括在幀641中包括的面部643到646的重 疊區(qū)域642中的面部645和646相關(guān)的值計(jì)算幀641的選擇確定分?jǐn)?shù)。
圖47B圖示在計(jì)算要與已經(jīng)選擇的幀的下端重疊的幀的選擇確定分?jǐn)?shù)的情況下 的示例。例如，幀660是用作關(guān)于幀650的重寫(xiě)合成目標(biāo)的幀。因此，在以幀650作為參考 幀選擇用作關(guān)于幀650的重寫(xiě)合成目標(biāo)的另一幀的情況下，將與除了要關(guān)于幀650重寫(xiě)的 區(qū)域以外的區(qū)域中包括的面部有關(guān)的分?jǐn)?shù)相加。例如，設(shè)面部651到653包括在幀650中， 并且面部653的至少一部分包括在關(guān)于幀660的重疊區(qū)域655中。此外，設(shè)面部661到664 包括在幀660中。在此情況下，例如，在關(guān)于幀660確定需要選擇的情況下，確定重疊區(qū)域665是否具有預(yù)定范圍內(nèi)的重疊率。在確定重疊區(qū)域665沒(méi)有預(yù)定范圍內(nèi)的重疊率的情況 下，不選擇幀660。另一方面，在確定重疊區(qū)域665有預(yù)定范圍內(nèi)的重疊率的情況下，關(guān)于幀 660計(jì)算選擇確定分?jǐn)?shù)。在此情況下，使用與幀660的重疊區(qū)域655中不包括的面部651、 652和661、幀650和660中包括的面部651到653、以及663和664相關(guān)的值計(jì)算幀660選 擇確定分?jǐn)?shù)。也就是說(shuō)，在合成兩個(gè)圖像的情況下，與用作顯示目標(biāo)的區(qū)域中包括的面部相 關(guān)的值計(jì)算為選擇確定分?jǐn)?shù)。 圖48A和48B是圖示在通過(guò)根據(jù)本發(fā)明第三實(shí)施例的合成目標(biāo)圖像選擇單元171 執(zhí)行幀選擇的情況下的選擇方法的概述的圖。在圖48A和48B所示的示例下，將關(guān)于這樣 的情況進(jìn)行描述，其中通過(guò)用戶(hù)的操作預(yù)先指定重疊序列。在該示例的情況下，在成像的時(shí) 間點(diǎn)從舊圖像朝向新圖像重寫(xiě)合成的情況下(在按遞增順序重寫(xiě)合成的情況下)的選擇方 法示出為示例。然而，設(shè)選擇為最前面的幀的圖像重寫(xiě)合成在頂端。 圖48A圖示這樣的示例，其中以最前面的幀671作為參考幀，朝向搜索方向671選 擇圖像。在此情況下，在從最前面的圖像676按時(shí)間序列向回追蹤的方向執(zhí)行搜索，因此， 已經(jīng)選擇的圖像重疊在用作選擇目標(biāo)的圖像上。因此，在考慮重疊區(qū)域的同時(shí)計(jì)算分?jǐn)?shù)，并 且在指定的重疊率的范圍內(nèi)包括的圖像中，選擇具有最高分?jǐn)?shù)的圖像。例如，設(shè)已經(jīng)以圖像 676作為對(duì)應(yīng)于參考幀670的參考圖像選擇圖像675和674。在以圖像674作為參考圖像 確定需要選擇下一圖像673的情況下，在執(zhí)行圖像673和674之間的重疊區(qū)域677的重疊 率的確定之后，計(jì)算關(guān)于圖像673中包括的面部計(jì)算的選擇確定分?jǐn)?shù)。這里，關(guān)于圖像673 中包括的四個(gè)面部的面部678，其部分包括在重疊區(qū)域677中。因此，在計(jì)算關(guān)于圖像673 中包括的面部的選擇確定分?jǐn)?shù)的情況下，使用除了圖像673中包括的面部678以外的三個(gè) 面部計(jì)算選擇確定分?jǐn)?shù)。 圖48B圖示這樣的示例，其中以最前面的幀680作為參考幀，朝搜索方向682選擇 圖像。在此情況下，從最前面的圖像683起按時(shí)間序列方向執(zhí)行搜索，因此，用作選擇目標(biāo) 的圖像重疊在已經(jīng)選擇的圖像上。然而，僅最前面的圖像683重疊在所有圖像上。因此，關(guān) 于圖像684，以與圖48A所示的情況相同的方式，在考慮關(guān)于圖像683的重疊區(qū)域的同時(shí)計(jì) 算分?jǐn)?shù)，并且在指定的重疊率的范圍內(nèi)包括的圖像中，選擇具有最高分?jǐn)?shù)的圖像。另一方 面，關(guān)于圖像685之后的圖像，選擇這樣的圖像，其中在指定的重疊率的范圍內(nèi)，用作選擇 目標(biāo)的圖像和與上面的圖像重疊的圖像之間的總分?jǐn)?shù)盡可能地不減少，并且當(dāng)前圖像上的 分?jǐn)?shù)高。也就是說(shuō)，選擇這樣的圖像，其中關(guān)于已經(jīng)選擇的合成圖像的總分?jǐn)?shù)、以及關(guān)于當(dāng) 前圖像的分?jǐn)?shù)最高。 例如，設(shè)以與參考幀680對(duì)應(yīng)的圖像683作為參考圖像，選擇像684和685。 在以圖像685作為參考圖像確定需要選擇下一圖像686的情況下，執(zhí)行圖像685和686之 間的重疊區(qū)域687的重疊率的計(jì)算。隨后，計(jì)算關(guān)于圖像683到685以及圖像686之間的 合成圖像中包括的每個(gè)面部計(jì)算的選擇確定分?jǐn)?shù)。這里，不管圖像686中包括的三個(gè)面部 是否包括在重疊區(qū)域687中，這三個(gè)面部都變?yōu)橛?jì)算目標(biāo)。 此外，例如，在成像的時(shí)間點(diǎn)處從新圖像朝向舊圖像執(zhí)行重寫(xiě)合成的情況下(在 以遞減順序重寫(xiě)合成的情況下)，以與遞增順序的情況相反的方向執(zhí)行選擇處理。注意，在 不指定合成順序的情況下，以從最前面的圖像按時(shí)間順序向回追蹤的方向、和從最前面的 圖像朝時(shí)間序列的方向執(zhí)行搜索。因此，在不執(zhí)行合成順序的情況下，即使在任何方向上執(zhí)行搜索的情況下，也以與圖48A相同的方式執(zhí)行選擇處理。這樣的合成順序用作成像合成 時(shí)的合成順序，因此，這樣的合成順序與合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270的圖像合成目 標(biāo)部分相關(guān)地存儲(chǔ)。 注意，在本發(fā)明第三實(shí)施例的情況下，已經(jīng)關(guān)于這樣的示例進(jìn)行描述，其中與圖 像中包括的面部相關(guān)的唯一的屬性取做面部屬性，與面部狀態(tài)相關(guān)的屬性取做狀態(tài)，并且 使用關(guān)于這樣的面部的每條信息計(jì)算選擇確定分?jǐn)?shù)。然而，可關(guān)于另一對(duì)象的每條信息計(jì) 算選擇確定分?jǐn)?shù)。例如，可使用關(guān)于各種對(duì)象(如例如貓、狗的寵物、動(dòng)物、房屋、交通工 具等)的每條信息計(jì)算選擇確定分?jǐn)?shù)。例如，在單獨(dú)關(guān)于寵物的情況下，與單獨(dú)識(shí)別人的 情況相比，可根據(jù)如色彩、模式、耳朵的形狀等的差別容易地識(shí)別寵物。此外，可使用特性 (saliency)圖計(jì)算選擇確定分?jǐn)?shù)。該特性圖通過(guò)每個(gè)像素的分?jǐn)?shù)表示人類(lèi)將觀察的區(qū)域。 例如，在使用該特性圖計(jì)算圖像的選擇確定分?jǐn)?shù)的情況下，通過(guò)對(duì)除了重疊區(qū)域以外的區(qū) 域的每個(gè)像素的分?jǐn)?shù)積分獲得的值可計(jì)算為圖像的選擇確定分?jǐn)?shù)。此外，例如，通過(guò)將使用 特性圖計(jì)算的分?jǐn)?shù)和關(guān)于對(duì)象的分?jǐn)?shù)相加獲得的值可計(jì)算為選擇確定分?jǐn)?shù)。
圖像處理裝置的操作示例。 接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置101的操作。
圖49是圖示通過(guò)根據(jù)本發(fā)明第三實(shí)施例的圖像處理裝置101的幀選擇處理的過(guò) 程的流程圖。該過(guò)程是圖34中示出的步驟S950的過(guò)程的修改。此外，該示例圖示這樣的 示例，其中僅僅元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的仿射變換參數(shù)用于計(jì)算重疊率。此外，該示例 圖示沒(méi)有指定合成順序的情況。 首先，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得對(duì)應(yīng)于通過(guò)部分選擇單元 160選擇的一個(gè)圖像合成目標(biāo)部分中包括的每幀的元數(shù)據(jù)(步驟SIOOI)。隨后，獲得通過(guò) 操作接受單元260接受的每項(xiàng)的選擇信息(步驟S1002)。 隨后，基于獲得的元數(shù)據(jù)，關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每幀 計(jì)算選擇確定分?jǐn)?shù)，并且在計(jì)算的選擇確定分?jǐn)?shù)中，將具有最高值的幀選擇為最前面的幀 (步驟S1003)。此外，選擇的最前面的幀選擇為代表幀。隨后，將關(guān)于選擇的最前面的幀的 每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S1004)。
隨后，從選擇的代表幀起以遞減順序執(zhí)行搜索，提取指定的重疊率的范圍內(nèi)的幀， 并且關(guān)于這些幀計(jì)算選擇確定分?jǐn)?shù)(步驟S1005)。在關(guān)于指定的重疊率的范圍內(nèi)的幀計(jì) 算的選擇確定分?jǐn)?shù)中，具有最高分?jǐn)?shù)的幀選擇為新的代表幀(步驟S1006)。關(guān)于新選擇的 代表幀的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S1007)。確定選 擇確定分?jǐn)?shù)的計(jì)算是否已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的頂部幀(步驟 S1008)。在選擇確定分?jǐn)?shù)的計(jì)算沒(méi)有執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的頂部幀 的情況下(步驟S1008)，流程返回到步驟S1005，其中重復(fù)代表幀選擇處理(步驟S1005到 S1007)。 另一方面，在選擇確定分?jǐn)?shù)的計(jì)算已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部 分的頂部幀的情況下(步驟S1008)，已經(jīng)選擇的最前面的幀選擇為代表幀(步驟S1009)。 隨后，從選擇的代表幀起以遞增順序執(zhí)行搜索，提取指定的重疊率的范圍內(nèi)的幀，并且關(guān)于 這些幀計(jì)算選擇確定分?jǐn)?shù)(步驟SIOIO)。在關(guān)于指定的重疊率的范圍內(nèi)的幀計(jì)算的選擇確 定分?jǐn)?shù)中，具有最高分?jǐn)?shù)的幀選擇為新的代表幀(步驟SlOll)。關(guān)于新選擇的代表幀的每條元數(shù)據(jù)記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元270中(步驟S1012)。確定選擇確定分?jǐn)?shù)的 計(jì)算是否已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的最后幀(步驟S1013)。在選擇 確定分?jǐn)?shù)的計(jì)算沒(méi)有執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部分的最后幀的情況下(步 驟S1013)，流程返回到步驟S1010，其中重復(fù)代表幀選擇處理(步驟S1010到S1012)。
另一方面，在選擇確定分?jǐn)?shù)的計(jì)算已經(jīng)執(zhí)行到達(dá)用作選擇目標(biāo)的圖像合成目標(biāo)部 分的最后幀的情況下(步驟S1013)，確定是否已經(jīng)關(guān)于通過(guò)部分選擇單元160選擇的所有 圖像合成目標(biāo)部分完成幀選擇處理(步驟S1014)，在還沒(méi)有關(guān)于所有圖像合成目標(biāo)部分完 成幀選擇處理的情況下(步驟S1014)，流程返回到步驟S1001，其中重復(fù)幀選擇處理(步驟 S1001到S1013)。另一方面，在已經(jīng)關(guān)于所有圖像合成目標(biāo)部分完成幀選擇處理的情況下 (步驟S1014)，幀選擇處理的操作結(jié)束。 因此，與圖像中包括的面部有關(guān)的屬性和狀態(tài)等用于選擇最前面的圖像和合成目 標(biāo)圖像，從而可以提供關(guān)于運(yùn)動(dòng)畫(huà)面中包括的人的感興趣的圖像。此外，可根據(jù)用戶(hù)的偏好 設(shè)置和顯示如關(guān)于面部的屬性和狀態(tài)等的每個(gè)項(xiàng)目，從而可以提供根據(jù)用戶(hù)的偏好的合成 圖像。 4.第四實(shí)施例 圖像處理裝置的配置示例 在本發(fā)明第一實(shí)施例的情況下，已經(jīng)描述了這樣的示例，其中合成在外圍為其添 加一定厚度的白框的圖像以創(chuàng)建全景式合成圖像。在本發(fā)明第四實(shí)施例的情況下，將參照 附圖關(guān)于這樣的示例進(jìn)行詳細(xì)描述，其中將除了一定厚度的白框以外的裝飾圖像添加到圖 像的外圍。 圖50是圖示根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的功能配置示例的框圖。 圖像處理裝置102包括圖像合成單元221、合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277、以及裝飾圖 像確定單元700。注意，其他功能配置大致與圖1中所示的圖像處理裝置100中的功能配置 相同，因此，將對(duì)其指示與圖像處理裝置100的參考標(biāo)號(hào)相同的參考標(biāo)號(hào)，并且將以具有不 同功能的組件為中心進(jìn)行描述，而將省略其他描述。注意，面部檢測(cè)單元130是發(fā)明內(nèi)容中 所指的對(duì)象檢測(cè)單元的示例。 記錄控制單元150將與從裝飾圖像確定單元700輸出的裝飾圖像有關(guān)的信息記錄 在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中，作為合成目標(biāo)圖像元數(shù)據(jù)。 合成目標(biāo)圖像選擇單元170從圖像合成目標(biāo)部分中包括的幀選擇合成圖像，并且 將與選擇的合成目標(biāo)圖像有關(guān)的合成目標(biāo)圖像信息輸出到記錄控制單元150和裝飾圖像 確定單元700。注意，合成目標(biāo)圖像選擇單元170是發(fā)明內(nèi)容中所指的變換信息計(jì)算單元的 示例。 裝飾圖像確定單元700確定要添加到每個(gè)幀的裝飾圖像，所述每個(gè)幀對(duì)應(yīng)于從合 成目標(biāo)圖像選擇單元170輸出的合成目標(biāo)圖像信息，并且裝飾圖像確定單元700將與確定 的裝飾圖像有關(guān)的裝飾圖像信息輸出到記錄控制單元150。例如，裝飾圖像確定單元700基 于元數(shù)據(jù)存儲(chǔ)單元210中記錄的元數(shù)據(jù)確定裝飾圖像。此外，裝飾圖像確定單元700基于 元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)和對(duì)應(yīng)于合成目標(biāo)圖像信息的每幀確定裝置圖像。注 意，將參照?qǐng)D52A到62詳細(xì)描述裝飾圖像確定方法。 合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277基于信號(hào)150的控制，將從合成目標(biāo)圖像選擇單元170輸出的合成目標(biāo)圖像信息存儲(chǔ)為合成目標(biāo)圖像元數(shù)據(jù)文件。此外，合成目標(biāo)圖像 元數(shù)據(jù)存儲(chǔ)單元277將從裝飾圖像確定單元700輸出的裝飾圖像信息存儲(chǔ)為合成目標(biāo)圖像 元數(shù)據(jù)文件。此外，合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277響應(yīng)于來(lái)自文件獲得單元180的請(qǐng) 求，將合成目標(biāo)圖像元數(shù)據(jù)文件提供到文件獲得單元180。注意，將參照?qǐng)D51詳細(xì)描述合成 目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中存儲(chǔ)的元數(shù)據(jù)文件。 在已經(jīng)通過(guò)操作接受單元260接受用于顯示合成圖像的指令操作的情況下，文件 獲得單元180將從合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277獲得的合成目標(biāo)圖像元數(shù)據(jù)輸出到圖 像合成單元221。 圖像合成單元221使用圖像存儲(chǔ)器230，以將根據(jù)合成目標(biāo)圖像元數(shù)據(jù)的內(nèi)容的 裝飾圖像添加到通過(guò)圖像變換單元190經(jīng)歷仿射變換的圖像，合成已經(jīng)添加裝飾圖像的圖 像，以創(chuàng)建合成圖像。 圖51是示意性圖示根據(jù)本發(fā)明第四實(shí)施例的合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277 的存儲(chǔ)內(nèi)容的圖。運(yùn)動(dòng)畫(huà)面ID 271、部分號(hào)272、幀號(hào)273、仿射變換參數(shù)274、最前面的幀 275、面部數(shù)據(jù)276、以及裝飾圖像數(shù)據(jù)278以相關(guān)的方式存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ) 單元277中。運(yùn)動(dòng)畫(huà)面ID 271、部分號(hào)272、幀號(hào)273、仿射變換參數(shù)274、最前面的幀275 和面部數(shù)據(jù)276與圖4中示出的示例中的那些相同，這里將省略其描述。
裝飾圖像數(shù)據(jù)278是與通過(guò)裝飾圖像確定單元700確定的、要添加到合成目標(biāo)圖 像的裝飾圖像相關(guān)的信息。作為該信息，例如存儲(chǔ)要添加到合成目標(biāo)圖像的裝飾圖像的位 置、大小、模式、色彩、類(lèi)型等?；谘b飾圖像數(shù)據(jù)278的內(nèi)容，將裝飾圖像添加到對(duì)應(yīng)幀的 外圍。注意，圖51中示出的示例以省略方式圖示與裝飾圖像相關(guān)的信息。
白框的確定示例 首先，將關(guān)于這樣的示例進(jìn)行描述，其中用作對(duì)其添加裝飾圖像的目標(biāo)的圖像經(jīng) 歷仿射變換，重疊在之前的合成圖像上，并且使用關(guān)于仿射變換后的圖像的重疊區(qū)域的信 息執(zhí)行圖像分析，從而確定裝飾圖像。在該示例的情況下，白框?qū)⒚枋鰹檠b飾圖像。
圖52A到52C是圖示安排來(lái)通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700 確定白框的厚度的確定方法的概述的圖。圖52A圖示在通過(guò)合成目標(biāo)圖像選擇單元170選 擇的幀中的按時(shí)間序列的連續(xù)的三個(gè)幀711到713。合成圖像714指示這樣的圖像，其中按 時(shí)間序列的連續(xù)三個(gè)幀711到713經(jīng)歷仿射變換，然后合成。此外，幀713是按時(shí)間序列臨 近幀712的幀，并且指示仿射變換后的狀態(tài)。裝飾圖像確定單元700基于與通過(guò)合成目標(biāo) 圖像選擇單元170選擇的幀相關(guān)的信息，從運(yùn)動(dòng)畫(huà)面存儲(chǔ)單元200中存儲(chǔ)的運(yùn)動(dòng)畫(huà)面文件 獲得這些幀中的每個(gè)。此外，裝飾圖像確定單元700包括用于保持合成圖像的工作緩沖器。
如圖52A所示，作為仿射變換后的下一幀的幀714重疊在其中合成了直到選擇的 幀的緊接在前面的幀的合成圖像714之上。此時(shí)，關(guān)于合成圖像714和對(duì)應(yīng)于幀713的圖像 之間的重疊區(qū)域715，以與本發(fā)明第一實(shí)施例中所示的方法相同的方式，從合成圖像714提 取特征點(diǎn)，并且關(guān)于該特征點(diǎn)計(jì)算光流。隨后，計(jì)算相機(jī)工作參數(shù)和可靠度。因此，在不是 關(guān)于整個(gè)圖像、而是僅關(guān)于重疊區(qū)域的局部區(qū)域計(jì)算相機(jī)工作參數(shù)和可靠度的情況下，在 一些情況下，計(jì)算結(jié)果與關(guān)于整個(gè)圖像計(jì)算的相機(jī)工作參數(shù)和可靠度不同。此外，通過(guò)合成 目標(biāo)圖像選擇單元170選擇的幀不是構(gòu)成運(yùn)動(dòng)畫(huà)面的連續(xù)幀，因此，存在由于多個(gè)仿射變 換參數(shù)的乘法而可能導(dǎo)致幀間偏移的可能性。注意，在重疊區(qū)域715中，區(qū)域716是幀711和713之間的重疊區(qū)域，并且在重疊區(qū)域715中，區(qū)域716以外的區(qū)域是幀712和713之間 的重疊區(qū)域。圖52A使用黑色圓圈和白色圓圈示意性圖示從重疊區(qū)域715提取的特征點(diǎn)。 此外，關(guān)于這些特征點(diǎn)計(jì)算的光流用以特征點(diǎn)作為原點(diǎn)的箭頭表示。這里，設(shè)重疊區(qū)域715 的用黑色圓圈指示的特征點(diǎn)是展現(xiàn)支配運(yùn)動(dòng)的特征點(diǎn)，并且白色圓圈是其他特征點(diǎn)。
圖52B圖示其中關(guān)于圖52A所示的重疊區(qū)域715計(jì)算的仿射變換參數(shù)用于使重疊 區(qū)域715經(jīng)歷仿射變換的情況。圖52B使用四個(gè)箭頭來(lái)圖示仿射變換參數(shù)的運(yùn)動(dòng)的轉(zhuǎn)換， 并且圖示重疊區(qū)域715經(jīng)歷仿射變換之后的區(qū)域，作為仿射變換之后的重疊區(qū)域717。此 外，圖52C僅圖示重疊區(qū)域715、以及仿射變換后的重疊區(qū)域717。 因此，在關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的連續(xù)幀計(jì)算的仿射變換參數(shù)用于合成選擇幀的情況 下，存在可能導(dǎo)致偏移的可能性。因此，在該示例的情況下，基于偏移的大小確定白框的厚度。 注意，將使用下面的表達(dá)式計(jì)算兩個(gè)過(guò)擴(kuò)展(over-extension)率DR1和DR2，作為
偏移量。 過(guò)擴(kuò)展率DR1 = (l-(C/A))
過(guò)擴(kuò)展率DR2 = (1- (C/B)) 這里，C表示其中合成了目標(biāo)圖像的重疊區(qū)域以及該重疊區(qū)域的仿射變換后的區(qū)
域的區(qū)域的面積。此外，A表示目標(biāo)圖像的重疊區(qū)域的面積，而B(niǎo)表示仿射變換后的目標(biāo)圖
像的重疊區(qū)域的面積。例如，在圖52C所示的示例的情況下，設(shè)其中合成了重疊區(qū)域715和
仿射變換后的重疊區(qū)域717的區(qū)域取為面積C，重疊區(qū)域715的面積取為面積A，并且仿射
變換后的重疊區(qū)域717的面積取為面積B。隨后，計(jì)算兩個(gè)過(guò)擴(kuò)展率DR1和DR2。 利用由此計(jì)算的兩個(gè)過(guò)擴(kuò)展率DR1和DR2，選擇較大值。隨后，設(shè)該選擇的過(guò)擴(kuò)展
率取為DR，使用下面的表達(dá)式計(jì)算用作裝飾圖像的白框的厚度。 要添加到水平方向上的兩端的各邊的白框的厚度SHI = WXDR 要添加到垂直方向上的兩端的各邊的白框的厚度SH2 = HXDR 可為過(guò)擴(kuò)展率提供上限和下限，以便防止白框相對(duì)于用作提供目標(biāo)的圖像變得太
厚。作為過(guò)擴(kuò)展率的上限和下限的范圍，例如可設(shè)置O. 1到0.03。 由此計(jì)算的要添加到水平方向和垂直方向的兩端的各邊的厚度SH1和SH2輸出到 記錄控制單元150，并且記錄在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的裝飾圖像數(shù)據(jù)278中。
例如，在過(guò)擴(kuò)展率小的情況下，用作添加白框的對(duì)象的目標(biāo)圖像、以及重疊在該圖 像之下的合成圖像之間的偏移小。因此，即使在要添加到其目標(biāo)圖像的白框的厚度薄的情 況下，也可以預(yù)期形成目標(biāo)圖像和合成圖像之間的自然的圖像。另一方面，在過(guò)擴(kuò)展率大的 情況下，目標(biāo)圖像、以及重疊在該圖像之下的合成圖像之間的偏移大。因此，要添加到其目 標(biāo)圖像的白框的厚度增加，從而可以使其偏移模糊。此外，根據(jù)要添加到圖像的白框，可以 消除由于偏移導(dǎo)致的不自然。注意，添加白框的位置可以是目標(biāo)圖像的外側(cè)、內(nèi)側(cè)、和邊緣 上之一。在圖56A到58D中示出了添加這樣的白框的示例。 圖53A至IJ53C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700確定的 裝飾圖像的示例的圖。圖53A圖示白框圖像721添加到幀720的外圍的外側(cè)的示例，圖53B 圖示添加白框圖像722以便包括幀720的外圍的示例，并且圖53C圖示白框圖像723添加 到幀72Q的外圍的內(nèi)側(cè)的示例。注意，在添加白框圖像以便包括圖像的外圍的情況下，可添加白框圖像，以便斜跨(obliquely straddle)圖像的外圍。注意，圖53A至lj 53C關(guān)于圖像 放大了白框，以方便觀察。此外，圖53A到53C使用粗線(xiàn)圖示了圖像的外圍，以便方便幀720 的大小的觀察。 此外，可對(duì)用作計(jì)算目標(biāo)的每個(gè)圖像確定由此計(jì)算的白框的厚度。然而，為了提供 優(yōu)良的合成圖像，在關(guān)于同一圖像合成目標(biāo)部分計(jì)算的過(guò)擴(kuò)展率中，具有最高值的過(guò)擴(kuò)展 率可用于統(tǒng)一其部分中包括的每幀的白框率。此外，例如，可采用過(guò)擴(kuò)展率的平均值。此外， 如圖54A到54C所示，添加白框的位置可根據(jù)圖像之間的相對(duì)位置關(guān)系改變。
圖54A到54C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700對(duì)于裝 飾圖像的確定方法的示例的圖。圖54A圖示以幀730作為參考幀使幀740經(jīng)歷仿射變換的 情況。在該示例的情況下，將關(guān)于這樣的示例進(jìn)行描述，其中確定要添加到幀740的上側(cè)的 外圍的圖像的位置。例如，以運(yùn)動(dòng)矢量731和732圖示下述情況下的運(yùn)動(dòng)矢量，其中以幀 730作為參考幀，幀740經(jīng)歷仿射變換，并且?guī)?30的上側(cè)的兩角處的點(diǎn)移動(dòng)。此外，用法線(xiàn) 矢量733和734圖示幀730的上側(cè)的法線(xiàn)矢量。 圖54B圖示運(yùn)動(dòng)矢量731和732以及法線(xiàn)矢量733和734之間的關(guān)系。例如，在關(guān) 于幀740的上側(cè)計(jì)算添加白框的位置的情況下，計(jì)算由通過(guò)將運(yùn)動(dòng)矢量731和732相加獲 得的矢量735和矢量733形成的角度736。此外，計(jì)算由矢量735和734形成的角度737。 隨后，比較角度736的值和角度737的值。作為該比較的結(jié)果，在角度736的值較小的情況 下，將白框布置到幀740的外圍的內(nèi)側(cè)。另一方面，在角度737的值較小的情況下，將白框 布置到幀740的外圍的外側(cè)。例如，如圖54B所示，作為角度736的值和角度737的值之間 的比較結(jié)果，角度737的值較小，因此，要添加到幀740的上側(cè)的外圍的白框確定為布置在 其外側(cè)。此外，關(guān)于其他三側(cè)也可以相同方式確定白框的位置。 圖54C圖示用作要添加到幀740的白框的示例的白框圖像741。因此，可根據(jù)關(guān)于 參考幀的相對(duì)位置確定白框圖像的位置。注意，在兩個(gè)運(yùn)動(dòng)矢量的和變?yōu)?的情況下，白框 圖像可確定為布置在外側(cè)或內(nèi)側(cè)。此外，即使在兩個(gè)運(yùn)動(dòng)矢量的和不為0的情況下，白框圖 像也可確定為不僅布置在外圍的外側(cè)或內(nèi)側(cè)，而且布置為以便跨越其外圍。例如，可根據(jù)由 加法矢量和法線(xiàn)矢量形成的角度改變白框的中心位置。此外，如圖55A和55B所示，要關(guān)于 同一側(cè)布置的白框圖像可在該側(cè)的兩端不同地布置。 圖55A和55B是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700的裝飾 圖像的確定方法的示例的圖。圖55A圖示以幀750作為參考幀使幀760經(jīng)歷仿射變換的情 況。例如，設(shè)在由運(yùn)動(dòng)矢量751和法線(xiàn)矢量753形成的角度小、并且由運(yùn)動(dòng)矢量752和法 線(xiàn)矢量754形成的角度小的情況下，運(yùn)動(dòng)矢量751的終點(diǎn)周?chē)莾?nèi)側(cè)。此外，運(yùn)動(dòng)矢量752 的終點(diǎn)周?chē)杀淮_定為布置在另一側(cè)。其他側(cè)可以相同方式確定。在由此進(jìn)行確定的情況 下，例如，可如圖55B所示布置白框圖像。然而，在以這樣的方式布置白框圖像的情況下，存 在可能改變圖像的外形的可能性。例如，如圖55B所示，在幀760是矩形的情況下，在一些 情況下，已經(jīng)添加了白框圖像的圖像變?yōu)槠叫兴倪呅巍４送?，例如，在目?biāo)幀是矩形的情況 下，假設(shè)其中已經(jīng)添加白框圖像的圖像變?yōu)樘菪蔚那闆r，或者在目標(biāo)幀是平行四邊形的情 況下，假設(shè)其中已經(jīng)添加白框圖像的圖像變?yōu)樘菪蔚那闆r。
白框的合成示例 圖56A到56D是圖示合成通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定的裝飾圖像的合成示例的圖。圖像合成單元220基于合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的裝飾 圖像數(shù)據(jù)278的內(nèi)容執(zhí)行該裝飾圖像合成。也就是說(shuō)，基于合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元 277的仿射變換參數(shù)274的內(nèi)容，圖像通過(guò)圖像變換單元190經(jīng)歷仿射變換。隨后，基于合 成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的裝飾圖像數(shù)據(jù)278的內(nèi)容，圖像合成單元220通過(guò)添加 裝飾圖像到仿射變換后的圖像，執(zhí)行圖像合成。在圖56A至lj56D所示的示例的情況下，將描 述平移方向上的偏移的影響。注意，圖56A到56D圖示白框添加為裝飾圖像的示例。
圖56A圖示合成目標(biāo)圖像738和739。圖56B圖示以合成目標(biāo)圖像738為參考圖 像使合成目標(biāo)圖像739經(jīng)歷仿射變換的示例。在圖56B所示的示例的情況下，圖示了合成目 標(biāo)圖像739向右下側(cè)偏移的情況。例如，在以圓圈742包圍的圖像區(qū)域的情況下，過(guò)度地看 到了合成目標(biāo)圖像738中包括的屋頂部分。此外，例如在以圓圈743包圍的圖像區(qū)域的情 況下，合成目標(biāo)圖像738中包括的草的部分被合成目標(biāo)圖像739隱藏。此外，例如，在以圓 圈744包圍的圖像區(qū)域的情況下，過(guò)度地看到了合成目標(biāo)圖像738中包括的傘的部分。因 此，如圖56C所示，例如，關(guān)于合成目標(biāo)圖像739合成通過(guò)裝飾圖像確定單元700確定的裝 飾圖像745，從而可隱藏用圓圈742到744包圍的區(qū)域部分中包括的不自然的圖像。另一方 面，如圖56D所示，在以由裝飾圖像確定單元700確定的區(qū)域的相反方向上、關(guān)于合成目標(biāo) 圖像739合成裝飾圖像746的情況下，例如，不能隱藏用圓圈742到744包圍的區(qū)域部分中 的不自然的圖像。 圖57A到57D是圖示合成通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。注意，在圖57A到57D所示的示例的情況下，將描述放大/縮小方 向的偏移的影響。 圖57A圖示合成目標(biāo)圖像747和748。圖57B圖示以合成目標(biāo)圖像747作為參考 圖像使合成圖像748經(jīng)歷仿射變換的情況的示例。在圖57B所示的示例的情況下，示出了 合成目標(biāo)圖像747在縮小方向上偏移的情況。例如，在用圓圈749包圍的圖像區(qū)域的情況 下，過(guò)度地看見(jiàn)了合成目標(biāo)圖像747中包括的屋頂?shù)牟糠帧４送?，例如，在用圓圈755包圍 的圖像區(qū)域的情況下，過(guò)度地看見(jiàn)了合成目標(biāo)圖像747中包括的電燈的部分。此外，例如， 在用圓圈756包圍的圖像區(qū)域的情況下，過(guò)度地看見(jiàn)了合成目標(biāo)圖像747中包括的傘的部 分。因此，如圖57C所示，例如關(guān)于合成目標(biāo)圖像748合成通過(guò)裝飾圖像確定單元700確定 的裝飾圖像757，從而可隱藏用圓圈749、755和756包圍的區(qū)域部分中包括的不自然的圖 像。另一方面，如圖57D所示，在以由裝飾圖像確定單元700確定的區(qū)域的相反方向上、關(guān) 于合成目標(biāo)圖像748合成裝飾圖像758的情況下，例如，不能隱藏用圓圈749、755和756包 圍的區(qū)域部分中的不自然的圖像。 圖58A到58D是圖示合成通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定的裝 飾圖像的合成示例的圖。注意，在圖58A到58D所示的示例的情況下，將描述旋轉(zhuǎn)方向的偏 移的影響。 圖58A圖示合成目標(biāo)圖像759和762。圖58B圖示以合成目標(biāo)圖像759作為參考 圖像使合成圖像762經(jīng)歷仿射變換的情況的示例。在圖58B所示的示例的情況下，示出了 合成目標(biāo)圖像762在順時(shí)針?lè)较蛏掀频那闆r。例如，在用圓圈763包圍的圖像區(qū)域的情 況下，不自然地看見(jiàn)了合成目標(biāo)圖像759中包括的石階圓圈763包圍的區(qū)域部分中包括的不自然的圖像。另一方面，如圖58D所示，在以由裝飾圖 像確定單元700確定的區(qū)域的相反方向上、關(guān)于合成目標(biāo)圖像762合成裝飾圖像765的情 況下，例如，不能隱藏用圓圈763包圍的區(qū)域部分中的不自然的圖像。這里，在旋轉(zhuǎn)方向上 簡(jiǎn)單地偏移合成目標(biāo)的情況下，如圖54A到54C所述，兩個(gè)運(yùn)動(dòng)矢量的和變?yōu)?。因此，白框 圖像不僅可確定為布置在外圍的外側(cè)或內(nèi)側(cè)，而且可布置在其外圍之上。
因此，關(guān)于合成目標(biāo)圖像合成通過(guò)裝飾圖像確定單元700確定的裝飾圖像，從而 可將全景式自然的合成圖像提供給用戶(hù)。
考慮面部的同時(shí)的白框的確定示例 現(xiàn)在，例如，在合成已經(jīng)添加裝飾圖像的合成目標(biāo)圖像的情況下，存在可能隱藏重 疊在下側(cè)上的合成圖像中包括的面部的可能性。在這樣的情況下，裝飾圖像的位置可在不 隱藏面部的方向上改變。替代地，可調(diào)節(jié)裝飾圖像的厚度。 圖59是圖示考慮到面部、通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700的裝飾圖 像確定方法的示例的圖。現(xiàn)在，示出了這樣的示例，其中確定合成目標(biāo)圖像766到768的裝 飾圖像。此外，設(shè)合成目標(biāo)圖像767和768包括面部，并且包括面部的這些區(qū)域用面部區(qū)域 769和770表示。 例如，設(shè)以合成目標(biāo)圖像766作為參考圖像，合成目標(biāo)圖像767和768經(jīng)歷仿射變 換并合成。在此情況下，合成目標(biāo)圖像768關(guān)于合成目標(biāo)圖像767重寫(xiě)并合成，因此，例如， 在要添加到合成目標(biāo)圖像768的裝飾圖像大的情況下(或在添加到外側(cè)的情況下)，存在可 能隱藏面部區(qū)域769中包括的面部的可能性。 現(xiàn)在，例如，可使用合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277的面部數(shù)據(jù)276中存儲(chǔ)的面 部數(shù)據(jù)確定合成目標(biāo)圖像中包括的面部區(qū)域。因此，例如，裝飾圖像確定單元700計(jì)算考慮 面部之前確定的裝飾圖像的區(qū)域和面部區(qū)域是否重疊，并且在裝飾圖像的區(qū)域和面部區(qū)域 重疊的情況下，裝飾圖像的位置改變?yōu)榇_定位置的相對(duì)側(cè)。例如，在合成目標(biāo)圖像767中包 括的面部區(qū)域769、以及被確定為要添加到合成目標(biāo)圖像768的左端的外側(cè)的裝飾圖像771 重疊的情況下，裝飾圖像771改變?yōu)樘砑拥絻?nèi)側(cè)，S卩，改變?yōu)檠b飾圖像772。此外，例如在合 成目標(biāo)圖像768中包括的面部區(qū)域770、以及被確定為要添加到合成目標(biāo)圖像768的上端的 內(nèi)側(cè)的裝飾圖像773重疊的情況下，裝飾圖像773改變?yōu)樘砑拥酵鈧?cè)，即，改變?yōu)檠b飾圖像 774。 現(xiàn)在，例如，即使要添加的位置改變?yōu)楹铣赡繕?biāo)圖像的內(nèi)側(cè)或外側(cè)，裝飾圖像和面
部圖像重疊，也可通過(guò)計(jì)算裝飾圖像和面部區(qū)域之間的距離改變裝飾圖像的厚度。因此，即
使裝飾圖像的厚度改變，在裝飾圖像和面部圖像重疊的情況下，例如，裝飾圖像的位置也改
變到重疊區(qū)域小的位置。然而，例如，在對(duì)要重疊在上側(cè)的合成目標(biāo)圖像給予優(yōu)先級(jí)、并且
裝飾圖像和面部區(qū)域重疊的情況下，裝飾可確定為添加到合成目標(biāo)圖像的外側(cè)。替代地，可
進(jìn)行這樣的安排，其中對(duì)每側(cè)預(yù)先計(jì)算面部區(qū)域和裝飾圖像之間的距離，不重疊在面部之
上的裝飾圖像的最大厚度預(yù)先存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中，并使用這些值
添加裝飾圖像。 陰影的確定示例 到目前為止已經(jīng)關(guān)于這樣的示例進(jìn)行了描述，其中將白框添加到合成目標(biāo)圖像作 為裝飾圖像，但是例如，可將陰影添加到合成目標(biāo)圖像作為裝飾圖像。
圖60A到60C是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的裝飾圖像確定單元700確定為 要添加到合成目標(biāo)圖像的裝飾圖像的陰影的示例的圖。此后，通過(guò)在內(nèi)部添加對(duì)角線(xiàn)筆劃 來(lái)指示要添加到合成目標(biāo)圖像的陰影。圖60A圖示要添加到合成目標(biāo)圖像的陰影的基本形 狀。例如，關(guān)于如陰影351的陰影的方向，將首先考慮這樣的情況，其中當(dāng)從合成目標(biāo)圖像 正上方施加光時(shí)，陰影在所有方向上擴(kuò)散。此外，類(lèi)似于陰影352或353，還可產(chǎn)生這樣的效 果，其中光從合成目標(biāo)圖像的斜上方或斜下方施加。 圖60B圖示這樣的情況，其中產(chǎn)生效果，使得光從合成目標(biāo)圖像的斜上方施加，以 創(chuàng)建合成圖像。也就是說(shuō)，順序合成已經(jīng)添加陰影352的合成圖像，從而可以創(chuàng)建圖60B所 示的合成圖像。此外，圖60C圖示產(chǎn)生如下效果的情況，其中光從合成目標(biāo)圖像的斜下方施 加以創(chuàng)建合成目標(biāo)。也就是說(shuō)，順序合成已經(jīng)添加陰影353的合成圖像，從而可以創(chuàng)建圖 60C所示的合成圖像。 現(xiàn)在，例如，在產(chǎn)生光從合成圖像的斜上方或斜下方施加的效果的情況下，期望將 下述方向確定為陰影的方向，其中陰影盡可能多地落在根據(jù)合成圖像的最終重疊方向的較 下方的圖像上。此外，例如，陰影的厚度可設(shè)置為一定值。此外，例如，以與上述白框的情況 相同的方式，可根據(jù)過(guò)擴(kuò)展率確定陰影的厚度。 圖61A和61B是圖示安排來(lái)通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700確定陰 影的方向的確定方法的概述的圖。圖61A圖示在工作緩沖器358處保持的合成目標(biāo)圖像354 到357。例如，設(shè)計(jì)算重寫(xiě)在另一合成目標(biāo)圖像的合成目標(biāo)圖像的各側(cè)的長(zhǎng)度，計(jì)算其各側(cè) 的外向法線(xiàn)矢量，并且將法線(xiàn)矢量的大小取為各側(cè)的重寫(xiě)部分的長(zhǎng)度。例如，在圖61A所示 的合成目標(biāo)圖像355到357的情況下，重寫(xiě)在另一合成目標(biāo)圖像上的側(cè)用粗線(xiàn)指示。此外， 該側(cè)的外向法線(xiàn)矢量在粗線(xiàn)上指示。積分由此計(jì)算的合成目標(biāo)圖像的所有法線(xiàn)矢量，并且 通過(guò)積分獲得的法線(xiàn)矢量的方向確定為添加陰影的方向。圖61B圖示通過(guò)添加了由此確定 的陰影的合成目標(biāo)圖像354到357形成的合成圖像。如此確定陰影的方向，從而將陰影投 射在合成目標(biāo)圖像上，因此，可以增強(qiáng)陰影的效果。 注意，除了通過(guò)上述法線(xiàn)矢量的積分確定陰影的方向之外，可從參照法線(xiàn)矢量的 方向預(yù)先確定的若干方向選擇和確定陰影的方向。替代地，可進(jìn)行這樣的安排，其中通過(guò)將 與每個(gè)合成目標(biāo)圖像相關(guān)的仿射變換參數(shù)相乘獲得的仿射矩陣用于獲得相機(jī)工作的積分 平移分量，并且該積分平移分量的方向取為陰影的方向。
考慮面部的同時(shí)的陰影的確定示例 現(xiàn)在，例如，在合成已經(jīng)添加陰影的合成目標(biāo)圖像的情況下，存在可能隱藏重疊在 下側(cè)上的合成圖像中包括的面部的可能性。在這樣的情況下以與上述白框的情況相同的方 式，陰影的方向可改變?yōu)椴浑[藏面部的方向。替代地，在面部區(qū)域被陰影覆蓋的情況下，可 使陰影的顏色變淡。以下將示出這樣的示例，其中面部被陰影覆蓋，該側(cè)的法線(xiàn)矢量的方向 反向，從而改變陰影的方向。 圖62是圖示考慮到面部、通過(guò)根據(jù)第四實(shí)施例的裝飾圖像確定單元700的陰影確 定方法的示例的圖。圖62所示的示例與圖51A所示的情況相同，除了在保持在工作緩沖器 358的合成目標(biāo)圖像354到357中，面部區(qū)域359包括在合成目標(biāo)圖像356中。例如，以與 圖61A所示的情況相同的方式獲得法線(xiàn)矢量，但是在面部區(qū)域被陰影覆蓋的情況下，該側(cè) 的法線(xiàn)矢量的方向反向。例如，在圖62所示的合成目標(biāo)圖像357的情況下，在重寫(xiě)在另一合成目標(biāo)圖像356之上的各側(cè)中，左邊緣一側(cè)重寫(xiě)在面部區(qū)域359之上。因此，該側(cè)的法線(xiàn) 矢量的方向反向。也就是說(shuō)，該法線(xiàn)矢量的方向反向，如法線(xiàn)矢量360。注意，用于確定陰影 的方向的方法與圖61A所示的情況相同，除了法線(xiàn)矢量的方向反向，因此，這里將省略其描 述。 這里，在圖62所示的示例的情況下，在法線(xiàn)矢量的方向反向后計(jì)算的法線(xiàn)矢量的 積分矢量的方向幾乎與沒(méi)有反向其方向的情況下的相同，因此，面部被陰影隱藏。然而，在 面部被多個(gè)合成目標(biāo)圖像的左側(cè)的陰影覆蓋的情況下，陰影的方向是右上方向，從而可以 防止面部被陰影隱藏。此外，例如，整個(gè)陰影的濃度可根據(jù)反向的法線(xiàn)矢量的方向和長(zhǎng)度而 變淡。替代地，陰影的厚度可根據(jù)反向的法線(xiàn)矢量的方向和長(zhǎng)度而變薄。此外，在面部被陰 影覆蓋的情況下，可使用這樣的陰影改變方法，其中整個(gè)陰影的濃度按一定比率變淡，或其 厚度按一定比率變薄。 因此，在可能隱藏重疊在下側(cè)上的合成圖像中包括的面部的情況下，陰影的位置 可改變?yōu)椴浑[藏面部的方向。然而，與白框相比，即使在面部被陰影覆蓋的情況下，也可預(yù) 期沒(méi)有那么麻煩的狀態(tài)。因此，在面部區(qū)域被陰影覆蓋的情況下，這樣的改變或調(diào)整完全可 以不執(zhí)行，可執(zhí)行其中的任一個(gè)，或可執(zhí)行其組合。 到目前為止已經(jīng)描述了這樣的示例，其中白框或陰影被確定為裝飾圖像，但是本 發(fā)明的第四實(shí)施例還可應(yīng)用到這樣的情況，其中白框添加到合成目標(biāo)圖像的外圍，并且陰 影也添加到該白框的外圍。 此夕卜，到目前為止已經(jīng)示出了這樣的示例，其中在幀選擇時(shí)確定要添加到合成目
標(biāo)圖像的裝飾圖像，但是例如，可在合成圖像的顯示時(shí)確定要添加到合成目標(biāo)圖像的裝飾
圖像。替代地，可根據(jù)用戶(hù)的操作確定裝飾圖像。例如，可通過(guò)用戶(hù)的操作指定合成目標(biāo)圖
像中的是否存在白框、白框的位置、白框的厚度、是否存在陰影、陰影的方向等。 此外，到目前為止已經(jīng)示出了這樣的示例，其中白框或陰影的厚度和方向確定為
裝飾圖像，但是例如，可基于過(guò)擴(kuò)展率或法線(xiàn)矢量確定裝飾圖像的顏色或模式。此外，到目
前為止已經(jīng)示出了這樣的示例，其中基于合成目標(biāo)圖像之間的相對(duì)位置關(guān)系等確定裝飾圖
像，但是例如，可基于合成目標(biāo)圖像中包括的被攝體的屬性、顏色等確定裝飾圖像。例如，在
框添加為裝飾圖像的情況下，計(jì)算合成目標(biāo)圖像的外圍部分的顏色柱狀圖，并且最頻繁的
顏色的補(bǔ)色可被確定為框的顏色。因此，已經(jīng)添加了白色以外的顏色的框添加到合成目標(biāo)
圖像，從而可防止合成目標(biāo)圖像的邊緣變得模糊。例如，如圖32和33中所示的圖像576，在
合成目標(biāo)圖像的外圍部分包括很多綠色的情況下，紅色采用為關(guān)于綠色的補(bǔ)色。此外，可使
用如本發(fā)明第三實(shí)施例中所示的、關(guān)于面部的每條元數(shù)據(jù)確定框的顏色或模式。例如，可根
據(jù)合成目標(biāo)圖像中包括的人的性別或年齡改變框的顏色。此外，可根據(jù)已經(jīng)成像合成目標(biāo)
圖像的時(shí)間點(diǎn)改變框的顏色。 替代地，在使用通過(guò)圖52A到52C所示的方法計(jì)算的相機(jī)工作參數(shù)和可靠度顯示 合成圖像時(shí)，可在校正偏移的同時(shí)執(zhí)行合成。例如，通過(guò)圖52A到52C所示的方法計(jì)算的相 機(jī)工作參數(shù)和可靠度預(yù)先存儲(chǔ)在合成目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中。隨后，當(dāng)顯示合成 目標(biāo)圖像時(shí)，關(guān)于具有高可靠度的合成目標(biāo)圖像，可使用對(duì)應(yīng)的相機(jī)工作參數(shù)校正用于變 換合成目標(biāo)圖像的仿射變換參數(shù)。
圖像處理裝置的操作示例
接下來(lái)，將參照附圖描述根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的操作。
圖63是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程的流程圖。該過(guò)程是圖34所示的過(guò)程的修改，與圖34中所示的過(guò)程 相同的過(guò)程將用相同的參考標(biāo)號(hào)表示，并且這里將省略其描述。 在通過(guò)合成目標(biāo)圖像選擇單元170的幀選擇處理完成后，裝飾圖像確定單元700 執(zhí)行裝飾圖像確定處理(步驟S1020)。將參照?qǐng)D64詳細(xì)描述該裝飾圖像確定處理。注意， 步驟S950是發(fā)明內(nèi)容中所指的變換信息的計(jì)算的示例。此外，注意，步驟S1020是發(fā)明內(nèi) 容中所指的用于確定裝飾圖像的計(jì)算的示例。 圖64是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成目標(biāo)圖像元
數(shù)據(jù)記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程(圖63中所示的步驟S1020的過(guò)程)的
流程圖。在該示例的情況下，示出了白框確定為裝飾圖像的示例。此外，示出了要添加到相
同圖像合成目標(biāo)部分中包括的每個(gè)幀的白框具有相同厚度的情況作為示例。 首先，從元數(shù)據(jù)存儲(chǔ)單元210中存儲(chǔ)的元數(shù)據(jù)文件獲得元數(shù)據(jù)，該元數(shù)據(jù)對(duì)應(yīng)于
通過(guò)合成目標(biāo)圖像選擇單元170選擇的單個(gè)圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖
像(步驟S1021)。隨后，計(jì)算用于使用仿射變換參數(shù)合成每個(gè)合成目標(biāo)圖像的大小，所述仿
射變換參數(shù)對(duì)應(yīng)于獲得的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像，并且確保具有該
大小的兩個(gè)工作緩沖器(步驟S1022)。兩個(gè)工作緩沖器是通過(guò)8位表示構(gòu)成圖像的每個(gè)像
素的工作緩沖器，并且在該示例的情況下，這些工作緩沖器指示為第一工作緩沖器和第二
工作緩沖器。 隨后，在用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像中，最前 面的幀選擇為參考幀(步驟S1023)。參考幀粘貼到第一工作緩沖器(步驟S1024)。鄰近 參考幀的幀粘貼到第二工作緩沖器(步驟S1025)。在此情況下，消除緊接在前面粘貼的幀， 并且僅將鄰近參考幀的幀粘貼到第二工作緩沖器。隨后，計(jì)算粘貼到第一工作緩沖器的歷 史圖像和要粘貼到第二工作緩沖器的幀之間的重疊區(qū)域的過(guò)擴(kuò)展率(步驟S1026)。該過(guò)擴(kuò) 展率通過(guò)圖52A到52C所示的計(jì)算方法計(jì)算。 隨后，關(guān)于用作選擇目標(biāo)的圖像合成目標(biāo)部分中包括的每個(gè)合成目標(biāo)圖像，確定 是否已經(jīng)完成過(guò)擴(kuò)展率的計(jì)算(步驟S1027)。在還沒(méi)有關(guān)于每個(gè)合成目標(biāo)圖像完成過(guò)擴(kuò)展 率的計(jì)算的情況下(步驟S1027)，緊接在前面已經(jīng)計(jì)算其過(guò)擴(kuò)展率的幀選擇為參考幀(步 驟S1028)，并且流程返回到步驟S1024。隨后，新選擇的參考幀粘貼到第一工作緩沖器的歷 史圖像之上(步驟S1024)。注意，在已經(jīng)緊接在前面計(jì)算其過(guò)擴(kuò)展率的幀是圖像合成目標(biāo) 部分的頂部幀或最后幀的情況下，鄰近最前面的幀的其他方向的幀選擇為參考幀。
在關(guān)于每個(gè)合成目標(biāo)圖像完成過(guò)擴(kuò)展率的計(jì)算的情況下(步驟S1027)，基于關(guān)于 每個(gè)合成目標(biāo)部分計(jì)算的過(guò)擴(kuò)展率，計(jì)算要添加到用作選擇目標(biāo)的圖像合成目標(biāo)部分中包 括的每個(gè)合成目標(biāo)圖像的白框的厚度(步驟S1029)。隨后，計(jì)算的白框的厚度記錄在合成 目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中(步驟S1030)。確定是否已經(jīng)關(guān)于通過(guò)部分選擇單元160 選擇的所有圖像合成目標(biāo)部分完成裝飾圖像確定處理(步驟S1031)。在還沒(méi)有關(guān)于所有圖 像合成目標(biāo)部分完成裝飾圖像確定處理的情況下(步驟S1031)，流程返回到步驟S1021，其 中重復(fù)裝飾圖像確定處理(步驟S1021到S1030)。另一方面，在關(guān)于所有圖像合成目標(biāo)部 分完成裝飾圖像確定處理(步驟S1031)，裝飾圖像確定處理操作結(jié)束。
圖65是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成目標(biāo)圖像元 數(shù)據(jù)記錄處理的過(guò)程中包括的裝飾圖像確定過(guò)程(圖63中所示的步驟S1020的過(guò)程)的流 程圖。該示例是其中陰影確定為裝飾圖像的示例，并且是圖64所示的過(guò)程的修改。因此， 將僅描述與圖64中示出的過(guò)程不同的過(guò)程，并且將省略其他描述。 在鄰近參考幀的幀被粘貼到第二工作緩沖器之后(步驟S1025)，計(jì)算粘貼到第一 工作緩沖器的歷史圖像和粘貼到第二工作緩沖器的幀之間的法線(xiàn)矢量(步驟S1041)。該法 線(xiàn)矢量通過(guò)圖61A和61B中所示的計(jì)算方法計(jì)算。 此外，在已經(jīng)關(guān)于每個(gè)合成目標(biāo)圖像完成法線(xiàn)矢量的計(jì)算的情況下(步驟 S1027)，關(guān)于每個(gè)合成目標(biāo)圖像計(jì)算計(jì)算的法線(xiàn)矢量的積分值，將通過(guò)積分獲得的法線(xiàn)矢 量的方向計(jì)算為添加陰影的方向(步驟S1042)。隨后，計(jì)算的添加陰影的方向存儲(chǔ)在合成 目標(biāo)圖像元數(shù)據(jù)存儲(chǔ)單元277中(步驟S1043)。 圖66是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成圖像顯示處 理的過(guò)程的流程圖。該過(guò)程是圖37所示的過(guò)程的修改，因此，與圖37中所示的過(guò)程相同的 過(guò)程將用相同的參考標(biāo)號(hào)表示，并且這里將省略其描述。 圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添 加到經(jīng)歷仿射變換的圖像的外圍(步驟S1051)，并且在圖像存儲(chǔ)器230保持已經(jīng)添加裝飾 圖像的圖像(步驟S1052)。也就是說(shuō)，關(guān)于在圖像存儲(chǔ)器230保持的歷史圖像合成已經(jīng)添 加裝飾圖像的、經(jīng)歷仿射變換的圖像。 此外，在最前面的幀不是圖像合成目標(biāo)部分處的頂部幀的情況下(步驟S973)，執(zhí)
行圖像合成處理(步驟S1060)。將參照?qǐng)D67詳細(xì)描述該圖像合成處理。 圖67是圖示通過(guò)根據(jù)本發(fā)明第四實(shí)施例的圖像處理裝置102的合成圖像顯示處
理的過(guò)程中包括的圖像合成過(guò)程(圖66中所示的步驟S1060的過(guò)程)的流程圖。該過(guò)程
是圖38所示的過(guò)程的修改，因此，與圖38中所示的過(guò)程相同的過(guò)程將用相同的參考標(biāo)號(hào)表
示，并且這里將省略其描述。 圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾圖像添 加到經(jīng)歷仿射變換的圖像的外圍(步驟S1061)，并且在圖像存儲(chǔ)器230處保持已經(jīng)添加裝 飾圖像的圖像(步驟S1062)。 此外，圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾 圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1063)，并且在圖像存儲(chǔ)器230處保持已經(jīng) 添加裝飾圖像的圖像(步驟S1064)。 此外，圖像合成單元221基于獲得的每條元數(shù)據(jù)中包括的裝飾圖像數(shù)據(jù)，將裝飾
圖像添加到經(jīng)歷仿射變換的圖像的外圍(步驟S1065)，并且在圖像存儲(chǔ)器230處保持已經(jīng)
添加裝飾圖像的圖像(步驟S1066)。 5.第五實(shí)施例 圖像處理裝置的配置示例 接下來(lái)，將參照附圖，關(guān)于下述情況詳細(xì)進(jìn)行描述，其中通過(guò)多核處理器執(zhí)行根據(jù) 本發(fā)明第五實(shí)施例的特征點(diǎn)提取處理和光流計(jì)算處理。 圖68是圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器800的配置示例的圖。多核處理 器800是其中以單個(gè)CPU(中央處理單元)封裝實(shí)現(xiàn)不同類(lèi)型的處理器核心的處理器。具體地，在多核處理器800中實(shí)現(xiàn)可以處理所有應(yīng)用的兩類(lèi)處理器核心，以維持每個(gè)處理器 核心的處理能力并實(shí)現(xiàn)簡(jiǎn)單的配置。兩類(lèi)處理器核心是對(duì)于預(yù)定應(yīng)用部分優(yōu)化的一類(lèi)核心 和另一類(lèi)核心。 多核處理器800包括控制處理器核心801、算術(shù)處理器核心(#1)811到(#8)818、 以及總線(xiàn)802，并且連接到主存儲(chǔ)器781 。此外，多核處理器800連接到其他設(shè)備，例如圖形 設(shè)備782、1/0設(shè)備783等。作為多核處理器800，例如，可采用作為由本申請(qǐng)人開(kāi)發(fā)的微處 理器的Cell (單元)(Cell主板引擎)等。 控制處理器801是配置為主要執(zhí)行頻繁的線(xiàn)程切換(如操作系統(tǒng)等)的控制處理 器核心。注意，將參照?qǐng)D69詳細(xì)描述控制處理器核心801。 算術(shù)處理器核心(#1)811到(#8)818是簡(jiǎn)單的小算術(shù)處理器核心，其擅長(zhǎng)多媒體
系統(tǒng)的處理。注意，將參照?qǐng)D70詳細(xì)描述算術(shù)處理器核心(#1)811到(#8)818。 總線(xiàn)802是成為元件互連總線(xiàn)(EIB)的高速總線(xiàn)。此夕卜，總線(xiàn)802連接到控制處
理器801，并且算術(shù)處理器核心(#1)811到(#8)818的每個(gè)、以及通過(guò)每個(gè)處理器核心的數(shù)
據(jù)訪問(wèn)經(jīng)由總線(xiàn)802執(zhí)行。 主存儲(chǔ)器781連接到總線(xiàn)802，并且是存儲(chǔ)要由每個(gè)處理器核心加載的各類(lèi)程序、 用于每個(gè)處理器核心處理的數(shù)據(jù)、以及通過(guò)每個(gè)處理器核心處理的時(shí)間的主存儲(chǔ)器。
圖形設(shè)備782是連接到總線(xiàn)802的圖形設(shè)備，并且I/O設(shè)備783是連接到總線(xiàn)802 的外部輸入/輸出設(shè)備。 圖69是圖示根據(jù)本發(fā)明第五實(shí)施例的控制處理器核心801的配置示例的圖?？?制處理器核心801包括控制處理器單元803、以及控制處理器存儲(chǔ)系統(tǒng)806。
控制處理器單元803是構(gòu)成配置為執(zhí)行控制處理器核心801的算術(shù)處理的核心的 單元。此外，控制處理器單元803包括以微處理器的架構(gòu)為基礎(chǔ)的命令集。命令高速緩沖 存儲(chǔ)器804和數(shù)據(jù)高速緩沖存儲(chǔ)器805在控制處理器單元803中實(shí)現(xiàn)為主高速緩沖存儲(chǔ) 器。命令高速緩沖存儲(chǔ)器804是例如32KB的命令高速緩沖存儲(chǔ)器，并且數(shù)據(jù)高速緩沖存儲(chǔ) 器805是例如32KB的高速緩沖存儲(chǔ)器。 控制處理器存儲(chǔ)系統(tǒng)806是控制從控制處理器單元803到主存儲(chǔ)器781的數(shù)據(jù)訪 問(wèn)的單元。此外，在控制處理器存儲(chǔ)系統(tǒng)806的情況下，安裝812KB的次級(jí)高速緩沖存儲(chǔ)器 807，以增加從控制處理器單元803的存儲(chǔ)器訪問(wèn)速度。 圖70是圖示根據(jù)本發(fā)明第五實(shí)施例的算術(shù)處理器核心(#1)811的配置示例的圖。 算術(shù)處理器核心(#1)811包括算術(shù)處理器單元820和存儲(chǔ)器流控制器822。注意，算術(shù)處理 器核心(#2)812到(#8)818具有與算術(shù)處理器核心(#1)811相同的配置，因此這里將省略 其描述。 算術(shù)處理器單元820是用作執(zhí)行算術(shù)處理器核心(#1)811的算術(shù)處理的核心的單 元，并且包括與控制處理器核心801的控制處理器單元803不同的原始命令集。此外，本地 存儲(chǔ)(Local store, LS)821實(shí)現(xiàn)在算術(shù)處理器單元820中。 本地存儲(chǔ)821是算術(shù)處理器單元820的專(zhuān)用存儲(chǔ)器，并且是可直接引用算術(shù)處理 器單元820的唯一的存儲(chǔ)器。例如，其容量為256KB的存儲(chǔ)器可用作本地存儲(chǔ)821。注意， 算術(shù)處理器單元820必須利用存儲(chǔ)器流控制器822來(lái)訪問(wèn)主存儲(chǔ)器781之上的本地存儲(chǔ)和 其他算術(shù)處理器核心(算術(shù)處理器核心(#2)812到(#8)818)。
存儲(chǔ)器流控制器822是用于與主存儲(chǔ)器781或其他算術(shù)處理器核心等交換數(shù)據(jù)的 單元，并且是成為存儲(chǔ)器流控制器(MFC)的單元。這里，算術(shù)處理器單元820經(jīng)由稱(chēng)為信道 的接口 ，請(qǐng)求關(guān)于存儲(chǔ)器流控制器822的數(shù)據(jù)傳送等。 已經(jīng)提出了各種模型，作為上述多核處理器800的編程模型。下述模型作為該編 程模型的最基本的模型為人熟知，其中在控制處理器核心801上執(zhí)行主程序，并且在算術(shù) 處理器核心(#1)811到(#8)818上執(zhí)行子程序。在本發(fā)明第五實(shí)施例的情況下，將參照附 圖詳細(xì)描述使用該模型的多核處理器800的計(jì)算方法。 圖71是示意性圖示根據(jù)本發(fā)明第五實(shí)施例的多核處理器800的計(jì)算方法的圖。在 該示例的情況下，示出了這樣的示例，其中在多核處理器800使用數(shù)據(jù)785執(zhí)行任務(wù)784的 情況下，控制處理器核心801為作為任務(wù)784的一部分的任務(wù)786的處理，控制每個(gè)算術(shù)處 理器核心使用數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，以執(zhí)行任務(wù)786。 如圖71所示，在控制處理器核心801使用數(shù)據(jù)785來(lái)執(zhí)行任務(wù)784的情況下，控 制處理器核心801為作為任務(wù)784的一部分的任務(wù)786的處理，控制每個(gè)算術(shù)處理器核心 使用數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，以執(zhí)行任務(wù)786。在本發(fā)明第五實(shí)施例的情況下，通過(guò) 構(gòu)成運(yùn)動(dòng)畫(huà)面的每幀的每個(gè)算術(shù)處理器核心執(zhí)行計(jì)算處理。 如圖71所示，多核處理器800執(zhí)行計(jì)算，從而算術(shù)處理器核心(#1)811到(#8)818 并行使用，并且可以以相對(duì)小的時(shí)間執(zhí)行許多計(jì)算。此外，在算術(shù)處理器核心(#1)811到 (#8)818上執(zhí)行單指令/多數(shù)據(jù)(SIMD)計(jì)算，從而可以以相對(duì)小量的命令執(zhí)行相對(duì)多的計(jì) 算。注意，將參照?qǐng)D75到78詳細(xì)描述SIMD計(jì)算。 圖72是示意性圖示在通過(guò)根據(jù)本發(fā)明第五實(shí)施例的多核處理器800執(zhí)行的計(jì)算 的情況下的程序和數(shù)據(jù)流的圖。注意，將關(guān)于算術(shù)處理器核心(#1)811到(#8)818的算術(shù) 處理器核心(#1)811作為示例進(jìn)行描述，但是還可關(guān)于算術(shù)處理器核心(#2)812到(#8)818 類(lèi)似地執(zhí)行計(jì)算。 首先，控制處理器核心801向算術(shù)處理器核心(#1)811傳輸將存儲(chǔ)在主存儲(chǔ)器781 中的算術(shù)處理器核心程序823加載到算術(shù)處理器核心(#1)811的本地存儲(chǔ)821的指令。因 此，算術(shù)處理器核心(#1)811將在主存儲(chǔ)器781中的算術(shù)處理器核心程序823加載到本地 存儲(chǔ)821。 隨后，控制處理器核心801指令算術(shù)處理器核心(#1)811執(zhí)行本地存儲(chǔ)821中存 儲(chǔ)的算術(shù)處理器核心程序825。 算術(shù)處理器核心(#1)811將用于存儲(chǔ)在本地存儲(chǔ)821中的算術(shù)處理器核心程序 825的執(zhí)行處理的數(shù)據(jù)從主存儲(chǔ)器781傳送到本地存儲(chǔ)821。 算術(shù)處理器核心(#1)811基于本地存儲(chǔ)821中存儲(chǔ)的算術(shù)處理器核心程序825，處 理從主存儲(chǔ)器781傳送的數(shù)據(jù)826，并且執(zhí)行根據(jù)在本地存儲(chǔ)821中存儲(chǔ)處理結(jié)果的情況的 處理。 算術(shù)處理器核心(#1)811將處理結(jié)果從本地存儲(chǔ)821傳送到主存儲(chǔ)器781，該處理
結(jié)果基于本地存儲(chǔ)821中存儲(chǔ)的算術(shù)處理器核心程序825而執(zhí)行。 算術(shù)處理器核心(#1)811向控制處理器核心801通知計(jì)算的結(jié)束。 接下來(lái)，將參照附圖詳細(xì)描述使用多核處理器800執(zhí)行的SMD計(jì)算。這里，SMD
計(jì)算是其中以單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理的計(jì)算方法。
在圖73中，(a)是示意性圖示安排來(lái)通過(guò)每個(gè)對(duì)應(yīng)的命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處 理的計(jì)算方法的概述的圖。圖73(a)中所示的計(jì)算方法是通常的計(jì)算方法，并且被稱(chēng)為例 如標(biāo)量計(jì)算。例如，以用于將數(shù)據(jù)"A1"和數(shù)據(jù)"B1"相加的命令獲得數(shù)據(jù)"C1"的處理結(jié)果。 此外，關(guān)于其他三個(gè)計(jì)算，類(lèi)似地，也關(guān)于每個(gè)計(jì)算分別執(zhí)行對(duì)同一行的數(shù)據(jù)"A2"、"A3"和 "A4"以及數(shù)據(jù)"B2"、"B3"和"B4"相加的命令。根據(jù)該命令，每行的值相加，并且其處理結(jié) 果獲得為數(shù)據(jù)"C2"、"C3"和"C4"。因此，在標(biāo)量計(jì)算的情況下，關(guān)于多個(gè)數(shù)據(jù)，必須關(guān)于每 個(gè)處理執(zhí)行命令。 在圖73中，(b)是示意性圖示作為安排來(lái)通過(guò)單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù)的處理 的計(jì)算方法的SIMD計(jì)算的概述的圖?，F(xiàn)在，對(duì)SIMD計(jì)算積分的數(shù)據(jù)(用虛線(xiàn)827和828 圍繞的每塊數(shù)據(jù))在一些情況下稱(chēng)為矢量數(shù)據(jù)。此外，使用這樣的矢量數(shù)據(jù)執(zhí)行的SIMD計(jì) 算在一些情況下稱(chēng)為矢量計(jì)算。 例如，根據(jù)將用虛線(xiàn)827圍繞的矢量數(shù)據(jù)、以及用虛線(xiàn)828圍繞的矢量數(shù)據(jù)相加的 單個(gè)命令，獲得對(duì)應(yīng)的結(jié)果(用虛線(xiàn)829圍繞的數(shù)據(jù))"C1"、"C2"、"C3"和"C4"。這里，用 虛線(xiàn)827圍繞的矢量數(shù)據(jù)是"A1"、"A2"、"A3"和"A4"，并且用虛線(xiàn)828圍繞的矢量數(shù)據(jù)是 "B1"、"B2"、"B3"和"B4"。因此，在SIMD計(jì)算的情況下，可通過(guò)單個(gè)命令執(zhí)行關(guān)于多個(gè)數(shù)據(jù) 的處理，因此，可快速地執(zhí)行計(jì)算。此外，多核處理器800的控制處理器核心801執(zhí)行與這 些SMD計(jì)算相關(guān)的命令，并且算術(shù)處理器核心(#1)811到(#8)818關(guān)于這樣的命令，執(zhí)行 關(guān)于多個(gè)數(shù)據(jù)的計(jì)算的并行處理。 另一方面，例如，通過(guò)SMD計(jì)算不實(shí)現(xiàn)"A1"和"B1"之間相加的處理、"A2"和"B2" 之間相減的處理、"A3"和"B3"之間相乘的處理、以及"A4"和"B4"之間相除的處理。也就 是說(shuō)，在關(guān)于多個(gè)數(shù)據(jù)的每個(gè)執(zhí)行不同處理的情況下，不實(shí)現(xiàn)通過(guò)SMD計(jì)算的處理。
接下來(lái)，將參照附圖，詳細(xì)描述在執(zhí)行特征點(diǎn)提取處理和光流計(jì)算處理的情況下 的SMD計(jì)算的具體計(jì)算方法。 圖74是圖示根據(jù)本發(fā)明的第五實(shí)施例、通過(guò)控制處理器核心801或算術(shù)處理器核 心(#1)811執(zhí)行的程序的配置示例的圖。這里，將僅圖示算術(shù)處理器核心(#1)811，關(guān)于算 術(shù)處理器核心(#2)812到(#8)818也將執(zhí)行相同的處理。 控制處理器核心801執(zhí)行作為解碼851的解碼852、交織853，和調(diào)整大小854。解 碼852是解碼運(yùn)動(dòng)畫(huà)面文件的處理。交織853是移除解碼的每幀的交織的處理。調(diào)整大小 854是縮小已經(jīng)移除交織的每幀的處理。 此外，控制處理器核心801執(zhí)行作為算術(shù)處理器核心管理856的命令傳輸857 和859、以及終止通知接收858和860。命令傳輸857和859是傳輸關(guān)于算術(shù)處理器核心 (#1)811到(#8)818的SMD計(jì)算的執(zhí)行命令的處理。此外，終止通知接收858和860是用 于關(guān)于上述命令、從算術(shù)處理器核心(#1)811到(#8)818接收SMD計(jì)算的終止通知的處 理。此外，控制處理器核心801執(zhí)行作為相機(jī)工作檢測(cè)861的相機(jī)工作參數(shù)計(jì)算處理862。 相機(jī)工作參數(shù)計(jì)算處理862是基于通過(guò)算術(shù)處理器核心(#1)811到(#8)818的SMD計(jì)算 而計(jì)算的光流、對(duì)每幀計(jì)算仿射變換參數(shù)的處理。 算術(shù)處理器核心(#1) 811執(zhí)行作為特征點(diǎn)提取處理863的Sobel濾波器處理864、 第二時(shí)刻矩陣處理865。此外，算術(shù)處理器核心(#1)811執(zhí)行可分開(kāi)的濾波器處理866、 Harris角落點(diǎn)提取(Calc Harris)處理867、擴(kuò)張?zhí)幚?68和分類(lèi)處理869。
Sobel濾波器處理864是計(jì)算通過(guò)使用(x方向)P2濾波器獲得的X方向上的值 dx、以及通過(guò)使用Y方向上的濾波器獲得的y方向的值dy的處理。注意，將參照?qǐng)D75到78 詳細(xì)描述x方向的值dx的計(jì)算。 第二時(shí)刻矩陣處理865是通過(guò)使用由Sobel濾波器處理864計(jì)算的dx和dy計(jì)算 dx2、 dy2、 dx dy的每個(gè)值的處理。 可分開(kāi)的濾波器處理866是向通過(guò)第二時(shí)刻矩陣處理865計(jì)算的dx2、 dy2、 dx dy 的值的圖像應(yīng)用高斯濾波器(模糊處理)的處理。 Harris角落點(diǎn)提取處理867是使用通過(guò)可分開(kāi)的濾波器處理866經(jīng)歷模糊處理的 dx2、dy2、dx 的每個(gè)值來(lái)計(jì)算Harris角落的處理。例如通過(guò)下面的表達(dá)式計(jì)算該Harris 角落的分?jǐn)?shù)S。 S = (dx2 X dy2-dx dy X dx dy) / (dx2+dy2+ e ) 擴(kuò)張?zhí)幚?68是關(guān)于由通過(guò)Harris角落點(diǎn)提取處理867計(jì)算的Harris角落的分 數(shù)構(gòu)成的圖像執(zhí)行模糊處理的處理。 分類(lèi)處理869是下述處理，其按通過(guò)Harris角落點(diǎn)提取處理867計(jì)算的Harris 角落的分?jǐn)?shù)的降序分類(lèi)像素，從具有最高分?jǐn)?shù)的像素起按預(yù)定數(shù)量的像素拾取像素，并且 提取該拾取的像素作為特征點(diǎn)。 算術(shù)處理器核心(#1) 811執(zhí)行作為光流計(jì)算處理870的錐形(pyramid)圖像創(chuàng)建 處理871，并執(zhí)行光流計(jì)算處理872。 錐形圖像創(chuàng)建處理871是順序創(chuàng)建從在通過(guò)相機(jī)成像時(shí)的圖像大小起、通過(guò)預(yù)定 數(shù)量的階段縮小的圖像的處理，并且創(chuàng)建的圖像稱(chēng)為多分辨率圖像。 光流計(jì)算處理872是關(guān)于通過(guò)錐形圖像創(chuàng)建處理871創(chuàng)建的多分辨率圖像的最小 圖像計(jì)算光流的處理，并且使用該計(jì)算結(jié)果來(lái)關(guān)于具有最小圖像的高一級(jí)的分辨率的圖像 再次計(jì)算光流。重復(fù)執(zhí)行該系列的處理，直到要處理的圖像到達(dá)最大圖像。
因此，例如，使用多核處理器800與SMD計(jì)算并行地執(zhí)行特征點(diǎn)提取處理和光流 計(jì)算處理，從而可以獲得處理結(jié)果。這里，例如，特征點(diǎn)提取處理是通過(guò)圖2等所示的特征 點(diǎn)提取單元121執(zhí)行的特征點(diǎn)提取處理，并且光流計(jì)算處理是通過(guò)光流計(jì)算單元122執(zhí)行 的光流計(jì)算處理。注意，圖74等所示的特征點(diǎn)提取處理和光流計(jì)算處理是示例，包括關(guān)于 構(gòu)成運(yùn)動(dòng)畫(huà)面的圖像的各種濾波器處理和閾值處理等的另一處理可用來(lái)由多核處理器800 執(zhí)行SMD計(jì)算。 圖75是示意性圖示在根據(jù)本發(fā)明第五實(shí)施例的主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù) 經(jīng)歷使用Sobel濾波器830的濾波處理的情況下的數(shù)據(jù)結(jié)構(gòu)和處理流程的圖。該圖像數(shù)據(jù) 是對(duì)應(yīng)于構(gòu)成由相機(jī)成像的運(yùn)動(dòng)畫(huà)面的單個(gè)幀的圖像數(shù)據(jù)。注意，圖75中示出的主存儲(chǔ)器 781中存儲(chǔ)的數(shù)據(jù)是以水平像素的數(shù)量為32像素的簡(jiǎn)化的方式。此外，Sobel濾波器830 是3X3邊緣提取濾波器。如圖75所示，主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)經(jīng)歷使用Sobel 濾波器830的濾波處理，并且輸出該濾波處理的結(jié)果。在該示例的情況下，將關(guān)于其中使用 SIMD計(jì)算來(lái)一次獲得四個(gè)濾波器的結(jié)果的示例進(jìn)行描述。 圖76是示意性圖示根據(jù)本發(fā)明第五實(shí)施例、在Sobel濾波器830用于執(zhí)行關(guān)于主 存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)的SIMD計(jì)算的情況下的數(shù)據(jù)流的圖。首先，包括主存儲(chǔ)器781 中存儲(chǔ)的圖像數(shù)據(jù)的第一行的預(yù)定數(shù)量的行以DMA(直接存儲(chǔ)器存取)方式傳送到提供到算術(shù)處理器核心的本地存儲(chǔ)821的第一緩沖器831。此外，預(yù)定數(shù)量的行以DMA方式傳送到 第二緩沖器832，在該預(yù)定數(shù)量的行中，以DMA方式傳送到第一緩沖器831的每行向下偏移 一行。這里，預(yù)定數(shù)量的行是例如三行。因此，使用雙重緩沖器，從而可以彌補(bǔ)由于DMA傳 輸導(dǎo)致的延遲。 圖77是示意性圖示根據(jù)本發(fā)明第五實(shí)施例、在使用Sobel濾波器830執(zhí)行濾波處 理的情況下、安排來(lái)從第一緩沖器830中存儲(chǔ)的圖像數(shù)據(jù)創(chuàng)建九個(gè)矢量的矢量創(chuàng)建方法的 圖。如圖76所示，在執(zhí)行DMA傳送之后，從第一緩沖器830中存儲(chǔ)的圖像數(shù)據(jù)創(chuàng)建九個(gè)矢 量。具體地，在第一緩沖器830中存儲(chǔ)的圖像數(shù)據(jù)的第一行的情況下，用來(lái)自左邊角落的四 條數(shù)據(jù)創(chuàng)建矢量數(shù)據(jù)841，并且根據(jù)通過(guò)將上面的四條向右側(cè)移動(dòng)一個(gè)而獲得的四條數(shù)據(jù)， 創(chuàng)建矢量數(shù)據(jù)842。類(lèi)似地，根據(jù)通過(guò)將上面的四條向右側(cè)移動(dòng)一個(gè)而獲得的四條數(shù)據(jù)，創(chuàng) 建矢量數(shù)據(jù)843。此外，在第二和第三行的情況下，類(lèi)似地，用四條數(shù)據(jù)創(chuàng)建矢量數(shù)據(jù)844到 849。 圖78是示意性圖示根據(jù)本發(fā)明第五實(shí)施例、使用Sobel濾波器830執(zhí)行濾波處理 的情況下、安排來(lái)使用SIMD計(jì)算來(lái)執(zhí)行關(guān)于矢量數(shù)據(jù)841到849的矢量計(jì)算的矢量計(jì)算方 法的圖。具體地，關(guān)于矢量數(shù)據(jù)841到843順序地執(zhí)行SIMD計(jì)算，從而獲得矢量A。在該 SMD計(jì)算的情況下，首先，執(zhí)行-1X矢量數(shù)據(jù)841的SMD計(jì)算。接下來(lái)，執(zhí)行OX矢量數(shù) 據(jù)842的計(jì)算和1X矢量數(shù)據(jù)843的SMD計(jì)算。這里，關(guān)于OX矢量數(shù)據(jù)842，計(jì)算結(jié)果已 經(jīng)確定為O，因此可以省略該計(jì)算。此外，關(guān)于1X矢量數(shù)據(jù)843，計(jì)算結(jié)果已經(jīng)確定為與矢 量數(shù)據(jù)843相同的值，因此可以省略該計(jì)算。 隨后，用SMD計(jì)算執(zhí)行-IX矢量數(shù)據(jù)841的計(jì)算結(jié)果和OX矢量數(shù)據(jù)842的計(jì) 算結(jié)果之間的加法處理。隨后，用SMD計(jì)算執(zhí)行上述加法處理的結(jié)果和IX矢量數(shù)據(jù)843 的計(jì)算結(jié)果之間的加法處理。這里，例如，用作矢量數(shù)據(jù)IX矢量數(shù)據(jù)2+矢量數(shù)據(jù)3的數(shù)據(jù) 結(jié)構(gòu)的計(jì)算可用SIMD計(jì)算實(shí)現(xiàn)。因此，關(guān)于矢量A的計(jì)算，將省略例如關(guān)于OX矢量數(shù)據(jù) 842和IX矢量數(shù)據(jù)843的SMD計(jì)算。隨后，可用一次SMD計(jì)算執(zhí)行-IX矢量數(shù)據(jù)841+ 矢量數(shù)據(jù)843。 此外，類(lèi)似地，關(guān)于矢量數(shù)據(jù)844到846執(zhí)行SMD計(jì)算以獲得矢量B，關(guān)于矢量數(shù) 據(jù)847到849執(zhí)行S頂D計(jì)算以獲得矢量C。 隨后，關(guān)于獲得的矢量數(shù)據(jù)A到C執(zhí)行SMD計(jì)算以獲得矢量D。因此，執(zhí)行SMD
計(jì)算，從而可以同時(shí)獲得等效于矢量元素的數(shù)量(該示例中的四條數(shù)據(jù))的結(jié)果。 在計(jì)算矢量D之后，利用圖76所示的第一緩沖器831中存儲(chǔ)的圖像數(shù)據(jù)，重復(fù)執(zhí)
行相同的處理，同時(shí)將要提取的數(shù)據(jù)的位置向右側(cè)偏移一個(gè)，從而順序執(zhí)行關(guān)于每條圖像
數(shù)據(jù)的矢量D的計(jì)算。隨后，在已經(jīng)完成直到圖76所示的第一緩沖器831中存儲(chǔ)的圖像數(shù)
據(jù)的右邊緣的處理的情況下，處理結(jié)果以DMA方式傳送到主存儲(chǔ)器781。 隨后，在主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)中，將以DMA方式傳送到第二緩沖器832
的每行向下偏移一個(gè)的預(yù)定數(shù)量的行以DMA方式傳送到第一緩沖器831。與該傳送一起關(guān)
于第二緩沖器832中存儲(chǔ)的圖像數(shù)據(jù)重復(fù)執(zhí)行上述處理。隨后，重復(fù)執(zhí)行相同的處理，直到
要處理的行到達(dá)主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù)的行當(dāng)下邊緣的行。 類(lèi)似地，用SMD計(jì)算執(zhí)行特征點(diǎn)提取和光流計(jì)算的大多數(shù)處理，從而可以實(shí)現(xiàn)速 度的提高。
圖79是以時(shí)間序列方式示意性圖示根據(jù)本發(fā)明第五實(shí)施例的相機(jī)工作參數(shù)計(jì)算 處理的流程的圖。如上所述，例如，使用多核處理器800執(zhí)行SMD計(jì)算，從而可以并行執(zhí)行 關(guān)于運(yùn)動(dòng)畫(huà)面的解碼和分析處理。因此，與解碼時(shí)間相比，可以減少構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的 分析時(shí)間。 例如，在圖79中，tl表示通過(guò)控制處理器核心801對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的解碼 處理的時(shí)間。此外，t2表示通過(guò)算術(shù)處理器核心(#1)811到(#8)818對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的一 幀的特征點(diǎn)提取處理的時(shí)間。此外，t3表示通過(guò)算術(shù)處理器核心(#1)811到(#8)818對(duì)構(gòu) 成運(yùn)動(dòng)畫(huà)面的一幀的光流計(jì)算處理的時(shí)間。此外，t4表示通過(guò)控制處理器核心801對(duì)構(gòu)成 運(yùn)動(dòng)畫(huà)面的一幀的相機(jī)工作檢測(cè)處理的時(shí)間。注意，t5表示通過(guò)控制處理器核心801和算 術(shù)處理器核心(#1)811到(#8)818關(guān)于構(gòu)成運(yùn)動(dòng)畫(huà)面的一幀的相機(jī)工作檢測(cè)處理的時(shí)間。 此外，t6表示通過(guò)控制處理器801用于管理算術(shù)處理器核心(#1)811到(#8)818的處理 的時(shí)間。例如，可以進(jìn)行這樣的安排，其中tl設(shè)置為25. Oms， t2設(shè)置為7. 9ms， t3設(shè)置為 6. 7ms， t4設(shè)置為1. 2ms，并且t5設(shè)置為15. 8ms。 接下來(lái)，將參照附圖，關(guān)于在播放使用根據(jù)本發(fā)明第五實(shí)施例的元數(shù)據(jù)文件的運(yùn) 動(dòng)畫(huà)面內(nèi)容的情況詳細(xì)進(jìn)行描述。 在圖80中，(a)是示意性圖示作為記錄介質(zhì)的示例的藍(lán)光盤(pán)(注冊(cè)商標(biāo))880的 頂視圖，并且圖80(b)是示意性圖示在藍(lán)光盤(pán)880中的數(shù)據(jù)881到數(shù)據(jù)884的圖。例如，運(yùn) 動(dòng)畫(huà)面內(nèi)容882、字幕883、元數(shù)據(jù)884和Java(注冊(cè)商標(biāo))程序881記錄在藍(lán)光盤(pán)880中。 例如，運(yùn)動(dòng)畫(huà)面內(nèi)容882是通過(guò)相機(jī)等成像的運(yùn)動(dòng)畫(huà)面，字幕883是運(yùn)動(dòng)畫(huà)面內(nèi)容882的字 幕，并且元數(shù)據(jù)884是通過(guò)分析運(yùn)動(dòng)畫(huà)面內(nèi)容882獲得的元數(shù)據(jù)(例如，圖3、4等中示出的 每條信息)。此外，Java程序881是根據(jù)用本發(fā)明的每個(gè)實(shí)施例回放的運(yùn)動(dòng)畫(huà)面的Java程 序。 在圖80中，(c)是示意性圖示能夠播放藍(lán)光盤(pán)880的藍(lán)光播放器的內(nèi)部配置的圖。 這里，在能夠播放藍(lán)光盤(pán)的藍(lán)光播放器890的情況下，CPU 891、0S 892、Java VM(Java虛擬 機(jī))以及庫(kù)893默認(rèn)實(shí)現(xiàn)，因此，可以執(zhí)行Java程序。因此，藍(lán)光盤(pán)880安裝在藍(lán)光播放器 890上，從而藍(lán)光播放器890可以加載和執(zhí)行Java程序881 。因此，在藍(lán)光播放器890播放 運(yùn)動(dòng)畫(huà)面內(nèi)容882的情況下，元數(shù)據(jù)884用于執(zhí)行對(duì)應(yīng)于根據(jù)本發(fā)明每個(gè)實(shí)施例的運(yùn)動(dòng)畫(huà) 面的全景式圖像的顯示，從多個(gè)運(yùn)動(dòng)畫(huà)面中搜索運(yùn)動(dòng)畫(huà)面等。也就是說(shuō)，可以全部用藍(lán)光播 放器實(shí)現(xiàn)根據(jù)本發(fā)明的每個(gè)實(shí)施例的運(yùn)動(dòng)畫(huà)面回放，而不用專(zhuān)用PC軟件等。
如上所述，根據(jù)本發(fā)明實(shí)施例，可以準(zhǔn)確地傳達(dá)成像位置處的環(huán)境、其空間的狀況 等，并且可以識(shí)別其成像位置處的成像空間。此外，可以使得其運(yùn)動(dòng)畫(huà)面看起來(lái)更有趣，并 且可以提高與運(yùn)動(dòng)畫(huà)面相關(guān)的興趣。例如，認(rèn)為與照片相比，大多數(shù)用戶(hù)滿(mǎn)意于運(yùn)動(dòng)畫(huà)面的 一次成像，并且不重復(fù)觀看成像的運(yùn)動(dòng)畫(huà)面。因此，在本發(fā)明實(shí)施例的情況下，從運(yùn)動(dòng)畫(huà)面 選擇突出的圖像，并且從該圖像創(chuàng)建合成圖像，從而可以容易地提供再次觀看通過(guò)運(yùn)動(dòng)畫(huà) 面成像的場(chǎng)景的機(jī)會(huì)。例如，可以以全景式方式合成多個(gè)圖像，以創(chuàng)建一個(gè)合成圖像，使得 多個(gè)紙質(zhì)照片重疊。 此外，在本發(fā)明實(shí)施例的情況下，已經(jīng)以在顯示單元上顯示合成圖像的圖像處理 裝置為示例進(jìn)行了描述，但是本發(fā)明實(shí)施例可應(yīng)用于這樣的圖像處理裝置，其中輸出圖像 信息的圖像輸出單元用于在另一圖像顯示裝置上顯示合成圖像。此外，本發(fā)明實(shí)施例可應(yīng)用于能夠播放運(yùn)動(dòng)畫(huà)面的運(yùn)動(dòng)畫(huà)面播放器、能夠播放成像的運(yùn)動(dòng)畫(huà)面的如數(shù)字?jǐn)z像機(jī)等的 成像裝置、能夠顯示基于圖像數(shù)據(jù)的圖像的相框等。 此外，在本發(fā)明實(shí)施例的情況下，已經(jīng)以圖像處理裝置為示例進(jìn)行了描述，但是本 發(fā)明實(shí)施例可應(yīng)用到能夠播放運(yùn)動(dòng)畫(huà)面的運(yùn)動(dòng)畫(huà)面播放器等。此外，在本發(fā)明實(shí)施例的情 況下，已經(jīng)關(guān)于通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面進(jìn)行了描述，但是本發(fā)明實(shí)施例還可應(yīng)用到例如 運(yùn)動(dòng)畫(huà)面等，其中在編輯通過(guò)相機(jī)成像的運(yùn)動(dòng)畫(huà)面的情況下，部分地合成編輯后的運(yùn)動(dòng)圖 像或動(dòng)畫(huà)等。 注意，如上所述，本發(fā)明實(shí)施例圖示了用于實(shí)現(xiàn)本發(fā)明的示例關(guān)于發(fā)明內(nèi)容中的 每個(gè)發(fā)明指定組件有對(duì)應(yīng)關(guān)系。然而，本發(fā)明不限于上述實(shí)施例，并且可以進(jìn)行各種改變而 不背離本發(fā)明的實(shí)質(zhì)和精神。 此外，本發(fā)明實(shí)施例中描述的過(guò)程可以認(rèn)為是包括一系列過(guò)程的方法，或可以認(rèn) 為是用于使得計(jì)算機(jī)執(zhí)行該系列過(guò)程的程序，或可以認(rèn)為是配置為存儲(chǔ)其程序的記錄介 質(zhì)。例如，CD(致密盤(pán))、MD(迷你盤(pán))、DVD(數(shù)字多功能盤(pán))、存儲(chǔ)卡、藍(lán)光盤(pán)(注冊(cè)商標(biāo)) 等可用作其記錄介質(zhì)。 本申請(qǐng)包含涉及于2008年10月27日向日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng) JP 2008-275142中公開(kāi)的主題，在此通過(guò)引用并入其全部?jī)?nèi)容。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依賴(lài)于設(shè)計(jì)需求和其他因素可以出現(xiàn)各種修改、組合、 子組合和更改，只要它們?cè)跈?quán)利要求或其等效物的范圍內(nèi)。
權(quán)利要求
一種圖像處理裝置，包括變換信息計(jì)算單元，配置為基于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算關(guān)于多個(gè)合成目標(biāo)圖像的變換信息，該多個(gè)合成目標(biāo)圖像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的合成目標(biāo)；以及裝飾圖像確定單元，配置為計(jì)算作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作為根據(jù)所述變換信息變換后的所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的偏移量，以基于所述偏移量確定要添加到所述第二合成目標(biāo)圖像的外圍的裝飾圖像。
2. 如權(quán)利要求1所述的圖像處理裝置，其中對(duì)所述合成目標(biāo)圖像的每個(gè)，所述變換信 息計(jì)算單元以所述合成目標(biāo)圖像中的一個(gè)合成目標(biāo)圖像作為參考圖像，計(jì)算用于變換其他 所述合成目標(biāo)圖像的所述變換信息；并且其中所述裝飾圖像確定單元計(jì)算合成圖像和所述第二合成目標(biāo)圖像之間的偏移 量，并基于所述偏移量確定所述裝飾圖像，所述合成圖像用所述變換信息變換并且從所述 合成目標(biāo)圖像中的至少一個(gè)合成目標(biāo)圖像合成。
3. 如權(quán)利要求1所述的圖像處理裝置，其中所述裝飾圖像確定單元基于所述計(jì)算的偏 移量的大小確定所述裝飾圖像的厚度。
4. 如權(quán)利要求1所述的圖像處理裝置，其中所述裝飾圖像確定單元計(jì)算與所述合成目 標(biāo)圖像的所有合成目標(biāo)圖像相關(guān)的所述偏移量，以基于所述偏移量確定要添加到所有所述 合成目標(biāo)圖像的外圍的相同的裝飾圖像。
5. 如權(quán)利要求l所述的圖像處理裝置，還包括圖像變換單元，配置為基于所述變換信息變換所述合成目標(biāo)圖像，以生成所述第二合 成目標(biāo)圖像；以及圖像合成單元，配置為將所述確定的裝飾圖像添加到所述第二合成目標(biāo)圖像，并且合 成已經(jīng)對(duì)其添加所述裝飾圖像的所述第二合成目標(biāo)圖像和所述第一合成目標(biāo)圖像，以生成 合成圖像。
6. 如權(quán)利要求l所述的圖像處理裝置，還包括 對(duì)象檢測(cè)單元，配置為檢測(cè)所述合成目標(biāo)圖像中包括的對(duì)象；其中在所述對(duì)象包括在所述第二合成目標(biāo)圖像中的情況下，所述裝飾圖像確定單元確 定所述裝飾圖像，以便不使包括所述對(duì)象的對(duì)象區(qū)域與所述裝飾圖像的區(qū)域重疊。
7. —種圖像處理裝置，包括變換信息計(jì)算單元，配置為基于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算 關(guān)于合成目標(biāo)圖像的變換信息，該合成目標(biāo)圖像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖 像的合成目標(biāo)；以及裝飾圖像確定單元，配置為基于作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作 為根據(jù)所述變換信息變換后的所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的相對(duì)位置關(guān) 系，確定要添加到所述第二合成目標(biāo)圖像的外圍的裝飾圖像。
8. 如權(quán)利要求7所述的圖像處理裝置，其中所述裝飾圖像確定單元基于所述第一合成 目標(biāo)圖像和所述第二合成目標(biāo)圖像之間的每個(gè)頂點(diǎn)的轉(zhuǎn)換，確定所述裝飾圖像的位置。
9. 如權(quán)利要求7所述的圖像處理裝置，其中所述裝飾圖像確定單元基于與所述第一合 成目標(biāo)圖像重疊的所述第二合成目標(biāo)圖像的邊緣部分的大小和位置，確定所述裝飾圖像的位置。
10. 如權(quán)利要求9所述的圖像處理裝置，其中所述裝飾圖像確定單元關(guān)于所述合成目 標(biāo)圖像的所有合成目標(biāo)圖像計(jì)算所述重疊邊緣部分的大小和位置，并且基于計(jì)算的大小和 位置，確定要添加到所有所述合成目標(biāo)圖像的外圍的相同的裝飾圖像。
11. 一種圖像處理方法，包括基于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算關(guān)于多個(gè)合成目標(biāo)圖像的變 換信息，該多個(gè)合成目標(biāo)圖像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的合成目標(biāo)；以 及計(jì)算作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作為根據(jù)所述變換信息變換后 的所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的偏移量，以基于所述偏移量確定要添加到 所述第二合成目標(biāo)圖像的外圍的裝飾圖像。
12. —種使得計(jì)算機(jī)執(zhí)行下述處理的程序基于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算關(guān)于多個(gè)合成目標(biāo)圖像的變 換信息，該多個(gè)合成目標(biāo)圖像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的合成目標(biāo)；以 及計(jì)算作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作為根據(jù)所述變換信息變換后 的所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的偏移量，以基于所述偏移量確定要添加到 所述第二合成目標(biāo)圖像的外圍的裝飾圖像。
全文摘要
一種圖像處理裝置，包括變換信息計(jì)算單元，配置為基于構(gòu)成成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的運(yùn)動(dòng)信息，計(jì)算關(guān)于多個(gè)合成目標(biāo)圖像的變換信息，該多個(gè)合成目標(biāo)圖像用作構(gòu)成所述成像的運(yùn)動(dòng)畫(huà)面的成像的圖像的合成目標(biāo)；以及裝飾圖像確定單元，配置為計(jì)算作為所述合成目標(biāo)圖像的第一合成目標(biāo)圖像、以及作為根據(jù)所述變換信息變換后的所述合成目標(biāo)圖像的第二合成目標(biāo)圖像之間的偏移量，以基于所述偏移量確定要添加到所述第二合成目標(biāo)圖像的外圍的裝飾圖像。
文檔編號(hào)G06T7/00GK101729785SQ200910206900
公開(kāi)日2010年6月9日 申請(qǐng)日期2009年10月27日 優(yōu)先權(quán)日2008年10月27日
發(fā)明者鶴見(jiàn)辰吾 申請(qǐng)人:索尼株式會(huì)社