圖像合成裝置及圖像合成方法
【專利摘要】本發(fā)明涉及圖像合成裝置及圖像合成方法，能夠生成被攝體的動(dòng)區(qū)域被恰當(dāng)?shù)睾铣闪说乃谕暮铣蓤D像。生成對(duì)位后的基礎(chǔ)對(duì)象與交換對(duì)象的差分圖像(S1021)，通過主動(dòng)輪廓模型來決定差分圖像中的抽出輪廓(S1022)。將輪廓線的內(nèi)側(cè)區(qū)域和輪廓線的外側(cè)區(qū)域以不同的顏色涂抹而進(jìn)行區(qū)別，生成阿爾法混合用的掩模圖像(S1023)。經(jīng)由如此生成的掩模圖像，通過阿爾法混合將基準(zhǔn)圖像的基礎(chǔ)對(duì)象和與該基礎(chǔ)對(duì)象對(duì)位后的交換對(duì)象合成(S1024)。
【專利說明】圖像合成裝置及圖像合成方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通過多個(gè)圖像的合成來生成所期望的圖像的圖像合成裝置、以及在該 圖像合成裝置中執(zhí)行的圖像合成方法。

【背景技術(shù)】
[0002] 在被攝體是人、動(dòng)物等伴隨著動(dòng)作的物體的情況下，一般難以在該被攝體變成適 于攝影的狀態(tài)的時(shí)刻拍攝圖像。尤其是在拍攝集體合影等的情況下，多個(gè)被攝體所有都以 適于攝影的狀態(tài)，例如視線朝向相機(jī)方向并沒有眨眼、且面帶微笑這一狀態(tài)來拍攝圖像是 極其困難的，結(jié)果，對(duì)于所得到的攝影圖像而言，任意一個(gè)被攝體以不優(yōu)選的狀態(tài)拍攝的情 況較多。
[0003] 對(duì)此，已知有一種如下所述的技術(shù)：利用在某個(gè)時(shí)刻拍攝多個(gè)被攝體的基準(zhǔn)圖像 和在與此不同的時(shí)刻拍攝到的其他圖像（稱為比較圖像），生成所有被攝體都被以優(yōu)選的 狀態(tài)拍攝的合成圖像。例如，在專利文獻(xiàn)1所公開的圖像合成方法中，根據(jù)基準(zhǔn)圖像及比較 圖像來檢測(cè)被攝體的臉部輪廓線或者包括到軀體部為止的輪廓線，將該輪廓線所包含的區(qū) 域作為局部圖像抽出。然后，當(dāng)在基準(zhǔn)圖像中被攝體被以優(yōu)選的狀態(tài)拍攝時(shí)保持該被攝體 區(qū)域不變，當(dāng)在基準(zhǔn)圖像中被攝體沒有被以優(yōu)選的狀態(tài)拍攝，但在比較圖像中被以優(yōu)選的 狀態(tài)拍攝時(shí)，通過將該比較圖像所包含的被攝體區(qū)域適用于基準(zhǔn)圖像的被攝體區(qū)域，來生 成所有被測(cè)定者均以優(yōu)選的狀態(tài)拍攝的合成圖像。
[0004] 另外，已知有一種通過多次拍攝伴隨動(dòng)作的被攝體，并將取得的圖像組合成，來生 成僅圖像中的規(guī)定區(qū)域動(dòng)作、且其他區(qū)域靜止的動(dòng)態(tài)圖像的被稱為動(dòng)照片（Cinema graph) 的技術(shù)（例如參照專利文獻(xiàn)2)。
[0005] 專利文獻(xiàn)1 :日本特開2001 - 45355號(hào)公報(bào)
[0006] 專利文獻(xiàn)2 :日本特開2012 - 199613號(hào)公報(bào)
[0007] 然而，在被測(cè)定者的頭部動(dòng)作的情況下，存在僅頭部動(dòng)作的情況，也存在伴隨于此 軀體部、胳膊也動(dòng)作的情況。因此，即使從比較圖像統(tǒng)一地抽出特定部分的輪廓線，將該輪 廓線所包含的區(qū)域適用于基準(zhǔn)圖像，并且在應(yīng)用時(shí)進(jìn)行了暈映邊緣等處理，仍有可能因適 用的區(qū)域與周圍的圖像區(qū)域之間的不匹配而導(dǎo)致合成圖像不自然。例如，存在適用的區(qū)域 與其周圍產(chǎn)生不連續(xù)的問題、臉部與軀體部、胳膊之間的位置關(guān)系變得不自然或部位間的 方向關(guān)系變得不自然這樣的問題。即，在現(xiàn)有技術(shù)中，當(dāng)被攝體是伴隨動(dòng)作的物體時(shí)，難以 生成被攝體的動(dòng)區(qū)域被恰當(dāng)?shù)睾铣傻乃谕暮铣蓤D像。
[0008] 另外，還存在如下問題：因在生成動(dòng)照片時(shí)，難以恰當(dāng)?shù)睾铣蓜?dòng)區(qū)域，在動(dòng)態(tài)圖像 中被攝體的一部分被以缺失的狀態(tài)顯示，或者動(dòng)區(qū)域中包含超出需要的區(qū)域，所以有可能 意想的被攝體以外的被攝體被以活動(dòng)的狀態(tài)顯示。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明提供一種能夠解決上述課題的圖像合成裝置等。
[0010] 為了解決上述課題而采用了以下的方案。其中，為了參考而用括號(hào)標(biāo)記在實(shí)施后 述發(fā)明的實(shí)施方式的說明及附圖中使用的附圖標(biāo)記。該用括號(hào)標(biāo)記的內(nèi)容只是用于實(shí)現(xiàn)本 發(fā)明的結(jié)構(gòu)的一個(gè)例子，用于實(shí)現(xiàn)本發(fā)明的結(jié)構(gòu)并不限定于此。
[0011] 第一發(fā)明涉及一種圖像合成裝置，其特征在于，具備：
[0012] 動(dòng)區(qū)域檢測(cè)單元（控制部101)，基于在不同的時(shí)刻拍攝到的基準(zhǔn)圖像和比較圖像 來檢測(cè)被攝體的動(dòng)區(qū)域（基于差分圖像檢測(cè)動(dòng)區(qū)域，基于在標(biāo)準(zhǔn)化后的圖像中鄰接的塊之 間的圖像特征量之差來檢測(cè)動(dòng)區(qū)域塊）；
[0013] 合成區(qū)域設(shè)定單元（控制部101)，根據(jù)動(dòng)區(qū)域的檢測(cè)結(jié)果來設(shè)定上述比較圖像中 的合成區(qū)域（生成與抽出的輪廓相對(duì)應(yīng)的圖像合成用掩模，生成與動(dòng)區(qū)域塊之和相對(duì)應(yīng)的 圖像合成掩?；虬疵恳粋€(gè)比較圖像生成圖像合成掩模）；以及
[0014] 合成圖像生成單元（控制部101)，通過將所設(shè)定的合成區(qū)域合成至上述基準(zhǔn)圖像 來生成合成圖像（使用圖像合成用掩模來執(zhí)行基準(zhǔn)圖像與比較圖像的合成處理）。
[0015] 據(jù)此，對(duì)于根據(jù)被攝體的動(dòng)區(qū)域而設(shè)定的合成區(qū)域，能夠得到比較圖像中的合成 區(qū)域被合成至基準(zhǔn)圖像后的所期望的合成圖像。
[0016] 另外，第二發(fā)明基于第一發(fā)明的圖像合成裝置而提出，其特征在于，上述動(dòng)區(qū)域檢 測(cè)單元抽出上述基準(zhǔn)圖像與上述比較圖像的差分圖像中的輪廓（包括被攝體的動(dòng)區(qū)域的 輪廓），
[0017] 上述合成區(qū)域設(shè)定單元基于在上述差分圖像中抽出的輪廓來設(shè)定上述合成區(qū)域 (基于包括被攝體的動(dòng)區(qū)域的輪廓來生成圖像合成用掩模）。
[0018] 據(jù)此，通過基于在基準(zhǔn)圖像與比較圖像的差分圖像中抽出的輪廓來設(shè)定合成區(qū) 域，能夠得到輪廓被恰當(dāng)合成的所期望的合成圖像。
[0019] 另外，第三發(fā)明基于第二發(fā)明的圖像合成裝置而提出，其特征在于，
[0020] 上述動(dòng)區(qū)域檢測(cè)單元初始設(shè)定在上述差分圖像中包含規(guī)定的被攝體區(qū)域的閉合 曲線（初始設(shè)定成作為初始形狀的橢圓的輪廓線上的輝度值的合計(jì)值為最小的徑），通 過使規(guī)定上述閉合曲線的節(jié)點(diǎn)向與該閉合曲線相對(duì)應(yīng)的能量函數(shù)（能量函數(shù)：式（1)、式 (2))進(jìn)行最佳化的方向移動(dòng)（Greedy搜索（貪婪搜索））來進(jìn)行輪廓的抽出（ACM(Active Contour Model :主動(dòng)輪廓模型））。
[0021] 據(jù)此，通過采用使用了能量函數(shù)的最佳化手法，能夠準(zhǔn)確地抽出輪廓。
[0022] 另外，第四發(fā)明基于第三發(fā)明的圖像合成裝置而提出，其特征在于，
[0023] 還具備在多個(gè)被攝體區(qū)域間設(shè)定邊界（設(shè)定距各臉區(qū)域的中心坐標(biāo)的距離為等 間距那樣的邊界線）的邊界設(shè)定單元（控制部101)，
[0024] 上述動(dòng)區(qū)域檢測(cè)單元按照不具有與上述邊界的交點(diǎn)的方式初始設(shè)定上述閉合曲 線（按照不與所設(shè)定的邊界線相交的方式初始設(shè)定包含被攝體區(qū)域的閉合曲線）。
[0025] 據(jù)此，能夠防止在被攝體區(qū)域間產(chǎn)生干擾。結(jié)果，能夠提高被攝體區(qū)域的輪廓檢測(cè) 的實(shí)效性。
[0026] 另外，第五發(fā)明基于第三發(fā)明的圖像合成裝置而提出，其特征在于，
[0027] 上述動(dòng)區(qū)域檢測(cè)單元再次初始設(shè)定包含抽出了的輪廓所包含的被攝體區(qū)域中、基 于用戶操作（點(diǎn)擊操作、拖動(dòng)操作）而決定的被攝體區(qū)域的閉合曲線（當(dāng)在被抽出的輪廓 內(nèi)包含多個(gè)被攝體時(shí)除去通過用戶操作而指定的被攝體區(qū)域來再次設(shè)定閉合曲線），基于 該閉合曲線來再次進(jìn)行輪廓的抽出。
[0028] 據(jù)此，在沒有執(zhí)行所期望的輪廓抽出的情況下，能夠以用戶操作為契機(jī)再次進(jìn)行 輪廓的抽出。
[0029] 另外，第六發(fā)明基于第二發(fā)明的圖像合成裝置而提出，其特征在于，還具備：
[0030] 基礎(chǔ)區(qū)域顯示單元（顯示部103)，以用戶能夠選擇的方式（用戶通過點(diǎn)擊操作、圖 標(biāo)操作能夠進(jìn)行選擇）顯示包含上述基準(zhǔn)圖像中的規(guī)定的被攝體區(qū)域的基礎(chǔ)區(qū)域（基礎(chǔ)對(duì) 象）；以及
[0031] 交換候補(bǔ)區(qū)域顯示單元（顯示部103)，按每一個(gè)比較圖像來確定與基于用戶操作 而選擇的基礎(chǔ)區(qū)域相對(duì)應(yīng)的交換候補(bǔ)區(qū)域（成為交換對(duì)象的候補(bǔ)的矩形區(qū)域），并以用戶 能夠選擇的方式（用戶通過點(diǎn)擊操作、圖標(biāo)操作能夠進(jìn)行選擇）顯示確定出的各交換候補(bǔ) 區(qū)域，
[0032] 上述動(dòng)區(qū)域檢測(cè)單元抽出基于上述用戶操作而選擇出的基礎(chǔ)區(qū)域與基于用戶操 作而選擇出的作為交換候補(bǔ)區(qū)域的交換區(qū)域的差分圖像中的輪廓（從由用戶選擇出的基 礎(chǔ)對(duì)象與交換對(duì)象的差分圖像中抽出被攝體的輪廓）。
[0033] 據(jù)此，能夠使包含規(guī)定的被攝體區(qū)域的基礎(chǔ)區(qū)域和按每一個(gè)比較圖像確定出的交 換候補(bǔ)區(qū)域顯示成用戶能夠選擇。而且，能夠從由用戶選擇出的基礎(chǔ)區(qū)域與交換區(qū)域的差 分圖像中恰當(dāng)?shù)爻槌鲚喞?br> [0034] 另外，第七發(fā)明基于第一發(fā)明的圖像合成裝置而提出，其特征在于，還具備：
[0035] 干擾度判定單元（控制部101)，判定將上述基準(zhǔn)圖像中的規(guī)定的被攝體（基準(zhǔn)圖 像中的規(guī)定的人物）替換成上述比較圖像中的該規(guī)定的被攝體時(shí)的與其他被攝體之間的 干擾度（被攝體區(qū)域的輪廓線的重疊程度、輪廓區(qū)域彼此間的重復(fù)范圍）；以及
[0036] 推薦度顯示單元（顯示部103)，基于上述干擾度來顯示與上述規(guī)定的被攝體相關(guān) 的替換推薦度（多級(jí)的替換推薦度）。
[0037] 據(jù)此，能夠判定出基準(zhǔn)圖像中的規(guī)定的被攝體與其他被攝體之間的干擾度，并且 使用戶能夠把握規(guī)定的被攝體的替換的推薦度。
[0038] 另外，作為其他發(fā)明，基于第一發(fā)明的圖像合成裝置而提出，其特征在于，還具 備：
[0039] 干擾度判定單元（控制部101)，判定將上述動(dòng)區(qū)域檢測(cè)單元檢測(cè)動(dòng)區(qū)域的被攝體 中、上述基準(zhǔn)圖像中的規(guī)定的被攝體（規(guī)定的人物）替換成上述比較圖像中的該規(guī)定的被 攝體的情況下的與其他被攝體（其他人物）之間的干擾度（被攝體區(qū)域的輪廓線的重疊程 度、輪廓區(qū)域彼此間的重復(fù)范圍）；以及
[0040] 推薦度顯示單元（顯示部103)，基于上述干擾度來顯示與上述規(guī)定的被攝體相關(guān) 的替換推薦度（多級(jí)的替換推薦度），
[0041] 上述合成區(qū)域設(shè)定單元將上述比較圖像中的上述規(guī)定的被攝體設(shè)定為上述合成 區(qū)域（將比較圖像中的規(guī)定的人物設(shè)定為相對(duì)于基準(zhǔn)圖像的替換區(qū)域）。
[0042] 據(jù)此，能夠判定出基準(zhǔn)圖像中的規(guī)定的被攝體與其他被攝體之間的干擾度，并且 使用戶能夠把握規(guī)定的被攝體的替換推薦度。另外，通過將比較圖像中的規(guī)定的被攝體的 區(qū)域設(shè)定為合成區(qū)域，能夠得到比較圖像中的規(guī)定的被攝體區(qū)域被合成到基準(zhǔn)圖像后的所 期望的合成圖像。
[0043] 并且，在第七發(fā)明或者上述其他發(fā)明的圖像合成裝置中，
[0044] 還具備替換候補(bǔ)區(qū)域設(shè)定單元（控制部101)，該替換候補(bǔ)區(qū)域設(shè)定單元（控制部 101)設(shè)定包含上述基準(zhǔn)圖像中的規(guī)定的被攝體的替換候補(bǔ)區(qū)域（基于基準(zhǔn)圖像與比較圖 像的差分圖像的輪廓來設(shè)定，進(jìn)行使用了能量函數(shù)（式（4))的最佳解運(yùn)算來進(jìn)行設(shè)定，該 能量函數(shù)（式（4))以距成為替換對(duì)象的被攝體的距離、基準(zhǔn)圖像與比較圖像的差分圖像的 像素值作為自變量），
[0045] 上述干擾度判定單元判定上述所設(shè)定的替換候補(bǔ)區(qū)域所包含的上述規(guī)定的被攝 體與其他被攝體之間的干擾度。
[0046] 據(jù)此，能夠設(shè)定包含規(guī)定的被攝體的替換候補(bǔ)區(qū)域，并判定該替換候補(bǔ)區(qū)域所包 含的規(guī)定的被攝體與其他被攝體之間的干擾度。
[0047] 另外，第八發(fā)明基于第七發(fā)明的圖像合成裝置而提出，其特征在于，
[0048] 上述干擾度判定單元基于在上述基準(zhǔn)圖像與上述比較圖像的差分圖像中抽出的 替換候補(bǔ)區(qū)域的交點(diǎn)（被攝體的輪廓的交點(diǎn)）來判定規(guī)定的被攝體與其他被攝體之間的干 擾度（輪廓線的重疊程度）。
[0049] 據(jù)此，通過基于在基準(zhǔn)圖像與比較圖像的差分圖像中抽出的替換候補(bǔ)區(qū)域的交 點(diǎn)，能夠準(zhǔn)確地判定規(guī)定的被攝體與其他被攝體之間的干擾度。
[0050] 另外，第九發(fā)明基于第八發(fā)明的圖像合成裝置而提出，其特征在于，
[0051] 上述干擾度判定單元基于按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)差分圖像而抽 出的規(guī)定的被攝體的輪廓與其他被攝體的輪廓之間的交點(diǎn)數(shù)（被攝體的輪廓線重疊的根 數(shù)）來判定規(guī)定的被攝體與其他被攝體之間的干擾度。
[0052] 據(jù)此，通過基于按基準(zhǔn)圖像與各比較圖像的每一個(gè)差分圖像抽出的規(guī)定的被攝體 的輪廓與其他被攝體的輪廓之間的交點(diǎn)數(shù)，能夠更準(zhǔn)確地判定規(guī)定的被攝體與其他被攝體 之間的干擾度。
[0053] 另外，第十發(fā)明基于第二發(fā)明的圖像合成裝置而提出，其特征在于，還具備：
[0054] 臉區(qū)域檢測(cè)單元（控制部101)，檢測(cè)基準(zhǔn)圖像及各比較圖像中的臉區(qū)域（圖像中 的人物的臉區(qū)域）；
[0055] 特征量計(jì)算單元（控制部101)，按在各比較圖像中檢測(cè)出的每一個(gè)臉區(qū)域計(jì)算出 特征量（臉特征值：正面度、笑臉度、紅眼度、閉眼度、視線方向的正面度）；以及
[0056] 比較圖像決定單元（控制部101)，決定按每一個(gè)臉區(qū)域計(jì)算出的特征量成為最佳 值的比較圖像的組合（臉部得分值為最大的比較圖像的組合）。
[0057] 據(jù)此，通過基于按在各比較圖像中檢測(cè)出的每一個(gè)臉區(qū)域計(jì)算出的特征量，能夠 恰當(dāng)?shù)貨Q定輪廓的抽出所使用的比較圖像的組合。
[0058] 另外，第十一發(fā)明基于第二發(fā)明的圖像合成裝置而提出，其特征在于，還具備：
[0059] 臉區(qū)域檢測(cè)單元（控制部101)，檢測(cè)基準(zhǔn)圖像及各比較圖像中的臉區(qū)域（圖像中 的人物的臉區(qū)域）；
[0060] 臉區(qū)域顯示單元（顯示部103)，以用戶能夠選擇的方式（用戶通過點(diǎn)擊操作、圖標(biāo) 操作能夠進(jìn)行選擇的方式）顯示在基準(zhǔn)圖像及各比較圖像中檢測(cè)出的臉區(qū)域；以及
[0061] 比較圖像決定單元（控制部101)，當(dāng)將在上述基準(zhǔn)圖像中選擇出的規(guī)定的臉區(qū)域 替換成在任意一個(gè)比較圖像中選擇出的該規(guī)定的臉區(qū)域時(shí)，在該規(guī)定的臉區(qū)域與其他臉區(qū) 域之間產(chǎn)生干擾的情況下，將對(duì)于該其他臉區(qū)域不產(chǎn)生干擾且對(duì)于該其他臉區(qū)域計(jì)算出的 特征量為最佳值的比較圖像（對(duì)于其他臉區(qū)域不產(chǎn)生干擾且對(duì)于其他臉區(qū)域臉部得分值 為最大的比較圖像）決定為針對(duì)該其他臉區(qū)域的替換對(duì)象。
[0062] 據(jù)此，能夠使在基準(zhǔn)圖像及各比較圖像中檢測(cè)出的臉區(qū)域顯示為用戶能夠選擇。 另外，當(dāng)在一個(gè)比較圖像中規(guī)定的臉區(qū)域與其他臉區(qū)域之間產(chǎn)生干擾時(shí)，能夠?qū)τ谝?guī)定的 臉區(qū)域恰當(dāng)?shù)貨Q定作為替換對(duì)象的比較圖像并進(jìn)行替換。
[0063] 另外，第十二發(fā)明基于第一發(fā)明的圖像合成裝置而提出，其特征在于，
[0064] 上述動(dòng)區(qū)域檢測(cè)單元按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢測(cè)被攝體的 動(dòng)區(qū)域（基于基準(zhǔn)圖像與各比較圖像各自的差分圖像來檢測(cè)動(dòng)區(qū)域，按基準(zhǔn)圖像與各比較 圖像的每一個(gè)組合基于鄰接的塊之間的圖像特征量之差來檢測(cè)動(dòng)區(qū)域塊），
[0065] 上述合成區(qū)域設(shè)定單元基于按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢測(cè)出 的動(dòng)區(qū)域來設(shè)定上述合成區(qū)域（基于按基準(zhǔn)圖像和各比較圖像的每一個(gè)組合檢測(cè)出的動(dòng) 區(qū)域來生成圖像合成用掩模），
[0066] 上述合成圖像生成單元將各比較圖像中的合成區(qū)域連續(xù)地合成至上述基準(zhǔn)圖像 (經(jīng)由圖像合成用掩模將比較圖像連續(xù)地合成至基準(zhǔn)圖像）。
[0067] 據(jù)此，能夠得到對(duì)于各比較圖像設(shè)定的合成區(qū)域被連續(xù)地合成的合成圖像即動(dòng)照 片。
[0068] 另外，第十三發(fā)明基于第十二發(fā)明的圖像合成裝置而提出，其特征在于，
[0069] 上述動(dòng)區(qū)域檢測(cè)單元將上述基準(zhǔn)圖像及上述比較圖像分別分割成判定區(qū)域 (塊），基于相互對(duì)應(yīng)的判定區(qū)域間的規(guī)定的特征量（圖像特征量：輝度、飽和度、明度、色 差）的關(guān)系（基于圖像特征量定義的函數(shù)：式（5)、式￠))來檢測(cè)動(dòng)區(qū)域。
[0070] 據(jù)此，通過基于基準(zhǔn)圖像及比較圖像的相互對(duì)應(yīng)的判定區(qū)域間的規(guī)定特征量，能 夠恰當(dāng)?shù)貦z測(cè)被攝體的動(dòng)區(qū)域。
[0071] 另外，第十四發(fā)明基于第十三發(fā)明的圖像合成裝置而提出，其特征在于，
[0072] 上述動(dòng)區(qū)域檢測(cè)單元將上述特征量設(shè)為輝度，基于相互對(duì)應(yīng)的判定區(qū)域間（塊之 間）的輝度的關(guān)系（基于輝度定義的函數(shù)：式（5)、式（6))來檢測(cè)動(dòng)區(qū)域。
[0073] 據(jù)此，通過基于基準(zhǔn)圖像及比較圖像的相互對(duì)應(yīng)的判定區(qū)域間的輝度的關(guān)系，能 夠準(zhǔn)確地檢測(cè)被攝體的動(dòng)區(qū)域。由于被攝體的動(dòng)作被顯著地反映于輝度的變化，所以基于 輝度的動(dòng)區(qū)域的檢測(cè)實(shí)效性較高。
[0074] 另外，第十五發(fā)明基于第十三發(fā)明所記載的圖像合成裝置而提出，其特征在于，
[0075] 上述動(dòng)區(qū)域檢測(cè)單元根據(jù)從攝影條件（景深）、攝影圖像內(nèi)容（在基準(zhǔn)圖像與比較 圖像的差分圖像中檢測(cè)出邊緣、輝度差的區(qū)域的比例）、以及用戶操作（針對(duì)觸摸面板的縮 放操作（縮?。╬inch in)操作/擴(kuò)大（pinch out)操作））中選擇的任意一個(gè)來使上述判 定區(qū)域的大小變化（使塊的大小變化）。
[0076] 據(jù)此，能夠根據(jù)各種條件、契機(jī)來使判定區(qū)域的大小變化，可設(shè)定與攝影圖像相對(duì) 應(yīng)的適當(dāng)?shù)呐卸▍^(qū)域。
[0077] 另外，第十六發(fā)明基于第十三發(fā)明所記載的圖像合成裝置而提出，其特征在于，
[0078] 上述動(dòng)區(qū)域檢測(cè)單元基于上述規(guī)定的特征量的關(guān)系來生成按每一個(gè)上述判定區(qū) 域?qū)⑸鲜龌鶞?zhǔn)圖像標(biāo)準(zhǔn)化（按每一個(gè)塊進(jìn)行標(biāo)準(zhǔn)化）了的標(biāo)準(zhǔn)化圖像，基于該標(biāo)準(zhǔn)化圖像 中的各判定區(qū)域（該塊）與和各判定區(qū)域鄰接的判定區(qū)域（和該塊鄰接的鄰接塊）之間的 上述特征量的差異（圖像特征量的差）來判定該判定區(qū)域是否為動(dòng)區(qū)域（判定該塊是否為 被攝體的動(dòng)區(qū)域）。
[0079] 據(jù)此，能夠基于圖像特征量的差異來恰當(dāng)?shù)貦z測(cè)出被攝體的動(dòng)區(qū)域。
[0080] 另外，第十七發(fā)明基于第十三發(fā)明的圖像合成裝置而提出，其特征在于，
[0081] 在上述判定區(qū)域被判定為不是動(dòng)區(qū)域的情況下，當(dāng)與該判定區(qū)域鄰接的判定區(qū)域 中規(guī)定數(shù)量以上的判定區(qū)域（與該塊鄰接的上下左右所有4個(gè)鄰接塊）被判定為動(dòng)區(qū)域 時(shí)，對(duì)于該判定區(qū)域執(zhí)行與被判定為動(dòng)區(qū)域時(shí)相同的處理（作為被判定為動(dòng)區(qū)域的判定區(qū) 域而執(zhí)行與被判定為動(dòng)區(qū)域時(shí)相同的處理）。
[0082] 據(jù)此，即使在一個(gè)判定區(qū)域?qū)嶋H上為動(dòng)區(qū)域但被判定為不是動(dòng)區(qū)域的情況下，也 能夠?qū)⒃撆卸▍^(qū)域作為動(dòng)區(qū)域來設(shè)定合成區(qū)域，可提高動(dòng)區(qū)域判定的實(shí)效性。
[0083] 另外，第十八發(fā)明基于第十三發(fā)明的圖像合成裝置而提出，其特征在于，
[0084] 在上述判定區(qū)域被判定為動(dòng)區(qū)域的情況下，當(dāng)將與該判定區(qū)域鄰接的鄰接判定區(qū) 域（鄰接塊）作為對(duì)象來進(jìn)行是否是動(dòng)區(qū)域的判定時(shí)，應(yīng)用比對(duì)于該判定區(qū)域的判定基準(zhǔn) 容易判定為是動(dòng)區(qū)域的判定基準(zhǔn)（設(shè)定比對(duì)于該塊設(shè)定的閾值低的閾值）。
[0085] 據(jù)此，能夠各易地將與被判定為動(dòng)區(qū)域的判定區(qū)域鄰接的鄰接判定區(qū)域判定為動(dòng) 區(qū)域。
[0086] 另外，第十九發(fā)明基于第十三發(fā)明的圖像合成裝置而提出，其特征在于，
[0087] 上述合成區(qū)域設(shè)定單元基于按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢測(cè)出 的動(dòng)區(qū)域之和（被判定為動(dòng)區(qū)域的區(qū)域的0R區(qū)域），對(duì)于各比較圖像設(shè)定共同范圍的合成 區(qū)域（對(duì)于各比較圖像共同設(shè)定合成至基準(zhǔn)圖像的區(qū)域）。
[0088] 據(jù)此，能夠?qū)τ诟鞅容^圖像設(shè)定由被攝體的動(dòng)區(qū)域之和合成的共同范圍的合成區(qū) 域并用于向基準(zhǔn)圖像的合成。
[0089] 另外，第二十發(fā)明基于第十三發(fā)明的圖像合成裝置而提出，其特征在于，
[0090] 上述合成區(qū)域設(shè)定單元基于按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢測(cè)出 的動(dòng)區(qū)域，來按成為合成對(duì)象的每一個(gè)比較圖像設(shè)定與該比較圖像相對(duì)應(yīng)的合成區(qū)域（按 成為合成對(duì)象的每一個(gè)比較圖像設(shè)定合成至基準(zhǔn)圖像的區(qū)域，僅將對(duì)于各塊按與基準(zhǔn)圖像 的關(guān)系檢測(cè)出動(dòng)作的比較圖像合成至基準(zhǔn)圖像）。
[0091] 據(jù)此，能夠按成為合成對(duì)象的每一個(gè)比較圖像設(shè)定與該比較圖像相對(duì)應(yīng)的合成區(qū) 域并用于向基準(zhǔn)圖像的合成。
[0092] 另外，第二十一發(fā)明基于第十三發(fā)明所記載的圖像合成裝置而提出，其特征在于，
[0093] 上述動(dòng)區(qū)域檢測(cè)單元能夠基于通過用戶操作而指定的區(qū)域（在手動(dòng)模式中通過 用戶的拖動(dòng)操作而指定的區(qū)域）來執(zhí)行上述動(dòng)區(qū)域的檢測(cè)。
[0094] 據(jù)此，能夠?qū)⑼ㄟ^用戶操作而指定的區(qū)域作為對(duì)象來檢測(cè)動(dòng)區(qū)域。
[0095] 另外，第二十二發(fā)明基于第十三發(fā)明的圖像合成裝置而提出，其特征在于，
[0096] 上述動(dòng)區(qū)域檢測(cè)單元能夠基于不依賴于用戶操作而預(yù)先決定的區(qū)域（在自動(dòng)模 式中預(yù)先設(shè)定的區(qū)域，例如所有的塊）來執(zhí)行上述動(dòng)區(qū)域的檢測(cè)。
[0097] 據(jù)此，能夠?qū)⒉灰蕾囉谟脩舨僮鞫A(yù)先決定的區(qū)域作為對(duì)象來檢測(cè)動(dòng)區(qū)域。
[0098] 第二十三發(fā)明涉及一種圖像合成方法，其特征在于，包括：
[0099] 動(dòng)區(qū)域檢測(cè)步驟，基于在不同的時(shí)刻拍攝到的基準(zhǔn)圖像和比較圖像來檢測(cè)被攝體 的動(dòng)區(qū)域；
[0100] 合成區(qū)域設(shè)定步驟，根據(jù)動(dòng)區(qū)域的檢測(cè)結(jié)果來設(shè)定上述比較圖像中的合成區(qū)域； 以及
[0101] 合成圖像生成步驟，通過將所設(shè)定的合成區(qū)域合成至上述基準(zhǔn)圖像來生成合成圖 像。
[0102] 據(jù)此，能夠?qū)崿F(xiàn)起到與第一發(fā)明相同的作用效果的圖像合成方法。
[0103] 另外，第二十四發(fā)明基于第二十三發(fā)明的圖像合成方法而提出，其特征在于，
[0104] 在上述動(dòng)區(qū)域檢測(cè)步驟中，抽出上述基準(zhǔn)圖像與上述比較圖像的差分圖像中的輪 廓，
[0105] 在上述合成區(qū)域設(shè)定步驟中，基于在上述差分圖像中抽出的輪廓來設(shè)定上述合成 區(qū)域。
[0106] 據(jù)此，能夠?qū)崿F(xiàn)起到與第二發(fā)明相同的作用效果的圖像合成方法。
[0107] 另外，第二十五發(fā)明基于第二十三發(fā)明的圖像合成方法而提出，其特征在于，
[0108] 在上述動(dòng)區(qū)域檢測(cè)步驟中，按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合來檢測(cè)被 攝體的動(dòng)區(qū)域，
[0109] 在上述合成區(qū)域設(shè)定步驟中，基于按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢 測(cè)出的動(dòng)區(qū)域來設(shè)定上述合成區(qū)域，
[0110] 在上述合成圖像生成步驟中，將各比較圖像中的合成區(qū)域連續(xù)地合成至上述基準(zhǔn) 圖像。
[0111] 據(jù)此，能夠?qū)崿F(xiàn)起到與第十二發(fā)明相同的作用效果的圖像合成方法。
[0112] 第二十六發(fā)明涉及一種程序（存儲(chǔ)部102等存儲(chǔ)裝置、存儲(chǔ)卡107等記錄介質(zhì)所 存儲(chǔ)的圖像處理程序），其特征在于，
[0113] 使計(jì)算機(jī)（圖像合成裝置10的處理裝置（控制部101)、平板電腦終端、個(gè)人電腦 等各種電子設(shè)備、信息處理裝置所具備的處理裝置（處理器））執(zhí)行下述步驟（執(zhí)行后述的 實(shí)施方式中說明的圖像處理）：
[0114] 動(dòng)區(qū)域檢測(cè)步驟，基于在不同的時(shí)刻拍攝到的基準(zhǔn)圖像和比較圖像來檢測(cè)被攝體 的動(dòng)區(qū)域；
[0115] 合成區(qū)域設(shè)定步驟，根據(jù)動(dòng)區(qū)域的檢測(cè)結(jié)果來設(shè)定上述比較圖像中的合成區(qū)域； 以及
[0116] 合成圖像生成步驟，通過將所設(shè)定的合成區(qū)域合成至上述基準(zhǔn)圖像來生成合成圖 像。
[0117] 據(jù)此，能夠提供一種起到與第一發(fā)明相同的作用效果的程序。
[0118] 另外，第二十七發(fā)明基于第二十六發(fā)明的程序而提出，其特征在于，
[0119] 在上述動(dòng)區(qū)域檢測(cè)步驟中，抽出上述基準(zhǔn)圖像與上述比較圖像的差分圖像中的輪 廓，
[0120] 在上述合成區(qū)域設(shè)定步驟中，基于在上述差分圖像中抽出的輪廓來設(shè)定上述合成 區(qū)域。
[0121] 據(jù)此，能夠提供一種起到與第二發(fā)明相同的作用效果的程序。
[0122] 另外，第二十八發(fā)明基于第二十六發(fā)明的程序而提出，其特征在于，
[0123] 在上述動(dòng)區(qū)域檢測(cè)步驟中，按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢測(cè)被攝 體的動(dòng)區(qū)域，
[0124] 在上述合成區(qū)域設(shè)定步驟中，基于按上述基準(zhǔn)圖像與各比較圖像的每一個(gè)組合檢 測(cè)出的動(dòng)區(qū)域來設(shè)定上述合成區(qū)域，
[0125] 在上述合成圖像生成步驟中，將各比較圖像中的合成區(qū)域連續(xù)地合成至上述基準(zhǔn) 圖像。
[0126] 據(jù)此，能夠提供一種起到與第十二發(fā)明相同的作用效果的程序。
[0127] 第二十九發(fā)明涉及一種圖像合成裝置，其特征在于，具備：
[0128] 合成區(qū)域設(shè)定單元（控制部101，生成與基于基準(zhǔn)圖像和各比較圖像各自的差分 圖像而檢測(cè)出的動(dòng)區(qū)域相對(duì)應(yīng)的動(dòng)區(qū)域掩模、與按基準(zhǔn)圖像和各比較圖像的每一個(gè)組合基 于鄰接的塊間的圖像特征量之差而判定出的動(dòng)區(qū)域相對(duì)應(yīng)的動(dòng)區(qū)域掩模），基于在不同的 時(shí)刻拍攝到的基準(zhǔn)圖像和比較圖像，按每一個(gè)比較圖像設(shè)定合成至上述基準(zhǔn)圖像的合成區(qū) 域；以及
[0129] 合成圖像生成單元（控制部101，通過經(jīng)由所設(shè)定的動(dòng)區(qū)域掩模使各比較圖像依 次合成至基準(zhǔn)圖像來在基準(zhǔn)圖像中使特定范圍的圖像變化），通過將所設(shè)定的各合成區(qū)域 連續(xù)地合成至上述基準(zhǔn)圖像，生成在上述基準(zhǔn)圖像中合成部分的圖像隨時(shí)間變化的合成圖 像。
[0130] 據(jù)此，能夠得到對(duì)于各比較圖像設(shè)定的合成區(qū)域被連續(xù)地合成的合成圖像即動(dòng)照 片。
[0131] 另外，第三十發(fā)明基于第二十九發(fā)明的圖像合成裝置而提出，其特征在于，
[0132] 上述合成區(qū)域設(shè)定單元能夠基于在上述基準(zhǔn)圖像中通過用戶操作而指定的區(qū)域 來設(shè)定上述合成區(qū)域（生成與用戶通過拖動(dòng)操作而指定的區(qū)域相對(duì)應(yīng)的動(dòng)區(qū)域掩模，將至 少一部分中包含用戶通過拖動(dòng)操作而指定的區(qū)域的塊作為對(duì)象來判定動(dòng)區(qū)域并生成動(dòng)區(qū) 域掩模）。
[0133] 據(jù)此，能夠?qū)⑺谕膮^(qū)域適當(dāng)?shù)貏?dòng)區(qū)域化。
[0134] 根據(jù)本發(fā)明，對(duì)于根據(jù)被攝體的動(dòng)區(qū)域而設(shè)定的合成區(qū)域，能夠得到比較圖像中 的合成區(qū)域被合成至基準(zhǔn)圖像后的所期望的合成圖像。

【專利附圖】

【附圖說明】
[0135] 圖1是圖像合成裝置的硬件結(jié)構(gòu)圖。
[0136] 圖2是表示在圖像合成裝置中執(zhí)行的處理的流程圖。
[0137] 圖3是表示在圖像合成裝置中執(zhí)行的處理的流程圖。
[0138] 圖4是表示顯示部所顯示的基準(zhǔn)圖像的一個(gè)例子的圖。
[0139] 圖5是基準(zhǔn)圖像及比較圖像的矩形區(qū)域。
[0140] 圖6是表示合成處理的流程圖。
[0141] 圖7是表示差分圖像的一個(gè)例子的圖。
[0142] 圖8是表示主動(dòng)輪廓模型（Active Contour Model)中的輪廓線的圖。
[0143] 圖9是貪婪搜索（Greedy搜索）的說明圖。
[0144] 圖10是表示初始輪廓的設(shè)定方法的圖。
[0145] 圖11是表示與節(jié)點(diǎn)的移動(dòng)次數(shù)相對(duì)應(yīng)的輪廓的收斂狀態(tài)的圖。
[0146] 圖12是表示阿爾法混合用的掩模（mask)圖像的一個(gè)例子的圖。
[0147] 圖13是表示通過阿爾法混合得到的合成圖像的一個(gè)例子的圖。
[0148] 圖14是表示集體合影的基準(zhǔn)圖像的一個(gè)例子的圖。
[0149] 圖15是表示集體合影的合成圖像的一個(gè)例子（失敗例）的圖。
[0150] 圖16是表示基準(zhǔn)圖像中的邊界線的生成例的圖。
[0151] 圖17是表示集體合影的合成圖像的一個(gè)例子（成功例）的圖。
[0152] 圖18是表示在圖像合成裝置中執(zhí)行的處理的流程圖。
[0153] 圖19是表示替換推薦度判定處理的流程圖。
[0154] 圖20是替換推薦度的判定方法及替換推薦度的顯示方法的說明圖。
[0155] 圖21是表示疊加（overlay)顯示了輪廓線的集體合影的基準(zhǔn)圖像的一個(gè)例子的 圖。
[0156] 圖22是對(duì)顯示了替換推薦度的集體合影的基準(zhǔn)圖像的一個(gè)例子進(jìn)行表示的圖。
[0157] 圖23是表示基于用戶指定的替換候補(bǔ)區(qū)域的一個(gè)例子的圖。
[0158] 圖24是將攝影圖像中包含的人物的臉及其輪廓線模式化后的圖。
[0159] 圖25是表示將臉特征值量化后的結(jié)果的一個(gè)例子的圖。
[0160] 圖26是表示在圖像合成裝置中執(zhí)行的處理的流程圖。
[0161] 圖27是表不塊（block)判定處理的流程圖。
[0162] 圖28是表示標(biāo)準(zhǔn)化前及標(biāo)準(zhǔn)化后的基準(zhǔn)圖像的一個(gè)例子的圖。
[0163] 圖29是表示疊加顯示了動(dòng)區(qū)域之和的圖像的一個(gè)例子的圖。
[0164] 圖30是表不基于動(dòng)區(qū)域之和生成的掩模的一個(gè)例子的圖。
[0165] 圖31是表示在圖像合成裝置中執(zhí)行的處理的流程圖。
[0166] 圖32是表示基于與各比較圖像相對(duì)應(yīng)的動(dòng)區(qū)域而生成的掩模的一個(gè)例子的圖。
[0167] 圖33是表示基于用戶的操作來判定動(dòng)區(qū)域的例子的圖。
[0168] 圖34是表示在圖像合成裝置中執(zhí)行的處理的流程圖。
[0169] 圖35是表不塊判定處理的流程圖。
[0170] 圖36是表示記錄介質(zhì)的一個(gè)例子的圖。
[0171] 附圖標(biāo)記說明：10···圖像合成裝置；101…控制部；102…存儲(chǔ)部；103…顯示部； 104···輸入部；105···攝像部；107…存儲(chǔ)卡；110…卡插槽；120…卡讀寫器。

【具體實(shí)施方式】
[0172] 以下，參照添加附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。其中，在附圖的說明中，存在 對(duì)同一要素賦予相同的標(biāo)記而省略重復(fù)說明的情況。另外，附圖的尺寸比例不一定與說明 的物體一致。
[0173] 以下所示的第1實(shí)施方式及第2實(shí)施方式都是利用在不同的時(shí)刻拍攝有動(dòng)作的被 攝體而得到的多個(gè)攝影圖像，將比較圖像中的被攝體的圖像區(qū)域合成到基準(zhǔn)圖像中的被攝 體的圖像區(qū)域來得到所期望的合成圖像的實(shí)施方式。
[0174] [第1實(shí)施方式]
[0175] 在該實(shí)施方式中，通過基于基準(zhǔn)圖像與比較圖像的差分圖像動(dòng)態(tài)地捕捉被攝體的 輪廓，來抽出反映了被攝體的動(dòng)作的輪廓區(qū)域并合成至基準(zhǔn)圖像。以下，對(duì)第1實(shí)施方式所 涉及的圖像合成裝置、圖像合成方法以及程序進(jìn)行說明。
[0176] 圖1是本發(fā)明的第1實(shí)施方式所涉及的圖像合成裝置10的硬件結(jié)構(gòu)圖。
[0177] 如圖1所示，圖像合成裝置10具備由CPU(中央處理單元：Central Processing Unit)等構(gòu)成的控制部101、由存儲(chǔ)器及硬盤裝置等構(gòu)成的存儲(chǔ)部102、顯示部103、輸入部 104、以及攝像部105。圖像合成裝置10構(gòu)成為通過控制部101執(zhí)行存儲(chǔ)部102中存儲(chǔ)的 程序，來實(shí)現(xiàn)后述的功能。即，控制部101構(gòu)成為能夠執(zhí)行存儲(chǔ)在存儲(chǔ)部102中的程序。存 儲(chǔ)部102如上述所述由存儲(chǔ)器及硬盤裝置等構(gòu)成，構(gòu)成為除了存儲(chǔ)由上述控制部101執(zhí)行 的程序之外，還能夠存儲(chǔ)由攝像部105拍攝到的圖像數(shù)據(jù)、以及通過利用控制部101執(zhí)行的 程序來處理這些圖像數(shù)據(jù)而產(chǎn)生的數(shù)據(jù)（例如差分圖像數(shù)據(jù)、合成圖像數(shù)據(jù)）。顯示部103 構(gòu)成為能夠顯示存儲(chǔ)部102中保存的圖像數(shù)據(jù)等。輸入部104與顯示部103 -體構(gòu)成為所 謂的觸摸屏，作為用戶與圖像顯示裝置100之間的輸入接口發(fā)揮作用。具體而言，用戶對(duì)在 顯示部103中顯示的圖像等宛如直接觸摸而進(jìn)行操作那樣，用戶利用手指對(duì)輸入部104進(jìn) 行點(diǎn)擊操作、縮放（pinch)操作等，探知到該操作（接觸方式）的輸入部104判別該接觸位 置、動(dòng)作而使控制部101進(jìn)行相對(duì)應(yīng)的處理。攝像部105構(gòu)成為能夠拍攝圖像。由攝像部 105拍攝到的圖像作為圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)部102。
[0178] 作為圖1所示那樣的圖像合成裝置10,代表性的例子有所謂的智能手機(jī)、平板電 腦終端，但并不僅限于此，也可以是通過觸摸屏或鼠標(biāo)等進(jìn)行輸入的PC或者數(shù)碼相機(jī)等信 息終端裝置。
[0179] 以下，參照?qǐng)D2及圖3的流程圖，對(duì)在第1實(shí)施方式所涉及的圖像合成裝置10中 執(zhí)行的處理進(jìn)行說明。擔(dān)負(fù)圖2及圖3的處理的一部分或全部的圖像合成程序被讀入至存 儲(chǔ)器，由控制部101的CPU執(zhí)行。以下，表示了對(duì)多個(gè)被攝體集合的圖像進(jìn)行拍攝的例子， 但并不僅限于此，被攝體也可以是單獨(dú)的。
[0180] 首先，用戶通過在圖像合成裝置10中進(jìn)行點(diǎn)擊顯示部103上顯示的攝影鍵等規(guī)定 的攝影操作來使攝像部105動(dòng)作，多次拍攝被攝體（多個(gè)被攝體），獲得攝影次數(shù)份的攝影 圖像（S1001)。例如，通過采用連續(xù)攝影模式，能夠伴隨1次攝影操作而獲得多個(gè)攝影圖像， 該連續(xù)攝影模式根據(jù)1次攝影操作，進(jìn)行以數(shù)十m秒間隔、數(shù)百m秒間隔、1秒間隔、或數(shù)秒 間隔等規(guī)定的時(shí)間間隔，連續(xù)地取得攝影圖像數(shù)據(jù)的處理。
[0181] 這樣獲得的多個(gè)攝影圖像被存儲(chǔ)于存儲(chǔ)部102。然后，從攝影圖像中設(shè)定成為基準(zhǔn) 圖像的圖像（S1002)。對(duì)于基準(zhǔn)圖像而言，例如可以自動(dòng)地將最初拍攝到的圖像設(shè)定為基準(zhǔn) 圖像，也可以通過將多個(gè)攝影圖像顯示到顯示部103并使用戶選擇成為基準(zhǔn)圖像的圖像來 進(jìn)行設(shè)定。例如，用戶選擇多個(gè)被攝體中的至少1個(gè)以上被攝體被以所期望的狀態(tài)攝影的 圖像作為基準(zhǔn)圖像，對(duì)于沒有被以所期望的狀態(tài)攝影的被攝體的區(qū)域，可以插入以所期望 的狀態(tài)攝影的比較圖像（基準(zhǔn)圖像以外的攝影圖像）的區(qū)域。
[0182] 在設(shè)定了基準(zhǔn)圖像后，由于在基準(zhǔn)圖像與比較圖像之間存在基于手抖動(dòng)等的位置 偏移，所以針對(duì)基準(zhǔn)圖像進(jìn)行比較圖像的對(duì)位（S1003)。在本例中，利用塊匹配法進(jìn)行對(duì)位。 此外，也可以應(yīng)用梯度法等其他的對(duì)位方法。
[0183] 在進(jìn)行了對(duì)位之后，將基準(zhǔn)圖像作為對(duì)象來進(jìn)行臉區(qū)域的檢測(cè)（S1004)。例如，利 用使用了 Haar - Like特征的識(shí)別器、圖案匹配等來檢測(cè)臉區(qū)域。此外，對(duì)于臉區(qū)域的檢測(cè) 而言，只要能夠確定基準(zhǔn)圖像中的類似臉的區(qū)域即可，其方法不特別限定，可以使用硬件進(jìn) 行檢測(cè)，也可以通過軟件進(jìn)行檢測(cè)。然后，如圖4所示，將包含檢測(cè)到的臉區(qū)域的矩形顯示 到基準(zhǔn)圖像上（S1005)。這樣，使用戶瀏覽檢測(cè)到的臉區(qū)域，判斷該臉區(qū)域在基準(zhǔn)圖像上是 否為優(yōu)選的狀態(tài)。另外，在本例中通過顯示矩形，來示意能夠?qū)⒃摼匦螀^(qū)域內(nèi)的局部圖像變 更為其他圖像（比較圖像）的局部圖像。
[0184] 當(dāng)在基準(zhǔn)圖像所顯示的矩形之中存在包含未被以恰當(dāng)?shù)臓顟B(tài)攝影的臉區(qū)域的矩 形時(shí)，用戶通過點(diǎn)擊操作來選擇該矩形區(qū)域。然后，基于選擇操作的檢測(cè)（S1006)來決定成 為變更對(duì)象的矩形區(qū)域（以下稱為基礎(chǔ)對(duì)象（base target)) (S1007)。其中，如果輸入部 104不是由觸摸屏而是由鼠標(biāo)等指向設(shè)備構(gòu)成，則用戶通過操作鼠標(biāo)將光標(biāo)置于包含想要 變更的臉區(qū)域的矩形區(qū)域并點(diǎn)擊，來決定基礎(chǔ)對(duì)象。
[0185] 然后，在比較圖像（如上述那樣已經(jīng)完成了與基準(zhǔn)圖像的對(duì)位的圖像）中，與基準(zhǔn) 圖像同樣地檢測(cè)臉區(qū)域（S1008)，進(jìn)而設(shè)定包含該臉區(qū)域的矩形（S1009)。然后，確定面積 與基礎(chǔ)對(duì)象重復(fù)規(guī)定比例（例如1/2)以上的矩形區(qū)域（S1010)，并如圖5所示，在基準(zhǔn)圖像 的旁邊排列顯示該矩形區(qū)域（圖3的S1011)。即，從基準(zhǔn)圖像前后的比較圖像確定包含與 基礎(chǔ)對(duì)象共同的被攝體像的矩形區(qū)域。由此，成為與基礎(chǔ)對(duì)象進(jìn)行替換的候補(bǔ)的矩形區(qū)域 被提示給用戶。更具體而言，包含了在基礎(chǔ)對(duì)象內(nèi)的局部圖像上覆寫的局部圖像的矩形區(qū) 域被作為候補(bǔ)而提示。
[0186] 這里，基準(zhǔn)圖像上的矩形區(qū)域（基礎(chǔ)對(duì)象）及被作為候補(bǔ)提示的矩形區(qū)域相對(duì)于 該矩形區(qū)域所包含的臉區(qū)域具有充分大的面積。例如，是在中央包含臉區(qū)域且具有該臉區(qū) 域2倍以上的縱幅度及橫幅度（臉區(qū)域的面積的400%以上）的矩形區(qū)域。這是為了在進(jìn) 行后述的合成處理時(shí)捕捉臉的動(dòng)作，另外還捕捉伴隨臉的動(dòng)作的頭、肩、胸等其他部位的動(dòng) 作來生成自然的合成圖像，并且為了設(shè)定到臉的周圍的一定范圍為止包含的基礎(chǔ)對(duì)象和交 換對(duì)象（swap target)。
[0187] 若從如圖5所示那樣排列顯示的矩形區(qū)域中點(diǎn)擊了包含用戶判斷為適當(dāng)?shù)哪槄^(qū) 域的矩形區(qū)域，則基于該選擇操作，將被選擇的矩形區(qū)域決定為與基礎(chǔ)對(duì)象進(jìn)行替換的交 換對(duì)象（S1012)。進(jìn)而決定基準(zhǔn)圖像上的交換對(duì)象的位置（S1013)。例如，在基礎(chǔ)對(duì)象附近 掃描交換對(duì)象并進(jìn)行基于塊匹配的對(duì)位。然后，單純地將交換對(duì)象覆寫（粘貼）到基準(zhǔn)圖 像上的決定位置來生成預(yù)覽圖像（S1014)。此外，對(duì)位的方法并不限定于塊匹配，也可以使 用梯度法等其他方法。
[0188] 用戶對(duì)預(yù)覽圖像進(jìn)行確認(rèn)，當(dāng)確認(rèn)為交換對(duì)象內(nèi)的被攝體處于優(yōu)選的狀態(tài)時(shí)，點(diǎn) 擊顯示部103所顯示的合成鍵。另一方面，當(dāng)判斷為交換對(duì)象內(nèi)的被攝體不處于優(yōu)選的狀 態(tài)時(shí)，不點(diǎn)擊合成鍵而選擇與當(dāng)前交換對(duì)象不同的比較圖像的矩形區(qū)域。當(dāng)檢測(cè)到合成鍵 的點(diǎn)擊操作時(shí)（S1015為是），執(zhí)行后述的合成處理（S1020)。當(dāng)合成鍵沒有被操作而選擇 了不同的比較圖像的矩形區(qū)域時(shí)（S1015為否），取代選擇操作前的交換對(duì)象而將新選擇的 矩形區(qū)域設(shè)為交換對(duì)象（S1012)。此外，也可以不顯示預(yù)覽圖像而在交換對(duì)象被決定后直接 執(zhí)行合成處理。
[0189] 以下，參照?qǐng)D6所示的流程圖對(duì)合成處理進(jìn)行說明。若合成處理開始，則首先控制 部101生成對(duì)位后的基礎(chǔ)對(duì)象與交換對(duì)象的差分圖像（S1021)。由此得到的差分圖像如圖 7所示，存在被攝體的動(dòng)作的區(qū)域的輝度值變高。接下來，執(zhí)行決定差分圖像中的抽出輪廓 的處理（S1022)。由于在差分圖像中輝度高的區(qū)域是存在被攝體的動(dòng)作的區(qū)域，所以通過決 定包含這些輝度高的區(qū)域整體那樣的輪廓，使得所決定的抽出輪廓成為包含被攝體動(dòng)作了 的區(qū)域的圖像區(qū)域。即，通過基于差分圖像來決定抽出輪廓能夠捕捉被攝體的動(dòng)作。在本 實(shí)施方式中，以利用主動(dòng)輪廓模型（Active Contour Model)來決定抽出輪廓的例子進(jìn)行說 明，但也可以應(yīng)用其他技術(shù)。
[0190] ACM (Active Contour Model的縮寫）是用于決定輪廓的算法。通過將預(yù)先規(guī)定的 能量函數(shù)最小化來決定輪廓，如圖8所示，該輪廓由節(jié)點(diǎn)和將節(jié)點(diǎn)連結(jié)的枝組成的閉合曲 線構(gòu)成，輪廓從初始輪廓向最佳狀態(tài)的變形通過能量函數(shù)的最小化來進(jìn)行。能量函數(shù)的最 小化一般通過重復(fù)計(jì)算來進(jìn)行。以下表示了能量函數(shù)的公式。
[0191] 【式1】
[0192]

【權(quán)利要求】
1. 一種圖像合成裝置，其特征在于，具備： 動(dòng)區(qū)域檢測(cè)單元，基于在不同的時(shí)刻拍攝到的基準(zhǔn)圖像和比較圖像來檢測(cè)被攝體的動(dòng) 區(qū)域； 合成區(qū)域設(shè)定單元，根據(jù)動(dòng)區(qū)域的檢測(cè)結(jié)果來設(shè)定所述比較圖像中的合成區(qū)域；以及 合成圖像生成單元，通過將所設(shè)定的合成區(qū)域合成至所述基準(zhǔn)圖像來生成合成圖像。
2. 根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元抽出所述基準(zhǔn)圖像與所述比較圖像的差分圖像中的輪廓， 所述合成區(qū)域設(shè)定單元基于在所述差分圖像中抽出的輪廓來設(shè)定所述合成區(qū)域。
3. 根據(jù)權(quán)利要求2所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元初始設(shè)定在所述差分圖像中包含規(guī)定被攝體區(qū)域的閉合曲線，通 過使規(guī)定所述閉合曲線的節(jié)點(diǎn)向與該閉合曲線相對(duì)應(yīng)的能量函數(shù)進(jìn)行最佳化的方向移動(dòng) 來進(jìn)行輪廓的抽出。
4. 根據(jù)權(quán)利要求3所述的圖像合成裝置，其特征在于， 還具備在多個(gè)被攝體區(qū)域間設(shè)定邊界的邊界設(shè)定單元， 所述動(dòng)區(qū)域檢測(cè)單元按照不具有與所述邊界的交點(diǎn)的方式初始設(shè)定所述閉合曲線。
5. 根據(jù)權(quán)利要求3所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元再次初始設(shè)定包含抽出了的輪廓所包含的被攝體區(qū)域中、基于用 戶操作而決定的被攝體區(qū)域的閉合曲線，并基于該閉合曲線再次進(jìn)行輪廓的抽出。
6. 根據(jù)權(quán)利要求2所述的圖像合成裝置，其特征在于，還具備： 基礎(chǔ)區(qū)域顯示單元，以用戶能夠選擇的方式顯示包含所述基準(zhǔn)圖像中的規(guī)定的被攝體 區(qū)域的基礎(chǔ)區(qū)域；以及 交換候補(bǔ)區(qū)域顯示單元，按每一個(gè)比較圖像確定與基于用戶操作而選擇的基礎(chǔ)區(qū)域相 對(duì)應(yīng)的交換候補(bǔ)區(qū)域，并以用戶能夠選擇的方式顯示確定了的各交換候補(bǔ)區(qū)域， 所述動(dòng)區(qū)域檢測(cè)單元抽出基于所述用戶操作而選擇的基礎(chǔ)區(qū)域與基于用戶操作而選 擇的作為交換候補(bǔ)區(qū)域的交換區(qū)域之間的差分圖像中的輪廓。
7. 根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，還具備： 干擾度判定單元，判定將所述基準(zhǔn)圖像中的規(guī)定的被攝體替換成所述比較圖像中的該 規(guī)定的被攝體時(shí)與其他被攝體之間的干擾度；以及 推薦度顯示單元，基于所述干擾度來顯示與所述規(guī)定的被攝體相關(guān)的替換推薦度。
8. 根據(jù)權(quán)利要求7所述的圖像合成裝置，其特征在于， 所述干擾度判定單元基于在所述基準(zhǔn)圖像與所述比較圖像的差分圖像中抽出的替換 候補(bǔ)區(qū)域的交點(diǎn)來判定規(guī)定的被攝體與其他被攝體之間的干擾度。
9. 根據(jù)權(quán)利要求8所述的圖像合成裝置，其特征在于， 所述干擾度判定單元基于按所述基準(zhǔn)圖像與各比較圖像的每一個(gè)差分圖像而抽出的 規(guī)定的被攝體的輪廓與其他被攝體的輪廓的交點(diǎn)數(shù)來判定規(guī)定的被攝體與其他被攝體之 間的干擾度。
10. 根據(jù)權(quán)利要求2所述的圖像合成裝置，其特征在于，還具備： 臉區(qū)域檢測(cè)單元，檢測(cè)基準(zhǔn)圖像及各比較圖像中的臉區(qū)域； 特征量計(jì)算單元，按在各比較圖像中檢測(cè)出的每一個(gè)臉區(qū)域計(jì)算出特征量；以及 比較圖像決定單元，決定按每一個(gè)臉區(qū)域計(jì)算出的特征量成為最佳值的比較圖像的組 合。
11. 根據(jù)權(quán)利要求2所述的圖像合成裝置，其特征在于，還具備： 臉區(qū)域檢測(cè)單元，檢測(cè)基準(zhǔn)圖像及各比較圖像中的臉區(qū)域； 臉區(qū)域顯示單元，以用戶能夠選擇的方式顯示在基準(zhǔn)圖像及各比較圖像中檢測(cè)出的臉 區(qū)域；以及 比較圖像決定單元，當(dāng)將在所述基準(zhǔn)圖像中選擇出的規(guī)定的臉區(qū)域替換成在任意一個(gè) 比較圖像中選擇出的該規(guī)定的臉區(qū)域時(shí)，在該規(guī)定的臉區(qū)域與其他臉區(qū)域之間產(chǎn)生干擾的 情況下，將對(duì)于該其他臉區(qū)域不產(chǎn)生干擾且對(duì)于該其他臉區(qū)域計(jì)算出的特征量成為最佳值 的比較圖像決定為對(duì)于該其他臉區(qū)域的替換對(duì)象。
12. 根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元按所述基準(zhǔn)圖像及各比較圖像的每一個(gè)組合檢測(cè)被攝體的動(dòng)區(qū) 域， 所述合成區(qū)域設(shè)定單元基于按所述基準(zhǔn)圖像及各比較圖像的每一個(gè)組合檢測(cè)出的動(dòng) 區(qū)域來設(shè)定所述合成區(qū)域， 所述合成圖像生成單元將各比較圖像中的合成區(qū)域連續(xù)地合成至所述基準(zhǔn)圖像。
13. 根據(jù)權(quán)利要求12所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元將所述基準(zhǔn)圖像及所述比較圖像分別分割成判定區(qū)域，基于相互 對(duì)應(yīng)的判定區(qū)域間的規(guī)定的特征量的關(guān)系來檢測(cè)動(dòng)區(qū)域。
14. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元將所述特征量設(shè)為輝度，基于相互對(duì)應(yīng)的判定區(qū)域間的輝度的關(guān) 系來檢測(cè)動(dòng)區(qū)域。
15. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元根據(jù)從攝影條件、攝影圖像內(nèi)容、以及用戶操作中選擇的任意一 個(gè)來使所述判定區(qū)域的大小變化。
16. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元基于所述規(guī)定的特征量的關(guān)系來生成將所述基準(zhǔn)圖像按每一個(gè) 所述判定區(qū)域標(biāo)準(zhǔn)化了的標(biāo)準(zhǔn)化圖像，并基于該標(biāo)準(zhǔn)化圖像中的各判定區(qū)域與和各判定區(qū) 域鄰接的判定區(qū)域之間的所述特征量的差異來判定該判定區(qū)域是否為動(dòng)區(qū)域。
17. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 在所述判定區(qū)域被判定為不是動(dòng)區(qū)域的情況下，當(dāng)與該判定區(qū)域鄰接的判定區(qū)域中規(guī) 定數(shù)量以上的判定區(qū)域被判定為動(dòng)區(qū)域時(shí)，對(duì)于該判定區(qū)域執(zhí)行與被判定為動(dòng)區(qū)域時(shí)相同 的處理。
18. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 在所述判定區(qū)域被判定為是動(dòng)區(qū)域的情況下，當(dāng)將與該判定區(qū)域鄰接的鄰接判定區(qū)域 作為對(duì)象來進(jìn)行是否是動(dòng)區(qū)域的判定時(shí)，應(yīng)用比針對(duì)該判定區(qū)域的判定基準(zhǔn)容易判定為是 動(dòng)區(qū)域的判定基準(zhǔn)。
19. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述合成區(qū)域設(shè)定單元基于按所述基準(zhǔn)圖像及各比較圖像的每一個(gè)組合檢測(cè)出的動(dòng) 區(qū)域之和來對(duì)各比較圖像設(shè)定共同范圍的合成區(qū)域。
20. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述合成區(qū)域設(shè)定單元基于按所述基準(zhǔn)圖像及各比較圖像的每一個(gè)組合檢測(cè)出的動(dòng) 區(qū)域，來按成為合成對(duì)象的每一個(gè)比較圖像設(shè)定與該比較圖像相對(duì)應(yīng)的合成區(qū)域。
21. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元能夠基于通過用戶操作而指定的區(qū)域來執(zhí)行所述動(dòng)區(qū)域的檢測(cè)。
22. 根據(jù)權(quán)利要求13所述的圖像合成裝置，其特征在于， 所述動(dòng)區(qū)域檢測(cè)單元能夠基于不依賴于用戶操作而被預(yù)先設(shè)定的區(qū)域來執(zhí)行所述動(dòng) 區(qū)域的檢測(cè)。
23. -種圖像合成方法，其特征在于，包括： 動(dòng)區(qū)域檢測(cè)步驟，基于在不同的時(shí)刻拍攝到的基準(zhǔn)圖像和比較圖像來檢測(cè)被攝體的動(dòng) 區(qū)域； 合成區(qū)域設(shè)定步驟，根據(jù)動(dòng)區(qū)域的檢測(cè)結(jié)果來設(shè)定所述比較圖像中的合成區(qū)域；以及 合成圖像生成步驟，通過將所設(shè)定的合成區(qū)域合成至所述基準(zhǔn)圖像來生成合成圖像。
24. 根據(jù)權(quán)利要求23所述的圖像合成方法，其特征在于， 在所述動(dòng)區(qū)域檢測(cè)步驟中，抽出所述基準(zhǔn)圖像與所述比較圖像的差分圖像中的輪廓， 在所述合成區(qū)域設(shè)定步驟中，基于在所述差分圖像中抽出的輪廓來設(shè)定所述合成區(qū) 域。
25. 根據(jù)權(quán)利要求23所述的圖像合成方法，其特征在于， 在所述動(dòng)區(qū)域檢測(cè)步驟中，按所述基準(zhǔn)圖像及各比較圖像的每一個(gè)組合檢測(cè)被攝體的 動(dòng)區(qū)域， 在所述合成區(qū)域設(shè)定步驟中，基于按所述基準(zhǔn)圖像及各比較圖像的每一個(gè)組合檢測(cè)出 的動(dòng)區(qū)域來設(shè)定所述合成區(qū)域， 在所述合成圖像生成步驟中，將各比較圖像中的合成區(qū)域連續(xù)地合成至所述基準(zhǔn)圖 像。
【文檔編號(hào)】H04N5/232GK104125392SQ201410165481
【公開日】2014年10月29日 申請(qǐng)日期:2014年4月23日 優(yōu)先權(quán)日:2013年4月24日
【發(fā)明者】豬俁哲平, 加藤康史郎, 佐藤真希, 栗原洸太, 木村一樹, 大野良 申請(qǐng)人:株式會(huì)社摩如富