專利名稱：圖像合成設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像合成設(shè)備和控制這種設(shè)備的方法。
背景技術(shù)：
在顯示運動畫面和游戲視頻的設(shè)備中，有著所顯示面孔被另一面孔替代的情況。 例如有一種系統(tǒng)，其中為街頭游戲機(jī)裝備了攝像機(jī)，從而可以用用戶的面孔取代游戲中出 現(xiàn)的人物的面孔(參見已登記日本實用新型3048628的說明書)。此外，有一種系統(tǒng)自動跟 蹤運動畫面中人物面孔的運動并能夠組成圖像，在該圖像中，將面孔圖像轉(zhuǎn)換成期望的形 狀(參見日本專利申請公開文本No. 2002-269546的說明書)。 不過，在已經(jīng)拍攝了用戶面孔的情況下，在顯示用戶的所拍攝面孔時會出現(xiàn)問題。 具體而言，盡管已經(jīng)想到用另一面孔替換用戶的拍攝的面 L。但對于這種簡單的替換來說， 常常不能知道在替換之前用戶面孔如何出現(xiàn)。

發(fā)明內(nèi)容
因此，本發(fā)明的一個目的是進(jìn)行這樣的設(shè)置，使得即使用另一圖像替換用戶的圖 像，仍然能夠知道用戶的情況如何。 根據(jù)本發(fā)明，上述目的是通過提供一種圖像合成設(shè)備實現(xiàn)的，所述圖像合成設(shè) 備包括圖像感測裝置，用于感測對象圖像并輸出表示所述對象圖像的圖像數(shù)據(jù)；面孔 圖像檢測裝置(面孔圖像檢測手段)，用于從已經(jīng)從所述圖像感測裝置輸出的圖像數(shù)據(jù) 表示的對象圖像檢測面孔圖像；面孔情況檢測裝置(面孔情況檢測手段)，用于檢測面 孔情況，所述面孔情況是由所述面孔圖像檢測裝置檢測到的面孔圖像表示的面孔取向 (faceorientation)和表情的至少一種；替換裝置(替換手段)，用于利用與所述面孔情況 檢測裝置檢測到的面孔情況一致的合成面孔圖像替換所述面孔圖像檢測裝置檢測到的面 孔圖像；以及顯示控制裝置(顯示控制手段)，用于控制顯示單元，以便顯示其中的面孔圖 像已經(jīng)被所述替換裝置用合成面孔圖像替換的對象圖像。 本發(fā)明還提供了一種適于上述圖像合成設(shè)備的控制方法。具體而言，本發(fā)明提 供了一種控制圖像合成設(shè)備的方法，包括如下步驟感測對象的圖像并輸出表示對象圖像 的圖像數(shù)據(jù)；從通過圖像感測獲得的圖像數(shù)據(jù)表示的對象圖像檢測面孔圖像；檢測面孔情 況，所述面孔情況是由所述面孔圖像檢測處理檢測到的面孔圖像表示的面孔取向和表情的 至少一種；利用與通過面孔情況檢測處理檢測到的面孔情況一致的合成面孔圖像替換已由 面孔圖像檢測處理檢測到的面孔圖像；以及控制顯示單元，以便顯示其中的面孔圖像已經(jīng) 被替換處理用合成面孔圖像替換的對象圖像。 根據(jù)本發(fā)明，感測對象的圖像并從圖像感測獲得的對象圖像檢測面孔圖像。檢測 所檢測到的面孔的情況，所述情況是面孔取向和情緒的表情之一或兩者。利用與檢測到的 面孔情況一致的合成面孔圖像替換檢測到的面孔圖像。顯示面孔圖像已經(jīng)被合成面孔圖像 替換的對象圖像。
由于利用作為合成面孔圖像的另一面孔圖像替換通過圖像感測獲得的對象圖像中的面孔圖像，因此即使在不能顯示對象面孔的情況下也能顯示整個感測到的對象圖像。具體而言，替換的合成面孔圖像表現(xiàn)出與檢測到的面孔圖像相同的取向和情緒表情，表情的范例有喜悅、憤怒、憂傷和高興等。因此，盡管未顯示對象圖像中的面孔圖像，但仍能夠弄清對象即人等的面部取向和表情是什么。 該替換裝置(a)利用與所述面孔檢測裝置檢測到的面孔情況一致的合成面孔圖像替換所述面孔圖像檢測裝置檢測到的面孔圖像，該合成面孔圖像是由針對每種面孔情況存儲于合成面孔圖像數(shù)據(jù)存儲裝置中的合成面孔圖像數(shù)據(jù)表示的；或(b)將預(yù)定面孔圖像轉(zhuǎn)換成與面孔檢測裝置檢測到的面孔情況一致的合成面孔圖像，并利用通過轉(zhuǎn)換獲得的合成面孔圖像替換由面孔圖像檢測裝置檢測到的面孔圖像。 結(jié)合附圖，從以下描述將明了本發(fā)明的其他特征和優(yōu)點，在附圖的所有圖示中相似的附圖標(biāo)記表示相同或類似的部分。


圖1是示出了圖像合成設(shè)備電氣配置的方框圖； 圖2A和2B示出了合成面孔圖像的范例； 圖3是示出了圖像合成設(shè)備執(zhí)行的處理的流程圖； 圖4示出了通過圖像感測獲得的對象圖像范例； 圖5示出了其中的面孔圖像已被替換的對象圖像范例； 圖6示出了通過圖像感測獲得的對象圖像范例； 圖7示出了其中的面孔圖像已被替換的對象圖像的范例； 圖8和9示出了根據(jù)另一個實施例的合成面孔圖像的范例； 圖10是示出了圖像合成設(shè)備執(zhí)行的處理的流程圖； 圖11示出了根據(jù)另一實施例的裝飾范例；以及 圖12示出了根據(jù)本實施例的合成面孔圖像的范例。
具體實施例方式
現(xiàn)在將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。 圖1是示出了根據(jù)本發(fā)明第一實施例的圖像合成設(shè)備20的電氣配置的方框圖。
根據(jù)本實施例的圖像合成設(shè)備20感測對象15的圖像并顯示面孔圖像1，出于合成的目的，已經(jīng)用面孔圖像1替換了通過圖像感測獲得的對象圖像中包含的面孔圖像。為了實現(xiàn)這一 目的，圖像合成設(shè)備20包括合成面孔圖像輸入單元9，用于輸入表示合成面孔圖像1的合成面孔圖像數(shù)據(jù)。將從合成面孔圖像輸入單元9輸入的合成面孔圖像數(shù)據(jù)施加到并暫時存儲在數(shù)據(jù)存儲單元7中。 圖像合成設(shè)備20還包括用于感測對象15的圖像的攝像機(jī)11。當(dāng)攝像機(jī)11感測到對象15的圖像時，通過圖像輸入單元10向面孔圖像檢測單元4輸入表示對象圖像的圖像數(shù)據(jù)。面孔圖像檢測單元4從通過感測對象15的圖像獲得的對象15的圖像檢測面孔圖像的位置。在檢測到面孔圖像的位置時，可以利用在特定幀前面的幀中檢測到的面孔圖像的位置和面孔取向等以更高速度和精度執(zhí)行檢測處理，以便在執(zhí)行檢測處理的同時突出接近前一幀中檢測到的面孔情況的面孔圖像。向面孔情況區(qū)分單元3輸入表示面孔圖像的檢測位置的數(shù)據(jù)和表示對象圖像的數(shù)據(jù)。由面孔情況區(qū)分單元3區(qū)分檢測到的面孔圖像表示的面孔情況(面孔取向以及表示人的情緒的表情)。將表示面孔情況的數(shù)據(jù)輸入到合成圖像產(chǎn)生單元2。 也將數(shù)據(jù)存儲單元7中存儲的合成面孔圖像數(shù)據(jù)輸入到合成圖像產(chǎn)生單元2。合
成圖像產(chǎn)生單元2產(chǎn)生合成圖像，在該合成圖像中，感測到的對象圖像中包含的面孔圖像
已經(jīng)被與該面孔圖像的面孔取向和表情一致的合成面孔圖像替換。例如，如果對象圖像中
的面孔圖像具有水平取向，將利用水平取向的合成面孔圖像替換對象圖像中的面孔圖像。
此外，如果對象圖像中的面孔圖像表達(dá)的表情是憤怒的表情，那么將利用具有憤怒表情的
合成面孔圖像替換對象圖像中的面孔圖像。于是可以事先針對每種面孔取向和表情產(chǎn)生和
存儲面孔取向和表情一致的合成面孔圖像，并可以讀出面孔取向和表情與檢測到的面孔部
分一致的合成面孔圖像并與對象圖像組合。此外，可以事先存儲具有預(yù)定面孔取向和表情
的合成面孔圖像，可以從所存儲的合成面孔圖像產(chǎn)生具有所檢測面孔圖像表達(dá)的面孔取向
和表情的合成面孔圖像，并可以將所產(chǎn)生的合成面孔圖像與對象圖像組合。 從圖像輸出單元5向顯示單元6施加表示已經(jīng)與合成面孔圖像組合的對象圖像的
圖像數(shù)據(jù)。結(jié)果，在顯示單元6的顯示屏上顯示面孔圖像已經(jīng)被合成面孔圖像替換的對象圖像。 例如，在從人行道攝像機(jī)(pavement camera)廣播視頻的情況下，存在這樣的情況，即將過路人拍攝在視頻中而且在考慮到人的肖像權(quán)時最好不要廣播過路人的面孔。在這種時候，不會按照實際情況廣播過路人的面孔。與之形成對比，可以廣播的是在考慮到過路人表情和面孔取向的情況下利用合成面孔圖像替換了過路人面孔的視頻。合成面孔圖像可以是例示，例如"微笑面孔"標(biāo)志或表示名人或動畫要人的人物。此外，如果僅僅面孔取向就足夠了，那么消除面孔圖像并以可以看出面孔取向的方式顯示邊界就足夠了。
圖2A和2B示出了從預(yù)定合成面孔圖像產(chǎn)生具有不同取向的面孔圖像的方式。
圖2A是預(yù)定合成面孔圖像41的范例，這是一幅二維面孔圖像。利用公知的軟件從二維面孔圖像產(chǎn)生三維圖像。例如，在產(chǎn)生三維面孔圖像時，利用一種被稱為"線幀模型"的三維表示法通過表示固體輪廓的線條特定地表達(dá)三維圖像。可以通過在線幀模型的控制點位置定義構(gòu)成面孔的構(gòu)成要素(例如眼睛、嘴、鼻子和眉毛)的方式調(diào)節(jié)它們，調(diào)節(jié)控制點位置以及控制三維面孔圖像以變?yōu)檎{(diào)節(jié)的控制點位置，從而改變?nèi)S面孔圖像的取向和表情。 此外，可以將右轉(zhuǎn)線幀變換方法或笑臉線幀變換方法等作為表格事先存儲起來，并可以根據(jù)變換方法變換合成面孔圖像。 在圖2B中，已經(jīng)通過這種方式將預(yù)定的合成面孔圖像41變?yōu)橄蜃笃暮铣擅婵?br> 圖像42。顯然，向左偏的取向不會構(gòu)成限制，也可以對其他取向或表情做出改變。 圖3是示出了圖像合成設(shè)備20執(zhí)行的處理的流程圖。該處理檢測對象面孔圖像
上的表情并將對象圖像和表情與檢測到的表情一致的合成面孔圖像組合。此外，合成面孔
圖像不是通過事先產(chǎn)生多個合成面孔圖像獲得的合成面孔圖像，而是通過從具有預(yù)定表情
的合成面孔圖像產(chǎn)生具有檢測到的表情的合成面孔圖像而獲得的合成面孔圖像。 首先，向圖像合成設(shè)備20輸入表示有預(yù)定表情的合成面孔圖像的合成面孔圖像數(shù)據(jù)(步驟31)。將這樣輸入的合成面孔圖像數(shù)據(jù)存儲在數(shù)據(jù)存儲單元7中。以固定周期，例如1/60秒不斷感測對象的圖像(步驟32)。 通過這種固定周期成像獲得活動圖像，從所獲得的活動圖像提取一個幀的對象圖像(步驟33)。從對象圖像的提取幀中檢測到面孔圖像(步驟34)。 圖4是已提取的對象圖像50的一個幀的范例。對象圖像50包含人的圖像51。從對象圖像50檢測到人的圖像51的面孔圖像52。 再次參考圖3，檢測所檢測的面孔圖像52表示的面孔取向(可以檢測面孔的表情而不是取向，或者可以這樣設(shè)置，從而檢測取向和表情兩者)(步驟35)。如果檢測面孔取向，則產(chǎn)生將采用檢測的面孔取向的合成面孔圖像(逐個圖案合成的面孔圖像)(步驟36)。在實現(xiàn)了這一目的時，用所產(chǎn)生的逐個圖案合成的面孔圖像替換通過圖像感測獲得的對象圖像的面孔圖像(步驟37)。 圖5是面孔圖像52已經(jīng)被替換的對象圖像53的范例。 對象圖像53包括人物圖像54。人物圖像54的面孔圖像已經(jīng)被逐個圖案合成的面孔圖像55替換。已經(jīng)替換了面孔圖像52的逐個圖案合成的面孔圖像55面向右方，這與替換之前圖4中的面孔圖像52所表示的面孔取向相同。盡管面孔圖像已經(jīng)替換，也可以在一定程度上看出原來的面孔圖像的情況。 再次參考圖3，在顯示單元6的顯示屏上顯示面孔圖像已經(jīng)被逐個圖案合成的面孔圖像替換的對象圖像(步驟38)。如果有后續(xù)幀(步驟39中的"是")，重復(fù)步驟33到38的處理。 在上述實施例中，對象圖像中包含的面孔圖像被具有與該面孔相同的取向的合成面孔圖像替換。然而，對象圖像中包含的面孔圖像也可以被表情而不是取向與該面孔相同的合成面孔圖像替換。 圖6是圖像感測獲得的對象圖像50A范例。 對象圖像50A包括人物圖像51A。以上述方式從人物圖像51A中檢測面孔圖像52A。檢測所檢測的面孔圖像52A的表情，用具有檢測到的表情的合成面孔圖像替換面孔圖像52A。 圖7是面孔圖像52A已經(jīng)被替換的對象圖像56的范例。 對象圖像56包括人物圖像57，人物圖像57的面孔圖像已經(jīng)被合成面孔圖像58替換。假設(shè)已經(jīng)判定圖6中所示的對象圖像的面孔圖像52A的表情為微笑的表情，在圖6中所示的對象圖像56中替換的合成面孔圖像58將是笑臉。即使在面孔圖像已經(jīng)替換的情況下，也可以查明其替換之前面孔圖像52A上的表情。 在上述實施例中，區(qū)分面孔取向或表情，并利用合成面孔圖像替換面孔圖像。然而，可以這樣設(shè)置，從而區(qū)分面孔取向和表情兩者，并替換面孔取向和表情都一致的合成面孔圖像。 圖8到10示出了本發(fā)明的另一個實施例。本實施例事先產(chǎn)生合成面孔圖像。
圖8示出了具有不同取向的合成面孔圖像的范例。 不同取向的合成面孔圖像包括分別具有面向左取向、向左偏取向、前取向、向右偏取向和面向右取向的合成面孔圖像71、72、73、74和75。這些不同取向的合成面孔圖像71、72、73、74和75是事先產(chǎn)生和存儲的。通過上述方式，選擇取向與從通過圖像感測獲得的對象圖像檢測到的面孔圖像取向一致的合成面孔圖像，然后用所選的合成面孔圖像替換對象圖像中的面孔圖像。 圖9示出了具有不同表情的合成面孔圖像范例。 具有不同表情的合成面孔圖像包括分別表現(xiàn)出正常表情、驚訝表情、笑臉表情、哭泣表情和憤怒表情的合成面孔圖像81、82、83、84和85。這些具有不同表情的合成面孔圖像81、82、83、84和85是事先產(chǎn)生和存儲的。通過上述方式，選擇表情與從通過圖像感測獲得的對象圖像檢測到的面孔圖像表情一致的合成面孔圖像，然后用所選的合成面孔圖像替換對象圖像中的面孔圖像。 在上述范例中，不同取向的合成面孔圖像71、72、73、74和75以及具有不同表情的合成面孔圖像81、82、83、84和85均已經(jīng)產(chǎn)生和存儲。然而，可以這樣設(shè)置，從而針對每種取向產(chǎn)生和存儲具有不同表情的合成面孔圖像。在這種情況下，由于要針對每種取向存儲具有不同表情的合成面孔圖像，因此將存儲25種面孔圖像。 圖10是示出了圖像合成設(shè)備執(zhí)行的處理的流程圖。用類似的步驟標(biāo)號表示圖10中與圖3所示那些相同的處理步驟，不需要對這些步驟再次詳細(xì)加以描述。
向圖像合成設(shè)備20輸入表示有預(yù)定表情和取向的合成面孔圖像的合成面孔圖像數(shù)據(jù)(步驟31)。這樣做完之后，如圖8所示產(chǎn)生面孔取向一致的合成面孔圖像(逐個圖案合成的面孔圖像)(或如圖9所示產(chǎn)生的與表情一致的逐個圖案合成的面孔圖像)(步驟
61) 。在數(shù)據(jù)存儲單元7中存儲表示已產(chǎn)生的逐個圖案合成的面孔圖像的圖像數(shù)據(jù)(步驟
62) 。 之后，以類似于圖3所示處理的方式，檢測通過圖像感測獲得的對象圖像中的面孔圖像，并檢測面孔取向(表情)(步驟32到35)。如圖8所示，從逐個圖案合成的面孔圖像選擇面孔取向與檢測到的面孔取向一致的圖像(步驟63)，并用所選的圖像替換面孔圖像(步驟37)。在已經(jīng)檢測出面孔圖像的表情的情況下，如圖9所示，從逐個圖案合成的面孔圖像選擇表情與檢測到的表情一致的圖像，并用所選的圖像替換面孔圖像。此外，在已經(jīng)檢測出面孔圖像的面孔取向和表情兩者的情況下，從多個逐個圖案合成的面孔圖像選擇面孔取向和表情與檢測到的面孔取向和表情一致的圖像，并用所選的圖像替換面孔圖像。
圖11和12示出了本發(fā)明的另一實施例。 本實施例向合成面孔圖像添加了裝飾。圖11示出了與表情一致的裝飾。裝飾91、92、93、94和95分別是根據(jù)正常表情、驚訝表情、笑臉表情、哭泣表情和憤怒表情決定的，且這些裝飾已經(jīng)被存儲。根據(jù)從對象圖像檢測到的面孔圖像表情向合成面孔圖像添加裝飾。
圖12示出了已經(jīng)添加了裝飾的合成面孔圖像的范例。事先在存儲器中存儲的是具有正常表情的合成面孔圖像101、具有驚訝表情的合成面孔圖像102、具有笑臉表情的合成面孔圖像103、具有哭泣表情的合成面孔圖像104以及具有憤怒表情的合成面孔圖像105，分別為這些合成面孔圖像裝備分別與根據(jù)正常表情、驚訝表情、笑臉表情、哭泣表情和憤怒表情的表情一致的裝飾91、92、93、94和95。可以用表情和裝飾與對象圖像中面孔上的表情一致的合成面孔圖像替換對象圖像中的面孔圖像。 此外，可以采取這樣的布置，其中，用已經(jīng)根據(jù)對象圖像中面孔取向改變了裝飾取向的合成面孔圖像來取代對象圖像中的面孔圖像。 由于可以想到很多顯然非常不同的本發(fā)明實施例而不脫離其精神和范圍，顯然，
7除了如所附權(quán)利要求界定的之外，本發(fā)明不限于其具體實施例。
權(quán)利要求
一種圖像合成設(shè)備，包括圖像感測裝置，用于感測對象圖像并輸出表示所述對象圖像的圖像數(shù)據(jù)；面孔圖像檢測裝置，用于從由已經(jīng)從所述圖像感測裝置輸出的圖像數(shù)據(jù)表示的對象圖像檢測面孔圖像；面孔情況檢測裝置，用于檢測面孔情況，所述面孔情況是由通過所述面孔圖像檢測裝置檢測到的面孔圖像表示的面孔取向和情緒表情中的至少一種；替換裝置，用于利用與通過所述面孔情況檢測裝置檢測到的面孔情況一致的合成面孔圖像替換通過所述面孔圖像檢測裝置檢測到的面孔圖像；以及顯示控制裝置，用于控制顯示單元，以便顯示其中的面孔圖像已經(jīng)被所述替換裝置用合成面孔圖像替換的對象圖像。
2. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述替換裝置利用與通過所述面孔檢測裝置檢測到的面孔情況一致的合成面孔圖像替換通過所述面孔圖像檢測裝置檢測到的面孔圖像，該合成面孔圖像是由已針對每種面孔情況存儲于合成面孔圖像數(shù)據(jù)存儲裝置中的合成面孔圖像數(shù)據(jù)表示的；或者將預(yù)定面孔圖像轉(zhuǎn)換成與通過所述面孔檢測裝置檢測到的面孔情況一致的合成面孔圖像，并利用通過所述轉(zhuǎn)換獲得的合成面孔圖像替換通過所述面孔圖像檢測裝置檢測到的面孔圖像。
3. —種控制圖像合成設(shè)備的方法，包括如下步驟感測對象圖像并輸出表示所述對象圖像的圖像數(shù)據(jù)；從由通過圖像感測獲得的圖像數(shù)據(jù)表示的對象圖像檢測面孔圖像；檢測面孔情況，所述面孔情況是由通過所述面孔圖像檢測處理檢測到的面孔圖像表示的面孔取向和情緒表情中的至少一種；利用與通過所述面孔情況檢測處理檢測到的面孔情況一致的合成面孔圖像替換通過所述面孔圖像檢測處理檢測到的面孔圖像；以及控制顯示單元，以便顯示其中的面孔圖像已經(jīng)被替換處理用合成面孔圖像替換的對象圖像。
全文摘要
本發(fā)明涉及圖像合成設(shè)備及其控制方法。輸入并存儲用于替換面孔圖像的合成面孔圖像。感測對象的圖像以獲得對象圖像。從對象圖像檢測面孔圖像，檢測通過面孔圖像表示的面孔取向和表情。用于具有檢測到的面孔取向和表情的合成面孔圖像替換對象圖像中的面孔圖像。在顯示單元上顯示面孔圖像已經(jīng)被替換的對象圖像。
文檔編號G06T11/60GK101715069SQ20091017637
公開日2010年5月26日 申請日期2009年9月28日 優(yōu)先權(quán)日2008年9月30日
發(fā)明者野中俊一郎 申請人:富士膠片株式會社