專利名稱：運(yùn)動圖像生成方法及運(yùn)動圖像生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)靜止圖像生成運(yùn)動圖像的運(yùn)動圖像生成方法、運(yùn)動圖像生成裝置及記錄介質(zhì)。
背景技術(shù)：
以往公開了如下技術(shù)，即對靜止圖像內(nèi)的期望位置設(shè)定控制點(diǎn)，對要施加運(yùn)動的控制點(diǎn)指定期望運(yùn)動，由此使該靜止圖像運(yùn)動(日本特開2007-323293號公報(bào))。然而，在上述文獻(xiàn)的情況下，存在必須對每個(gè)控制點(diǎn)指定運(yùn)動，不僅其作業(yè)比較繁雜也難以再現(xiàn)用戶期望的運(yùn)動的問題。

發(fā)明內(nèi)容
本發(fā)明上基于上述的問題而提出的，其目的在于提供一種能夠簡便地進(jìn)行用戶期望的運(yùn)動的運(yùn)動圖像的生成的運(yùn)動圖像生成方法、運(yùn)動圖像生成裝置及程序。本發(fā)明的一個(gè)方式涉及運(yùn)動圖像生成方法，是利用了預(yù)先存儲有表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)的運(yùn)動的多個(gè)運(yùn)動信息的運(yùn)動圖像生成裝置的運(yùn)動圖像生成方法，所述運(yùn)動圖像生成方法的特征在于，包括取得步驟，取得靜止圖像；設(shè)定步驟，在由所述取得步驟取得的靜止圖像內(nèi)，在所述多個(gè)可動點(diǎn)所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)；幀圖像生成步驟，生成多個(gè)幀圖像，該多個(gè)幀圖像是按照下述方式得到的，即基于用戶從所述多個(gè)運(yùn)動信息中指定出的一個(gè)運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動，并按照該控制點(diǎn)的運(yùn)動使所述靜止圖像變形；和運(yùn)動圖像生成步驟，根據(jù)由所述幀圖像生成步驟生成的多個(gè)幀來生成運(yùn)動圖像。本發(fā)明的另一個(gè)方式涉及運(yùn)動圖像生成裝置，其特征在于，具備存儲單元，其預(yù)先存儲表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)的運(yùn)動的多個(gè)運(yùn)動信息；取得單元，其取得靜止圖像；設(shè)定單元，其在由所述取得單元取得的靜止圖像內(nèi)，在所述多個(gè)可動點(diǎn)所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)；幀圖像生成單元，其生成多個(gè)幀圖像，該多個(gè)幀圖像是按照下述方式得到的，即基于用戶從所述多個(gè)運(yùn)動信息中指定出的一個(gè)運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動，并按照該控制點(diǎn)的運(yùn)動使所述靜止圖像變形；和運(yùn)動圖像生成單元，其根據(jù)由所述幀圖像生成單元生成的多個(gè)幀來生成運(yùn)動圖像。


圖I是表示應(yīng)用了本發(fā)明的一實(shí)施方式的運(yùn)動圖像生成系統(tǒng)的概略構(gòu)成的框圖。圖2是表示構(gòu)成運(yùn)動圖像生成系統(tǒng)的用戶終端的概略構(gòu)成的框圖。圖3是表示構(gòu)成運(yùn)動圖像生成系統(tǒng)的服務(wù)器的概略構(gòu)成的框圖。圖4是表示由運(yùn)動圖像生成系統(tǒng)進(jìn)行的運(yùn)動圖像生成處理涉及的動作的一例的流程圖。圖5是表不圖4的運(yùn)動圖像生成處理的后續(xù)處理的流程圖。
圖6是示意性表示圖4的運(yùn)動圖像生成處理涉及的圖像的一例的圖。圖7是用于說明圖4的運(yùn)動圖像生成處理的圖。圖8是用于說明圖4的運(yùn)動圖像生成處理的圖。
具體實(shí)施例方式以下，利用附圖，對本發(fā)明的具體方式進(jìn)行說明。其中，發(fā)明范圍并不限定于圖示例子。圖I是表示應(yīng)用了本發(fā)明的一實(shí)施方式的運(yùn)動圖像生成系統(tǒng)100的概略構(gòu)成的框圖。本實(shí)施方式的運(yùn)動圖像生成系統(tǒng)100如圖I所示，具備攝像裝置I、用戶終端2、以及服務(wù)器3，用戶終端2和服務(wù)器3連接成經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N可收發(fā)各種信息。 攝像裝置I具備拍攝被攝體的攝像功能、將攝像圖像的圖像數(shù)據(jù)記錄于記錄介質(zhì)C的記錄功能等。即、攝像裝置I可應(yīng)用公知的攝像裝置，例如不僅是主要功能為攝像功能的數(shù)碼相機(jī)等，也包括具備攝像功能不為主要功能的便攜電話機(jī)等。接著，參照圖2，對用戶終端2進(jìn)行說明。用戶終端2例如由個(gè)人計(jì)算機(jī)等構(gòu)成，訪問由服務(wù)器3開設(shè)的Web網(wǎng)頁(例如，運(yùn)動圖像生成用網(wǎng)頁)，在該Web網(wǎng)頁上輸入各種指示。圖2是表示用戶終端2的概略構(gòu)成的框圖。如圖2所示，用戶終端2具體具備中央控制部201、通信控制部202、顯示部203、聲音輸出部204、記錄介質(zhì)控制部205、操作輸入部206等。中央控制部201控制用戶終端2的各部。具體而言，中央控制部201具備CPU、RAM、ROM(均省略圖示)，按照ROM中存儲的用戶終端2用的各種處理程序(省略圖示)來進(jìn)行各種控制動作。此時(shí)，CPU使RAM內(nèi)的保存區(qū)域內(nèi)保存各種處理結(jié)果，并根據(jù)需要使顯示部203顯示其處理結(jié)果。RAM例如具備用于將由CPU執(zhí)行的處理程序等展開的程序保存區(qū)域、用于保存輸入數(shù)據(jù)或在執(zhí)行上述處理程序時(shí)產(chǎn)生的處理結(jié)果等的數(shù)據(jù)保存區(qū)域等。ROM存儲以計(jì)算機(jī)可讀取的程序代碼的形式保存的程序，具體而言，保存用戶終端2可執(zhí)行的系統(tǒng)程序、該系統(tǒng)程序可執(zhí)行的各種處理程序、在執(zhí)行這些各種處理程序時(shí)所使用的數(shù)據(jù)等。通信控制部202例如由調(diào)制解調(diào)器(MODEM =Modulater /DEModulater)、終端適配器(Terminal Adapter)等構(gòu)成，用于經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而在與服務(wù)器3等外部設(shè)備之間進(jìn)行信息的通信控制。此外，通信網(wǎng)絡(luò)N例如是利用專用線或已有的一般公眾線路而構(gòu)建的通信網(wǎng)絡(luò)，可應(yīng)用LAN(Local Area Network)或WAN(Wide Area Network)等的各種各樣的線路形式。另外，在通信網(wǎng)絡(luò)N中例如包含電話線路網(wǎng)、ISDN線路網(wǎng)、專用線、移動體通信網(wǎng)、通信衛(wèi)星線路、CATV線路網(wǎng)等的各種通信線路網(wǎng)、以及將它們連接起來的因特網(wǎng)服務(wù)供應(yīng)商等。顯示部203例如由LCD、CRT (Cathode Ray Tube)等顯示器構(gòu)成，在中央控制部201的CPU的控制下將各種信息顯示于顯示畫面。S卩、顯示部203例如基于從服務(wù)器3發(fā)送并由通信控制部202接收到的Web網(wǎng)頁(例如，運(yùn)動圖像生成用網(wǎng)頁)的網(wǎng)頁數(shù)據(jù)，將所對應(yīng)的Web網(wǎng)頁顯示于顯示畫面。具體而言，顯示部203基于運(yùn)動圖像生成處理(后述)涉及的各種處理畫面的圖像數(shù)據(jù)，將各種處理畫面顯示于顯示畫面(參照圖7A等)。聲音輸出部204例如由D/A轉(zhuǎn)換器、LPF(Low Pass Filter)、放大器、揚(yáng)聲器等構(gòu)成，在中央控制部201的CPU的控制下進(jìn)行放聲。S卩、聲音輸出部204例如基于從服務(wù)器3發(fā)送并由通信控制部202接收到的再生信息，通過D/A轉(zhuǎn)換器將該再生信息的數(shù)字?jǐn)?shù)據(jù)變換成模擬數(shù)據(jù)，經(jīng)由放大器從揚(yáng)聲器以規(guī)定的音色、音高、音長播放曲子。另外，聲音輸出部204即可以播放一個(gè)聲源(例如樂器)的聲音，也可以同時(shí)播放多個(gè)聲源的聲音。記錄介質(zhì)控制部205以可自由裝卸記錄介質(zhì)C的方式構(gòu)成,控制從所安裝的記錄介質(zhì)C中讀出數(shù)據(jù)、以及向記錄介質(zhì)C寫入數(shù)據(jù)。即、記錄介質(zhì)控制部205從攝像裝置I卸下而安裝上的記錄介質(zhì)C中讀出運(yùn)動圖像生成處理(后述)涉及的被攝體存在圖像Pl (參照圖6A)的圖像數(shù)據(jù)，并輸出至通信控制部202。 在這里，被攝體存在圖像Pl是指，在規(guī)定的背景內(nèi)存在主要被攝體的圖像。另外，在記錄介質(zhì)C中記錄了通過攝像裝置I的圖像處理部(省略圖示)以規(guī)定的編碼形式(例如，JPEG形式等)編碼后的被攝體存在圖像Pl的圖像數(shù)據(jù)。并且，通信控制部202經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N將所輸入的被攝體存在圖像Pl的圖像數(shù)據(jù)發(fā)送至服務(wù)器3。操作輸入部206例如具備用于輸入數(shù)值、字符等的數(shù)據(jù)輸入按鍵、用于進(jìn)行數(shù)據(jù)的選擇、送出操作等的上下左右移動按鍵、由各種功能按鍵等構(gòu)成的鍵盤、鼠標(biāo)等，并將用戶按下的按鍵的按下信號、鼠標(biāo)的操作信號輸出至中央控制部201的CPU。此外，作為操作輸入部206也可采用下述構(gòu)成，即將觸摸面板(省略圖示)配設(shè)于顯示部203的顯示畫面，并根據(jù)觸摸面板的接觸位置來輸入各種指示。接著，參照圖3，對服務(wù)器3進(jìn)行說明。服務(wù)器3作為Web (World Wide Web)服務(wù)器而具備在因特網(wǎng)上開設(shè)Web網(wǎng)頁(例如，運(yùn)動圖像生成用網(wǎng)頁)的功能，根據(jù)來自用戶終端2的訪問而將Web網(wǎng)頁的網(wǎng)頁數(shù)據(jù)發(fā)送至該用戶終端2。另外，服務(wù)器3作為運(yùn)動圖像生成裝置，而在靜止圖像內(nèi)在運(yùn)動信息M涉及的多個(gè)可動點(diǎn)Da、……所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)Db，按照追蹤所指定的運(yùn)動信息M的多個(gè)可動點(diǎn)Da、……的運(yùn)動的方式使多個(gè)控制點(diǎn)Db、……運(yùn)動而生成運(yùn)動圖像Q。圖3是表示服務(wù)器3的概略構(gòu)成的框圖。如圖3所示，服務(wù)器3具體構(gòu)成為具備中央控制部301、顯示部302、通信控制部303、被攝體剪切部304、存儲部305、運(yùn)動圖像處理部306等。中央控制部301控制服務(wù)器3的各部。具體而言，中央控制部301具備CPU、RAM、ROM(均省略圖示)，CPU按照ROM中存儲的服務(wù)器3用的各種處理程序(省略圖示)來進(jìn)行各種控制動作。此時(shí)，CPU使RAM內(nèi)的保存區(qū)域內(nèi)保存各種處理結(jié)果，并根據(jù)需要使顯示部302顯示其處理結(jié)果。RAM例如具備用于將由CPU執(zhí)行的處理程序等展開的程序保存區(qū)域、用于保存輸入數(shù)據(jù)或在執(zhí)行上述處理程序時(shí)產(chǎn)生的處理結(jié)果等的數(shù)據(jù)保存區(qū)域等。
ROM存儲以計(jì)算機(jī)可讀取的程序代碼的形式保存的程序，具體而言，保存服務(wù)器3可執(zhí)行的系統(tǒng)程序、該系統(tǒng)程序可執(zhí)行的各種處理程序、在執(zhí)行這些各種處理程序時(shí)所使用的數(shù)據(jù)等。顯示部302例如由IXD、CRT等顯示器構(gòu)成，在中央控制部301的CPU的控制下將各種信息顯示于顯示畫面。通信控制部303例如由調(diào)制解調(diào)器、終端適配器等構(gòu)成，用于經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而在與用戶終端2等外部設(shè)備之間進(jìn)行信息的通信控制。具體而言，通信控制部303例如通過運(yùn)動圖像生成處理(后述)接收經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N從用戶終端2發(fā)送出的被攝體存在圖像Pl的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)輸出至中央控制部301的CPU。中央控制部301的CPU將所輸入的被攝體存在圖像Pl的圖像數(shù)據(jù)輸出至被攝體剪切部304。被攝體剪切部304根據(jù)被攝體存在圖像Pl生成被攝體剪切圖像P2。S卩、被攝體剪切部304利用公知的被攝體剪切手法，生成從被攝體存在圖像Pl中剪切了包含被攝體S的區(qū)域之后的圖像。具體而言，被攝體剪切部304取得從中央控制部301的CPU輸出的被攝體存在圖像Pl的圖像數(shù)據(jù)，例如基于用戶對用戶終端2的操作輸入部206 (例如，鼠標(biāo)等)的規(guī)定操作，通過顯示部203顯示的該被攝體存在圖像Pl上繪制出的邊界線(省略圖示)來劃分該被攝體存在圖像P1。然后，被攝體剪切部304提取由被攝體存在圖像Pl的邊界線劃分的包含被攝體S的被攝體區(qū)域，將該被攝體區(qū)域的α值設(shè)為“1”，并且將被攝體S的背景部分的α值設(shè)為“0”，生成將該被攝體區(qū)域的圖像與規(guī)定的單一顏色圖像合成之后的被攝體剪切圖像Ρ2(參照圖6Β)的圖像數(shù)據(jù)。即、被攝體剪切圖像Ρ2之中的、相對于α值為“I”的被攝體區(qū)域的規(guī)定背景的透過度為0%，另一方面，相對于α值為“O”的被攝體S的背景部分的規(guī)定背景的透過度為100%。另外，作為被攝體剪切圖像Ρ2的圖像數(shù)據(jù)，例如能夠應(yīng)用RGBA形式的圖像數(shù)據(jù)，具體而言，能夠?qū)GB色空間中規(guī)定的各種顏色附加透過度A的信息。此外，被攝體剪切圖像Ρ2的圖像數(shù)據(jù)例如也可采用下述構(gòu)成針對被攝體存在圖像Pl的各像素，與將被攝體區(qū)域的圖像和規(guī)定背景進(jìn)行α混合(blending)時(shí)的權(quán)重表示為α值(O < α < I)的α映射建立對應(yīng)。此外，上述的被攝體剪切部304的被攝體剪切手法只是一例，但是并不限定于此，只要是從被攝體存在圖像Pi中剪切包含被攝體S的區(qū)域的公知手法，就可應(yīng)用任何手法。存儲部305例如由半導(dǎo)體的非易失性存儲器、HDD (Hard Disc Drive)等構(gòu)成，并存儲發(fā)送至用戶終端2的Web網(wǎng)頁的網(wǎng)頁數(shù)據(jù)、由被攝體剪切部304生成的被攝體剪切圖像P2的圖像數(shù)據(jù)等。另外，存儲部305存儲在運(yùn)動圖像生成處理中用到的多個(gè)運(yùn)動信息M。各運(yùn)動信息M是表示規(guī)定空間、即例如由相互正交的二軸(例如，χ軸、y軸等)規(guī)定的二維平面空間、或者除了二軸之外還由與該二軸正交的軸(例如，z軸等)規(guī)定的三維立體空間內(nèi)的多個(gè)可動點(diǎn)Da、……的運(yùn)動的信息。此外，運(yùn)動信息M也可以是通過使二維平面空間繞著規(guī)定轉(zhuǎn)動軸旋轉(zhuǎn)而使多個(gè)可動點(diǎn)Da、……的運(yùn)動具有進(jìn)深的信息。在這里，各可動點(diǎn)Da的位置在考慮成為運(yùn)動模型的運(yùn)動體模型(例如，人或動物等)的骨骼的形狀或關(guān)節(jié)的位置等的基礎(chǔ)上分別進(jìn)行規(guī)定。另外，可動點(diǎn)Da的個(gè)數(shù)可以根據(jù)運(yùn)動體模型的形狀或大小等適當(dāng)?shù)厝我庠O(shè)定。另外，關(guān)于各運(yùn)動信息M，將在規(guī)定空間內(nèi)使多個(gè)可動點(diǎn)Da、……的全部或者至少一個(gè)移動的坐標(biāo)信息以規(guī)定的時(shí)間間隔連續(xù)地排列，由此連續(xù)地表示多個(gè)可動點(diǎn)Da、……的運(yùn)動(參照圖8A)。具體而言，各運(yùn)動信息M例如是按照與規(guī)定的舞蹈對應(yīng)的方式使多個(gè)可動點(diǎn)Da、……移動的信息，并分別與連續(xù)地表示多個(gè)可動點(diǎn)Da、……的運(yùn)動的運(yùn)動體模型的模型名相對應(yīng)地進(jìn)行存儲。另外，各運(yùn)動信息M根據(jù)運(yùn)動的種類(例如，街舞、搖擺舞、機(jī)器人舞等)、變奏曲(例如，街舞I 3等)而使多個(gè)可動點(diǎn)Da、……的連續(xù)運(yùn)動不同。例如，如圖8A所示，關(guān)于運(yùn)動信息M，如示意性表示舉起人的運(yùn)動體模型的兩只手臂的狀態(tài)的多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息D1、示意性表示放下單只手臂(圖8A中的左側(cè)手臂)的狀態(tài)的多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息D2、示意性表示放下兩只手臂的狀態(tài)的多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息D3那樣，沿著時(shí)間軸隔著規(guī)定的時(shí)間間隔連續(xù)地排列(在圖8A中，省略了坐標(biāo)信息D3以后的坐標(biāo)信息的圖示)。 在這里，多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息D1、D2、D3、…的各個(gè)信息例如既可以是對各可動點(diǎn)Da相對于成為基準(zhǔn)的可動點(diǎn)Da的坐標(biāo)信息(例如，坐標(biāo)信息Dl等)的移動量進(jìn)行規(guī)定的信息，也可以是對各可動點(diǎn)Da的絕對位置坐標(biāo)進(jìn)行規(guī)定的信息。此外，圖8A所示的運(yùn)動信息M只是一例，但是并不限定于此，運(yùn)動種類等可以適當(dāng)?shù)厝我庾兏?。這樣，存儲部305構(gòu)成了預(yù)先存儲表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)Da、……的運(yùn)動的多個(gè)運(yùn)動信息M的存儲單元。另外，存儲部305存儲在運(yùn)動圖像生成處理中用到的多個(gè)再生信息T。再生信T是與運(yùn)動圖像Q—起由運(yùn)動圖像再生部306e再生的信息。即、再生信息T因?yàn)槔鐦非俣?、拍子、音程、音階、音調(diào)、思想標(biāo)語等的不同而規(guī)定為多個(gè)，并分別與曲名相對應(yīng)地進(jìn)行存儲。另外，各再生信息T例如是按照MIDI(Musical Instruments Digital Interface)規(guī)格等而規(guī)定的數(shù)字?jǐn)?shù)據(jù)，具體而言，具有規(guī)定了磁道數(shù)及四分音符的分辨率(Tick計(jì)數(shù)數(shù))等的頭部信息、和規(guī)定了各聲源(例如，樂器等)的再生信息T等的磁道信息等。另外，磁道信息中規(guī)定了樂曲速度及拍子的設(shè)定信息、NoteOn · Off的時(shí)刻等。運(yùn)動圖像處理部306具備圖像取得部306a、控制點(diǎn)設(shè)定部306b、運(yùn)動指定部306c、圖像生成部306d、運(yùn)動圖像再生部306e、以及速度指定部306f。圖像取得部306a取得在運(yùn)動圖像生成處理中用到的靜止圖像。S卩、圖像取得部306a取得從存在背景和被攝體S的被攝體存在圖像Pl之中剪切包含被攝體S的區(qū)域之后得到的被攝體剪切圖像P2，作為靜止圖像。具體而言，圖像取得部306a將由被攝體剪切部304生成的被攝體剪切圖像P2的圖像數(shù)據(jù)作為處理對象的靜止圖像來取得。控制點(diǎn)設(shè)定部306b在處理對象的靜止圖像內(nèi)設(shè)定運(yùn)動的多個(gè)控制點(diǎn)Db。S卩、控制點(diǎn)設(shè)定部306b在由圖像取得部306a取得的被攝體剪切圖像P2的被攝體圖像Ps內(nèi)，在多個(gè)可動點(diǎn)Da、……所對應(yīng)的各位置處設(shè)置運(yùn)動的多個(gè)控制點(diǎn)Db。具體而言，控制點(diǎn)設(shè)定部306b從存儲部305中讀出運(yùn)動體模型(例如，人)的運(yùn)動信息M,在被攝體剪切圖像P2的被攝體圖像Ps內(nèi)，確定該運(yùn)動信息M中規(guī)定的基準(zhǔn)幀(例如，第I幀等)的多個(gè)可動點(diǎn)Da、……的各個(gè)可動點(diǎn)所對應(yīng)的位置。例如，控制點(diǎn)設(shè)定部306b在被攝體圖像Ps是將人作為主要被攝體S剪切之后的圖像的情況下(參照圖7B)，在考慮了人的骨骼的形狀或關(guān)節(jié)的位置等的基礎(chǔ)上，確定多個(gè)可動點(diǎn)Da、……的各個(gè)可動點(diǎn)所對應(yīng)的位置。此時(shí)，針對運(yùn)動體模型和被攝體圖像Ps，例如也可按照使面部等的主要部分的大小相匹配的方式進(jìn)行尺寸的調(diào)整(例如，運(yùn)動體模型的放大及縮小、變形等)。另外，例如，也可使運(yùn)
動體模型和被攝體圖像Ps相重疊來確定被攝體圖像Ps中的多個(gè)可動點(diǎn)Da、......的各個(gè)可
動點(diǎn)所對應(yīng)的位置。并且，控制點(diǎn)設(shè)定部306b在所確定的多個(gè)可動點(diǎn)Da、……的各個(gè)可動點(diǎn)所對應(yīng)的位置處，分別設(shè)定運(yùn)動的控制點(diǎn)Db。此外，由控制點(diǎn)設(shè)定部306b進(jìn)行的運(yùn)動的控制點(diǎn)Db的設(shè)定，既可以如上述那樣自動地進(jìn)行，也可以手動地進(jìn)行。即、例如，也可在基于用戶對用戶終端2的操作輸入部206 的規(guī)定操作而輸入的期望位置處設(shè)定運(yùn)動的控制點(diǎn)Db。而且，即便在由控制點(diǎn)設(shè)定部306b進(jìn)行的運(yùn)動的控制點(diǎn)Db的設(shè)定自動執(zhí)行的情況下，也可以基于用戶對操作輸入部的規(guī)定操作來接受控制點(diǎn)Db的設(shè)定位置的修正(變更)。運(yùn)動指定部306c指定在運(yùn)動圖像生成處理中用到的運(yùn)動信息M。S卩、運(yùn)動指定部306c在存儲部305存儲的多個(gè)運(yùn)動信息M、……之中，指定任意一個(gè)運(yùn)動信息M。具體而言，若基于用戶對用戶終端2的操作輸入部206的規(guī)定操作在顯示部203顯示的規(guī)定畫面內(nèi)的多個(gè)運(yùn)動模型的模型名之中指定任意一個(gè)模型名(例如，街舞I等)這樣的指示是經(jīng)由通信網(wǎng)絡(luò)N及通信控制部303進(jìn)行輸入的，則運(yùn)動指定部306c在多個(gè)運(yùn)動信息M、……之中指定與指定指示涉及的運(yùn)動模型的模型名相對應(yīng)的運(yùn)動信息M。此外，運(yùn)動指定部306c在多個(gè)運(yùn)動信息Μ、……之中，例如也可自動地指定作為默認(rèn)值被設(shè)定的運(yùn)動信息Μ、或用戶前次指定的運(yùn)動信息Μ。圖像生成部306d逐次生成構(gòu)成運(yùn)動圖像Q的多個(gè)幀圖像F、......。S卩、圖像生成部306d按照追蹤由運(yùn)動指定部306c指定的運(yùn)動信息M的多個(gè)可動點(diǎn)Da、……的運(yùn)動的方式，使被攝體剪切圖像P2的被攝體圖像Ps內(nèi)設(shè)定的多個(gè)控制點(diǎn)Db、……移動，而逐次生成多個(gè)幀圖像F、……。具體而言，圖像生成部306d逐次取得例如根據(jù)運(yùn)動信息M以規(guī)定的時(shí)間間隔移動的多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息，并算出該可動點(diǎn)Da的各個(gè)可動點(diǎn)所對應(yīng)的各控制點(diǎn)Db的坐標(biāo)。然后，圖像生成部306d使控制點(diǎn)Db逐次移動到所算出的坐標(biāo)，并且以至少一個(gè)控制點(diǎn)Db為基準(zhǔn)使被攝體圖像Ps內(nèi)設(shè)定的規(guī)定的圖像區(qū)域(例如，三角形或矩形的網(wǎng)格狀的區(qū)域)移動或者變形，由此生成基準(zhǔn)幀圖像Fa(參照圖SB)。由此，分別生成了例如在運(yùn)動信息M的多個(gè)可動點(diǎn)Da、……的各坐標(biāo)信息Dl、D2、D3 (參照圖8B)等所對應(yīng)的位置處配設(shè)了控制點(diǎn)Db的基準(zhǔn)幀圖像Fa (參照圖8B)。此外，在圖SB中，假設(shè)地示出各控制點(diǎn)Db，而并非在基準(zhǔn)幀圖像Fa中實(shí)際包含著各控制點(diǎn)Db。另外，使以控制點(diǎn)Db為基準(zhǔn)的規(guī)定的圖像區(qū)域移動或者變形的處理是公知技術(shù)，所以在此省略詳細(xì)說明。另外，圖像生成部306d生成插值幀圖像Fb，該插值幀圖像Fb是對基于移動后的可動點(diǎn)Da的各個(gè)可動點(diǎn)所對應(yīng)的多個(gè)控制點(diǎn)Db、……而生成的、沿著時(shí)間軸相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa彼此之間進(jìn)行插值的圖像(圖SB參照)。S卩、圖像生成部306d生成對2個(gè)基準(zhǔn)幀圖像Fa、Fa彼此之間進(jìn)行插值的規(guī)定個(gè)數(shù)的插值幀圖像Fb，以便運(yùn)動圖像再生部306e以規(guī)定的再生幀頻(例如，30fps等)再生多個(gè)幀圖像F。具體而言，圖像生成部306d逐次取得相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa之間的、由運(yùn)動圖像再生部306e再生的規(guī)定曲子 的再生的行進(jìn)程度，并根據(jù)該行進(jìn)程度逐次生成在相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa之間再生的插值幀圖像Fb。例如，圖像生成部306d基于MIDI規(guī)格的再生信息T取得樂曲速度的設(shè)定信息及四分音符的分辨率(Tick計(jì)數(shù)數(shù))，將由運(yùn)動圖像再生部306e再生的規(guī)定曲子的再生的經(jīng)過時(shí)間變換成Tick計(jì)數(shù)數(shù)。接著，圖像生成部306d基于規(guī)定曲子的再生的經(jīng)過時(shí)間所對應(yīng)的Tick計(jì)數(shù)數(shù)，例如以百分率算出與規(guī)定的時(shí)刻(例如，各小節(jié)的第一拍等)同步的相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa之間的規(guī)定曲子的再生的相對行進(jìn)程度。然后，圖像生成部306d根據(jù)規(guī)定曲子的再生的相對行進(jìn)程度，改變對該相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa的加權(quán)，而生成插值幀圖像Fb。在這里，規(guī)定曲子的再生的相對行進(jìn)程度在相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa的各個(gè)基準(zhǔn)幀圖像同步的規(guī)定的時(shí)刻彼此之間，進(jìn)行樂曲速度或拍子的變更，在算出的行進(jìn)程度相對于前次算出的行進(jìn)程度減少的情況下，也可按照行進(jìn)程度的減少程度變小的方式修正該行進(jìn)程度。由此，能夠考慮曲子的行進(jìn)程度生成更適當(dāng)?shù)牟逯祹瑘D像Fb。此外，生成插值幀圖像Fb的處理是公知技術(shù)，所以在這里省略詳細(xì)說明。另外，由圖像生成部306d進(jìn)行的基準(zhǔn)幀圖像Fa或插值幀圖像Fb的生成，例如在RGBA形式的圖像數(shù)據(jù)的情況下，是針對RGB色空間中規(guī)定的被攝體圖像Ps的各種顏色的信息及透過度A的信息這兩個(gè)信息進(jìn)行的。另外，在利用由控制點(diǎn)設(shè)定部306b進(jìn)行的控制點(diǎn)Db的設(shè)定處理，相對于運(yùn)動信息M的基準(zhǔn)幀的可動點(diǎn)Da的位置而遠(yuǎn)離規(guī)定距離以上的位置處，設(shè)定了該可動點(diǎn)Da所對應(yīng)的控制點(diǎn)Db的情況下，也可考慮該可動點(diǎn)Da與控制點(diǎn)Db之間的距離來進(jìn)行基準(zhǔn)幀圖像Fa的生成。S卩、在多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息D1、D2、D3、……的各個(gè)信息例如是對各可動點(diǎn)Da相對于成為基準(zhǔn)的可動點(diǎn)Da的坐標(biāo)信息(例如，坐標(biāo)信息Dl等)的移動量進(jìn)行規(guī)定的信息的情況下，為了對應(yīng)于成為基準(zhǔn)的可動點(diǎn)Da的坐標(biāo)信息以后的坐標(biāo)信息(例如，坐標(biāo)信息D2、D3等)，有時(shí)根據(jù)各個(gè)可動點(diǎn)Da的移動量而移動的控制點(diǎn)Db的位置相對于運(yùn)動信息M預(yù)先規(guī)定的可動點(diǎn)Da的位置而言會遠(yuǎn)離規(guī)定距離以上。其結(jié)果，存在所生成的基準(zhǔn)幀圖像Fa不能再現(xiàn)運(yùn)動信息M規(guī)定的可動點(diǎn)Da的運(yùn)動的顧慮。因此，關(guān)于成為基準(zhǔn)的可動點(diǎn)Da的坐標(biāo)信息以后的坐標(biāo)信息(例如，坐標(biāo)信息D2、D3等)，也可在各自的可動點(diǎn)Da的移動量上相加成為基準(zhǔn)的可動點(diǎn)Da與該可動點(diǎn)Da所對應(yīng)的控制點(diǎn)Db之間的距離，而算出各個(gè)可動點(diǎn)Da所對應(yīng)的控制點(diǎn)Db的坐標(biāo)。運(yùn)動圖像再生部306e再生由圖像生成部306d生成的多個(gè)幀圖像F、......的各個(gè)
幀圖像。S卩、運(yùn)動圖像再生部306e基于用戶對用戶終端2的操作輸入部206的規(guī)定操作而指定的再生信息T來再生規(guī)定曲子，并且以該規(guī)定曲子的規(guī)定的時(shí)刻再生多個(gè)幀圖像F、……的各個(gè)幀圖像。具體而言，運(yùn)動圖像再生部306e通過D/Α轉(zhuǎn)換器將規(guī)定曲子的再生信息的數(shù)字?jǐn)?shù)據(jù)變換成模擬數(shù)據(jù)而再生該規(guī)定曲子，此時(shí)以與規(guī)定的時(shí)刻(例如，各小節(jié)的第I拍或各拍等)同步的方式再生相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa，并且根據(jù)相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa之間的規(guī)定曲子的再生的相對行進(jìn)程度來再生該行進(jìn)程度所對應(yīng)的各個(gè)插值幀圖像Fb。此外，運(yùn)動圖像再生部306e也可以以由速度指定部306f (后述)指定的速度來再生被攝體圖像Ps涉及的多個(gè)幀圖像F、……。這種情況下，運(yùn)動圖像再生部306e通過改變使相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa同步的時(shí)刻，由此變更在規(guī)定的單位時(shí)間內(nèi)再生的幀圖像F的個(gè)數(shù)以改變被攝體圖像Ps的運(yùn)動速度。速度指定部306f指定被攝體圖像Ps的運(yùn)動速度。S卩、速度指定部306f指定由控制點(diǎn)設(shè)定部306b設(shè)定的多個(gè)運(yùn)動的控制點(diǎn)Db的運(yùn)動速度。具體而言，基于用戶對用戶終端2的操作輸入部206的規(guī)定操作而在顯示部203顯示的規(guī)定畫面內(nèi)的被攝體圖像Ps的多個(gè)速度(例如，1/2倍、標(biāo)準(zhǔn)(等倍)、2倍等)之中 指定任意一個(gè)速度(例如，標(biāo)準(zhǔn)等)這樣的指示，經(jīng)由通信網(wǎng)絡(luò)N及通信控制部303輸入至服務(wù)器3。速度指定部306f在多個(gè)運(yùn)動速度之中將該指定指不涉及的速度指定為被攝體圖像Ps的運(yùn)動速度。由此，以規(guī)定的單位時(shí)間進(jìn)行切換的幀圖像F的個(gè)數(shù)例如變更為1/2倍、等倍、2倍
坐寸ο接著，參照圖4 圖8，對采用了用戶終端2及服務(wù)器3的運(yùn)動圖像生成處理進(jìn)行說明。在這里，圖4及圖5是表示運(yùn)動圖像生成處理涉及的動作的一例的流程圖。另外，圖6A 圖6C是不意性表不運(yùn)動圖像生成處理涉及的圖像的一例的圖。另外，圖7A及圖7C是示意性表示運(yùn)動圖像生成處理中的用戶終端2的顯示部203所顯示的顯示畫面的一例的圖，圖7B是不意性表不可動點(diǎn)Da與控制點(diǎn)Db之間的對應(yīng)關(guān)系的一例的圖。另外，圖8A是示意性表示運(yùn)動信息M的一例的圖，圖8B是示意性表示構(gòu)成運(yùn)動圖像Q的巾貞圖像F的一例的圖。此外，在以下的說明中，設(shè)根據(jù)被攝體存在圖像Pl的圖像數(shù)據(jù)所生成的被攝體剪切圖像P2(參照圖6B)的圖像數(shù)據(jù)被存儲至服務(wù)器3的存儲部305。另外，設(shè)以人為運(yùn)動體模型的運(yùn)動信息M (參照圖8A)被存儲至存儲部305。如圖4所示，若用戶終端2的中央控制部201的CPU基于用戶對操作輸入部206的規(guī)定操作而輸入了由服務(wù)器3開設(shè)的運(yùn)動圖像生成用網(wǎng)頁的訪問指示，則通過通信控制部202將該訪問指示經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至服務(wù)器3 (步驟SI)。若通過服務(wù)器3的通信控制部303接收到從用戶終端2發(fā)送來的訪問指示，則中央控制部301的CPU通過通信控制部303將運(yùn)動圖像生成用網(wǎng)頁的網(wǎng)頁數(shù)據(jù)經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至用戶終端2 (步驟S2)。并且，若通過用戶終端2的通信控制部202接收到運(yùn)動圖像生成用網(wǎng)頁的網(wǎng)頁數(shù)據(jù)，則顯示部203基于該運(yùn)動圖像生成用網(wǎng)頁的網(wǎng)頁數(shù)據(jù)而顯示運(yùn)動圖像生成用網(wǎng)頁的畫面Pg (參照圖7A)。接著，用戶終端2的中央控制部201基于用戶對操作輸入部206的規(guī)定操作，通過通信控制部202將在運(yùn)動圖像生成用網(wǎng)頁的畫面Pg內(nèi)操作的各種按鈕所對應(yīng)的指示信號經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至服務(wù)器3 (步驟S3)。如圖5所示，服務(wù)器3的中央控制部301的CPU根據(jù)來自用戶終端2的指示的內(nèi)容，使處理分支(步驟S4)。具體而言，在來自用戶終端2的指示是與被攝體圖像Ps的指定相關(guān)的內(nèi)容的情況下(步驟S4 ;被攝體圖像的指定)，中央控制部301的CPU使處理移行至步驟S51。另外，在是與控制點(diǎn)Db的修正相關(guān)的內(nèi)容的情況下(步驟S4 ;控制點(diǎn)的修正)，使處理移行至步驟S61。另外，在是與合成內(nèi)容的修正相關(guān)的內(nèi)容的情況下(步驟S4 ;合成內(nèi)容的修正)，使處理移行至步驟S71。另外，在是與背景圖像Pb的指定相關(guān)的內(nèi)容的情況下(步驟S4;背景圖像的指定)，使處理移行至步驟S81。另外，在是與運(yùn)動及曲子的指定相關(guān)的內(nèi)容的情況下(步驟S4 ;運(yùn)動及曲子的指定)，使處理移行至步驟S91。<被攝體圖像的指定>在步驟S4中來自用戶終端2的指示是與被攝體圖像Ps的指定相關(guān)的內(nèi)容的情況下(步驟S4 ;被攝體圖像的指定)，運(yùn)動圖像處理部306的圖像取得部306a從存儲部305 存儲的被攝體剪切圖像P2的圖像數(shù)據(jù)之中讀出并取得由用戶指定的被攝體剪切圖像P2的圖像數(shù)據(jù)(步驟S51)。接著，控制點(diǎn)設(shè)定部306b判定在所取得的被攝體剪切圖像P2的被攝體圖像Ps內(nèi)是否已經(jīng)設(shè)定了運(yùn)動的控制點(diǎn)Db(步驟S52)。若在步驟S52中判定為未設(shè)定運(yùn)動的控制點(diǎn)Db (步驟S52 ;否)，則控制點(diǎn)設(shè)定部306b基于被攝體剪切圖像P2的圖像數(shù)據(jù)來進(jìn)行該被攝體剪切圖像P2的修剪，在修剪后的圖像P3的被攝體圖像Ps的背面附加規(guī)定顏色的圖像而生成背面圖像(省略圖示)(步驟S53)。具體而言，控制點(diǎn)設(shè)定部306b基于被攝體剪切圖像P2的圖像數(shù)據(jù)，以被攝體圖像Ps的規(guī)定位置(例如，中心或人的面部的位置等)作為基準(zhǔn)來修剪被攝體剪切圖像P2，由此修正成被攝體圖像Ps和運(yùn)動模型(例如，人)的大小相等(步驟S53)。圖6C示出被攝體剪切圖像P2的修剪后的圖像P3。此時(shí)，控制點(diǎn)設(shè)定部306b，例如在被攝體圖像Ps為人的情況下，也可修剪成該人的面部或脊椎骨這樣的中心部沿著修剪后的圖像P3的左右方向的中心配設(shè)。另外，被攝體剪切圖像P2的修剪，例如在是RGBA形式的圖像數(shù)據(jù)的情況下，是針對RGB色空間中規(guī)定的被攝體圖像Ps的各種顏色的信息及透過度A的信息而進(jìn)行。接著，中央控制部301的CPU通過通信控制部303將修剪后的圖像P3的圖像數(shù)據(jù)經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至用戶終端2 (步驟S54)。然后，控制點(diǎn)設(shè)定部306b在修剪后的圖像P3的被攝體圖像Ps內(nèi)，在多個(gè)可動點(diǎn)Da、……所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)Db (步驟S55 ;參照圖7B)。具體而言，控制點(diǎn)設(shè)定部306b從存儲部305中讀出運(yùn)動體模型(例如，人)的運(yùn)動信息M，在被攝體剪切圖像P2的被攝體圖像Ps內(nèi)確定了該運(yùn)動信息M中規(guī)定的多個(gè)可動點(diǎn)Da、……的各個(gè)可動點(diǎn)所對應(yīng)的位置之后，在該多個(gè)可動點(diǎn)Da、……的各個(gè)可動點(diǎn)所對應(yīng)的位置處分別設(shè)定運(yùn)動的控制點(diǎn)Db。之后，運(yùn)動圖像再生部306e將針對該被攝體圖像Ps設(shè)定的多個(gè)控制點(diǎn)Db、……、以及被攝體圖像Ps的合成位置及尺寸等合成內(nèi)容登錄到規(guī)定的保存單元(例如，規(guī)定的存儲器等)(步驟S56)。
然后，中央控制部301的CPU使處理移行至步驟S10。關(guān)于步驟SlO的處理內(nèi)容在后面敘述。此外，若在步驟S52中判定為已經(jīng)設(shè)定有運(yùn)動的控制點(diǎn)Db (步驟S52 ;是)，則中央控制部301的CPU跳過步驟S53 S56的處理，而使處理移行至步驟S10?！纯刂泣c(diǎn)的修正〉在步驟S4中來自用戶終端2的指示是與控制點(diǎn)Db的修正相關(guān)的內(nèi)容的情況下(步驟S4 ;控制點(diǎn)的修正)，運(yùn)動圖像處理部306的控制點(diǎn)設(shè)定部306b基于用戶對操作輸入部206的規(guī)定操作來修正運(yùn)動的控制點(diǎn)Db的位置(步驟S61)。S卩、如圖4所示那樣，若在步驟Sll中用戶終端2的中央控制部201基于用戶對操作輸入部206的規(guī)定操作而判定為輸入了已設(shè)定的控制點(diǎn)Db的修正指示(步驟Sll ;是)，則通過通信控制部202將該修正指示所對應(yīng)的信號經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至服務(wù)器3 (步驟S3)。 并且，如圖5所示，運(yùn)動圖像處理部306的控制點(diǎn)設(shè)定部306b在基于用戶對操作輸入部206的規(guī)定操作而輸入的期望位置處設(shè)定運(yùn)動的控制點(diǎn)Db (步驟S61)。然后，中央控制部301的CPU使處理移行至步驟S10。關(guān)于步驟SlO的處理內(nèi)容在后面敘述?！春铣蓛?nèi)容的修正〉在步驟S4中來自用戶終端2的指示是與合成內(nèi)容的修正相關(guān)的內(nèi)容的情況下(步驟S4 ;合成內(nèi)容的修正)，運(yùn)動圖像處理部306基于用戶對操作輸入部206的規(guī)定操作來設(shè)定被攝體圖像Ps的合成位置及尺寸(步驟S71)。S卩、如圖4所示，若在步驟Sll中用戶終端2的中央控制部201基于用戶對操作輸入部206的規(guī)定操作而判定為輸入了被攝體圖像Ps的合成位置及尺寸的修正指示(步驟Sll ;是)，則通過通信控制部202將該修正指示所對應(yīng)的信號經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至服務(wù)器3 (步驟S3)。之后，如圖5所示，運(yùn)動圖像處理部306基于用戶對操作輸入部206的規(guī)定操作，將被攝體圖像Ps的合成位置設(shè)定在期望的合成位置，或者將該被攝體圖像Ps的尺寸設(shè)定成期望的尺寸(步驟S71)。然后，中央控制部301的CPU使處理移行至步驟S10。關(guān)于步驟SlO的處理內(nèi)容在后面敘述?！幢尘皥D像的指定〉在步驟S4中來自用戶終端2的指示是與背景圖像Pb的指定相關(guān)的內(nèi)容的情況下(步驟S4 ;背景圖像的指定)，運(yùn)動圖像處理部306的運(yùn)動圖像再生部306e基于用戶對操作輸入部206的規(guī)定操作，讀出期望的背景圖像(其他圖像)Pb的圖像數(shù)據(jù)(步驟S81)，將該背景圖像Pb的圖像數(shù)據(jù)作為運(yùn)動圖像Q的背景而登錄到規(guī)定的保存單元(步驟S82)。具體而言，在用戶終端2的顯示部203所顯示的運(yùn)動圖像生成用網(wǎng)頁的畫面Pg內(nèi)的多個(gè)圖像數(shù)據(jù)之中，基于用戶對操作輸入部206的規(guī)定操作所指定的任意一個(gè)圖像數(shù)據(jù)的指定指示，經(jīng)由通信網(wǎng)絡(luò)N及通信控制部303被輸入至服務(wù)器3。運(yùn)動圖像再生部306e在將該指定指示涉及的背景圖像Pb (參照圖7A)的圖像數(shù)據(jù)從存儲部305中讀出并取得之后(步驟S81)，將該背景圖像Pb的圖像數(shù)據(jù)作為運(yùn)動圖像Q的背景進(jìn)行登錄(步驟S82)。
接著，中央控制部301的CPU通過通信控制部303將背景圖像Pb的圖像數(shù)據(jù)經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至用戶終端2 (步驟S83)。然后，中央控制部301的CPU使處理移行至步驟S10。關(guān)于步驟SlO的處理內(nèi)容在后面敘述。<運(yùn)動及曲子的指定>在步驟S4中來自用戶終端2的指示是與運(yùn)動及曲子的指定相關(guān)的內(nèi)容的情況下(步驟S4 ;運(yùn)動及曲子的指定)，運(yùn)動圖像處理部306基于用戶對操作輸入部206的規(guī)定操作來設(shè)定運(yùn)動信息M及運(yùn)動速度(步驟S91)。具體而言，在用戶終端2的顯示部203所顯示的運(yùn)動圖像生成用網(wǎng)頁的畫面Pg內(nèi)的多個(gè)運(yùn)動模型的模型名之中，基于用戶對操作輸入部206的規(guī)定操作所指定的任意一個(gè)模型名(例如，草裙舞等)的指定指示，經(jīng)由通信網(wǎng)絡(luò)N及通信控制部303被輸入至服務(wù)器3。運(yùn)動圖像處理部306的運(yùn)動指定部306c在存儲部305存儲的多個(gè)運(yùn)動信息M、……之 中，設(shè)定與該指定指示涉及的運(yùn)動模型的模型名相對應(yīng)的運(yùn)動信息M。另外，在用戶終端2的顯示部203所顯示的運(yùn)動圖像生成用網(wǎng)頁的畫面Pg內(nèi)的多個(gè)運(yùn)動速度之中，基于用戶對操作輸入部206的規(guī)定操作所指定的任意一個(gè)速度(例如，標(biāo)準(zhǔn)等)的指定指示，經(jīng)由通信網(wǎng)絡(luò)N及通信控制部303被輸入至服務(wù)器3。運(yùn)動圖像處理部306的速度指定部306f將該指定指示涉及的速度設(shè)定為被攝體圖像Ps的運(yùn)動速度。然后，運(yùn)動圖像處理部306的運(yùn)動圖像再生部306e將所設(shè)定的運(yùn)動信息M及運(yùn)動速度作為運(yùn)動圖像Q的運(yùn)動內(nèi)容而登錄到規(guī)定的保存單元(步驟S92)。接著，運(yùn)動圖像處理部306基于用戶對操作輸入部206的規(guī)定操作來設(shè)定與運(yùn)動圖像一起再生的曲子(步驟S93)。具體而言，在用戶終端2的顯示部203所顯示的運(yùn)動圖像生成用網(wǎng)頁的畫面Pg內(nèi)的多個(gè)曲名之中，基于用戶對操作輸入部206的規(guī)定操作所指定的任意一個(gè)曲名的指定指示，經(jīng)由通信網(wǎng)絡(luò)N及通信控制部303被輸入至服務(wù)器3。運(yùn)動圖像處理部306設(shè)定該指定指示涉及的曲名的曲子。然后，中央控制部301的CPU使處理移行至步驟S10。關(guān)于步驟SlO的處理內(nèi)容在后面敘述。在步驟SlO中，中央控制部301的CPU判定是否是可生成運(yùn)動圖像Q的狀態(tài)(步驟S10)。S卩、服務(wù)器3的運(yùn)動圖像處理部306基于用戶對操作輸入部206的規(guī)定操作，進(jìn)行與被攝體圖像Ps相應(yīng)的控制點(diǎn)Db的登錄、被攝體圖像Ps的運(yùn)動內(nèi)容的登錄、背景圖像Pb的登錄等，由此判定運(yùn)動圖像Q的生成準(zhǔn)備是否完成、即是否可生成運(yùn)動圖像Q。在這里，若判定為不是可生成運(yùn)動圖像Q的狀態(tài)(步驟SlO ;否)，則中央控制部301的CPU將處理返回到步驟S4，根據(jù)來自用戶終端2的指示的內(nèi)容使處理分支(步驟S4)。另一方面，若判定為是可生成運(yùn)動圖像Q的狀態(tài)(步驟SlO ;是)，則如圖4所示，中央控制部301的CPU使處理移行至步驟S13。在步驟S13中，服務(wù)器3的中央控制部301的CPU基于用戶對用戶終端2的操作輸入部206的規(guī)定操作來判定是否輸入了運(yùn)動圖像Q的預(yù)覽指示(步驟S13)。S卩、在步驟Sll中用戶終端2的中央控制部201判定為未輸入被攝體圖像Ps的合成位置及尺寸的修正指示之后(步驟Sll ;否)，通過通信控制部202將基于用戶對操作輸入部206的規(guī)定操作所輸入的運(yùn)動圖像Q的預(yù)覽指示經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至服務(wù)器3(步驟S12)。之后，若在步驟S13中通過服務(wù)器3的中央控制部301的CPU判定為輸入了運(yùn)動圖像Q的預(yù)覽指示(步驟S13 ;是)，則運(yùn)動圖像處理部306判定控制點(diǎn)Db的位置及合成內(nèi)容是否存在修正(步驟S14)。即、運(yùn)動圖像處理部306判定在步驟S61中是否修正了控制點(diǎn)Db的位置，或者在步驟S71中判定是否進(jìn)行了被攝體圖像Ps的合成位置及尺寸的修正。若在步驟S14中判定為控制點(diǎn)Db的位置及合成內(nèi)容存在修正(步驟S14;是)，則運(yùn)動圖像再生部306e進(jìn)行控制點(diǎn)Db的位置的再登錄、被攝體圖像Ps的合成位置及尺寸的再登錄，以便反映修正內(nèi)容(步驟S15)。接著，運(yùn)動圖像處理部306的運(yùn)動圖像再生部306e將已設(shè)定的曲名所對應(yīng)的再生信息T作為與運(yùn)動圖像Q —起自動再生的信息而登錄到規(guī)定的保存單元(步驟S16)。 此外，若在步驟S14中判定為控制點(diǎn)Db的位置及合成內(nèi)容沒有修正(步驟S14 ；否)，則運(yùn)動圖像處理部306跳過步驟S15的處理，而使處理移行至步驟S16。接著，運(yùn)動圖像處理部306基于保存單元中登錄的再生信息T，由運(yùn)動圖像再生部306f開始再生規(guī)定曲子，并且由圖像生成部306d開始生成構(gòu)成運(yùn)動圖像Q的多個(gè)幀圖像F、......(步驟 S17)。接著，運(yùn)動圖像處理部306判定基于運(yùn)動圖像再生部306f的規(guī)定曲子的再生是否結(jié)束(步驟S18)。在這里，若判定為曲子的再生未結(jié)束(步驟S18 ;否)，則運(yùn)動圖像處理部306的圖像生成部306d生成根據(jù)運(yùn)動信息M而變形后的被攝體圖像Ps的基準(zhǔn)幀圖像Fa (步驟S19 ；參照圖SB)。具體而言，圖像生成部306d分別取得根據(jù)保存單元中登錄的運(yùn)動信息M以規(guī)定的時(shí)間間隔移動的多個(gè)可動點(diǎn)Da、……的坐標(biāo)信息，并算出該可動點(diǎn)Da的各個(gè)可動點(diǎn)所對應(yīng)的各控制點(diǎn)Db的坐標(biāo)。之后，圖像生成部306d使控制點(diǎn)Db逐次移動至所算出的坐標(biāo)，并且根據(jù)控制點(diǎn)Db的移動使被攝體圖像Ps內(nèi)設(shè)定的規(guī)定的圖像區(qū)域移動或者變形，由此生成基準(zhǔn)幀圖像Fa。另外，運(yùn)動圖像處理部306利用公知的圖像合成手法來合成基準(zhǔn)幀圖像Fa和背景圖像(其他圖像)Pb。具體而言，運(yùn)動圖像處理部306，例如使背景圖像Pb的各像素之中的α值為“O”的像素透過，使α值為“I”的像素用基準(zhǔn)幀圖像Fa所對應(yīng)的像素的像素值重寫，進(jìn)而關(guān)于背景圖像Pb的各像素之中的α值為“0< α < I”的像素，在利用I的補(bǔ)數(shù)(l-α)生成了將基準(zhǔn)幀圖像Fa的被攝體區(qū)域剪切出后得到的圖像(背景用圖像Χ(1-α))之后，利用α映射中的I的補(bǔ)數(shù)(l-α)生成了基準(zhǔn)幀圖像Fa之時(shí)，計(jì)算與單一背景色混合后的值，將該值從基準(zhǔn)幀圖像Fa中減去，然后將其與將被攝體區(qū)域剪切出后得到的圖像(背景用圖像Χ(1-α))進(jìn)行合成。接著，圖像生成部306d根據(jù)由運(yùn)動圖像再生部306e再生的規(guī)定曲子的再生的行進(jìn)程度，生成對相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa彼此之間進(jìn)行插值的插值幀圖像Fb (步驟S20 ;參照圖8B)。具體而言，圖像生成部306d逐次取得相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa之間的、由運(yùn)動圖像再生部306e再生的規(guī)定曲子的再生的行進(jìn)程度，并根據(jù)該行進(jìn)程度逐次生成在相鄰的2個(gè)基準(zhǔn)幀圖像Fa、Fa之間再生的插值幀圖像Fb。另外，運(yùn)動圖像處理部306與上述基準(zhǔn)幀圖像Fa的情況同樣地，利用公知的圖像合成手法來合成插值幀圖像Fb和背景圖像(其他圖像)Pb。接著，中央控制部301的CPU通過通信控制部303與由運(yùn)動圖像再生部306e自動再生的曲子的再生信息一起，將由以該曲子的規(guī)定的時(shí)刻再生的基準(zhǔn)幀圖像Fa及插值幀圖像Fb構(gòu)成的預(yù)覽運(yùn)動圖像的數(shù)據(jù)，經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送至用戶終端2 (步驟S21)。在這里，預(yù)覽運(yùn)動圖像的數(shù)據(jù)構(gòu)成了將由規(guī)定個(gè)數(shù)的基準(zhǔn)幀圖像Fa及插值幀圖像Fb構(gòu)成的多個(gè)幀圖像F、和用戶期望的背景圖像(其他圖像)Pb合成后的運(yùn)動圖像。接著，運(yùn)動圖像處理部306將處理返回到步驟S18，判定曲子的再生是否結(jié)束(步驟 S18)。上述的處理反復(fù)執(zhí)行到在步驟S18中判定為曲子的再生結(jié)束為止(步驟S18 ；是)。之后，若判定為曲子的再生結(jié)束(步驟S18 ;是)，則如圖5所示，中央控制部301 的CPU將處理返回到步驟S4，根據(jù)來自用戶終端2的指示的內(nèi)容使處理分支(步驟S4)。若在步驟S21中通過用戶終端2的通信控制部303接收到從服務(wù)器3發(fā)送來的預(yù)覽運(yùn)動圖像的數(shù)據(jù)，則中央控制部201的CPU控制聲音輸出部204及顯示部203而使預(yù)覽運(yùn)動圖像再生(步驟S22)。具體而言，聲音輸出部204基于再生信息自動再生曲子并從揚(yáng)聲器放聲，且顯示部203在該自動再生的曲子的規(guī)定時(shí)刻將由基準(zhǔn)幀圖像Fa及插值幀圖像Fb構(gòu)成的預(yù)覽運(yùn)動圖像顯示于顯示畫面。此外，在上述的運(yùn)動圖像生成處理中，雖然要再生預(yù)覽運(yùn)動圖像，但是這只是一例，并不限定于此，例如也可將逐次生成的基準(zhǔn)幀圖像Fa、插值幀圖像Fb、背景圖像的圖像數(shù)據(jù)以及再生信息作為一個(gè)文件而存儲至規(guī)定的存儲單元，在運(yùn)動圖像Q涉及的全部數(shù)據(jù)的生成完成之后，將該文件從服務(wù)器3向用戶終端2發(fā)送并由該用戶終端2進(jìn)行再生。以上，根據(jù)本實(shí)施方式的運(yùn)動圖像生成系統(tǒng)100，在處理對象的靜止圖像(例如，被攝體圖像Ps)內(nèi)，在運(yùn)動信息M涉及的多個(gè)可動點(diǎn)Da、……所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)Db，并按照追蹤所指定的運(yùn)動信息M的多個(gè)可動點(diǎn)Da、……的運(yùn)動的方式使多個(gè)控制點(diǎn)Db、……運(yùn)動而生成運(yùn)動圖像Q。即、預(yù)先存儲表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)Da、……的運(yùn)動的多個(gè)運(yùn)動信息M，按照追蹤所指定的運(yùn)動信息M的多個(gè)可動點(diǎn)Da、……的運(yùn)動的方式使對應(yīng)于多個(gè)可動點(diǎn)Da、……而在靜止圖像內(nèi)設(shè)定的多個(gè)控制點(diǎn)Db、……移動，由此能夠生成構(gòu)成運(yùn)動圖像Q的各幀圖像F，如以往那樣按每個(gè)控制點(diǎn)Db來指定運(yùn)動的作業(yè)就不需要了。因此，利用在多個(gè)運(yùn)動信息M、……之中指定任意一個(gè)運(yùn)動信息M這樣的簡單作業(yè)，也能簡便地生成再現(xiàn)了用戶期望的運(yùn)動的運(yùn)動圖像Q。另外，因?yàn)槟軌蚧谂c用戶對操作輸入部206的規(guī)定操作相應(yīng)的模型名的指定，來指定與該模型名相對應(yīng)的運(yùn)動信息M，所以能夠更簡便地進(jìn)行多個(gè)運(yùn)動信息M、……之中的任意一個(gè)運(yùn)動信息M的指定，能夠簡便地進(jìn)行再現(xiàn)了用戶期望的運(yùn)動的運(yùn)動圖像Q的生成。而且，基于使多個(gè)可動點(diǎn)Da、……如對應(yīng)于規(guī)定舞蹈的方式運(yùn)動的運(yùn)動信息M，按照追蹤于該多個(gè)可動點(diǎn)Da、……的運(yùn)動的方式使多個(gè)控制點(diǎn)Db、……移動，由此能夠生成構(gòu)成再現(xiàn)了規(guī)定舞蹈的運(yùn)動圖像Q的各幀圖像F。因此，能夠簡便地進(jìn)行再現(xiàn)了用戶期望的舞蹈的運(yùn)動的運(yùn)動圖像Q的生成。此外，本發(fā)明并不限于上述實(shí)施方式，在不脫離本發(fā)明宗旨的范圍內(nèi)可以進(jìn)行各種改良及設(shè)計(jì)的變更。例如，在上述實(shí)施方式中，基于用戶對用戶終端2的規(guī)定操作，通過作為Web服務(wù)器發(fā)揮功能的服務(wù)器(運(yùn)動圖像生成裝置)3生成運(yùn)動圖像Q，但是這只是一例，并不限定于此，運(yùn)動圖像生成裝置的構(gòu)成也可適當(dāng)?shù)厝我庾兏＜?、作為通過軟件來實(shí)現(xiàn)運(yùn)動圖像Q的生成涉及的運(yùn)動圖像處理部306的功能的構(gòu)成，也可通過安裝于用戶終端2而無需通信網(wǎng)絡(luò)N，該用戶終端2單獨(dú)地進(jìn)行運(yùn)動圖像生成處理。另外，在上述實(shí)施方式中，作為用戶終端2而例示了個(gè)人計(jì)算機(jī)，但是這只是一例，并不限定于此，也可適當(dāng)?shù)厝我庾兏?，例如可以?yīng)用便攜電話機(jī)等。
此外，在被攝體剪切圖像P2或運(yùn)動圖像Q的數(shù)據(jù)中，也可嵌入禁止用戶進(jìn)行規(guī)定的改變的控制信息。此外，在上述實(shí)施方式中，雖然在中央控制部301的控制下通過圖像取得部306a、控制點(diǎn)設(shè)定部306b、圖像生成部306d、運(yùn)動圖像處理部306進(jìn)行驅(qū)動來實(shí)現(xiàn)作為取得單元、設(shè)定單元、幀圖像生成單元、運(yùn)動圖像生成單元所發(fā)揮的功能，但是并不限定于此，也可采用通過中央控制部301的CPU執(zhí)行規(guī)定程序等來實(shí)現(xiàn)的構(gòu)成。S卩、在存儲程序的程序存儲器(省略圖示)中，預(yù)先存儲包括取得處理例行程序、設(shè)定處理例行程序、幀圖像生成處理例行程序、運(yùn)動圖像生成處理例行程序在內(nèi)的程序。并且，也可通過取得處理例行程序而使中央控制部301的CPU作為取得靜止圖像的取得單元發(fā)揮功能。另外，也可通過設(shè)定處理例行程序而使中央控制部301的CPU作為在由取得單元取得的靜止圖像內(nèi)在多個(gè)可動點(diǎn)Da、……所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)Db的設(shè)定單元來發(fā)揮功能。另外，也可通過指定處理例行程序而使中央控制部301的CPU作為在存儲單元中存儲的多個(gè)運(yùn)動信息M、……之中指定任意一個(gè)運(yùn)動信息M的指定單元來發(fā)揮功能。另外，也可通過幀圖像生成處理例行程序而使中央控制部301的CPU作為基于由指定單元指定的運(yùn)動信息M的多個(gè)可動點(diǎn)Da、……的運(yùn)動而使多個(gè)控制點(diǎn)Db運(yùn)動、并生成根據(jù)該控制點(diǎn)Db的運(yùn)動而使靜止圖像變形后的多個(gè)幀圖像F的幀圖像生成單元來發(fā)揮功能。另外，也可通過運(yùn)動圖像生成處理例行程序而使中央控制部301的CPU作為根據(jù)由幀圖像生成單元生成的多個(gè)幀F(xiàn)來生成運(yùn)動圖像Q的運(yùn)動圖像生成單元來發(fā)揮功能。而且，作為對用于執(zhí)行上述各處理的程序進(jìn)行保存的計(jì)算機(jī)可讀取的介質(zhì)，除了ROM或硬盤等之外，還可以應(yīng)用閃存等非易失性存儲器、⑶-ROM等的可攜帶記錄介質(zhì)。另夕卜，作為經(jīng)由規(guī)定的通信線路提供程序數(shù)據(jù)的介質(zhì)，也可應(yīng)用載波(career wave)。
權(quán)利要求
1.一種運(yùn)動圖像生成方法，是利用了預(yù)先存儲有表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)的運(yùn)動的多個(gè)運(yùn)動信息的運(yùn)動圖像生成裝置的運(yùn)動圖像生成方法，所述運(yùn)動圖像生成方法的特征在于，包括 取得步驟，取得靜止圖像； 設(shè)定步驟，在由所述取得步驟取得的靜止圖像內(nèi)，在所述多個(gè)可動點(diǎn)所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)； 幀圖像生成步驟，生成多個(gè)幀圖像，該多個(gè)幀圖像是按照下述方式得到的，即基于用戶從所述多個(gè)運(yùn)動信息中指定出的一個(gè)運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動，并按照該控制點(diǎn)的運(yùn)動使所述靜止圖像變形；和 運(yùn)動圖像生成步驟，根據(jù)由所述幀圖像生成步驟生成的多個(gè)幀來生成運(yùn)動圖像。
2.根據(jù)權(quán)利要求I所述的運(yùn)動圖像生成方法，其特征在于， 所述運(yùn)動信息分別與連續(xù)地表示所述多個(gè)可動點(diǎn)的運(yùn)動的運(yùn)動模型的模型名相對應(yīng)地進(jìn)行存儲， 在所述幀圖像生成步驟中，基于與和用戶進(jìn)行的規(guī)定操作相應(yīng)的所述模型名相對應(yīng)的運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動。
3.根據(jù)權(quán)利要求I所述的運(yùn)動圖像生成方法，其特征在于， 所述運(yùn)動信息包括按照使所述多個(gè)可動點(diǎn)與規(guī)定的舞蹈相對應(yīng)的方式運(yùn)動的運(yùn)動信肩、O
4.根據(jù)權(quán)利要求I所述的運(yùn)動圖像生成方法，其特征在于， 在所述取得步驟中，作為所述靜止圖像而取得從存在背景和被攝體的圖像之中剪切包含被攝體的區(qū)域之后得到的剪切圖像， 在所述運(yùn)動圖像生成步驟中，使由所述剪切圖像生成的多個(gè)幀圖像與其他圖像進(jìn)行合成而生成運(yùn)動圖像。
5.根據(jù)權(quán)利要求I所述的運(yùn)動圖像生成方法，其特征在于， 在所述幀圖像生成步驟中，根據(jù)與運(yùn)動圖像一起再生的曲子的行進(jìn)程度來生成幀間的插值圖像。
6.一種運(yùn)動圖像生成裝置，其特征在于，具備 存儲單元，其預(yù)先存儲表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)的運(yùn)動的多個(gè)運(yùn)動信息； 取得單元，其取得靜止圖像； 設(shè)定單元，其在由所述取得單元取得的靜止圖像內(nèi)，在所述多個(gè)可動點(diǎn)所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)； 幀圖像生成單元，其生成多個(gè)幀圖像，該多個(gè)幀圖像是按照下述方式得到的，即基于用戶從所述多個(gè)運(yùn)動信息中指定出的一個(gè)運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動，并按照該控制點(diǎn)的運(yùn)動使所述靜止圖像變形；和 運(yùn)動圖像生成單元，其根據(jù)由所述幀圖像生成單元生成的多個(gè)幀來生成運(yùn)動圖像。
7.根據(jù)權(quán)利要求6所述的運(yùn)動圖像生成裝置，其特征在于， 所述運(yùn)動信息分別與連續(xù)地表示所述多個(gè)可動點(diǎn)的運(yùn)動的運(yùn)動模型的模型名相對應(yīng)地進(jìn)行存儲， 所述幀圖像生成單元基于與和用戶進(jìn)行的規(guī)定操作相應(yīng)的所述模型名相對應(yīng)的運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動。
8.根據(jù)權(quán)利要求6所述的運(yùn)動圖像生成裝置，其特征在于， 所述運(yùn)動信息包括按照使所述多個(gè)可動點(diǎn)與規(guī)定的舞蹈相對應(yīng)的方式運(yùn)動的運(yùn)動信肩、O
9.根據(jù)權(quán)利要求6所述的運(yùn)動圖像生成裝置，其特征在于， 所述取得單元作為所述靜止圖像而取得從存在背景和被攝體的圖像之中剪切包含被攝體的區(qū)域之后得到的剪切圖像， 所述運(yùn)動圖像生成單元使由所述剪切圖像生成的多個(gè)幀圖像與其他圖像進(jìn)行合成而生成運(yùn)動圖像。
10.根據(jù)權(quán)利要求6所述的運(yùn)動圖像生成裝置，其特征在于， 所述幀圖像生成單元根據(jù)與運(yùn)動圖像一起再生的曲子的行進(jìn)程度來生成幀間的插值圖像。
全文摘要
本發(fā)明提供一種運(yùn)動圖像生成方法及運(yùn)動圖像生成裝置。該方法是利用了預(yù)先存儲有表示規(guī)定空間內(nèi)的多個(gè)可動點(diǎn)的運(yùn)動的多個(gè)運(yùn)動信息的運(yùn)動圖像生成裝置的運(yùn)動圖像生成方法，所述運(yùn)動圖像生成方法的特征在于，包括取得步驟，取得靜止圖像；設(shè)定步驟，在由所述取得步驟取得的靜止圖像內(nèi)，在所述多個(gè)可動點(diǎn)所對應(yīng)的各位置處設(shè)定運(yùn)動的多個(gè)控制點(diǎn)；幀圖像生成步驟，生成多個(gè)幀圖像，該多個(gè)幀圖像是按照下述方式得到的，即基于用戶從所述多個(gè)運(yùn)動信息中指定出的一個(gè)運(yùn)動信息的所述多個(gè)可動點(diǎn)的運(yùn)動而使所述多個(gè)控制點(diǎn)運(yùn)動，并按照該控制點(diǎn)的運(yùn)動使所述靜止圖像變形；和運(yùn)動圖像生成步驟，根據(jù)由所述幀圖像生成步驟生成的多個(gè)幀來生成運(yùn)動圖像。
文檔編號H04N5/232GK102811352SQ20121017383
公開日2012年12月5日 申請日期2012年5月30日 優(yōu)先權(quán)日2011年6月3日
發(fā)明者牧野哲司, 中島光康, 廣浜雅行, 浜田玲, 前野泰士, 掛川聰, 石井克典, 手島義裕, 綿貫正敏, 田中飛雄太, 二瓶道大, 佐佐木雅昭, 松井紳一 申請人:卡西歐計(jì)算機(jī)株式會社