国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種用于生成動畫數(shù)據(jù)的方法和裝置與流程

      文檔序號:12179048閱讀:410來源:國知局
      一種用于生成動畫數(shù)據(jù)的方法和裝置與流程

      本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域,具體涉及動畫技術(shù)領(lǐng)域,尤其涉及用于生成動畫數(shù)據(jù)的方法和裝置。



      背景技術(shù):

      隨著計(jì)算機(jī)3D影像技術(shù)的不斷發(fā)展,3D圖形技術(shù)越來越被人們所看重。3D動畫因?yàn)樗绕矫鎴D更直觀,更能給觀賞者以身臨其境的感覺,尤其適用于那些尚未實(shí)現(xiàn)或準(zhǔn)備實(shí)施的項(xiàng)目,使觀者提前領(lǐng)略實(shí)施后的精彩結(jié)果。

      3D動畫技術(shù)模擬真實(shí)物體的方式使其成為一個(gè)有用的工具。由于其精確性、真實(shí)性和無限的可操作性,被廣泛應(yīng)用于醫(yī)學(xué)、教育、軍事、娛樂等諸多領(lǐng)域。

      在目前的應(yīng)用中,用戶一般只能使用軟件已經(jīng)提供的動畫數(shù)據(jù),無法生成用戶自己期望的動作。對于一些喜歡的圖片或者視頻,用戶往往期望3D模型也能生成同樣或者類似的動作。因此用戶希望生成一種可重復(fù)讀取使用的動畫數(shù)據(jù),當(dāng)執(zhí)行播放該動畫的指令時(shí),調(diào)取該動畫數(shù)據(jù),用戶的虛擬形象做出相應(yīng)的動作。該動畫數(shù)據(jù)還可上傳到服務(wù)器,被其他用戶下載使用。



      技術(shù)實(shí)現(xiàn)要素:

      本申請的目的在于提出一種用于生成動畫數(shù)據(jù)的方法和裝置,來解決以上背景技術(shù)部分提到的技術(shù)問題。

      第一方面,本申請?zhí)峁┝艘环N用于生成動畫數(shù)據(jù)的方法,所述方法包括:獲取圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息;將所述位置信息映射為輸入向量;將所述輸入向量輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型是利用動畫數(shù)據(jù)訓(xùn)練得到的;通過所述高斯過程隱藏變量模型輸出與所述圖片中的動作相似的動畫數(shù)據(jù)。

      在一些實(shí)施例中,所述方法還包括:采用反向動力學(xué)修正所生成的動畫數(shù)據(jù)。

      在一些實(shí)施例中,所述方法還包括訓(xùn)練高斯過程隱藏變量模型,包括:獲取與動畫中骨骼信息相對應(yīng)的動畫數(shù)據(jù),并將所述動畫數(shù)據(jù)應(yīng)用于骨架,計(jì)算出骨骼關(guān)鍵點(diǎn)的位置信息作為降維空間的變量;將所述動畫數(shù)據(jù)作為樣本訓(xùn)練出高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型包括降維矩陣;初始化所述高斯過程隱藏變量模型的高斯核函數(shù)參數(shù),并為所述高斯核函數(shù)參數(shù)構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),其中,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為所述降維空間的大小,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的隱藏層神經(jīng)元個(gè)數(shù)為所述動畫數(shù)據(jù)的幀數(shù),所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出層神經(jīng)元個(gè)數(shù)為每幀動畫數(shù)據(jù)向量維數(shù)大??;采用機(jī)器學(xué)習(xí)法優(yōu)化所述高斯核函數(shù)參數(shù)。

      在一些實(shí)施例中,所述機(jī)器學(xué)習(xí)法包括以下算法中的一種:反向傳播法、偽逆法、牛頓法。

      在一些實(shí)施例中,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出向量為y,y=Y(jié)TK-1k(x),其中,x為訓(xùn)練的輸入向量,k(x)表示經(jīng)過隱藏層的高斯核函數(shù)計(jì)算后整個(gè)隱藏層的輸出向量;YT是關(guān)鍵幀的動畫數(shù)據(jù)矩陣Y的轉(zhuǎn)置矩陣,Y中每一列是關(guān)鍵幀的動畫數(shù)據(jù);K-1是所述高斯核函數(shù)的矩陣K的逆矩陣。

      在一些實(shí)施例中,所述機(jī)器學(xué)習(xí)法的目標(biāo)函數(shù)為L,其中,i是自然數(shù),xi為關(guān)鍵幀的第i幀動畫的輸入向量,k(xi)是關(guān)鍵幀的第i幀動畫經(jīng)隱藏層高斯核函數(shù)計(jì)算后的輸出向量,Yi是關(guān)鍵幀的第i幀動畫的動畫數(shù)據(jù)。

      第二方面,本申請?zhí)峁┝艘环N用于生成動畫數(shù)據(jù)的裝置,其特征在于,所述裝置包括:獲取單元,配置用于獲取圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息;映射單元,配置用于將所述位置信息映射為輸入向量;輸入單元,配置用于將所述輸入向量輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型是利用動畫數(shù)據(jù)訓(xùn)練得到的;輸出單元,配置用于通過所述高斯過程隱藏變量模型輸出與所述圖片中的動作相似的動畫數(shù)據(jù)。

      在一些實(shí)施例中,所述裝置還包括:修正單元,配置用于采用反向動力學(xué)修正所生成的動畫數(shù)據(jù)。

      在一些實(shí)施例中,所述裝置還包括預(yù)先訓(xùn)練的高斯過程隱藏變量模型,包括:降維單元,配置用于獲取與動畫中骨骼信息相對應(yīng)的動畫數(shù)據(jù),并將所述動畫數(shù)據(jù)應(yīng)用于骨架,計(jì)算出骨骼關(guān)鍵點(diǎn)的位置信息作為降維空間的變量;訓(xùn)練單元,配置用于將所述動畫數(shù)據(jù)作為樣本訓(xùn)練出高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型包括降維矩陣;構(gòu)建單元,配置用于初始化所述高斯過程隱藏變量模型的高斯核函數(shù)參數(shù),并為所述高斯核函數(shù)參數(shù)構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),其中,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為所述降維空間的大小,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的隱藏層神經(jīng)元個(gè)數(shù)為所述動畫數(shù)據(jù)的幀數(shù),所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出層神經(jīng)元個(gè)數(shù)為每幀動畫數(shù)據(jù)向量維數(shù)大小;優(yōu)化單元,配置用于采用機(jī)器學(xué)習(xí)法優(yōu)化所述高斯核函數(shù)參數(shù)。

      在一些實(shí)施例中,所述機(jī)器學(xué)習(xí)法包括以下算法中的一種:反向傳播法、偽逆法、牛頓法。

      本申請?zhí)峁┑挠糜谏蓜赢嫈?shù)據(jù)的方法和裝置,通過將圖片或視頻中人物骨骼關(guān)鍵點(diǎn)的位置信息映射為輸入向量后輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型,輸出與圖片中的動作相似的動畫數(shù)據(jù)。當(dāng)執(zhí)行播放該動畫的指令時(shí),調(diào)取該動畫數(shù)據(jù),用戶的虛擬形象做出相應(yīng)的動作。從而實(shí)現(xiàn)在3D動畫中模擬出和圖片或視頻一樣的動作。

      附圖說明

      通過閱讀參照以下附圖所作的對非限制性實(shí)施例所作的詳細(xì)描述,本申請的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯:

      圖1是本申請可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖;

      圖2是根據(jù)本申請的用于生成動畫數(shù)據(jù)的方法的一個(gè)實(shí)施例的流程圖;

      圖3是根據(jù)本申請的用于生成動畫數(shù)據(jù)的方法的又一個(gè)實(shí)施例的流程圖;

      圖4是根據(jù)本申請的用于生成動畫數(shù)據(jù)的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖;

      圖5是適于用來實(shí)現(xiàn)本申請實(shí)施例的終端設(shè)備或服務(wù)器的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。

      具體實(shí)施方式

      下面結(jié)合附圖和實(shí)施例對本申請作進(jìn)一步的詳細(xì)說明??梢岳斫獾氖牵颂幩枋龅木唧w實(shí)施例僅僅用于解釋相關(guān)發(fā)明,而非對該發(fā)明的限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。

      需要說明的是,在不沖突的情況下,本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請。

      圖1示出了可以應(yīng)用本申請的用于生成動畫數(shù)據(jù)的方法或用于生成動畫數(shù)據(jù)的裝置的實(shí)施例的示例性系統(tǒng)架構(gòu)100。

      如圖1所示,系統(tǒng)架構(gòu)100可以包括終端設(shè)備101、102、103,網(wǎng)絡(luò)104和服務(wù)器105。網(wǎng)絡(luò)104用以在終端設(shè)備101、102、103和服務(wù)器105之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)104可以包括各種連接類型,例如有線、無線通信鏈路或者光纖電纜等等。

      用戶可以使用終端設(shè)備101、102、103通過網(wǎng)絡(luò)104與服務(wù)器105交互,以接收或發(fā)送動畫數(shù)據(jù)等。終端設(shè)備101、102、103上可以安裝有各種圖像視頻客戶端應(yīng)用,例如多媒體播放器、圖片瀏覽器、3D播放器等。

      終端設(shè)備101、102、103可以是具有顯示屏并且支持播放3D動畫的各種電子設(shè)備,包括但不限于智能手機(jī)、平板電腦、膝上型便攜計(jì)算機(jī)和臺式計(jì)算機(jī)等等。

      服務(wù)器105可以是提供各種服務(wù)的服務(wù)器,例如,接收終端設(shè)備101、102、103上傳的動畫數(shù)據(jù),用于被其他用戶下載使用。

      需要說明的是,本申請實(shí)施例所提供的用于生成動畫數(shù)據(jù)的方法一般由終端設(shè)備101、102、103執(zhí)行,相應(yīng)地,用于生成動畫數(shù)據(jù)的裝置一般設(shè)置于終端設(shè)備101、102、103中。

      應(yīng)該理解,圖1中的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器的數(shù)目僅僅是示意性的。根據(jù)實(shí)現(xiàn)需要,可以具有任意數(shù)目的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器。實(shí)際實(shí)現(xiàn)中也可以不需要網(wǎng)絡(luò)和服務(wù)器,僅終端設(shè)備即可實(shí)現(xiàn)本用于生成動畫數(shù)據(jù)的方法或裝置。

      繼續(xù)參考圖2,示出了根據(jù)本申請的用于生成動畫數(shù)據(jù)的方法的一個(gè)實(shí)施例的流程200。所述的用于生成動畫數(shù)據(jù)的方法,包括以下步驟:

      步驟201,獲取圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息。

      在本實(shí)施例中,用于生成動畫數(shù)據(jù)的方法運(yùn)行于其上的電子設(shè)備(例如圖1所示的終端)可以通過有線連接方式或者無線連接方式從用戶利用其進(jìn)行播放動畫的終端接收圖片。其中,該圖片可以是人物動作圖片,還可以是人物動作視頻的圖片幀。每個(gè)圖片幀可以生成一個(gè)動畫數(shù)據(jù),這些動畫數(shù)據(jù)可構(gòu)成3D視頻。人物骨骼關(guān)鍵點(diǎn)可以包括手掌、手臂、頭、腰、腳等。人物骨骼關(guān)鍵點(diǎn)可以由用戶標(biāo)出還可以通過圖像識別來獲取。為了更好的識別出關(guān)鍵點(diǎn)的位置信息還可以獲得相機(jī)拍攝信息。相機(jī)拍攝信息可以包括相機(jī)位置,焦距等。

      步驟202,將位置信息映射為輸入向量。

      在本實(shí)施例中,將步驟201中獲取的圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息映射為輸入向量。用于計(jì)算2D的投影矩陣,反變換得到關(guān)鍵骨骼的3D信息。

      步驟203,將輸入向量輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型。

      在本實(shí)施例中,將步驟202中得到的輸入向量輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型。GPLVM(Gaussian Process Latent Variable Models,高斯過程隱藏變量模型)是一種非線性降維技術(shù),利用高斯過程對數(shù)據(jù)空間進(jìn)行分析,建立從低維隱空間到高維空間的映射關(guān)系。本申請中的高斯過程隱藏變量模型是利用動畫數(shù)據(jù)訓(xùn)練得到的。采用渲染出3D動畫關(guān)鍵幀的動畫數(shù)據(jù)中的骨骼關(guān)鍵點(diǎn)信息作為高斯過程隱藏變量模型的隱藏降維空間的變量,并結(jié)合RBF(Radical Basis Function,徑向基函數(shù))神經(jīng)網(wǎng)絡(luò)模型對GPLVM模型進(jìn)行訓(xùn)練。

      步驟204,通過高斯過程隱藏變量模型輸出與圖片中的動作相似的動畫數(shù)據(jù)。

      在本實(shí)施例中,輸入向量通過高斯過程隱藏變量模型后輸出與圖片中的動作相似的動畫數(shù)據(jù),即生成了動畫數(shù)據(jù)。例如,一個(gè)圖片中人物動作為投籃,將圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息映射為輸入向量后通過高斯過程隱藏變量模型生成與該圖片相似投籃動作的3D動畫數(shù)據(jù)。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,該方法還包括采用反向動力學(xué)修正所生成的動畫數(shù)據(jù)。反向動力學(xué)(Inverse kinematics)是一種通過先確定子骨骼的位置,然后反求推導(dǎo)出其所在骨骼鏈上n級父骨骼位置,從而確定整條骨骼鏈的方法。步驟204中生成的動畫數(shù)據(jù)與圖片中人物動作相似,但是還有一些偏差。骨骼關(guān)鍵點(diǎn)偏差的量可用反向動力學(xué)計(jì)算修改。

      在具體應(yīng)用時(shí),用戶想要在3D動畫中模擬出和圖片中一樣的動作,則將該圖片應(yīng)用于骨架,可獲得骨骼關(guān)鍵點(diǎn)的位置信息。把骨骼關(guān)鍵點(diǎn)信息作為GPLVM的輸入,通過RBF神經(jīng)網(wǎng)絡(luò)可輸出動畫數(shù)據(jù),該動畫數(shù)據(jù)與圖片中人物動作相似,但是還有一些偏差。骨骼關(guān)鍵點(diǎn)偏差的量可用反向動力學(xué)計(jì)算修改。存儲經(jīng)由修改后的動畫數(shù)據(jù),以后可重復(fù)讀取使用,當(dāng)執(zhí)行播放該動畫的指令時(shí),調(diào)取該動畫數(shù)據(jù),用戶的虛擬形象則做出相應(yīng)的動作;或者可上傳到服務(wù)器,被其他用戶下載使用。

      本申請的上述實(shí)施例提供的方法通過采用骨骼關(guān)鍵點(diǎn)位置信息作為GPLVM的隱藏降維空間,并結(jié)合RBF神經(jīng)網(wǎng)絡(luò)模型對GPLVM模型進(jìn)行訓(xùn)練,將待轉(zhuǎn)換的圖片或視頻中的骨骼關(guān)鍵點(diǎn)位置信息輸入GPLVM模型得到低維向量所對應(yīng)的動畫數(shù)據(jù)。得到的動畫數(shù)據(jù)經(jīng)過反向動力學(xué)的再修正后可保存在本地或者上傳到服務(wù)端,重復(fù)使用。

      進(jìn)一步參考圖3,其示出了用于生成動畫數(shù)據(jù)的方法的又一個(gè)實(shí)施例的流程300。該用于生成動畫數(shù)據(jù)的方法的流程300,包括以下步驟:

      步驟301,獲取與動畫中骨骼信息相對應(yīng)的動畫數(shù)據(jù),并將所述動畫數(shù)據(jù)應(yīng)用于骨架,計(jì)算出骨骼關(guān)鍵點(diǎn)的位置信息作為降維空間的變量。

      在本實(shí)施例中,用于生成動畫數(shù)據(jù)的方法需要預(yù)先訓(xùn)練高斯過程隱藏變量模型,在訓(xùn)練前選定主要的幾個(gè)骨骼關(guān)鍵點(diǎn)比如手掌、手臂、頭、腰、腳等。它們的位置信息將作為降維的空間變量。3D人物的骨骼信息可由動畫數(shù)據(jù)直接讀取獲得。關(guān)鍵幀的動畫數(shù)據(jù)包括了各個(gè)骨骼的旋轉(zhuǎn)、平移、縮放信息。將關(guān)鍵幀的動畫數(shù)據(jù)應(yīng)用于骨架,可獲得骨骼關(guān)鍵點(diǎn)的位置信息。

      步驟302,將動畫數(shù)據(jù)作為樣本訓(xùn)練出高斯過程隱藏變量模型。

      在本實(shí)施例中,一個(gè)GPLVM模型可以由一段或者幾段動畫片段、一定數(shù)量的動畫幀或者與骨骼信息相對應(yīng)的動畫數(shù)據(jù)來訓(xùn)練獲得,無論是動畫片段還是動畫幀,都是由動畫數(shù)據(jù)渲染而來的,訓(xùn)練模型需要獲取的對象為與動畫中骨骼信息相對應(yīng)的動畫數(shù)據(jù),之后再通過將動畫數(shù)據(jù)應(yīng)用于骨架,計(jì)算出骨骼關(guān)鍵點(diǎn)的位置信息。該GPLVM模型包括降維矩陣X,X的行數(shù)即是骨骼關(guān)鍵點(diǎn)的信息向量元素個(gè)數(shù),X的列數(shù)是完整動畫的幀數(shù)。或者X的行數(shù)是完整動畫的幀數(shù),X的列數(shù)是骨骼關(guān)鍵點(diǎn)的信息向量元素個(gè)數(shù)。

      步驟303,初始化高斯過程隱藏變量模型的高斯核函數(shù)參數(shù),并為高斯核函數(shù)參數(shù)構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。

      在本實(shí)施例中,RBF(Radical Basis Function,徑向基函數(shù))神經(jīng)網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù),可以處理系統(tǒng)內(nèi)的難以解析的規(guī)律性,具有良好的泛化能力,并有很快的學(xué)習(xí)收斂速度,已成功應(yīng)用于非線性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類、模式識別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等。本申請的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為上述降維空間的大小,該徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的隱藏層神經(jīng)元個(gè)數(shù)為上述動畫數(shù)據(jù)的幀數(shù),該徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出層神經(jīng)元個(gè)數(shù)為每幀動畫數(shù)據(jù)向量維數(shù)大小。采用RBF神經(jīng)網(wǎng)絡(luò)模型對GPLVM的高斯核函數(shù)參數(shù)優(yōu)化。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出向量為y,y=Y(jié)TK-1k(x),其中,x為訓(xùn)練的輸入向量,k(x)表示經(jīng)過隱藏層的高斯核函數(shù)計(jì)算后整個(gè)隱藏層的輸出向量;YT是關(guān)鍵幀的動畫數(shù)據(jù)矩陣Y的轉(zhuǎn)置矩陣,Y中每一列是關(guān)鍵幀的動畫數(shù)據(jù);K-1是所述高斯核函數(shù)的矩陣K的逆矩陣。K矩陣中第i行第j列的元素Kij可以為:xi和xj分別為關(guān)鍵幀的第i幀動畫的輸入向量和第j幀動畫的輸入向量,i和j為自然數(shù),k(xi,xj)是高斯核函數(shù),α、β、γ和是可以調(diào)整的隱藏層高斯核函數(shù)參數(shù),為了獲得較佳的訓(xùn)練速度和精度可以將初始值設(shè)置為α=1,β=1,γ=1,當(dāng)i=j(luò)時(shí),當(dāng)i≠j時(shí),其中,k(xi,xj)中的部分的參數(shù)是可以靈活添加調(diào)整的,如是可以使用現(xiàn)在的參數(shù),也可以是其他的參數(shù)。

      步驟304,采用機(jī)器學(xué)習(xí)法優(yōu)化高斯核函數(shù)參數(shù)。

      在本實(shí)施例中,在步驟303中初始化高斯核函數(shù)參數(shù)之后,采用機(jī)器學(xué)習(xí)法迭代優(yōu)化高斯核函數(shù)參數(shù),使目標(biāo)函數(shù)收斂到最小。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述機(jī)器學(xué)習(xí)法包括以下算法中的一種:反向傳播法、偽逆法、牛頓法。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述機(jī)器學(xué)習(xí)法的目標(biāo)函數(shù)為L,其中,i是自然數(shù),xi為關(guān)鍵幀的第i幀動畫的輸入向量,k(xi)是關(guān)鍵幀的第i幀動畫經(jīng)隱藏層高斯核函數(shù)計(jì)算后的輸出向量,Yi是關(guān)鍵幀的第i幀動畫的動畫數(shù)據(jù)。

      從圖3中可以看出,與圖2對應(yīng)的實(shí)施例相比,本實(shí)施例中的用于生成動畫數(shù)據(jù)的方法的流程300突出了對GPLVM訓(xùn)練的步驟。由此,本實(shí)施例描述的方案可以精確地訓(xùn)練GPLVM,使得GPLVM輸出的動畫數(shù)據(jù)與圖片中人物的動作更接近。并且降低了模型訓(xùn)練的復(fù)雜度。

      進(jìn)一步參考圖4,作為對上述各圖所示方法的實(shí)現(xiàn),本申請?zhí)峁┝艘环N用于生成動畫數(shù)據(jù)的裝置的一個(gè)實(shí)施例,該裝置實(shí)施例與圖2所示的方法實(shí)施例相對應(yīng),該裝置具體可以應(yīng)用于各種電子設(shè)備中。

      如圖4所示,本實(shí)施例所述的用于生成動畫數(shù)據(jù)的裝置400包括:獲取單元401、映射單元402、輸入單元403和輸出單元404。其中,獲取單元401配置用于獲取圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息;映射單元402配置用于將所述位置信息映射為輸入向量;輸入單元403配置用于將所述輸入向量輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型是利用動畫數(shù)據(jù)訓(xùn)練得到的;輸出單元404配置用于通過所述高斯過程隱藏變量模型輸出與所述圖片中的動作相似的動畫數(shù)據(jù)。

      在本實(shí)施例中,映射單元402將獲取單元401獲得的圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息映射為輸入向量作為輸入單元403的輸入,通過輸出單元404生成了與所述圖片中的動作相似的動畫數(shù)據(jù)。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,裝置400還包括:修正單元,配置用于采用反向動力學(xué)修正所生成的動畫數(shù)據(jù)。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,裝置400還包括預(yù)先訓(xùn)練的高斯過程隱藏變量模型,包括:降維單元,配置用于獲取與動畫中骨骼信息相對應(yīng)的動畫數(shù)據(jù),并將所述動畫數(shù)據(jù)應(yīng)用于骨架,計(jì)算出骨骼關(guān)鍵點(diǎn)的位置信息作為降維空間的變量;訓(xùn)練單元,配置用于將所述動畫數(shù)據(jù)作為樣本訓(xùn)練出高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型包括降維矩陣;構(gòu)建單元,配置用于初始化所述高斯過程隱藏變量模型的高斯核函數(shù)參數(shù),并為所述高斯核函數(shù)參數(shù)構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),其中,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為所述降維空間的大小,所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的隱藏層神經(jīng)元個(gè)數(shù)為所述動畫數(shù)據(jù)的幀數(shù),所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出層神經(jīng)元個(gè)數(shù)為每幀動畫數(shù)據(jù)向量維數(shù)大?。粌?yōu)化單元,配置用于采用機(jī)器學(xué)習(xí)法優(yōu)化所述高斯核函數(shù)參數(shù)。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述機(jī)器學(xué)習(xí)法包括以下算法中的一種:反向傳播法、偽逆法、牛頓法。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出向量為y,y=Y(jié)TK-1k(x),其中,x為訓(xùn)練的輸入向量,k(x)表示經(jīng)過隱藏層的高斯核函數(shù)計(jì)算后整個(gè)隱藏層的輸出向量;YT是關(guān)鍵幀的動畫數(shù)據(jù)矩陣Y的轉(zhuǎn)置矩陣,Y中每一列是關(guān)鍵幀的動畫數(shù)據(jù);K-1是所述高斯核函數(shù)的矩陣K的逆矩陣。K矩陣中第i行第j列的元素Kij可以為:xi和xj分別為關(guān)鍵幀的第i幀動畫的輸入向量和第j幀動畫的輸入向量,i和j為自然數(shù),k(xi,xj)是高斯核函數(shù),α、β、γ和是可調(diào)整的隱藏層高斯核函數(shù)參數(shù),為了獲得較佳的訓(xùn)練速度和精度可以將初始值設(shè)為α=1,β=1,γ=1,當(dāng)i=j(luò)時(shí),當(dāng)i≠j時(shí),其中,k(xi,xj)中的部分的參數(shù)是可以靈活添加調(diào)整的,如是可以使用現(xiàn)在的參數(shù),也可以是其他的參數(shù)。

      在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述機(jī)器學(xué)習(xí)法的目標(biāo)函數(shù)為L,其中,i是自然數(shù),xi為關(guān)鍵幀的第i幀動畫的輸入向量,k(xi)是關(guān)鍵幀的第i幀動畫經(jīng)隱藏層高斯核函數(shù)計(jì)算后的輸出向量,Yi是關(guān)鍵幀的第i幀動畫的動畫數(shù)據(jù)。

      下面參考圖5,其示出了適于用來實(shí)現(xiàn)本申請實(shí)施例的終端設(shè)備的計(jì)算機(jī)系統(tǒng)500的結(jié)構(gòu)示意圖。

      如圖5所示,計(jì)算機(jī)系統(tǒng)500包括中央處理單元(CPU)501,其可以根據(jù)存儲在只讀存儲器(ROM)502中的程序或者從存儲部分508加載到隨機(jī)訪問存儲器(RAM)503中的程序而執(zhí)行各種適當(dāng)?shù)膭幼骱吞幚?。在RAM 503中,還存儲有系統(tǒng)500操作所需的各種程序和數(shù)據(jù)。CPU 501、ROM 502以及RAM 503通過總線504彼此相連。輸入/輸出(I/O)接口505也連接至總線504。

      以下部件連接至I/O接口505:包括鍵盤、鼠標(biāo)等的輸入部分506;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分507;包括硬盤等的存儲部分508;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分509。通信部分509經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動器510也根據(jù)需要連接至I/O接口505??刹鹦督橘|(zhì)511,諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等,根據(jù)需要安裝在驅(qū)動器510上,以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲部分508。

      特別地,根據(jù)本公開的實(shí)施例,上文參考流程圖描述的過程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如,本公開的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品,其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實(shí)施例中,該計(jì)算機(jī)程序可以通過通信部分509從網(wǎng)絡(luò)上被下載和安裝,和/或從可拆卸介質(zhì)511被安裝。在該計(jì)算機(jī)程序被中央處理單元(CPU)501執(zhí)行時(shí),執(zhí)行本申請的方法中限定的上述功能。

      附圖中的流程圖和框圖,圖示了按照本申請各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段、或代碼的一部分,所述模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意,在有些作為替換的實(shí)現(xiàn)中,方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時(shí)也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn),或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。

      描述于本申請實(shí)施例中所涉及到的單元可以通過軟件的方式實(shí)現(xiàn),也可以通過硬件的方式來實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中,例如,可以描述為:一種處理器包括獲取單元、映射單元、輸入單元和輸出單元。其中,這些單元的名稱在某種情況下并不構(gòu)成對該單元本身的限定,例如,獲取單元還可以被描述為“獲取圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息的單元”。

      作為另一方面,本申請還提供了一種非易失性計(jì)算機(jī)存儲介質(zhì),該非易失性計(jì)算機(jī)存儲介質(zhì)可以是上述實(shí)施例中所述裝置中所包含的非易失性計(jì)算機(jī)存儲介質(zhì);也可以是單獨(dú)存在,未裝配入終端中的非易失性計(jì)算機(jī)存儲介質(zhì)。上述非易失性計(jì)算機(jī)存儲介質(zhì)存儲有一個(gè)或者多個(gè)程序,當(dāng)所述一個(gè)或者多個(gè)程序被一個(gè)設(shè)備執(zhí)行時(shí),使得所述設(shè)備:獲取圖片中人物骨骼關(guān)鍵點(diǎn)的位置信息;將所述位置信息映射為輸入向量;將所述輸入向量輸入預(yù)先訓(xùn)練的高斯過程隱藏變量模型,其中,所述高斯過程隱藏變量模型是利用動畫數(shù)據(jù)訓(xùn)練得到的;通過所述高斯過程隱藏變量模型輸出與所述圖片中的動作相似的動畫數(shù)據(jù)。

      以上描述僅為本申請的較佳實(shí)施例以及對所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本申請中所涉及的發(fā)明范圍,并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案,同時(shí)也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下,由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。

      當(dāng)前第1頁1 2 3 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
      1