人體姿勢識別的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及人體姿勢識別方法及用于人體姿勢識別的識別裝置。
【背景技術(shù)】
[0002]已知借助深度照相機(jī)裝置來采集人體姿勢。因此，例如以下系統(tǒng)已投放市場，其能夠確定各個人體部分或者說各個身體肢節(jié)的彼此相對位置?？梢詮睦缧”巯鄬τ谏媳鄣南鄬ξ恢猛茖?dǎo)出姿勢和進(jìn)而姿勢控制。已知方法例如被用于執(zhí)行電腦游戲或電視機(jī)的控制。在此通常通過深度照相機(jī)產(chǎn)生點(diǎn)云，可從點(diǎn)云中通過計(jì)算算法算出各自身體部分的當(dāng)前位置和進(jìn)而身體部分的相互關(guān)聯(lián)。對所有時刻來說，在此須根據(jù)分析評估方法學(xué)來處理整個點(diǎn)云。
[0003]已知方法的缺點(diǎn)是在該方法的任何時刻都需要相對高的計(jì)算成本。因此，在每次運(yùn)動后的人體活動時必須重新獲取整個點(diǎn)云并重新分析。這尤其在辨識小的身體部分乃至各個身體肢節(jié)時需要巨大的通常無法提供的計(jì)算成本。與此相應(yīng)，已知方法局限于識別相對粗略的姿勢，即，例如手臂向上或向下運(yùn)動或者小臂彎曲運(yùn)動。細(xì)微運(yùn)動如不同手勢尤其是由不同手指姿態(tài)所產(chǎn)生的手勢只能通過已知方法以過度復(fù)雜的計(jì)算投入來解決。這增加了執(zhí)行這種方法的算不上經(jīng)濟(jì)的成本。另外在這種情況下需要分辨率很高的深度照相機(jī)以所需速度在點(diǎn)云中可彼此區(qū)分地成像各個身體肢節(jié)。為此執(zhí)行相應(yīng)方法所需要的成本投入也顯著增加。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的任務(wù)是至少部分消除前述缺點(diǎn)。尤其是本發(fā)明的任務(wù)是以低成本的簡單方法也允許識別細(xì)微姿勢且尤其是識別各個指節(jié)的姿勢。
[0005]前述任務(wù)將通過具有權(quán)利要求1的特征的方法和具有權(quán)利要求15的特征的識別裝置完成。由從屬權(quán)利要求、說明書和附圖中得到本發(fā)明的其它特征和細(xì)節(jié)。在此適用與本發(fā)明方法相關(guān)和當(dāng)然還有與本發(fā)明的識別裝置相關(guān)(反之亦然)所描述的特征和細(xì)節(jié)，因而，關(guān)于公開內(nèi)容，總是或能夠交替參照一些發(fā)明方面。
[0006]本發(fā)明的方法用于借助深度照相機(jī)裝置識別人體姿勢，具有以下步驟:
a)通過深度照相機(jī)裝置在第一時刻作為初始圖像產(chǎn)生點(diǎn)云；
b)分析初始圖像以識別身體的身體肢節(jié)；
c)安插具有相對于至少一個身體肢節(jié)的由轉(zhuǎn)動角度限定的回轉(zhuǎn)自由度的至少一個關(guān)節(jié)點(diǎn)；
d)由深度照相機(jī)裝置在第一時刻之后的第二時刻作為后續(xù)圖像產(chǎn)生點(diǎn)云；
e)從該初始圖像關(guān)于所述至少一個所識別的身體肢節(jié)和至少一個所安插的關(guān)節(jié)點(diǎn)分析該后續(xù)圖像；
f)在該后續(xù)圖像中確定該至少一個關(guān)節(jié)點(diǎn)的轉(zhuǎn)動角度；
g)比較所確定的轉(zhuǎn)動角度與轉(zhuǎn)動角度設(shè)定值， h)在確定的轉(zhuǎn)動角度與轉(zhuǎn)動角度設(shè)定值的關(guān)聯(lián)中識別姿勢。
[0007]本發(fā)明的方法用于也識別尤其是各個身體肢節(jié)如人體手指的細(xì)微姿勢。但是，該方法原則上可以被用于整個人體中，即用在任何身體肢節(jié)上。因此，身體肢節(jié)尤其能被定義為單獨(dú)活動的人體骨頭單元。它們例如可以通過小腿、大腿、上臂或小臂構(gòu)成。更細(xì)小的關(guān)節(jié)如尤其是每個手指的各個指節(jié)也可以是本發(fā)明意義上的人體身體肢節(jié)。
[0008]在本發(fā)明意義上，并非在任何時刻進(jìn)行點(diǎn)云的完全分析。相反，在兩個不同時刻的點(diǎn)云的比較可以允許縮減至各自身體肢節(jié)的模型和相應(yīng)關(guān)節(jié)點(diǎn)。因此，不必再進(jìn)行復(fù)雜的圖像比較以識別姿勢。相反，姿勢識別可以被縮減至直接或間接地比較轉(zhuǎn)動角度與轉(zhuǎn)動角度設(shè)定值。在間接比較時不必完全重合一致，而是只存在足夠的尤其預(yù)定的近似。
[0009]根據(jù)本發(fā)明，該方法以初始化開始。深度照相機(jī)裝置在此最好配備有至少一個深度照相機(jī)并且可通過這種方式產(chǎn)生三維點(diǎn)云。即，在也可稱為初始化時刻的第一時刻，該點(diǎn)云作為初始圖像出現(xiàn)。與身體的身體肢節(jié)識別相關(guān)地進(jìn)行初始圖像的分析。在此，整個點(diǎn)云或點(diǎn)云的部分區(qū)域可以被詳細(xì)分析。尤其是只在以下身體部分區(qū)域中進(jìn)行分析，該身體部分區(qū)域包含姿勢所需要的身體肢節(jié)。即，如果例如識別人體且查找手指姿勢，則只在該手的區(qū)域內(nèi)進(jìn)行初始圖像的詳細(xì)分析以便進(jìn)行作為人體身體肢節(jié)的各個指節(jié)的識別。
[0010]關(guān)節(jié)點(diǎn)的安插與當(dāng)前所識別的身體肢節(jié)相關(guān)地進(jìn)行。因此，例如通過呈指節(jié)形式的各個身體肢節(jié)限定人手的各個手指。在各個身體肢節(jié)之間設(shè)有具有一個或多個回轉(zhuǎn)自由度的人體關(guān)節(jié)。各個身體肢節(jié)之間的連接通過本發(fā)明所基于的模型通過恰好具有一個規(guī)定的自由度的關(guān)節(jié)點(diǎn)來表現(xiàn)。如果在人體的兩個身體肢節(jié)之間的真實(shí)關(guān)節(jié)是具有兩個或更多回轉(zhuǎn)自由度的結(jié)構(gòu)，則當(dāng)然也可以安插分別具有一個規(guī)定的自由度的兩個或更多關(guān)節(jié)點(diǎn)。為此，根據(jù)本發(fā)明也可以模擬具有兩個或更多回轉(zhuǎn)自由度的人體的復(fù)雜關(guān)節(jié)。通過安插所述關(guān)節(jié)點(diǎn)，得到了初始轉(zhuǎn)動角度，其按照規(guī)定方式表述兩個相鄰身體肢節(jié)的相對定位。即，該轉(zhuǎn)動角度明確無疑地表示身體肢節(jié)的相互實(shí)際定位。
[0011]在此，每個關(guān)節(jié)點(diǎn)的轉(zhuǎn)動角度在各自坐標(biāo)系內(nèi)對應(yīng)于各自關(guān)節(jié)點(diǎn)是確定的。在本發(fā)明方法中設(shè)定的每個關(guān)節(jié)點(diǎn)具有自身坐標(biāo)系。由于就像例如在人手的各個指節(jié)時那樣各個身體肢節(jié)相互鏈接，故在各個身體肢節(jié)彼此相對進(jìn)行復(fù)雜運(yùn)動時也得到各個坐標(biāo)系的平移運(yùn)動和/或回轉(zhuǎn)運(yùn)動。但為了保持隨后的分析步驟盡量簡單，總是分別與對應(yīng)關(guān)節(jié)點(diǎn)的例如平移隨動坐標(biāo)系相關(guān)地設(shè)定該轉(zhuǎn)動角度。為此，通過在多個關(guān)節(jié)點(diǎn)中的多個轉(zhuǎn)動角度的關(guān)系得到所有身體肢節(jié)的規(guī)定的彼此相對身體肢節(jié)位置。
[0012]如從前一段落中知道地，最好采用并安插多個關(guān)節(jié)點(diǎn)。為此也針對所述多個關(guān)節(jié)點(diǎn)得到多個轉(zhuǎn)動角度。它們能例如以單列多行矢量形式設(shè)置或存儲以便更好地一覽無余。為此，單列多行矢量以規(guī)定的且尤其明確無疑的方式描述各個身體肢節(jié)的彼此相對位置。
[0013]此外要指出的是，不必為每個所識別的身體肢節(jié)也安插一個關(guān)節(jié)點(diǎn)。因此，例如可以發(fā)生身體的所有身體肢節(jié)的識別，在這里，對于其它方法步驟僅針對兩手或一手安插所述關(guān)節(jié)點(diǎn)。換言之，在安插關(guān)節(jié)點(diǎn)時進(jìn)行從所有所識別的身體肢節(jié)中的挑選。這種挑選可以包含一部分的或者所有的所識別的身體肢節(jié)。但至少在至少一個所識別的身體肢節(jié)中執(zhí)行唯一的關(guān)節(jié)點(diǎn)。
[0014]在通過步驟a)至c)能完成當(dāng)前人體狀況的初始化后，現(xiàn)在可以進(jìn)行姿勢識別。在第二時刻，又借助深度照相機(jī)裝置作為后續(xù)圖像產(chǎn)生在第一時刻后的一個點(diǎn)云。現(xiàn)在，從初始圖像中關(guān)于在初始化中已識別的身體肢節(jié)且與所安插的關(guān)節(jié)點(diǎn)相關(guān)地進(jìn)行這種分析。接著，在后續(xù)圖像中進(jìn)行該至少一個關(guān)節(jié)點(diǎn)的轉(zhuǎn)動角度的確定。換言之，現(xiàn)在對于多個關(guān)節(jié)點(diǎn)得到具有多個轉(zhuǎn)動角度的一個新的單列多行矢量。在初始圖像和后續(xù)圖像之間的該矢量內(nèi)的轉(zhuǎn)動角度變化對應(yīng)于身體肢節(jié)的轉(zhuǎn)動角度的變化和由此導(dǎo)出的人體真實(shí)情況下的姿勢的變化。
[0015]接著，可以執(zhí)行在后續(xù)圖像內(nèi)的一定的轉(zhuǎn)動角度與轉(zhuǎn)動角度設(shè)定值的比較。在此，轉(zhuǎn)動角度設(shè)定值也例如以單列多行矢量形式構(gòu)成。因此，可以逐行比較在一定轉(zhuǎn)動角度和轉(zhuǎn)動角度設(shè)定值之間是否一致或基本一致或者說足夠且尤其按照規(guī)定地近似。如果是這種情況，則各自人體肢節(jié)的真實(shí)運(yùn)動位置對應(yīng)于與轉(zhuǎn)動角度設(shè)定