一種多視角人體部件語義匹配方法和裝置制造方法
【專利摘要】本發(fā)明公開一種多視角人體部件語義匹配方法，包括：初始化原始二維人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，構(gòu)建人體部件圖模型，建立二維人體部件時(shí)間域匹配，建立二維人體部件空間域匹配，得到最終所需的人體部件時(shí)空語義對(duì)應(yīng)關(guān)系。同時(shí)本發(fā)明公開了一種多視角人體姿態(tài)語義匹配裝置，包括初始化單元、二維人體部件時(shí)間域匹配單元、二維人體部件空間域匹配單元。應(yīng)用本發(fā)明所述的方法和裝置，能夠方便有效地實(shí)現(xiàn)多視角人體部件的語義匹配。
【專利說明】一種多視角人體部件語義匹配方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種基于多視角圖像采集設(shè)備下人體部件 檢測(cè)結(jié)果，能夠自動(dòng)進(jìn)行人體部件語義匹配的方法和裝置。

【背景技術(shù)】
[0002] 計(jì)算機(jī)視覺領(lǐng)域主要研究圖像的獲取、處理、分析和理解。分析和理解圖像中的人 體運(yùn)動(dòng)，對(duì)于眾多人工智能應(yīng)用有著重要的意義。三維人體姿態(tài)估計(jì)就是這一研究領(lǐng)域中 的熱點(diǎn)之一，它指的是通過對(duì)傳感器采集的數(shù)據(jù)進(jìn)行分析和處理，獲得三維空間中可重現(xiàn) 的三維人體關(guān)節(jié)點(diǎn)位置信息。
[0003] 多視角方式是常見的人體運(yùn)動(dòng)圖像采集方法，多視角方式通?；趦蓚€(gè)或兩個(gè)以 上相機(jī)進(jìn)行人體運(yùn)動(dòng)圖像數(shù)據(jù)的采集，并通過不同圖像之間的時(shí)空語義對(duì)應(yīng)關(guān)系，通過提 取多視角中的圖像特征，從中分析三維人體運(yùn)動(dòng)數(shù)據(jù)。由于使用了多角度數(shù)據(jù)，多視角方式 獲取了更多的三維信息，而且通過增加視角個(gè)數(shù)，施加透視投影圖像約束，可以減小甚至消 除姿態(tài)估計(jì)中的歧義問題。同時(shí)，多視角方式可以應(yīng)用于戶外復(fù)雜的自然場(chǎng)景下，可以對(duì)高 速的人體運(yùn)動(dòng)進(jìn)行數(shù)據(jù)采集和姿態(tài)估計(jì)。因此，多視角方式是一種具有多種應(yīng)用優(yōu)勢(shì)和研 究?jī)r(jià)值的無標(biāo)記非接觸式人體運(yùn)動(dòng)數(shù)據(jù)采集方式。
[0004] 然而，為了構(gòu)建多視角下三維人體姿態(tài)，需要已知單視角下二維人體部件檢測(cè)結(jié) 果和多視角間人體關(guān)節(jié)點(diǎn)或人體部件的語義對(duì)應(yīng)關(guān)系，即除了需要已知各個(gè)視角下的二維 人體部件的像素坐標(biāo)位置，還需要知道多視角間各個(gè)關(guān)節(jié)點(diǎn)或部件一一對(duì)應(yīng)關(guān)系。與此同 時(shí)，由于人體部件的對(duì)稱性和人體的高度靈活性，在建立多視角間的二維人體部件對(duì)應(yīng)關(guān) 系時(shí)，人體部件的語義信息較難識(shí)別，特別是由于人體存在多組對(duì)稱性的部件或關(guān)節(jié)點(diǎn)，其 左右語義標(biāo)簽建立較為困難。實(shí)際上在常見的二維姿態(tài)方法，如圖報(bào)模型、混合部件模型等 方法，僅能識(shí)別圖像平面內(nèi)的人體關(guān)節(jié)點(diǎn)或部件，并不能和真實(shí)的身體部件或關(guān)節(jié)點(diǎn)左右 語義標(biāo)簽相對(duì)應(yīng)。因此，對(duì)于對(duì)稱性人體部件或關(guān)節(jié)點(diǎn)，現(xiàn)有的二維姿態(tài)估計(jì)方法不能建立 多視角之間的人體部件的語義對(duì)應(yīng)關(guān)系，也不能建立多視角人體部件與真實(shí)人體部件的語 義對(duì)應(yīng)關(guān)系，如何基于二維人體姿態(tài)檢測(cè)和估計(jì)結(jié)果，即人體部件的像素位置信息，建立多 視角間的人體部件的語義對(duì)應(yīng)關(guān)系是當(dāng)前必須解決的一個(gè)關(guān)鍵問題。


【發(fā)明內(nèi)容】

[0005] 有鑒于此，本發(fā)明的目的在于提供一種多視角人體部件語義匹配方法和裝置，基 于二維人體部件檢測(cè)結(jié)果，建立多視角間的人體部件的語義對(duì)應(yīng)關(guān)系。
[0006] 首先，初始化，初始化二維人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，將原始的多視角人體關(guān)節(jié)點(diǎn)結(jié)果進(jìn)行 語義合并和語義重構(gòu)，重構(gòu)為人體部件圖模型；
[0007] 其次，時(shí)間域人體部件語義匹配，基于上述人體部件圖模型，通過計(jì)算人體部件圖 模型的時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣，通過關(guān)聯(lián)矩陣度量函數(shù)，建立多視角間的人體部件語 義的時(shí)間域匹配關(guān)系。
[0008] 第三，基于上述時(shí)間域匹配關(guān)系，計(jì)算多視角下人體姿態(tài)在Z向軌跡值，通過Z向 軌跡值為特征進(jìn)行分類，建立多視角間的人體部件語義的空間匹配關(guān)系，實(shí)現(xiàn)人體部件的 時(shí)空一致性匹配。
[0009] 為達(dá)到以上目的，本發(fā)明的技術(shù)方案是：
[0010] 一種二維人體部件語義匹配方法，該方法包括：
[0011] (1)初始化：用于初始化數(shù)據(jù)和模型，包括人體關(guān)節(jié)點(diǎn)數(shù)據(jù)預(yù)處理、人體部件圖模 型重構(gòu)。
[0012] (2)二維人體部件時(shí)間域匹配：用于建立時(shí)間域人體部件的關(guān)聯(lián)關(guān)系，包括時(shí)間 域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣計(jì)算、時(shí)間域匹配計(jì)算。
[0013] (3)二維人體部件空間域匹配：用于建立空間域人體部件的關(guān)聯(lián)關(guān)系，包括Z向軌 跡特征計(jì)算、人體部件特征圖模型構(gòu)造、空間域匹配計(jì)算。
[0014] 一種二維人體部件語義匹配裝置，該裝置包括：
[0015] (1)初始化單元：用于初始化數(shù)據(jù)和模型，包括人體關(guān)節(jié)點(diǎn)數(shù)據(jù)預(yù)處理單元、人體 部件圖模型重構(gòu)單元。
[0016] (2)二維人體部件時(shí)間域匹配單元：用于建立時(shí)間域人體部件的關(guān)聯(lián)關(guān)系，包括 時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣計(jì)算單元、時(shí)間域匹配計(jì)算單元。
[0017] (3)二維人體部件空間域匹配單元：用于建立空間域人體部件的關(guān)聯(lián)關(guān)系，包括Z 向軌跡特征計(jì)算單元、人體部件特征圖模型構(gòu)造單元、空間域匹配計(jì)算單元。
[0018] 由以上步驟可見，本發(fā)明的有益效果是：通過建立人體部件的時(shí)空語義對(duì)應(yīng)關(guān)系 實(shí)現(xiàn)人體部件的語義匹配，整個(gè)方法和裝置具有簡(jiǎn)單易行、通用性好的特點(diǎn)。

【專利附圖】

【附圖說明】
[0019] 圖1是用于說明多視角人體部件語義匹配問題的示意圖。
[0020] 圖2是本發(fā)明多視角人體部件語義匹配方法實(shí)施例的流程圖。
[0021] 圖3是為了說明人體關(guān)節(jié)點(diǎn)圖模型構(gòu)建方式的圖。
[0022] 圖4是為了說明人體部件圖模型構(gòu)建方式的圖。
[0023] 圖5是本發(fā)明方法實(shí)施例中的Z向軌跡特征示意圖。
[0024] 圖6是本發(fā)明多視角人體部件語義匹配裝置實(shí)施例的組成結(jié)果示意圖。

【具體實(shí)施方式】
[0025] 在介紹具體的方案之前，首先介紹一下二維人體部件或關(guān)節(jié)點(diǎn)檢測(cè)，傳統(tǒng)方法采 用圖像處理的方法進(jìn)行二維部件或關(guān)節(jié)點(diǎn)的檢測(cè)和識(shí)別。然而由于圖像信息量極大，圖像 中常常包含所需要檢測(cè)人體前景和圖像背景，這些信息可以分為幾何信息和非幾何信息兩 大類，其中的幾何信息，如人體的輪廓、背景物體的邊緣等都有助于人體姿態(tài)檢測(cè)；另一部 分非幾何信息，常見的如環(huán)境光照強(qiáng)度、物體表面的明暗程度、以及色彩信息。
[0026] 傳統(tǒng)人體姿態(tài)識(shí)別方法的魯棒性較差，近幾年提出的基于統(tǒng)計(jì)模型的二維人體姿 態(tài)識(shí)別方法，通過統(tǒng)計(jì)模型實(shí)現(xiàn)人體部件或人體關(guān)節(jié)點(diǎn)的識(shí)別。然而，基于圖像處理方式的 傳統(tǒng)方法和基于統(tǒng)計(jì)模型的方法可以識(shí)別人體部件或關(guān)節(jié)點(diǎn)的類別，如胳膊、腿等人體部 件，但是兩種方法均難于識(shí)別對(duì)稱相似人體部件的左右語義標(biāo)簽，因?yàn)闊o法建立多視角間 的人體部件對(duì)應(yīng)信息。其本質(zhì)原因是人體部件具有對(duì)稱性，而一副靜態(tài)圖像中的幾何信息 和非幾何信息難于提供區(qū)分人體所有肢體的語義，例如人體左右手臂、左右胳膊以及左右 膝關(guān)節(jié)的語義信息，從一副圖像中較難提取。
[0027] 對(duì)于多視角人體運(yùn)動(dòng)分析，為了求解三維的人體姿態(tài)，除了需要通過二維人體姿 態(tài)檢測(cè)和估計(jì)得到單個(gè)視角中人體部件的像素位置，與此同時(shí)，也需要知道不同視角中各 個(gè)人體部件的語義對(duì)應(yīng)關(guān)系，即空間域人體部件的匹配關(guān)系。然而單幀多視角人體姿態(tài)數(shù) 據(jù)不能夠提供準(zhǔn)確的人體部件對(duì)應(yīng)關(guān)系信息，本發(fā)明采用時(shí)間域匹配和空間域匹配結(jié)合的 方式，建立其人體部件匹配關(guān)系，實(shí)現(xiàn)其在時(shí)空中的一致性對(duì)應(yīng)關(guān)系的建立。
[0028] 為了說明多視角人體部件語義匹配問題，如圖1用于說明多視角人體部件語義匹 配問題的示意圖所示，圖中包含3個(gè)視角下的原始人體關(guān)節(jié)點(diǎn)數(shù)據(jù)信息，其中，淺色人體姿 態(tài)表示當(dāng)前視角下前一時(shí)刻的人體姿態(tài)，深色姿態(tài)表示當(dāng)前時(shí)刻人體姿態(tài)。僅通過當(dāng)前時(shí) 刻的多視角人體姿態(tài)分析，即空間域姿態(tài)分析，很難建立多視角人體部件的語義對(duì)應(yīng)關(guān)系。 多視角人體部件語義匹配問題的最終目的，就是要基于原始人體關(guān)節(jié)點(diǎn)數(shù)據(jù)信息，建立其 在各個(gè)視角之間的一一對(duì)應(yīng)關(guān)系。
[0029] 針對(duì)這一問題的研究當(dāng)前也已經(jīng)展開，典型的如文獻(xiàn)《V. Kazemi. Multi-view Body Part Recognition with Random Forests.IEEE British Machine Vision Conference (BMVC 2013)，Bristol, England, Sept 2013》，特別是第 5 至 6 頁(yè)對(duì)該問題進(jìn)行 了探討，指出實(shí)際二維姿態(tài)檢測(cè)結(jié)果中常常并不知道多視角下左右關(guān)節(jié)點(diǎn)是否對(duì)應(yīng)于真實(shí) 身體上同樣的關(guān)節(jié)點(diǎn)，即多視角人體關(guān)節(jié)點(diǎn)對(duì)應(yīng)關(guān)系未知，其本質(zhì)是由于人體部件對(duì)稱外 觀所引起的歧義問題。該文獻(xiàn)通過離散潛變量表示語義標(biāo)簽，建立統(tǒng)計(jì)模型進(jìn)行最優(yōu)推理。 然而，該方法針對(duì)視角數(shù)目較少情形可以滿足，但是對(duì)于視角數(shù)較多情形下，計(jì)算量較大。 然而實(shí)際中采用的多視角方式常常具有較多的視角數(shù)，例如美國(guó)Brown大學(xué)HumanEVA-I數(shù) 據(jù)集包含7個(gè)視角、上海交通大學(xué)PEAR數(shù)據(jù)集包含16個(gè)視角等。同時(shí)模型沒有考慮單個(gè) 視角下時(shí)間域的姿態(tài)語義對(duì)應(yīng)關(guān)系。
[0030] 當(dāng)前研究中常見方法均難以建立多視角間的人體部件的語義對(duì)應(yīng)關(guān)系。針對(duì)現(xiàn)有 技術(shù)中存在的不足，加上人體部件的左右對(duì)稱相似性，直接建立多視角間人體部件的語義 對(duì)應(yīng)關(guān)系存在很大難度，本發(fā)明提出一種全新的方案來建立多視角間人體部件的語義對(duì)應(yīng) 關(guān)系，其基本思路是基于多視角圖像中二維人體關(guān)節(jié)點(diǎn)檢測(cè)結(jié)果，采用時(shí)間域匹配和空間 域匹配結(jié)合的方式，建立其人體部件匹配關(guān)系，實(shí)現(xiàn)其在時(shí)空中的一致性對(duì)應(yīng)關(guān)系的建立。 具體地，通過分析人體關(guān)節(jié)點(diǎn)在時(shí)間域的匹配關(guān)系，基于時(shí)間域匹配關(guān)系，以人體關(guān)節(jié)點(diǎn)在 時(shí)間域的運(yùn)動(dòng)軌跡，區(qū)分不同關(guān)節(jié)點(diǎn)的語義信息，建立空間域的匹配關(guān)系。因此，建立本發(fā) 明所述方案的具體實(shí)現(xiàn)包括：
[0031] 首先，基于原始二維人體關(guān)節(jié)數(shù)據(jù)，建立人體部件圖模型。
[0032] 其次，建立多視角間的人體部件語義的時(shí)間域匹配關(guān)系。為了求解關(guān)節(jié)點(diǎn)的時(shí)間 域運(yùn)動(dòng)軌跡，需要建立關(guān)節(jié)點(diǎn)的時(shí)間域語義對(duì)應(yīng)關(guān)系。
[0033] 第三，建立多視角間的人體部件語義的空間域匹配關(guān)系。不同語義的人體部件，其 Z向軌跡特征具有較大的區(qū)分度，通過計(jì)算Z向軌跡特征，進(jìn)行分類分析，計(jì)算最優(yōu)的語義 信息。
[0034] 最后，進(jìn)行循環(huán)迭代，依此遍歷每一幀下對(duì)應(yīng)的每一個(gè)視角，通過時(shí)間域語義對(duì)應(yīng) 關(guān)系求解空間域語義對(duì)應(yīng)關(guān)系，最終建立了人體語義部件的時(shí)空語義對(duì)應(yīng)關(guān)系。
[0035] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清晰明白，以下結(jié)合附圖并舉實(shí)施例， 對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述：
[0036] 如圖2所示是本發(fā)明多視角人體部件語義匹配方法實(shí)施例的流程圖。包括以下步 驟：
[0037] 步驟201，初始化第t幀第c視角下的二維人體姿態(tài)。初始化包括：人體關(guān)節(jié)點(diǎn)數(shù) 據(jù)預(yù)處理、人體部件圖模型重構(gòu)。
[0038] 1)人體關(guān)節(jié)點(diǎn)數(shù)據(jù)預(yù)處理。主要是根據(jù)原始二維人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，構(gòu)架人體關(guān)節(jié) 點(diǎn)圖模型。以單個(gè)視角為例，人體關(guān)節(jié)點(diǎn)圖模型構(gòu)建的模型和方法為：
[0039] H = {x，e，b}⑴其中x=[x,,…,x"]eH2xn為圖模型頂點(diǎn)，包含n個(gè)人體關(guān)節(jié)點(diǎn)的 像素坐標(biāo)位置信息，Xi = (Xi，yi)表示第i個(gè)關(guān)節(jié)的二維像素坐標(biāo)位置。人體姿態(tài)的拓?fù)潢P(guān) 系通過連接關(guān)系矩陣e e {〇, 1}ηΧη建立。eij e e為圖模型的邊，eij = 1表示關(guān)節(jié)點(diǎn)i和 j相互連接，反之，eij = 0表示兩部件不連接。be {^^隊(duì)仏此義田^為關(guān)節(jié)點(diǎn)所屬的 部件語義標(biāo)簽，依次對(duì)應(yīng)人體部件的左臂、右臂、左腿、右腿、軀干和頭部。
[0040] 2)人體部件圖模型重構(gòu)。如圖3為了說明人體關(guān)節(jié)點(diǎn)圖模型構(gòu)建方式的圖所示， 關(guān)節(jié)點(diǎn)1，2, 3具有相同的語義標(biāo)簽，即關(guān)節(jié)點(diǎn)所屬的部件語義標(biāo)簽h = b2 = b3 = LL。為 了表示和求解的方便，將人體關(guān)節(jié)點(diǎn)圖模型中屬于相同語義標(biāo)簽屬性的圖模型節(jié)點(diǎn)進(jìn)行合 并成為人體部件。以單個(gè)視角為例，為了說明人體部件圖模型構(gòu)建方式，人體部件圖模型構(gòu) 建結(jié)果如圖4所示，構(gòu)建方法為：
[0041] G={X，E，B} (2)
[0042] 其中X = ，…，XN]為圖模型節(jié)點(diǎn)，XN e X為具有相同語義標(biāo)簽的人體關(guān)節(jié)點(diǎn)像 素坐標(biāo)的集合，E e {〇, 1}NXN為圖模型的邊，與人體關(guān)節(jié)點(diǎn)圖模型類似，通過〇和1表示不 同語義人體部件的連接關(guān)系。Be {^^"，^^^^，^^^對(duì)應(yīng)于圖模型節(jié)點(diǎn)的語義信息。 [0043] 為了敘述方便，以上人體關(guān)節(jié)點(diǎn)數(shù)據(jù)預(yù)處理和人體部件圖模型重構(gòu)僅表示為單視 角下模型。考慮在不同時(shí)間不同空間下人體姿態(tài)的表示，即不同圖像采集時(shí)刻不同視角下 的人體姿態(tài)，即表示考慮人體姿態(tài)的空間關(guān)系和時(shí)間關(guān)系，即引入空間中圖像采集視角c 和時(shí)間t，則第t幀，即t時(shí)刻第c視角下的二維人體姿態(tài)初始化為：
[0044] Gc(t) = {Xc(t)，Ec(t)，Bc(t)} ⑶
[0045] 其中，〇 = {15".,￡：丨€1為視角的索引，1二丨0,"，,7'丨€1為幀索弓丨。（：和1'分別為總 視角數(shù)和總幀數(shù)。
[0046] 步驟202,計(jì)算c視角下t時(shí)刻和t-Ι時(shí)刻的時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣，即c視 角下第t幀和第t-i幀對(duì)應(yīng)的時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣Φ，即部件-部件關(guān)聯(lián)矩陣計(jì)算 方法為：
[0047]

【權(quán)利要求】
1. 一種多視角人體部件語義匹配方法，其特征在于，該方法包括： 初始化原始二維人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，構(gòu)建人體部件圖模型； 基于上述人體部件圖模型，建立二維人體部件時(shí)間域匹配； 基于上述時(shí)間域匹配結(jié)果，建立二維人體部件空間域匹配，得到最終所需的人體部件 時(shí)空語義對(duì)應(yīng)關(guān)系。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所構(gòu)建的人體部件圖模型是基于原始二 維人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，將人體關(guān)節(jié)點(diǎn)圖模型中相同語義節(jié)點(diǎn)進(jìn)行語義合并和語義重構(gòu)后得到 對(duì)應(yīng)的t時(shí)刻c視角下的二維人體部件圖模型f(t)， Gc(t) = {Xc(t)，Ec(t)，Bc(t)} 其中X為圖模型節(jié)點(diǎn)，E為圖模型的邊，B對(duì)應(yīng)于圖模型節(jié)點(diǎn)的語義信息。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，二維人體部件時(shí)間域匹配是通過計(jì)算關(guān) 聯(lián)矩陣度量函數(shù)Μ(Φ)確定其匹配關(guān)系，計(jì)算方法為 ：
其中Φ=
為時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣，det(〇) = Φ"Φ^-Φ^Φ^為節(jié) 點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣的行列式。Μ(Φ) = 1和Μ(Φ) =0分別表示當(dāng)前姿態(tài)匹配和姿態(tài)不匹 配。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述的時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣是通過關(guān)聯(lián)矩 陣度量函數(shù)計(jì)算而得，關(guān)聯(lián)矩陣度量函數(shù)計(jì)算方法為：
其中G丨⑴為f⑴的子圖，表示部件i對(duì)應(yīng)的人體部件子圖模型，X丨⑷為圖模型的 G:(i)節(jié)點(diǎn)。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，二維人體部件空間域匹配是以Z向軌跡為 特征，通過計(jì)算不同語義假設(shè)對(duì)應(yīng)關(guān)系下人體部件二分類的分類間隔，通過最大化二分類 間隔獲得最優(yōu)假設(shè)，計(jì)算方法為：
其中l(wèi)e e {-1，1}分別表示對(duì)稱性部件的左、右標(biāo)簽，（w，b)為求得的超平面參數(shù)，ze 為以Z向軌跡特征為節(jié)點(diǎn)的人體部件特征圖模型的節(jié)點(diǎn)。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述的Z向軌跡特征，t時(shí)刻視角c下人體關(guān)節(jié)i 的Z向軌跡特征計(jì)算為，
其中y為人體部件i在攝像機(jī)坐標(biāo)系下堅(jiān)直方向的位置分量。
7. -種多視角人體部件語義匹配裝置，其特征在于，該裝置包括： 初始化單元，用于初始化人體姿態(tài)數(shù)據(jù)； 二維人體部件時(shí)間域匹配單元，用于計(jì)算時(shí)間域人體部件語義匹配關(guān)系； 二維人體部件空間域匹配單元，用于計(jì)算空間域人體部件語義匹配關(guān)系。
8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述初始化單元包括： 人體關(guān)節(jié)點(diǎn)數(shù)據(jù)預(yù)處理單元，用于基于原始關(guān)節(jié)點(diǎn)數(shù)據(jù)，初始化人體關(guān)節(jié)點(diǎn)圖模型； 人體部件圖模型重構(gòu)單元，用于基于人體關(guān)節(jié)點(diǎn)圖模型，初始化人體部件圖模型，將人 體關(guān)節(jié)點(diǎn)圖模型中相同語義節(jié)點(diǎn)進(jìn)行語義合并和語義重構(gòu)后得到t時(shí)刻第c視角下的二維 人體部件圖模型Git)， Gc(t) = {Xc(t)，Ec(t)，Bc(t)} 其中X為圖模型節(jié)點(diǎn)，E為圖模型的邊，B對(duì)應(yīng)于圖模型節(jié)點(diǎn)的語義信息。
9. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述時(shí)間域匹配單元包括： 時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣計(jì)算單元，用于計(jì)算圖模型節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系，即計(jì)算c 視角下t時(shí)刻和t-Ι時(shí)刻的時(shí)間域節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣Φ，計(jì)算方法為Φ =
關(guān) 聯(lián)矩陣度量函數(shù)Φυ計(jì)算方法為，
其中G?為f(t)的子圖，表示部件i對(duì)應(yīng)的人體部件子圖模型，為圖模型的 G::⑴節(jié)點(diǎn)。 時(shí)間域匹配計(jì)算單元，用于計(jì)算時(shí)間域圖模型節(jié)點(diǎn)-節(jié)點(diǎn)的匹配關(guān)系Μ(Φ)，計(jì)算方法 為：
其中det(C>) = Φ^Φμ-Φ^Φμ為節(jié)點(diǎn)-節(jié)點(diǎn)關(guān)聯(lián)矩陣的行列式。Μ(Φ) = 1時(shí)，表 示當(dāng)前姿態(tài)匹配；Μ(Φ) =0,表示當(dāng)前姿態(tài)不匹配。
10. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述時(shí)間域匹配單元包括： Ζ向軌跡特征計(jì)算單元，用于計(jì)算Ζ向軌跡特征，t時(shí)刻視角C下人體關(guān)節(jié)i的Ζ向軌 跡特征計(jì)算為：
其中y為人體關(guān)節(jié)點(diǎn)i在像平面堅(jiān)直方向的像素坐標(biāo)。 人體部件特征圖模型構(gòu)造單元，用于以部件的Z向軌跡特征來代替人體部件圖模型中 的位置信息，來建立以人體部件的Z向軌跡特征為圖模型節(jié)點(diǎn)的人體部件特征圖模型。 空間域匹配計(jì)算單元，用于計(jì)算不同語義假設(shè)對(duì)應(yīng)關(guān)系下人體部件二分類的分類間 隔，通過最大化二分類間隔獲得最優(yōu)假設(shè)，計(jì)算方法為：
其中l(wèi)e e {-1，1}分別表示對(duì)稱性部件的左、右標(biāo)簽，（w，b)為求得的超平面參數(shù)，ze 為以Z向軌跡特征為節(jié)點(diǎn)的人體部件特征圖模型的節(jié)點(diǎn)。
【文檔編號(hào)】G06F17/27GK104103075SQ201410355709
【公開日】2014年10月15日 申請(qǐng)日期:2014年7月24日 優(yōu)先權(quán)日:2014年7月24日
【發(fā)明者】賈慶軒, 李旭龍, 宋荊洲, 高欣 申請(qǐng)人:北京郵電大學(xué)