專利名稱：個性化動作控制的系統(tǒng)和方法
個性化動作控制的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人工智能領(lǐng)域，特別是涉及機(jī)器學(xué)習(xí)，尤其是在通過示例動作產(chǎn)生動 作識別器(motion recognizer)的應(yīng)用中。在一些實施例中，識別器產(chǎn)生器(recognizer maker)可以嵌入終端應(yīng)用程序或與終端應(yīng)用程序共同使用，終端用戶可以使用這些終端應(yīng) 用程序并為自己創(chuàng)建專用個性化動作識別器。
背景技術(shù)：
利用軟件應(yīng)用程序進(jìn)行任意人體動作控制(freeform human motion control)嚴(yán) 格受制于如何檢測和識別出特定人的動作。一般來講，最感興趣的動作控制可能來自于解 析以下人體“裝置”手指、手掌、肩膀、軀干和腿等。人非常擅長于解析他人的動作和表情， 但現(xiàn)在還不能創(chuàng)造出與自己相似水平的機(jī)器和代碼。利用程序代碼來識別一個給定的動作是否是已知動作類(known motionclasse) 中的一個是很困難的。一方面，這是由于存在很多可以使用的專門的動作數(shù)據(jù)源，每個數(shù)據(jù) 源都是公共知識中一個相對小的個體，每個數(shù)據(jù)源都有不同的語義解釋和應(yīng)用范圍，而沒 有任何一個數(shù)據(jù)源能反映出所有人能夠獲得的人類學(xué)信息。通常，得到的動作數(shù)據(jù)是很復(fù) 雜且違反直覺的。例如，當(dāng)三維加速計輸出相對時間的序列數(shù)據(jù)(時間序列數(shù)據(jù))的簡單 圖表時，所屬領(lǐng)域內(nèi)的技術(shù)人員就會很難去確定所述簡單圖表中的時間序列數(shù)據(jù)對應(yīng)的是 何種姿態(tài)。在遇到上述問題時，甚至選擇哪些動作圖表屬于同一姿態(tài)這樣的簡單任務(wù)就會 難倒大多數(shù)專家。該問題還會由于傳感器噪音、設(shè)備的差別等原因而更加惡化。事實上，具 有不同的肌肉組織類型的不同人執(zhí)行相同姿態(tài)的動作或甚至同一個人在不同的時間執(zhí)行 相同姿態(tài)的動作，得到的動作數(shù)據(jù)也可能完全不同。對于所屬領(lǐng)域內(nèi)的普通技術(shù)人員來說， 在這種條件下去建立有效的動作識別器是非常艱苦的挑戰(zhàn)。除具有挑戰(zhàn)性的數(shù)據(jù)源以外，事實上所述動作數(shù)據(jù)是隨著時間動態(tài)變化的，而不 是靜止不變的，這也是需要克服的一個重大難題。一般意義上來說，任意人體動作具有隨著 時間運(yùn)動的特點，那么隨后的動作識別必須依照時間序列數(shù)據(jù)來計算。典型的模式識別或 姿態(tài)識別方法一般都是先計算很多靜態(tài)特征，之后實現(xiàn)差別識別，這樣的方法與本發(fā)明無關(guān)。任意人類動作控制的第三個特點是希望為每個獨立用戶創(chuàng)建個性化的自己專用 的動作識別器(即不是被預(yù)先定義的)，這對于自動動作識別系統(tǒng)來說是一個巨大的挑戰(zhàn)。 現(xiàn)有技術(shù)包含許多算法的例子，所屬領(lǐng)域的技術(shù)專家能夠?qū)⑵鋺?yīng)用于特定的一組預(yù)定義的 姿態(tài)中以進(jìn)行靜態(tài)識別。使用一組預(yù)定義的姿態(tài)意味著大量實際存在的異常可以被切除。 例如，分類器解釋時間可以為天或星期。訓(xùn)練數(shù)據(jù)可以包含上百萬個例子。然而，所述預(yù)定 義類的特性規(guī)格很難被編碼到所述算法和相關(guān)參數(shù)中。大體上講，在小數(shù)量的預(yù)定義類中 進(jìn)行分類與專用動作識別器完全不同。依據(jù)我們的理解，現(xiàn)有技術(shù)中沒有提供與為終端用 戶產(chǎn)生的專用動作識別器相關(guān)的教導(dǎo)。在先前的文獻(xiàn)中，如參考文獻(xiàn)[3]KjeldSOn，其提供的系統(tǒng)和方法可以收集手的靜態(tài)圖像，構(gòu)造大量用于描述所述靜態(tài)圖像的靜態(tài)特征，利用類似神經(jīng)網(wǎng)絡(luò)的工具建立一個 分類器，該分類器能夠識別隨后的靜態(tài)圖像。很顯然，該文獻(xiàn)公開的技術(shù)與建立專用動作識 別器無關(guān)。首先，參考文獻(xiàn)Kjeldson的輸入數(shù)據(jù)是靜態(tài)圖像數(shù)據(jù)，這里沒有時間成分也沒 有混合模式輸入。該文獻(xiàn)中的有關(guān)靜態(tài)分類問題的技術(shù)并不適用于任意人體動作控制。另 外，參考文獻(xiàn)Kjeldson著眼于為所屬領(lǐng)域的技術(shù)人員建立一個分類器，所述分類器可以區(qū) 分預(yù)設(shè)的靜態(tài)圖像集合。然而，亟待讓非所屬領(lǐng)域的人員能夠創(chuàng)建識別非預(yù)設(shè)姿態(tài)的分類
ο在先前的文獻(xiàn)中，如參考文獻(xiàn)[4]KWOn，其提供的系統(tǒng)和方法可以產(chǎn)生一個訓(xùn)練或 受訓(xùn)會議，其中隱藏有可以表征訓(xùn)練者動作的馬爾科夫模型(Markovmodel)，所述馬爾科夫 模型可以用于識別新進(jìn)受訓(xùn)者的動作。這種方法的識別錯誤率大約為40% -60%，這對于 對所述受訓(xùn)者可能是可以接受的。然而在多數(shù)應(yīng)用中，例如計算機(jī)視頻游戲，要求識別成功 率為95%以上。再有，在參考文獻(xiàn)[4]KWOn中描述的方法要求在訓(xùn)練信號中有三個組成成 分起始位置、動作和結(jié)束位置。這個方法在希望提供任意人體動作控制的應(yīng)用中是沒有用 的，因為在任意人體動作控制時起始位置和結(jié)束位置不可能被預(yù)先定義。在本發(fā)明中采用史無前例的步驟讓非技術(shù)人員的終端用戶可以在各種應(yīng)用中創(chuàng) 建專用個性化動作識別器。輸入數(shù)據(jù)為時間相關(guān)的混合動作信號，其不是預(yù)定義姿態(tài)，沒有 限制怎樣去執(zhí)行，也沒有預(yù)定義的開始點或停止點。在創(chuàng)建所述動作識別器時不需要進(jìn)行 編碼。終端用戶僅需要參考給出的示例就能夠創(chuàng)建他們選擇的任何動作識別器。通過參考 以下詳細(xì)描述所述本發(fā)明中的目的、特點和好處將會更加清楚。0010這里附上參考文獻(xiàn)的詳細(xì)出處。[1]. E. Keogh and Μ. Pazzani,Derivative Dynamic Time Warping,in FirstSIAM International Conference on Data Mining, (Chicago, IL,2001)；[2]. Lawrence R. Rabiner, A Tutorial on Hidden Markov Models andSelected Applications in Speech Recognition. Proceedings of the IEEE,77 (2), p. 257-286, February 1989 ；[3]. R. Kjeldson and J. Render, Towards the Use of Gesture in TraditionalUser Interfaces, Proceedings of the 2nd International Conference on AutomatiCFace and Gesture Recognition)1996 ；禾口[4]. D. Kwon and M. Gross, Combining Body Sensors and Visual Sensorsfor Motion Training, ACM SIGCHI ACE 2005。

發(fā)明內(nèi)容本部分的目的在于概述本發(fā)明的實施例的一些方面以及簡要介紹一些較佳實施 例。在本部分以及本申請的說明書摘要和發(fā)明名稱中可能會做些簡化或省略以避免使本部 分、說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。本發(fā)明所解決的技術(shù)問題之一在于提供一種利用多個數(shù)據(jù)流進(jìn)行動作識別的方 法，其可以提供通用廣義動作識別能力。本發(fā)明所解決的技術(shù)問題之二在于提供一種利用多個數(shù)據(jù)流進(jìn)行動作識別的系 統(tǒng)，其可以提供通用廣義動作識別能力。
為解決上述問題，根據(jù)本發(fā)明的一方面，本發(fā)明提供了一種利用多個數(shù)據(jù)流進(jìn)行 動作識別的方法，其包括處理單元接收來自至少一個動作傳感裝置的包括至少兩種成分 輸出的動作信號，所述動作傳感裝置包括慣性傳感器和非慣性傳感器；將所述成分輸出轉(zhuǎn) 換為與設(shè)備無關(guān)(device independence)的動作信號；利用至少一個動作識別器進(jìn)行動 作識別以對所述動作信號分類，其中根據(jù)用戶創(chuàng)建的動作信號的訓(xùn)練集構(gòu)建所述動作識別 器，所述動作信號的訓(xùn)練集包括表示在一段時間內(nèi)執(zhí)行的至少一種類型的動作的一組動作 信號，自動確定構(gòu)建所述動作識別器所需要的所有參數(shù)；和，將所述動作識別器應(yīng)用于所述 與設(shè)備無關(guān)的動作信號以提供廣義動作識別能力。在進(jìn)一步的一個實施例中，所述非慣性傳感器包括所述動作傳感裝置上的按鈕、 搖桿或觸發(fā)器；所述動作傳感裝置上的一個或多個觸摸屏傳感器；用于跟蹤所述終端用戶 的局部身體的位置和方向的一個或者多個視頻攝像機(jī)；和，一個或多個麥克風(fēng)。在進(jìn)一步的一個實施例中，所述方法還包括根據(jù)一個動作識別器中產(chǎn)生所述動 作信號的連續(xù)識別信號，其中所述動作識別器包括一組原型，在產(chǎn)生所述連續(xù)識別信號時 并未全部使用對應(yīng)動作識別器中的模型。在進(jìn)一步的一個實施例中，所述方法還包括基于時間卷曲距離(time warpdistances)選擇原型，這些原型用于創(chuàng)建一個或多個新的動作識別器，其中所述利用 至少一個動作識別器進(jìn)行動作識別以對所述動作信號分類包括通過計算響應(yīng)所述動作傳 感裝置的所述一個或多個新的動作識別器中的各個原型的時間卷曲距離對所述原型進(jìn)行 分類。在進(jìn)一步的一個實施例中，所述處理單元包括一個識別運(yùn)行時庫，所述識別運(yùn)行 時庫使一個彈性參數(shù)(elasticity parameter)與每個成分輸出相關(guān)，隨后的時間卷曲相關(guān) 分?jǐn)?shù)是針對所述彈性參數(shù)的。在更進(jìn)一步的一個實施例中，所述識別運(yùn)行時庫用于識別所述動作傳感裝置的同 時獨立動作、同時相關(guān)動作和靜態(tài)姿態(tài)。在進(jìn)一步的一個實施例中，所述方法還包括將所述動作識別器應(yīng)用于所述動作 信號以建立響應(yīng)另一動作傳感裝置的廣義動作識別器。為解決上述問題，根據(jù)本發(fā)明的另一方面，本發(fā)明提供了一種利用多個數(shù)據(jù)流進(jìn) 行動作識別的方法，其包括處理單元裝載一組動作識別器，所述動作識別器通過使用第一 動作傳感裝置來預(yù)先創(chuàng)建，第一動作傳感裝置包括第一組傳感器；所述處理單元接收來自 第二動作傳感裝置的具有至少兩種成分輸出的動作信號，第二動作傳感裝置包括第二組傳 感器，第二組傳感器與第一組傳感器部分不同；將所述成分輸出轉(zhuǎn)換成與設(shè)備無關(guān)的動作 信號；和，將動作識別器應(yīng)用于所述與設(shè)備無關(guān)的動作信號以提供廣義動作識別能力。在進(jìn)一步的一個實施例中，所述方法還包括利用所述廣義動作識別能力根據(jù)所 述動作信號確定一個最終動作識別信號。在進(jìn)一步的一個實施例中，所述方法還包括所述廣義動作識別能力響應(yīng)一個動 作識別器產(chǎn)生所述動作信號的連續(xù)識別信號，其中所述動作識別器包括一組原型，在產(chǎn)生 所述連續(xù)識別信號時并未全部使用對應(yīng)動作識別器中的模型。在進(jìn)一步的一個實施例中，所述方法還包括基于時間卷曲距離(time warpdistances)選擇原型，這些原型用于創(chuàng)建一個或多個新的動作識別器，其中所述將動作識別器應(yīng)用于所述與設(shè)備無關(guān)的動作信號以提供廣義動作識別能力包括通過計算響應(yīng) 第二動作傳感裝置的所述一個或多個新的動作識別器中的各個原型的時間卷曲距離對所 述原型進(jìn)行分類。在進(jìn)一步的一個實施例中，第一與第二動作傳感裝置的描述人體動作的能力不 同。在更進(jìn)一步的一個實施例中，所述處理單元包括方便新的動作傳感裝置注冊的接口，所 述接口告知所述處理單元關(guān)于新的動作傳感裝置的足夠資料(sufficient statistics), 所述新的動作傳感裝置將用于所述廣義動作識別能力。在進(jìn)一步的一個實施例中，還存在有第三動作傳感裝置，兩個用戶分別持有第二 和第三動作傳感裝置，第二和第三動作傳感裝置輸出的動作信號是互相關(guān)的以使得所述兩 個用戶在相似的時間以互補(bǔ)的方式執(zhí)行成對的動作。為解決上述問題，根據(jù)本發(fā)明的再一方面，本發(fā)明提供了一種利用多個數(shù)據(jù)流進(jìn) 行動作識別的系統(tǒng)，其包括裝載有一組動作識別器的處理單元，所述動作識別器通過使用 第一動作傳感裝置來預(yù)先創(chuàng)建，所述處理單元接收來自第二動作傳感裝置的動作信號，第 二動作傳感裝置產(chǎn)生描述用戶的各種動作的慣性傳感信號和其他傳感信號，其中來自第二 動作傳感裝置的動作信號包括所述慣性傳感信號和其他傳感信號；其中所述處理單元將所 述慣性傳感信號和其他傳感信號轉(zhuǎn)換成與設(shè)備無關(guān)的動作信號，響應(yīng)第二動作傳感裝置將 所述動作識別器應(yīng)用于所述與設(shè)備無關(guān)的動作信號以提供廣義動作識別服務(wù)。在進(jìn)一步的一個實施例中，所述處理單元利用所述廣義動作識別服務(wù)根據(jù)所述動 作信號確定一個最終動作識別信號。在更進(jìn)一步的一個實施例中，所述處理單元將所述慣性傳感信號和其他感應(yīng)信號 中的每一個轉(zhuǎn)換成偽線性加速度、偽角速度或偽按鈕信號中的一個或多個。在進(jìn)一步的一個實施例中，第一動作傳感裝置與第二動作傳感裝置的靈敏度不 同。在進(jìn)一步的一個實施例中，所述處理單元包括方便新的動作傳感裝置注冊的接 口，所述接口告知所述處理單元關(guān)于新的動作傳感裝置的足夠資料，所述新的動作傳感裝 置將用于所述廣義動作識別服務(wù)。在進(jìn)一步的一個實施例中，所述廣義動作識別服務(wù)響應(yīng)一個動作識別器產(chǎn)生所述 動作信號的連續(xù)識別信號，其中所述動作識別器包括一組原型，在產(chǎn)生所述連續(xù)識別信號 時并未全部使用對應(yīng)動作識別器中的模型。與現(xiàn)有技術(shù)相比，本發(fā)明中的動作識別技術(shù)中的動作信號包括至少兩種成分輸 出，將所述至少兩種成分輸出(比如慣性傳感信號和其他傳感信號)轉(zhuǎn)換成與設(shè)備無關(guān)的 動作信號，基于所述與設(shè)備無關(guān)信號可以提供廣義動作識別能力。關(guān)于本發(fā)明的其他目的，特征以及優(yōu)點，下面將結(jié)合附圖在具體實施方式
中詳細(xì) 描述。

接下來的具體實施方式
、后面的權(quán)利要求以及附圖將有助于了解本發(fā)明的具體特 征，各實施例以及優(yōu)點，其中圖IA示出了本發(fā)明在一個實施例中的裝置結(jié)構(gòu)圖，所述裝置中的顯示器、控制器和計算單元是三個獨立的裝置；圖IB示出了用戶執(zhí)行一個動作時得到一個示例動作信號的示意圖；圖2示出了本發(fā)明的另一個實施例中獨立裝置，所述獨立裝置包括顯示器、控制 器和計算單元；圖3示出了本發(fā)明在一個實施例中的示例架構(gòu)，其中動作信號包括描述終端用戶 的運(yùn)動和動作的不同輸入；圖4示出了本發(fā)明在一個實施例中創(chuàng)建個性化專用動作識別器的流程圖；圖5示出了本發(fā)明在一個實施例中執(zhí)行動作識別的流程圖；和圖6示出了本發(fā)明在一個實施例中創(chuàng)建專用個性化動作識別器的流程圖，其中動 作感應(yīng)應(yīng)用程序同時在使用所述創(chuàng)建的動作識別器進(jìn)行動作控制。
具體實施方式本發(fā)明的詳細(xì)描述主要通過程序、步驟、邏輯塊、過程或其他象征性的描述來直接 或間接地模擬本發(fā)明技術(shù)方案的運(yùn)作。為透徹的理解本發(fā)明，在接下來的描述中陳述了很 多特定細(xì)節(jié)。而在沒有這些特定細(xì)節(jié)時，本發(fā)明則可能仍可實現(xiàn)。所屬領(lǐng)域內(nèi)的技術(shù)人員 使用此處的這些描述和陳述向所屬領(lǐng)域內(nèi)的其他技術(shù)人員有效的介紹他們的工作本質(zhì)。換 句話說，為避免混淆本發(fā)明的目的，由于熟知的方法和程序已經(jīng)容易理解，因此它們并未被 詳細(xì)描述。此處所稱的“一個實施例”或“實施例”是指可包含于本發(fā)明至少一個實現(xiàn)方式中 的特定特征、結(jié)構(gòu)或特性。在本說明書中不同地方出現(xiàn)的“在一個實施例中”并非均指同一 個實施例，也不是單獨的或選擇性的與其他實施例互相排斥的實施例。此外，表示一個或多 個實施例的方法、流程圖或功能框圖中的模塊順序并非固定的指代任何特定順序，也不構(gòu) 成對本發(fā)明的限制。為了方便起見，以下對一些術(shù)語進(jìn)行了定義。應(yīng)當(dāng)注意的是，所述定義是為了便于 在實施例中理解和描述本發(fā)明。所述定義結(jié)合實施例可能有些限制。然而，所述術(shù)語的實 際意思可以適應(yīng)性的超過所述實施例?！?1 定義專用動作識別器(Ad-Hoc motion recognizer)一種動作識別器，其建立過程不 需要預(yù)定義可接受動作，也不需要預(yù)定義執(zhí)行那些動作的可接收方式。容量(Capacity):—個參數(shù)，其決定給定動作識別器中的動作原型數(shù)目。容量也 可以代表所述給定動作識別器占用的內(nèi)存和CPU資源量。分類(classification)給未標(biāo)簽的動作信號分配類標(biāo)簽(class label)或動作 標(biāo)簽(motion label)的過程，其中分配的類標(biāo)簽可以為“未知的”或“未確定的”。分類還 可以響應(yīng)其它因素而分配未標(biāo)簽動作信號是每個可能類的概率，此時所述分配的類標(biāo)簽是 具有最大的概率的類。分類間距(Classification distance)分類間距是在特定動作類中給定動作原 型的閾值。在所述分類間距內(nèi)，所述動作原型可以將動作信號歸類為類內(nèi)，在所述分類間距 外，則表示所述動作原型與所述動作信號無關(guān)。分類率(Classification rate)動作識別器性能的度量標(biāo)準(zhǔn)，其對應(yīng)于一套統(tǒng)計度量方式，比如大量的假陽性和真陽性。分類器(Classifier)在此應(yīng)用中，這個術(shù)語涉及軟件指令，其可以通過計算設(shè) 備的來解析以執(zhí)行分類。所述分類器可以與動作識別器交替使用。開發(fā)者(Developer)研發(fā)應(yīng)用程序的人員。在此應(yīng)用中，所述開發(fā)者包括但不局 限于，游戲程序員、AI程序員、生產(chǎn)商、平面設(shè)計師、測試人員和雇傭的承包商等等。終端用戶(End User)應(yīng)用程序的使用者，例如，視頻游戲應(yīng)用程序的游戲玩家， 或手機(jī)的使用者。動作(Motion)改變位置的行為或過程，其包括故意動作(例如畫一個字母或擰 動一個人的肘關(guān)節(jié)以模擬使用一個螺絲刀)與無意動作(煩躁或緊張時的抓頭或摸鼻子等)。動作原型(Motion prototype)動作原型是動作識別器中一類的代表動作信號 (未處理的或處理的)中的一個。動作識別器(Motion recognizer)被計算設(shè)備解析以實現(xiàn)動作分類的軟件指令。 所述術(shù)語“預(yù)測器(predictor)，，和“識別器”在這里可和動作識別器交替使用。動作信號(Motion signal)動作信號是信息，比如可以為描述一段時間內(nèi)的一個 動作的時間序列數(shù)據(jù)(請參見圖1B)。所述數(shù)據(jù)可以為多種形式。例如，物體的隨時間的位 置，物體的隨時間的方向，物體的隨時間的加速度，物體的隨時間的力，用頻域表達(dá)的數(shù)據(jù)， 用參數(shù)域表達(dá)的數(shù)據(jù)，比如R3和R4等等。動作信號有時被稱為動作。在此，動作信號可以 為處理過的動作信號或未處理過(raw)的動作信號。未處理過的動作信號可以表示直接來 自動作傳感裝置的數(shù)據(jù)。處理過的動作信號表示來自動作傳感裝置的被進(jìn)一步處理或轉(zhuǎn)換 后的數(shù)據(jù)。松弛度(Slack)所述松弛度作為動作原型的分類間距的非線性乘數(shù)。所述松弛 度越高，相關(guān)動作原型越可能來為給定示例動作分類。同樣的，所述松弛度越低，相關(guān)原型 越不可能為給定示例動作分類。在一個實施例中，在動作識別器中松弛度可以有效描述給 定類的分類公差(classification tolerance)。訓(xùn)練集(Training set)一組用于產(chǎn)生動作識別器的動作信號(未處理過的或處 理過的)。所述訓(xùn)練集可以有多種可能的形式。在此應(yīng)用中，訓(xùn)練集是動作信號子集的集 合，其中每個子集的每個成員共享相同的明確的或不明確的標(biāo)簽。例如，明確的類標(biāo)簽可以 為“正手”，“反手”和“發(fā)球”。如果明確的標(biāo)簽是不可用的，則可以使用不明確的標(biāo)簽，其源 自動作所屬的子集。例如，如果所述訓(xùn)練集有五個不同未標(biāo)簽的動作信號的子集，動作的每 個子集的不明確標(biāo)簽可以依次為“子集1”... “子集5”。· 2實施例的詳細(xì)描述圖IA示出了本發(fā)明的一個實施例100，其中顯示器103、控制器102和計算單元 108是三個獨立的裝置。這種設(shè)置反應(yīng)了一種典型的計算視頻游戲系統(tǒng)，如Nintendo (任天 堂)Wii或索尼的PS3。如上述定義，終端用戶101是一個典型的客戶或終端用戶，其移動所述控制器102 以產(chǎn)生可應(yīng)用在所述計算單元108中各種應(yīng)用程序上的動作信號。本發(fā)明的特點、優(yōu)點或 益處之一在于為所述終端用戶提供一種新的能力去在所述計算單元108中的一個或多個 應(yīng)用程序107中為他們創(chuàng)建屬于自己唯一的個性化動作控制接口。
在此實施例中，所述控制器102可以是動作傳感裝置，該動作傳感裝置可以包括 一個或多個獨立的慣性傳感器，如加速計(accelerometers)、陀螺儀和磁力計。當(dāng)所述終端 用戶101移動所述控制器102時，所述控制器102產(chǎn)生可輸入給所述計算單元108的動作 信號104的數(shù)據(jù)流。所述動作信號104是所述控制器102的輸出，其以一定方式封裝后通過有線或無 線的形式魯棒(robust)和高效地傳輸?shù)剿鲇嬎銌卧?08中。圖IB示出了一個用戶畫一 個圈(用“0”表示，從111到112)的動作所產(chǎn)生的一個示例動作信號110。所述動作信號 110示出了在點114和點116之間的大概400個樣本數(shù)據(jù)或幀數(shù)據(jù)，其中所述動作信號點 114表示所述動作的開始111，所述動作信號點116表示所述動作的結(jié)束112。在這個示例 中，每幀數(shù)據(jù)包括四個浮點數(shù)，其表示傳感器在給定點上沿給定軸線的實時加速度。這樣， 所述動作信號110是表示一段時間的動作的時間序列數(shù)據(jù)(time series data)。有時，所 述術(shù)語“動作信號流”可以與“動作信號”互相替換的使用以表達(dá)從動作傳感裝置中獲取的 數(shù)據(jù)是連續(xù)的數(shù)據(jù)流這樣的事實。所述識別器產(chǎn)生器105 (recognizer maker)是所述計算單元108中的一個模塊。 所述識別器產(chǎn)生器105可以為所述終端用戶創(chuàng)建專用個性化動作識別器。在動作識別器創(chuàng) 建過程中，所述識別器產(chǎn)生器105可以將所述動作信號104作為輸入以更新或創(chuàng)建新的動 作識別器106，然后更新所述顯示器103為所述終端用戶101提供的反饋信息。在本實施例 或其他實施例中，所述識別器產(chǎn)生器是為所述終端用戶而不是開發(fā)者所提供的。所述動作 識別器包括哪些動作和它們?nèi)绾螆?zhí)行都是由所述終端用戶完全自主決定的。在一個實施例中，集成有識別運(yùn)行時庫(recognition runtime library，簡稱識 別RTL)的多個應(yīng)用程序107是所述計算單元108中應(yīng)用程序(如，視頻游戲)的集合，其 中每個應(yīng)用程序107都單獨包括有一個動作識別運(yùn)行時庫。每個應(yīng)用程序?qū)⑺鰟幼餍盘?104作為其輸入的一部分，并且可響應(yīng)一個或多個動作識別器106。所述應(yīng)用程序107響應(yīng) 所述終端用戶101的動作去以某種方式更新所述顯示器103和他們內(nèi)部的狀態(tài)。一般來 講，對于類似于視頻游戲的應(yīng)用程序來說，動作識別器106需要為不同年齡的數(shù)百萬用戶 工作。這樣，所述動作識別器必須對由于不同身體結(jié)構(gòu)而在動作信號中產(chǎn)生的變化、所有范 圍的力度和長度的變化、控制器的抓握方式的不同、開始和結(jié)束方位的改變具有較強(qiáng)的魯 棒性(Robust)。所有的這些變化均會對形成的動作數(shù)據(jù)產(chǎn)生很大影響。所述計算單元108負(fù)責(zé)接收來自所述控制器102的輸入信號，加載和運(yùn)行所述識 別器產(chǎn)生器105、所述應(yīng)用程序107和所述識別器106，以及更新所述顯示器103。圖2示出了本發(fā)明的一個實施例200，其中顯示器、控制器和計算單元集成為一個 裝置。這種設(shè)置反映了一個典型的移動系統(tǒng)，比如Apple iPhone或Sony PSP0本發(fā)明的特 點、優(yōu)點或益處之一在于為終端用戶201提供一個新的能力去在計算單元208中的一個或 多個應(yīng)用程序206中為自己生成唯一的個性化動作控制接口。所述計算單元208包括一系列動作傳感器202 (比如獨立的慣性傳感器)，當(dāng)終端 用戶201移動所述計算單元208時，動作傳感器202可以產(chǎn)生動作信號，所述動作信號提供 給識別運(yùn)行時庫203，所述識別運(yùn)行時庫203與創(chuàng)建的動作識別器204 —起執(zhí)行運(yùn)動識別。在所述計算單元208中的一個或多個應(yīng)用程序206共享所述識別運(yùn)行時庫 (recognition run time library)203，運(yùn)動控制服務(wù)層207在所述應(yīng)用程序206、所述識別運(yùn)行時庫203和識別器產(chǎn)生器207之間提供仲裁。所述識別運(yùn)行時庫203從所述動作傳感 器202中接收連續(xù)的動作信號流，響應(yīng)一個或多個識別器204，提供動作識別信號并反饋給 所述應(yīng)用程序206和所述識別器產(chǎn)生器207。系統(tǒng)反饋通過所述計算單元208顯示給所述 終端用戶201。所述識別器產(chǎn)生器207是所述計算單元208中的一個模塊。所述識別器產(chǎn)生器 207的主要作用是為所述終端用戶創(chuàng)建專用個性化動作識別器。在所述識別器的創(chuàng)建過程 中，所述識別器產(chǎn)生器207從所述識別運(yùn)行時庫203中獲取處理過的動作信號，然后基于不 斷來自所述動作傳感器202的動作信號和/或新的動作信號以更新或創(chuàng)建新的識別器204， 隨后更新所述計算單元208中的所述顯示器以為所述終端用戶201提供反饋。在本實施例 或其他實施例中，所述識別器產(chǎn)生器是為所述終端用戶而不是開發(fā)者所提供的。所述識別 器產(chǎn)生器必須可以運(yùn)行于終端用戶手持的計算單元中。所述動作識別器中包括哪些動作和 它們?nèi)绾螆?zhí)行都是由所述終端用戶完全自主決定的。所述動作控制服務(wù)層205為應(yīng)用程序206提供共享動作控制服務(wù)的定位、綁定和 使用，該共享動作控制服務(wù)是由所述動作傳感器202、識別運(yùn)行時庫203和動作識別器204 聯(lián)合為運(yùn)行在所述計算單元208上的多個應(yīng)用程序提供的。為應(yīng)用程序206提供的所述共 享動作控制服務(wù)包括動作分類，動作識別調(diào)整，以及保存和加載經(jīng)由所述識別器產(chǎn)生器207 創(chuàng)建的新的動作識別器。本發(fā)明不局限于實施例100或200中描述的特定的硬件結(jié)構(gòu)。例如，所述計算單元 108和控制器102可以為可控制所述顯示器103(比如，電視或投影儀)的智能手機(jī)。同樣， 所述計算單元108可以為一個標(biāo)準(zhǔn)的筆記本電腦，其連接監(jiān)視器或電視作為顯示設(shè)備103， 一個控制筆可用作所述控制器102，網(wǎng)絡(luò)攝像頭可跟蹤產(chǎn)生所述動作信號104的動作。在一 個實施例中，所述計算設(shè)備108和網(wǎng)絡(luò)攝像機(jī)可設(shè)置于動物或其他的玩具中，比如泰迪熊， 當(dāng)孩子與泰迪熊玩兒時，所述控制器可以在孩子的手中。其他應(yīng)用程序可以包括敲打康復(fù) 的醫(yī)療程序，在該程序中物理醫(yī)療師可以為在家里的患者創(chuàng)建新的動作控制方案來滿足他 們的個性化需求。圖3示出了本發(fā)明在一個實施例中的功能方框圖300。所述動作信號304包括許 多不同的信號，所述不同信號可以表示持有零個或多個動作傳感裝置302的終端用戶301 的運(yùn)動或動作。所述動作信號304可以輸送給識別器產(chǎn)生器305，還可以輸送給動作感應(yīng)應(yīng) 用程序308和識別運(yùn)行時庫307，其中所述動作感應(yīng)應(yīng)用程序308是可以由終端用戶的動作 控制的程序，比如視頻游戲等。所述識別器產(chǎn)生器305響應(yīng)所述動作傳感裝置302可建立 通用專用動作識別器306。本發(fā)明的一個特征、優(yōu)點和益處為所述終端用戶提供一種能力去 創(chuàng)建通用個性化專用動作識別器，所述通用專用動作識別器可用于識別各種不同類型的動 作，而不僅是由手的大幅度移動產(chǎn)生的動作。所述動作傳感裝置302包括可以捕獲終端用戶301的大范圍運(yùn)動的多個不同類型 的設(shè)備。來自所述動作傳感器302的未處理(raw)的動作信號被輸送給適配器310，所述 適配器310用多種方法(下文詳細(xì)描述)處理未處理的動作信號以產(chǎn)生處理過的動作信號 304。在此實施例中，所述識別器產(chǎn)生器305創(chuàng)建動作識別器306，所述動作識別器306可以 識別各種類型的動作信號流304.所述應(yīng)用程序308直接與獨立識別運(yùn)行時庫307交互或直接與內(nèi)置于其內(nèi)的識別運(yùn)行時庫交互，所述獨立識別運(yùn)行時庫307在計算單元309中作為一種服務(wù)對所有應(yīng)用程
序都可用。在此實施例中，動作信號源可以包括一個慣性傳感控制器，其輸出包括與現(xiàn)實空 間的物理移動同步的按鈕的按壓或操縱桿的移動，其中所述按鈕的按壓和操縱桿的移動可 以作為所述動作信號304的一部分。在一個實施例中，動作信號源可以包括網(wǎng)絡(luò)攝像機(jī)，其通過某些處理可以輸出與 所述終端用戶的頭、肩或軀干的圖像平面有關(guān)的位置和方向信息，這些信息也可以作為所 述動作信號304的一部分。在其他實施例中，動作信號源還可以包含觸摸屏上的痕跡，這些痕跡也可以作為 所述動作信號304的一部分。其他相當(dāng)然可能的示例也應(yīng)當(dāng)被考慮為在本發(fā)明的保護(hù)范圍 中。在本實施例中，一個終端用戶301使用所述識別器產(chǎn)生器305創(chuàng)建專用個性化動作識 別器306，所述動作識別器306可以響應(yīng)包括各種數(shù)據(jù)類型的動作信號304的集合的每個成 分。顯示器303、識別運(yùn)行時庫307、應(yīng)用程序308和計算單元309與實施例100和200中 的對應(yīng)的模塊具有相似的功能。所述識別器產(chǎn)生器305執(zhí)行如圖4中描述的相似過程。所 述識別運(yùn)行時庫307執(zhí)行如圖5中描述的相似過程。圖4示出了本發(fā)明在一個實施例中創(chuàng)建專用動作識別器的流程400。所述流程400 可以通過軟件(比如，圖1中的識別器產(chǎn)生器105)、硬件或軟硬件結(jié)合的方式實現(xiàn)。本流 程400的一個特征、優(yōu)點或益處之一在于為終端用戶提供一種能力去在主機(jī)計算平臺上產(chǎn) 生魯棒的專用動作識別器。在步驟401中載入訓(xùn)練集。所述訓(xùn)練集包含一個或多個類，每個類表示共享相同 類標(biāo)簽的動作信號的子集，其中每個動作信號用于描述終端用戶的隨時間的動作。根據(jù)終 端用戶執(zhí)行的動作示例或終端用戶選擇的動作示例來完整地建立所述訓(xùn)練集。在實現(xiàn)時， 所述動作信號可以為未處理的信號，也可以為處理后的信號。在描述所述流程400時，假設(shè) 所述動作信號是被處理后的。動作識別器結(jié)構(gòu)要求知道所述訓(xùn)練集中所有動作信號之間的成對距離(pairwise distances)。所有成對距離都是需要的，但是只有一小部分成對距離需要計算，而其余的可 以通過推斷得出。計算和存儲所述訓(xùn)練集的所有成對距離對典型主機(jī)計算單元來說是不現(xiàn) 實的。在步驟402中，在接收到所述訓(xùn)練集后，識別器產(chǎn)生器開始計算在訓(xùn)練集中所有 動作信號之間的成對距離的最小可能子集。計算所述訓(xùn)練集的相同類的所有實質(zhì)上不同的 動作信號之間的成對距離。在一個實施例中，所述距離測量(或價值函數(shù))是獨特的時間 卷曲測量(time-warp based measure)，其為兩動作信號的逐幀差別分配一些代價。對于圖 IB中的示例動作信號來說，其包括大概400幀數(shù)據(jù)，每幀包括四個浮點數(shù)，這個動作信號可 能與另一個動作信號(比如300幀數(shù)據(jù))進(jìn)行比較。在所述距離測量時有幾種代價成分， 比如每個點的一階導(dǎo)數(shù)、二階導(dǎo)數(shù)和三階導(dǎo)數(shù)的差分，隨時間的不同敏感度，所有的這些成 分都做不同的考量和結(jié)合。在步驟403中，當(dāng)接收到在步驟402中計算出的每類的成對距離，對訓(xùn)練集的每個 類基于這些成對距離計算動作聚類(clusters of motions)。相同聚類中兩個成員之間的 最大距離作為每個聚類的寬度。推薦一個單獨聚類代表。由于推斷不在步驟402中計算的動作信號之間的成對距離接近等于對應(yīng)聚類代表之間的距離，聚類的寬度將被最小化。在步驟404中，計算剩余的不能被準(zhǔn)確推斷的成對距離。首先計算所有類中的所 有聚類代表的成對距離，然后為可能互相混淆的任兩個聚類中的所有成員計算成對距離。 在步驟404的最后，所有成對距離要么被計算要么被推斷出，隨后所述流程400開始進(jìn)入步 驟405開始動作原型的選擇。第一次進(jìn)入步驟405后，在所述訓(xùn)練集中的所有動作信號均被作為創(chuàng)建的動作識 別器(比如在步驟415中的最終識別器)中原型的候選。無論所述動作分類器的容量如何， 在訓(xùn)練集中每一類必須在所述動作識別器中有至少一個動作原型。每次進(jìn)入步驟405后， 均重新計算每個類的最佳候選原型。所述最佳候選原型是指在其類中的其他成員的分離度 (degree of separation, DOS)降低最多的一個，下面將進(jìn)行詳細(xì)的描述。在步驟405中一旦計算出每類中最佳候選原型，就需要在步驟406中進(jìn)行測試以 核查在步驟405中的原型選擇是否為初次通過。如果是初次通過，則所述流程400進(jìn)入步 驟407，將每類中的最佳候選原型增加為步驟415中產(chǎn)生的動作識別器(最終識別器)中的 原型。如果原型選擇不是初次通過(即步驟406為否)，并且步驟411測試通過(比如， 當(dāng)前的每類的精確度和未完成的動作識別器處于均衡狀態(tài)，以至于沒有類的識別性能較第 二差更差)，則步驟412會選擇當(dāng)前最佳候選作為原型加入到步驟415中的所述最終識別器 中。否則，在步驟414中，選擇當(dāng)前性能最差類的候選以作為下一個原型。在流程400進(jìn)入步驟408之前，步驟407、414和412是為了確定用于選作原型的 候選。例如，給定候選的在步驟405中計算出的最佳分類距離被設(shè)置和存儲為所述原型的 一部分。在步驟408中，如果達(dá)到所述容量，流程400進(jìn)入到步驟415中以最終確定所述識 別器，然后所述識別器產(chǎn)生器在步驟416中結(jié)束工作。如果還沒有達(dá)到所述容量，將在步驟 409中執(zhí)行寬度核查。應(yīng)當(dāng)注意的是，在步驟415中產(chǎn)生的所述動作識別器完全由所述終端 用戶生成，而不局限于何種動作可以使用和終端用戶如何去執(zhí)行它們。在步驟409中，執(zhí)行寬度核查。如果所述剩余所有候選的分離度均為0，則核查成 功。此時，不再向訓(xùn)練接401內(nèi)增加候選以提高所述訓(xùn)練集401的預(yù)測性能。當(dāng)此寬度核 查通過時，給任意給定訓(xùn)練集自動設(shè)定推薦容量。在所述寬度核查409為成功時，在步驟413，忽略已選擇原型的影響，為每個剩余 候選重新計算其所述分離度，隨后控制所述流程400返回步驟405。這可以在創(chuàng)建動作識別 器時，充分利用用戶選定的容量。通過對所述訓(xùn)練集401的二次抽樣選擇下一組候選原型， 其中此時所述訓(xùn)練集401中不存在已選擇的原型。在所述最終動作識別器投入到實際應(yīng)用 中時，在第一次通過步驟413后加入的額外原型可以顯著地提高所述最終動作識別器的識 別性能。當(dāng)所述寬度核查失敗時，根據(jù)步驟407、412或414獲取的最新原型更新所有剩余 候選的分離度，然后流程400返回到步驟405中。在步驟415中最終確定了所述動作識別器后，流程400進(jìn)入到問題檢測和反饋的 步驟418中。在一個實施例中，在流程400執(zhí)行期間可能發(fā)現(xiàn)多個問題，它們會通過系統(tǒng)顯 示器(如實施例100和200中的顯示器)來匯報給所述終端用戶。
圖5示出了本發(fā)明在一個實施例中動作識別運(yùn)行時庫(比如圖3中的識別運(yùn)行 時庫307)執(zhí)行動作識別的流程或程序500。本實施例的一個特征、優(yōu)點或益處之一在于為 所述終端用戶提供一種能力去使用專用個性化動作識別器，所述個性化動作識別器是在魯 棒、靈活和有效的方式下產(chǎn)生的，這樣可以使動作感應(yīng)應(yīng)用程序在較寬范圍內(nèi)使用。在步驟502中通過選擇和加載至少一個動作識別器來初始化所述識別運(yùn)行時庫 (RTL)。初始化后，在步驟503中，根據(jù)每類的函數(shù)、每個動作信號的可能類型以及松弛度修 改在所述動作識別器中的每個原型的分類距離。這樣，終端用戶可以控制分類性能，所述終 端用戶可以在不改變動作分類器的組成的情況下調(diào)整所述分類性能。在步驟505開始分類之前，新的未處理的動作信號504輸入到所述識別運(yùn)行時庫 中。實際應(yīng)用中，可以有多個不同的動作信號流，同時也有多個不同的計算線程505-516并 列運(yùn)行。例如，所述Nintendo Wii有8個動作傳感控制器，每傳感控制器產(chǎn)生可被并列識 別的動作信號504。在初始化所述動作識別器和接收到新的未處理的動作信號后，在步驟505中，作 用于所述流程500的應(yīng)用程序可以命令“開始分類”。所述應(yīng)用程序和所述識別運(yùn)行時庫 之間可以共享有數(shù)據(jù)緩沖器，所述識別運(yùn)行時庫在步驟505開始當(dāng)前識別線程，所述當(dāng)前 識別線程對逐幀生成的動作信號504進(jìn)行處理。每次對數(shù)據(jù)緩沖區(qū)進(jìn)行更新后可能包含零 個、一個或多個幀的未處理動作信號504數(shù)據(jù)。在分類的開始階段，在步驟506中，當(dāng)前未處理的動作信號數(shù)據(jù)每次被處理一幀。 在一個實施例中，通過自適應(yīng)濾波完成所述處理，其中在進(jìn)入步驟507之前，很多未處理動 作信號數(shù)據(jù)都被概括為數(shù)據(jù)中的突出興趣事件(highlightinteresting events) 0這里的 “興趣”是對幀數(shù)據(jù)進(jìn)行概括，其中所述運(yùn)動的一個或多個組成成分的所有速度或加速度需 要超過一定閾值，或者兩個最后處理點之間存在足夠時間。另外，請參見圖IB所示，在開始 樣本114之前和在結(jié)束樣本116之后的樣本均被過濾掉。對于慣性數(shù)據(jù)來說，自適應(yīng)濾波會 對未處理動作信號數(shù)據(jù)產(chǎn)生50% -90%的壓縮率。例如，對圖IB中的示例動作信號來說， 400幀的未處理輸入信號可能被轉(zhuǎn)換為40幀的處理輸入信號，這樣步驟507只需要訪問40 次。在步驟507中，在步驟506中產(chǎn)生處理后的動作信號數(shù)據(jù)后，便可以更新所述動作 識別器中每個剩余原型的運(yùn)行距離(running distance).所述距離度量與圖4中步驟402 中的相同。在一個實施例中，利用迭代動態(tài)規(guī)劃方法來執(zhí)行所述距離測量的增加更新。在步驟508中，為每個剩余原型執(zhí)行早期去除計算。所述早期去除計算用于根據(jù) 給定動作信號504的當(dāng)前運(yùn)行距離判斷所述最佳最后距離是否在所述原型的基于松弛度 修改后的分類距離內(nèi)。如果答案為否，則將所述原型從進(jìn)一步考慮的原型中去除，直到所述 應(yīng)用程序的新“開始分類”信號重新開始新分類線程505-516。在步驟509中，更新當(dāng)前最佳預(yù)測。預(yù)測可以采取很多形式。在一個實施例中，預(yù) 測是原型的序列表，所述序列表還包括每個原型的當(dāng)前進(jìn)度、預(yù)測的當(dāng)前置信度以及所述 動作信號的當(dāng)前運(yùn)行距離。這樣，可在任何時間返回預(yù)測。在步驟510中，如果沒有剩余原型，則在步驟515中返回當(dāng)前最佳預(yù)測，隨后在步 驟516結(jié)束線程。根據(jù)定義，這個預(yù)測可以為“未確定”或“未知”。如果還有剩余原型，在步驟515中等到“結(jié)束分類”信號后，則控制所述流程500
14再次返回到步驟515。在這種情況下，步驟515返回的所述預(yù)測將是所述當(dāng)前最佳預(yù)測509 的函數(shù)，例如，它可以為當(dāng)前最高排序剩余原型的類，它也可以是當(dāng)前最佳預(yù)測中所有剩余 原型的加權(quán)數(shù)。如果沒有等到結(jié)束分類信號，則在步驟512中檢查是否有未處理問題。在一個實 施例中，問題包括“所述終端用戶的識別分?jǐn)?shù)(看到的鎖定得分)是多少”，“一個給定動作 的當(dāng)前進(jìn)展如何”，“當(dāng)前最佳預(yù)測的置信度多少”以及“混淆動作是什么”。如果有未處理 問題，所述流程500進(jìn)入步驟513，在此步驟中根據(jù)在步驟509中計算得到的最佳當(dāng)前預(yù)測 進(jìn)行各種計算以解決所述未處理問題。步驟512后的兩條路徑都會返回步驟506去進(jìn)行下 一幀動作信號504的處理。圖6示出了本發(fā)明在一個實施例中創(chuàng)建動作識別器的流程或程序600，其中動作 感應(yīng)應(yīng)用程序同時在使用所述創(chuàng)建的動作識別器。當(dāng)用戶執(zhí)行動作感應(yīng)應(yīng)用程序(比如視 頻游戲)時初始化所述流程600。在流程600中，所述應(yīng)用程序受控于用戶創(chuàng)建的專用動作 識別器，其中該專用動作識別器對終端用戶來說是個性化的和獨一無二的，在所述應(yīng)用程 序執(zhí)行時同時創(chuàng)建和更新所述專用動作識別器。本實施例的一個特征、優(yōu)點或益處在于所 述應(yīng)用程序可以很快的適應(yīng)一終端用戶，終端用戶可以在所述應(yīng)用程序中進(jìn)行精確的個性 化動作控制。在步驟602中，加載已存在的動作識別器，所述動作識別器可以根據(jù)圖4中的流程 400創(chuàng)建，所述應(yīng)用程序也可以預(yù)定義或預(yù)加載所述動作識別器。在步驟603中所述用戶根據(jù)需要移動一控制器。這可以為執(zhí)行視頻游戲的一個動 作或簡單地從一個位置移到另一個位置。由于所述控制器發(fā)生移動，在步驟604中則會接 收到動作信號，所述動作信號輸入到至少兩個并行獨立的模塊步驟605中的識別器產(chǎn)生 器和執(zhí)行在步驟607中的應(yīng)用程序。在步驟605中，利用所述動作信號建立新的動作識別器或更新已存在的動作識別 器，其中所述動作信號最好是處理后的版本。當(dāng)所述用戶做新類型的動作并且沒有動作識 別器可以響應(yīng)時，可以更新已存在的動作識別器以識別所述新類型的動作，或?qū)?yīng)的創(chuàng)建 一個新的動作識別器。當(dāng)一動作識別器響應(yīng)由所述終端用戶做的動作時，則更新或增強(qiáng)所 述動作識別器以使其對所述動作做出更好的響應(yīng)。在步驟606中，存儲更新的或新產(chǎn)生的動作識別器。在一個實施例中，在步驟609 中可以將所述新產(chǎn)生的動作識別器加載到與步驟605并列執(zhí)行的步驟607中的應(yīng)用程序 中，將所述新產(chǎn)生的動作識別器與所述先前加載的動作識別器結(jié)合在一起以修整正在進(jìn)行 的動作識別進(jìn)程。所述用戶看著顯示屏繼續(xù)移動所述控制器以與所述應(yīng)用程序進(jìn)行交互。 在步驟607中利用加載的動作識別器來識別所述用戶的動作。隨著所述應(yīng)用程序和所述識 別器產(chǎn)生器的進(jìn)程，在步驟608中更新所述顯示屏，具體的描述將在下面進(jìn)行討論。在一個 實施例中，在創(chuàng)建所述動作識別器的過程中恰當(dāng)?shù)姆答伿潜夭豢缮俚?。在一個實施例中，步驟607中的所述應(yīng)用程序可以嵌入有識別運(yùn)行時庫(比如圖3 中的307)或者具有識別運(yùn)行時庫的訪問接口。在步驟607中的所述執(zhí)行應(yīng)用程序可以接 收動作信號，接收來識別運(yùn)行庫的動作識別信號以及其他信息，并在步驟608中根據(jù)這些 信息更新所述顯示屏?！?3終端用戶的專門個人化識別器產(chǎn)生器
本發(fā)明的一個實施例使得普通大眾(換句話說也就是非所屬領(lǐng)域的專業(yè)人員)可 以創(chuàng)建專用個性化跨應(yīng)用的動作識別器。為動態(tài)的人體動作建立魯棒性的、能夠識別一組 預(yù)定義動作的動作識別器，所述預(yù)定義動作需要以特定方式執(zhí)行，這是一項要求很有挑戰(zhàn) 性的任務(wù)，這需要具有很強(qiáng)背景知識并且耗費大量時間精力。為未預(yù)定義的能夠以未預(yù)定 義的方式執(zhí)行的動作建立魯棒性的動作識別器，更是遠(yuǎn)遠(yuǎn)超出當(dāng)前技術(shù)，熟悉該領(lǐng)域的大 部分技術(shù)人員都會對其前景畏縮，更別提普通大眾了?，F(xiàn)在，本發(fā)明優(yōu)選的實施例可使得普 通大眾能夠正確創(chuàng)建這種動作識別器。為了使終端用戶愿意和能夠創(chuàng)建專用個性化識別器，所述識別器產(chǎn)生器應(yīng)當(dāng)具有 以下功能(a)終端用戶動作設(shè)計問題的檢測和反饋；(b)在主機(jī)單元上快速近似分類器構(gòu) 建；和(c)識別器參數(shù)的驅(qū)動數(shù)據(jù)確定。提供這些功能的詳細(xì)情況將在下面的“創(chuàng)建專用 動作識別器的終端用戶控制”中進(jìn)行講述。接著，所述動作識別器與一個識別運(yùn)行時庫(如圖3中的307) —起具有以下功 能(a)隨時最佳推測動作識別；(b)響應(yīng)應(yīng)用程序的隨時消歧樹反饋，和(c)分?jǐn)?shù)鎖定。這 些功能的詳細(xì)情況將在下面的“為所述動作感應(yīng)應(yīng)用程序提供及時反饋信息”中進(jìn)行講述。再接下來，產(chǎn)生一個動作識別器，所述動作識別器具有較寬范圍的輸入，包括(a) 各種輸入類型和設(shè)備，比如從三維動作數(shù)據(jù)，到按鈕按壓，到六維追蹤路徑等；(b)很寬范 圍的輸出響應(yīng)，包括雙重動作、關(guān)聯(lián)動作及其他識別形態(tài)等；和(c) 一個為所述動作信號提 供設(shè)備無關(guān)抽象的定義接口，這樣所述識別運(yùn)行時間庫是與設(shè)備無關(guān)的。詳細(xì)的情況將在 下面的“廣義識別”中描述?！?3. 1創(chuàng)建專用動作識別器的終端用戶控制本發(fā)明的一個較佳實施例將產(chǎn)生專用動作識別器的能力傳遞給了終端用戶，它是 通過在運(yùn)行時間終端用戶應(yīng)用程序中配置開發(fā)時間識別器產(chǎn)生器實現(xiàn)的，其中所述運(yùn)行時 間終端用戶應(yīng)用程序具有開發(fā)時間軟件(development timesoftware)的所有功能。當(dāng)所 述識別器產(chǎn)生器的用戶是終端用戶，而非專業(yè)應(yīng)用程序設(shè)計人員時，這兩者之間會有很大 的不同。例如，只有很少類型人的訓(xùn)練數(shù)據(jù)，所述終端用戶接受很少控制，所述主機(jī)計算平 臺能力更少，動作識別器的創(chuàng)建必須在所述終端用戶在時實現(xiàn)，脫機(jī)“批處理”形式的訓(xùn)練 有許多缺點而不能成為現(xiàn)實中唯一的選擇。原先可能必須由具有更多背景知識、技能和時 間的研發(fā)人員才能夠預(yù)先控制的參數(shù)，現(xiàn)在可以直接從所述數(shù)據(jù)中進(jìn)行計算。例如，對于無 法與給定的動作識別器匹配的動作，動作識別器必須能夠給出“無法識別”或“無法確定”的 反饋信息，由于專用動作識別器沒有預(yù)定義允許動作所述動作識別器以“感覺正確”的方式 為大多數(shù)終端用戶進(jìn)行動作識別。新的方法還講述了在主計算平臺上創(chuàng)建動作識別器，或 者調(diào)整修復(fù)已有的動作識別器的方法?！?3. 1. 1終端用戶動作設(shè)計問題檢測和反饋熟練的動作控制開發(fā)人員可能會得益于很多有效的反饋信息和一些采集工具，其 包括一系列調(diào)試工具；精細(xì)調(diào)整動作識別器偏差的控制參數(shù)；和幫助管理動作樣本子集 以創(chuàng)建不同訓(xùn)練和測試集合的工具等。然而對于不熟練的終端用戶來說，這些大量的采集 調(diào)試工具和控制按鈕是不受歡迎的。對一個終端用戶來說，很希望獲得以下兩種反饋信息 動作混淆的檢測和反饋；用于提醒的視覺追蹤。這兩種反饋信息足夠建立一個個性化專用 識別器。
動作混淆的檢測和反饋。參見圖3所示，當(dāng)終端用戶通過所述識別器產(chǎn)生器305創(chuàng) 建一個動作識別器306時，唯一不能夠通過自動方式進(jìn)行處理的錯誤類型是一個動作設(shè) 計的很糟糕并且需要改變。當(dāng)終端用戶動作的力量太小，無法被所述控制器302(亦即，其 中的傳感器)捕捉到時，或動作太短而不能產(chǎn)生可感覺到的動作信號304時，或這種強(qiáng)烈的 動作導(dǎo)致所述302中的內(nèi)部傳感器“脫軌”(rail)或已達(dá)最大極限時，均會產(chǎn)生這種錯誤。 在這些情況下，所述檢測和隨后的反饋均是明確的(straightforward)。所述終端用戶必須 通過修改他/她的動作設(shè)計來糾正這個問題。例如當(dāng)兩個動作(如，兩個接近垂直的劍砍砍擊180和砍擊190)在動作信號空 間距離非常近時，糟糕的動作設(shè)計會引起更多的挑戰(zhàn)性的問題。這種問題的影響將會通過 多種方式表現(xiàn)出來。首先，所述動作可能會相互混淆，其中砍擊180經(jīng)常被錯誤分類為砍擊190。當(dāng)兩 個動作都經(jīng)常與對方相互混淆時，錯誤分類可以是對稱的。錯誤分類也可以是單方面的，例 如砍擊180經(jīng)常會與砍擊190混淆，但反過來不會。在這種情況下，在一個實施例中，要在 識別器創(chuàng)建過程(程序400)中執(zhí)行檢測，該檢測是通過從所述訓(xùn)練集合的子集中創(chuàng)建一個 混淆矩陣來執(zhí)行，處理所述混淆矩陣以尋找熱點Oiotspots)。
動作旋 轉(zhuǎn) allCircle重 復(fù) allCuckoo一致 allSquare自殺 allHari猛擊allJab旋轉(zhuǎn) allCircle660513042重復(fù) allCuckoo0425123一致 allSquare21052049自殺 allHari46038525猛擊allJab110426299上面為一個示意的混淆矩陣。例如，在猛擊這一行，表明在320個測試猛擊中， 299個被正確識別(所述猛擊列)，1個被錯誤地識別為旋轉(zhuǎn)，10個被錯誤地識別為重復(fù) (Cuckoo)，等等。一個熱點是旋轉(zhuǎn)行和猛擊列，其表明猛擊列錯誤地(不對稱地)將42個 旋轉(zhuǎn)錯誤地分類為猛擊。降低猛擊列中的松弛度(slack)即可解決這個問題。另一個熱點 是猛擊和自殺單元格。所述混淆矩陣記錄(25和26)顯示這些動作另一動作發(fā)生了混淆。 在一個實施例中，給終端用戶的反饋表現(xiàn)為一個警示，警告用戶猛擊和自殺這兩個動作不 能有效區(qū)分，需要對其中一個進(jìn)行改變。第二，更壞的情況是，所述動作可能沒有與其他動作混淆，但是它們的原型的分類 距離可能太小，使得很難成功執(zhí)行任何一個動作。這種情況下，在創(chuàng)建所述識別器產(chǎn)生器的 程序400中也會發(fā)生檢測。在一個實施例中，在進(jìn)行距離測量的402中，計算分類距離的總 的期望分布，并且計算訓(xùn)練集合中所有成對距離的總體平均值。最后，計算每類分類距離的 平均值，并與所述總的期望分布和總體平均值進(jìn)行比較。當(dāng)一個或多個終端用戶動作的平 均原型距離過小時，將產(chǎn)生一個警告，該警告排隊等候顯示給所述終端用戶，以指示他們， 他們的動作設(shè)計需要改變。用于提醒的視覺追蹤。一個典型的使用案例為一個終端用戶通過幾個會話 (sessions)與動作識別產(chǎn)生器305、動作識別器306和動作感應(yīng)程序308進(jìn)行互動，其中所述會話可能被分割成小時、天或星期。不幸的是，許多人的詳細(xì)物理動作記憶能力非常差。 例如，一個終端用戶在星期一創(chuàng)建了一個在手機(jī)上瀏覽應(yīng)用程序的動作識別器。當(dāng)他們在 周五再次回來使用時，他們可能已經(jīng)完全忘記他們是怎么握持所述控制器的，或者他們執(zhí) 行怎樣的動作表示允許他們?yōu)g覽所述網(wǎng)絡(luò)。根據(jù)一個實施例，這里描述的方法是雙重方法(two-fold)。第一個方法是，通過不 斷地修改下面的動作識別器，讓其與記憶無關(guān)(或忘記它)。在適當(dāng)?shù)那闆r下，當(dāng)用戶試圖 執(zhí)行一個動作并且接連失敗兩次時，他們會發(fā)現(xiàn)一個選項，該選項提示他們將所述最后動 作增加到所述訓(xùn)練集中，并且在當(dāng)前游戲中重新建立所述動作識別器。所述提示包括一個 種類列表，該列表的從最可能類別開始到到最不可能的類別結(jié)束。通過與程序500到509 中計算出的所述當(dāng)前最佳預(yù)測(current best predication)相比較來確定每個類的可能 性，如果哪一類的松弛度(slack)被增加，則選擇那一類作為最適合的類。所述終端用戶同 意將該動作增加到所述訓(xùn)練集中，并且通過選擇他們希望得出的標(biāo)簽來重建所述動作識別
ο第二個方法是，通過用戶的隨時間的實際跟蹤運(yùn)動的視覺顯示來提醒所述終端用 戶。當(dāng)系統(tǒng)中的動作信號304多到足夠提供追蹤信息時，可以提供這樣的顯示。例如，在系 統(tǒng)中所述動作信號包括足夠追蹤控制器302的隨時間的位置和方向的視頻或慣性信號。在 這種情況下，當(dāng)所述終端用戶詢問所述識別運(yùn)行時庫307時，所述終端用戶的先前動作以 及儲存于最可能類的種類列表中的最接近原型均被重建為追蹤對象并且逐一在所述計算 單元309的顯示器上顯示出來。兩個動作中的不同點被突出顯示出來，其給所述終端用戶 一個視覺方法來回憶他們的先前動作樣本是什么。對于熟悉該領(lǐng)域的技術(shù)人員來講，所述 重建動作追蹤所采取的具體形態(tài)與本發(fā)明是不相關(guān)的。例如，其可以是一個握著控制器的 手，也可能是一個虛擬的握著一個箭頭的棍狀圖形。3. 1. 2快速、近似分類器創(chuàng)建終端用戶應(yīng)用程序響應(yīng)命令具有重大的意義。在一個實施例中，下面三種方法常 被用于建立一個識別器，其幾乎是最理想的，使用CPU和存儲器資源最小，并且能夠在任何 時間返回一個近似識別器(例如，能在任意時間點，甚至在計算的中間，返回一個有效結(jié) 果)。具有隨時響應(yīng)的在線創(chuàng)建。當(dāng)所述樣本數(shù)據(jù)輸入時，所述識別器產(chǎn)生器305可以 以在線或非批處理的模式運(yùn)行。在一個較佳實施例中，程序400使用在線創(chuàng)建模式，其中新 的識別器通過示例基礎(chǔ)基于一個示例不斷被創(chuàng)建。這種在線創(chuàng)建模式很自然地用來處理一 些實例中，在這些實例中用于訓(xùn)練的所有數(shù)據(jù)經(jīng)常出現(xiàn)在與一個終端用戶的一個會話中。 這種模式是高度期望的，因為用戶可以要求，并且在一個合理的平臺上接收，最好的識別器 在任何時間點給予當(dāng)前數(shù)據(jù)。自適應(yīng)濾波。在系統(tǒng)300中，所述動作信號304在它們被連接到所述識別器產(chǎn)生 器305之前，在所述適配器310中通過自適應(yīng)濾波對它們進(jìn)行處理，這樣只有信號中的感興 趣部分被保留下來。慣性數(shù)據(jù)的所述感興趣部分包括，例如，什么時候線性的相對數(shù)量級或 角加速度的變化超過一個動作的相鄰樣本的臨界值，或什么時候一個或多個加速的軸線的 相對數(shù)量級變化在某些時間段超過了臨界值，或兩個最后處理點之間存在足夠時間。對于 其他類型的動作信號，什么是感興趣部分的概念幾乎是相同的。優(yōu)點在于(1)處理過的動作信號在長度上一般比較短(在一個實施例中達(dá)到原來的五分之一長)，減少了與動作識 別器的創(chuàng)建和使用有關(guān)的計算時間，和O)因為在分類之前，所述信號中不相關(guān)的部分已 經(jīng)被移除，所以能夠提高分類的精確度。部分距離計算。如程序400中所述，最優(yōu)的動作識別器的創(chuàng)建需要所述訓(xùn)練集合 中動作信號之中的所有成對距離。計算和訪問其占用多達(dá)99 %的總記憶存儲量和識別器創(chuàng) 建所需求的CPU。在較佳實施例中，所有可能成對距離中僅有小部分的計算對于分類精確度 沒有顯著的影響。大多數(shù)都是靠廉價的推斷。所述結(jié)果計算為0(f(n/C)~2)，其中f是經(jīng)過 適當(dāng)過濾之后動作信號的平均長度，且c是所述識別器中分類或動作的數(shù)量。在特定實例 中的優(yōu)點是，終端用戶等待的時間(以及接下來的電池消耗)比其他可能的情況要縮短大 約幾個數(shù)量級。該方法(如程序400中的步驟402-404中所述)使用下面的度量空間的的一般特 性如果從A到B的所述距離(即，dAB)小，而dAC大，則dBC大。當(dāng)所述識別器產(chǎn)生器305 知道動作A和動作B是相同的類，而動作C不是相同的類，并且進(jìn)一步知道dAB小，dAC大 時，所述識別器產(chǎn)生器因為知道它不會與A、B類或C類的好的原型的選擇有關(guān)，所以所述識 別器產(chǎn)生器將不會再花時間去計算dBC。利用這個方法的一個重要障礙是大多數(shù)距離函數(shù)對于時間序列數(shù)據(jù)很有效，但在 用于定義度量空間時不夠好。所以程序400的步驟403和步驟404中使用的基于前述特性 的推斷就會失敗。具體來講，所述三角不等式(dAB+dBC>=dAC)會失敗。從概念上理解， 這是因為我們的每一個距離計算-樣本時間數(shù)量和動作軸數(shù)量，實際都發(fā)生在高維空間， 然后被簡化成了單一數(shù)值。在一個實施例中，部分距離計算的方法通過計算三角不等式的可能失敗的邊界附 近的足夠多的額外成對距離，來修正該缺陷，以獲取可能大致正確的具有較高可能性的結(jié)^ ο產(chǎn)生的方法如下(1)計算給定的類中所有成對距離中的一小部分；( 抽取每個 類中的一小組聚類，選擇聚類(cluster)的質(zhì)心，將隨后的訓(xùn)練樣本分配給其他類中最接 近的聚類，或如果沒有足夠接近的聚類則產(chǎn)生新的聚類，這就要求計算聚類質(zhì)心與每一個 被檢測聚類的樣本之間的至少有一個成對距離；C3)計算所有類的所有聚類質(zhì)心之間的所 有成對距離；和(4)通過使用他們各自的聚類質(zhì)心距離根據(jù)需求估計所有其他成對距離。 當(dāng)所述聚類的邊界相交，或接近相交時，預(yù)示三角不等式更有可能失敗。當(dāng)那個代表距離不 夠大，來淹沒所述三角不等式的失敗時，則將計算所述兩個各自的聚類的成員之間的額外 距離。該方法在可控制地消除大量必需的成對(pair-wise)時間卷曲距離計算上是成功 的，在偶爾次優(yōu)原型選擇的代價上是成功的。.3.1.3識別器參數(shù)的驅(qū)動數(shù)據(jù)檢測在一個實施例中，識別器的創(chuàng)建用到三個參數(shù)松弛度(slack)；容量(capacity) 和開始確定(start determination)。例如，在美國專利申請#11/486，997號的一個較佳實 施例中，松弛度和容量都是研發(fā)人員可用的參數(shù)，所有用于訓(xùn)練動作都是通過按壓按鈕來 區(qū)分的，這樣則避免了需要用閾值對臨界動作開始進(jìn)行檢測的情況。為了消除與終端用戶 在在識別器創(chuàng)建的技術(shù)細(xì)節(jié)上不必要的交互，自動設(shè)置這些參數(shù)則比較有利。自動松弛度設(shè)置。參見圖5所示，松弛度在程序500的步驟503中與每個原型的分類距離的乘數(shù)，來控制分類公差。用戶數(shù)據(jù)、應(yīng)用程序和動作集合的每一種組合都將導(dǎo)致 分類距離的不同的最佳修正。在一個實施例中，每類的松弛度是在圖4的步驟411中自動 計算，其主要基于與下列因素有關(guān)的優(yōu)化計算1)使訓(xùn)練集合的不同子集的總體分類率最 大；2)最小化每類分類率的差異；幻基于一個不相關(guān)的第二組測試動作數(shù)據(jù)，保持一個可 接受的不確定的比率(rate)；和4)對類別之間的混淆進(jìn)行補(bǔ)償(見下面所述的“混淆模 型”)。步驟1和2在程序400中有詳細(xì)描述。在一個實施例中，在程序400的識別器創(chuàng)建過程中執(zhí)行步驟3。正如圖4中所描 述，利用非統(tǒng)一的方式將原型增加到動作識別器中以首先將精力集中在最糟糕的動作上。 在該階段，每個原型的分類距離最初是基于一個從時間卷曲距離函數(shù)中導(dǎo)出的一個偏差 建立的，并且隨著處更多的數(shù)據(jù)被處理，將被分類性能所覆蓋。如果在不確定的測試集合 上使用新的動作識別器的不確定分類率超過了預(yù)設(shè)的不可接受的范圍，則向上或向下調(diào) 整單類的松弛度以將總體識別推回到可接受的范圍內(nèi)。所使用的測試集合可以用留一法 (leave-one-out)直接從所述訓(xùn)練集合中建立。例如，通過去除對應(yīng)于一種類型動作的一小 組數(shù)據(jù)來創(chuàng)建一個新的訓(xùn)練集合，建立一個識別器，前述去除的動作通過該識別器作為一 個測試集合。平均來講，該動作有很高的比率被分類為不確定分類。在一個實施例中，步驟4包含程序400的418中的混淆模型的計算。任何性能較 差的分類的各自的單類的松馳度被遞增地向上調(diào)整，然后經(jīng)過測試，而降低那些通常與所 述性能較差的分類相混淆的類別的松弛度。一旦單個類的偏差落入可接受的范圍內(nèi)，或者 全體分類率超出了可接受的范圍，則該階段結(jié)束。一個總結(jié)的混淆模型的一個例子如下。這里顯示了“引導(dǎo)下落”(“all GuideDrop")的高錯誤正比率，其顯示所述分類距離對那些原型來說太高，且應(yīng)該自動將松
弛度設(shè)定為較低的一個類別來進(jìn)行補(bǔ)償。
權(quán)利要求
1.一種利用多個數(shù)據(jù)流進(jìn)行動作識別的方法，其特征在于，其包括處理單元接收來自至少一個動作傳感裝置的具有至少兩種成分輸出的動作信號，所述 動作傳感裝置包括慣性傳感器和非慣性傳感器；將所述成分輸出轉(zhuǎn)換為與設(shè)備無關(guān)的動作信號；利用至少一個動作識別器進(jìn)行動作識別以對所述動作信號分類，其中根據(jù)用戶創(chuàng)建的 動作信號的訓(xùn)練集構(gòu)建所述動作識別器，所述動作信號的訓(xùn)練集包括表示在一段時間內(nèi)執(zhí) 行的至少一種類型的動作的一組動作信號，自動確定構(gòu)建所述動作識別器所需要的所有參 數(shù)；和將所述動作識別器應(yīng)用于所述與設(shè)備無關(guān)的動作信號以提供廣義動作識別能力。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述非慣性傳感器包括所述動作傳感裝 置上的按鈕、搖桿或觸發(fā)器；所述動作傳感裝置上的一個或多個觸摸屏傳感器；用于跟蹤 所述用戶的局部身體的位置和方向的一個或者多個視頻攝像機(jī)；和，一個或多個麥克風(fēng)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于所述方法還包括根據(jù)一個動作識別器產(chǎn) 生所述動作信號的連續(xù)識別信號，其中所述動作識別器包括一組原型，在產(chǎn)生所述連續(xù)識 別信號時并未全部使用對應(yīng)動作識別器中的模型。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于所述方法還包括基于時間卷曲距離選擇 原型，這些原型用于創(chuàng)建一個或多個新的動作識別器，其中所述利用至少一個動作識別器 進(jìn)行動作識別以對所述動作信號分類包括通過計算響應(yīng)所述動作傳感裝置的所述一個或 多個新的動作識別器中的各個原型的時間卷曲距離對所述原型進(jìn)行分類。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于所述處理單元包括一個識別運(yùn)行時庫，所 述識別運(yùn)行時庫使一個彈性參數(shù)與每個成分輸出相關(guān)，隨后的時間卷曲相關(guān)分?jǐn)?shù)是針對所 述彈性參數(shù)的。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于所述識別運(yùn)行時庫用于識別所述動作傳 感裝置的同時獨立動作、同時相關(guān)動作和靜態(tài)姿態(tài)。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于所述方法還包括將所述動作識別器應(yīng)用 于所述動作信號以建立響應(yīng)另一動作傳感裝置的廣義動作識別器。
8.一種利用多個數(shù)據(jù)流進(jìn)行動作識別的方法，其特征在于，其包括處理單元裝載一組動作識別器，所述動作識別器通過使用第一動作傳感裝置來預(yù)先創(chuàng) 建，第一動作傳感裝置包括第一組傳感器；所述處理單元接收來自第二動作傳感裝置的具有至少兩種成分輸出的動作信號，第二 動作傳感裝置包括第二組傳感器，第二組傳感器與第一組傳感器部分不同；將所述成分輸出轉(zhuǎn)換成與設(shè)備無關(guān)的動作信號；和將動作識別器應(yīng)用于所述與設(shè)備無關(guān)的動作信號以提供廣義動作識別能力。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于所述方法還包括利用所述廣義動作識別 能力根據(jù)所述動作信號確定一個最終動作識別信號。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于所述方法還包括所述廣義動作識別能 力響應(yīng)一個動作識別器產(chǎn)生所述動作信號的連續(xù)識別信號，其中所述動作識別器包括一組 原型，在產(chǎn)生所述連續(xù)識別信號時并未全部使用對應(yīng)動作識別器中的模型。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于所述方法還包括基于時間卷曲距離選擇原型，這些原型用于創(chuàng)建一個或多個新的動作識別器，其中所述將動作識別器應(yīng)用于所 述與設(shè)備無關(guān)的動作信號以提供廣義動作識別能力包括通過計算響應(yīng)第二動作傳感裝置 的所述一個或多個新的動作識別器中的各個原型的時間卷曲距離對所述原型進(jìn)行分類。
12.根據(jù)權(quán)利要求9所述的方法，其特征在于第一與第二動作傳感裝置的描述人體動 作的能力不同。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于所述處理單元包括方便新的動作傳感 裝置注冊的接口，所述接口告知所述處理單元關(guān)于新的動作傳感裝置的足夠資料，所述新 的動作傳感裝置將用于所述廣義動作識別能力。
14.根據(jù)權(quán)利要求8所述的方法，其特征在于還存在有第三動作傳感裝置，兩個用戶 分別持有第二和第三動作傳感裝置，第二和第三動作傳感裝置輸出的動作信號是互相關(guān)的 以使得所述兩個用戶在相似的時間以互補(bǔ)的方式執(zhí)行成對的動作。
15.一種利用多個數(shù)據(jù)流進(jìn)行動作識別的系統(tǒng)，其特征在于，其包括裝載有一組動作識別器的處理單元，所述動作識別器通過使用第一動作傳感裝置來預(yù) 先創(chuàng)建，所述處理單元接收來自第二動作傳感裝置的動作信號，第二動作傳感裝置產(chǎn)生描 述用戶的動作的慣性傳感信號和其他傳感信號，其中來自第二動作傳感裝置的動作信號包 括所述慣性傳感信號和其他傳感信號；其中所述處理單元將所述慣性傳感信號和其他傳感信號轉(zhuǎn)換成與設(shè)備無關(guān)的動作信 號，響應(yīng)第二動作傳感裝置將所述動作識別器應(yīng)用于所述與設(shè)備無關(guān)的動作信號以提供廣 義動作識別服務(wù)。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于所述處理單元利用所述廣義動作識別 服務(wù)根據(jù)所述動作信號確定一個最終動作識別信號。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其特征在于所述處理單元將所述慣性傳感信號和 其他感應(yīng)信號中的每一個轉(zhuǎn)換成偽線性加速度、偽角速度或偽按鈕信號中的一個或多個。
18.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于第一動作傳感裝置與第二動作傳感裝 置的靈敏度不同。
19.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于所述處理單元包括方便新的動作傳感 裝置注冊的接口，所述接口告知所述處理單元關(guān)于新的動作傳感裝置的足夠資料，所述新 的動作傳感裝置將用于所述廣義動作識別服務(wù)。
20.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于所述廣義動作識別服務(wù)響應(yīng)一個動作 識別器產(chǎn)生所述動作信號的連續(xù)識別信號，其中所述動作識別器包括一組原型，在產(chǎn)生所 述連續(xù)識別信號時并未全部使用對應(yīng)動作識別器中的模型。
全文摘要
本發(fā)明公開了一種使用多個數(shù)據(jù)流進(jìn)行運(yùn)動識別的技術(shù)。動作識別器基于來自非慣性傳感器和慣性傳感器的多個數(shù)據(jù)流得到動作識別信號。根據(jù)動作信號的訓(xùn)練集來構(gòu)建所述動作識別器，根據(jù)所述多個傳感數(shù)據(jù)流來更新所述動作識別器。一方面，將所述多個傳感數(shù)據(jù)流轉(zhuǎn)換為設(shè)備無關(guān)動作信號，所述動作識別器根據(jù)所述與設(shè)備無關(guān)信號提供廣義動作識別能力。
文檔編號G06K9/62GK102087712SQ20111004271
公開日2011年6月8日 申請日期2011年2月22日 優(yōu)先權(quán)日2010年2月22日
發(fā)明者伊恩·賴特, 威廉姆斯·羅布·鮑爾三, 斯圖爾特·雷諾茲, 查爾斯·穆席克, 河野洋一郎, 涂曉媛, 達(dá)納·威爾金森, 顏維群 申請人:艾利維公司