的所述第二度量值集合以僅在所述第二手勢子集當(dāng)中進(jìn)行區(qū)分的所述裝置可取決于在所述計算機(jī)系統(tǒng)處安裝應(yīng)用程序。用于從所述可用手勢集合接收所述第二手勢子集的所述指示的所述裝置和用于計算所述第二手勢子集的所述第二度量值集合以僅在所述第二手勢子集當(dāng)中進(jìn)行區(qū)分的所述裝置可為用于創(chuàng)建手勢子集數(shù)據(jù)庫的裝置的一部分。所述手勢子集數(shù)據(jù)庫可包含用于所述可用手勢集合中的多個子集的手勢分類上下文。
【附圖說明】
[0017]參考以下各圖，可實(shí)現(xiàn)對各種實(shí)施例的性質(zhì)和優(yōu)點(diǎn)的進(jìn)一步理解。在附圖中，類似的組件或特征可具有相同的參考標(biāo)記。此外，可通過在參考標(biāo)記之后跟著劃線及在類似組件之間加以區(qū)別的第二標(biāo)記來區(qū)別為相同類型的各種組件。如果說明書中僅使用第一參考標(biāo)記，那么描述適用于具有相同第一參考標(biāo)記的類似組件中的任一者，而與第二參考標(biāo)記無關(guān)。
[0018]圖1A說明用于使用上下文關(guān)聯(lián)的手勢分類來辨識手勢的系統(tǒng)的實(shí)施例。
[0019]圖1B說明呈分散式以用于使用上下文關(guān)聯(lián)的手勢分類來辨識手勢的系統(tǒng)的實(shí)施例。
[0020]圖2說明多個上下文關(guān)聯(lián)的手勢分類的圖形表示的實(shí)施例。
[0021]圖3說明使用上下文關(guān)聯(lián)的手勢分類來辨識的手勢的實(shí)施例。
[0022]圖4說明使用上下文關(guān)聯(lián)的手勢分類來辨識的手勢的另一實(shí)施例。
[0023]圖5說明用于使用上下文關(guān)聯(lián)的手勢分類來辨識手勢的方法的實(shí)施例。
[0024]圖6說明一種用于創(chuàng)建供用于辨識手勢的上下文關(guān)聯(lián)的手勢分類的方法的實(shí)施例。
[0025]圖7說明計算機(jī)系統(tǒng)的實(shí)施例。
【具體實(shí)施方式】
[0026]使用手部或其它身體部位(其可涉及或可不涉及握持住例如棒或傳感器的物體)，用戶可執(zhí)行手勢以將輸入提供到計算機(jī)化裝置。雖然個人可能夠執(zhí)行廣泛多種手勢，但在用戶接口環(huán)境的特定上下文中僅特定手勢可被辨識為有效輸入?？赡艿挠脩艚涌诎嬎銠C(jī)系統(tǒng)(例如，膝上型計算機(jī)、桌上型計算機(jī)、平板計算機(jī)、無線裝置、移動電話)的圖形用戶接口和計算機(jī)化頭戴式顯示器(HMD)的接口。舉例來說，經(jīng)由接口，用戶可能夠操控光標(biāo)或其它形式的交互元件。取決于交互元件的上下文，哪些手勢產(chǎn)生有效命令是可變化的。作為實(shí)例，如果用戶操控HMD的接口并且和關(guān)于第一應(yīng)用程序的第一圖標(biāo)交互(例如，查看第一圖標(biāo))，那么僅扣接、扭轉(zhuǎn)和夾捏手勢可為有效的且與第一應(yīng)用程序的命令相關(guān)聯(lián)。但是，如果用戶和與第二應(yīng)用程序相關(guān)聯(lián)的第二圖標(biāo)交互，那么畫空心圓、打孔、滑移、扣接和暫停手勢可為有效的且與第二應(yīng)用程序的命令相關(guān)聯(lián)。
[0027]由用戶執(zhí)行的手勢可在用戶與之交互的用戶接口環(huán)境的上下文中來辨識，而非從可由計算機(jī)系統(tǒng)識別的所有手勢中識別由用戶執(zhí)行的手勢并提供向計算機(jī)化裝置上的所交互的應(yīng)用程序識別哪個手勢的指示。對由用戶執(zhí)行的手勢的識別可至少部分地基于用戶與之交互的用戶接口環(huán)境的上下文。因此，在用戶與用戶接口交互之前，可針對用戶接口環(huán)境的多個上下文創(chuàng)建手勢分類上下文。在這些多個手勢分類上下文中的每一者中，可用手勢的子集可為可識別的，且可基于所計算的度量值與所述子集的其它手勢區(qū)別開。并不對應(yīng)于命令且非為所述子集的一部分的其它手勢可為不可識別的。可使用基于用戶接口環(huán)境的狀態(tài)而起作用的手勢分類上下文來識別用戶已執(zhí)行的手勢。
[0028]經(jīng)分析以識別所執(zhí)行的手勢的特性(例如，在用戶的腕部或用戶的圖像中檢測到的電特性)可基于在特定上下文中哪些手勢是有效命令而變化。舉例來說，如果在第一手勢分類上下文中夾捏手勢和握住手勢兩者是有效命令，那么在第一手勢分類上下文中可存在用于識別這兩個手勢之間的差異的度量值。但是，在第二手勢分類上下文中，如果夾捏手勢對應(yīng)于有效命令但握住手勢并不對應(yīng)于有效命令，那么第二手勢分類上下文可不具有用于區(qū)分夾捏手勢與握住手勢的度量值。因此，第一手勢分類上下文中的由用戶執(zhí)行的手勢(其本應(yīng)被識別為握住手勢)可被識別為夾捏手勢、在第二手勢分類上下文內(nèi)有效的某個其它手勢，或可在第二手勢分類上下文中未被識別。
[0029]可在用戶與用戶接口環(huán)境交互之前創(chuàng)建多個手勢分類上下文。因此，在用戶嘗試執(zhí)行特定上下文中的手勢之前，可執(zhí)行創(chuàng)建手勢分類上下文。舉例來說，當(dāng)將新應(yīng)用程序安裝在計算機(jī)系統(tǒng)上時，可確定來自可用于計算機(jī)系統(tǒng)上的手勢集合的哪些子集手勢是與有效命令相關(guān)聯(lián)?？蓜?chuàng)建手勢分類上下文的度量值，使得僅手勢子集內(nèi)的手勢才可被識別且可彼此區(qū)別開。因此，如果執(zhí)行無效手勢(非為子集的一部分的手勢)，那么所述無效手勢可被忽略或者識別為是所述子集的一部分的手勢。當(dāng)用戶改變用戶接口環(huán)境的上下文(例如，通過查看不同圖形元素(例如，圖標(biāo))，或?qū)⒔换ピ?例如，光標(biāo))懸停在不同圖形元素(例如，圖標(biāo))上面)時，可激活不同手勢分類上下文。無論哪個手勢分類上下文當(dāng)前起作用均可控管將如何識別由用戶執(zhí)行的手勢。因此，如果在特定手勢分類上下文起作用的同時執(zhí)行手勢，那么基于所述特定手勢分類上下文的度量值來識別所述手勢。
[0030]圖1A說明用于使用上下文關(guān)聯(lián)的手勢分類來辨識手勢的系統(tǒng)100A的實(shí)施例。系統(tǒng)100A可包含供用于使用上下文關(guān)聯(lián)的手勢分類來辨識手勢的多個組件。系統(tǒng)100A可包含:手勢檢測模塊110、用戶輸入模塊120、用戶接口環(huán)境130、手勢分析引擎140、手勢分類上下文數(shù)據(jù)庫145、分類引擎150和手勢訓(xùn)練數(shù)據(jù)庫160。應(yīng)理解，可使用計算機(jī)化硬件、固件和/或軟件來實(shí)施此類組件。一或多個計算機(jī)系統(tǒng)(例如，圖7的計算機(jī)系統(tǒng)700)可執(zhí)行系統(tǒng)100A的所述組件的至少一些功能。此外，應(yīng)理解，由簡化的框圖來表示圖1A的系統(tǒng)100A的組件，可由多個子組件來執(zhí)行由組件執(zhí)行的功能。同樣地，在一些實(shí)施例中，可由單個硬件、固件或軟件組件(例如，通用處理器)來執(zhí)行由系統(tǒng)100A的多個組件執(zhí)行的功能。
[0031]可使用手勢檢測模塊110來捕獲信息，可從所述信息來識別由用戶執(zhí)行的手勢。在一些實(shí)施例中，手勢檢測模塊110可包含圖像捕獲裝置(例如，相機(jī))，所述圖像捕獲裝置捕獲用戶身體的至少一部分(例如，手部)的圖像?？煞治鲇脩羯眢w的至少一部分的多個圖像，以確定用戶身體的至少一部分的移動情況和/或位置。舉例來說，用戶可移動他的手部(例如，揮手)或定位他的手部(例如，握拳)以執(zhí)行手勢。從通過手勢檢測模塊110所俘獲的圖像，可檢測用戶手部的移動情況(即，隨著時間的過去的位置改變)和/或位置。在一些實(shí)施例中，手勢檢測模塊I1可包含被配置成檢測移動情況的一或多個傳感器(例如，一或多個陀螺儀和/或加速度計)。舉例來說，可由用戶通過握持住或佩戴手勢檢測模塊110來執(zhí)行手勢。舉例來說，如果移動裝置中存在系統(tǒng)100A，那么用戶可在握持住移動裝置的同時執(zhí)行基于手部的手勢。在一些實(shí)施例中，手勢檢測模塊110可包含被配置成檢測用戶肌肉的電活動的一或多個傳感器。舉例來說，用戶可將輸出數(shù)據(jù)的一或多個傳感器佩戴于他的手臂和/或腕部上，所述數(shù)據(jù)可經(jīng)分析以確定用戶如何定位或移動他的手部。此外，手勢檢測模塊110可包含多個以上詳述類型的傳感器的組合。在一些實(shí)施例中，可存在其它形式的手勢檢測模塊110以檢測由用戶執(zhí)行的移動。
[0032]用戶輸入模塊120可允許用戶將輸入提供到用戶接口環(huán)境130。用戶輸入模塊120可包含頭戴式顯示器(HMD)、鍵盤、鼠標(biāo)、跟蹤球等。關(guān)于HMD，用戶可通過查看現(xiàn)實(shí)世界對象或虛擬對象來提供輸入。在一些實(shí)施例中，為確定起作用的手勢分類上下文，可確定由HMD顯示的虛擬對象或用戶所正查看的現(xiàn)實(shí)世界對象。關(guān)于被用作用戶輸入模塊120的鼠標(biāo)，用戶可通過物理地移動鼠標(biāo)來移動光標(biāo)。在一些實(shí)施例中，為確定起作用的手勢分類上下文，可確定上面懸停有光標(biāo)的對象。應(yīng)理解，存在用戶可經(jīng)由所述輸入裝置與用戶接口環(huán)境130交互的各種其它形式的輸入裝置(例如，語音命令)。可由用戶接口環(huán)境130使用來自用戶輸入模塊120的輸入，以激活特定手勢分類上下文。因而，基于來自用戶輸入模塊120的輸入，可使來自多個可用手勢分類上下文的特定手勢分類上下文起作用。
[0033]用戶接口環(huán)境130可表示由系統(tǒng)100A執(zhí)行和/或可用于供系統(tǒng)100A執(zhí)行的固件和/或軟件。舉例來說，用戶接口環(huán)境130可包含操作系統(tǒng)132和應(yīng)用程序134。操作系統(tǒng)132可管理并輸出用戶可與應(yīng)用程序134交互所經(jīng)由的用戶接口。應(yīng)用程序134可被安裝而作為操作系統(tǒng)132的一部分或可在已安裝了操作系統(tǒng)132之后加以安裝。用戶接口環(huán)境130可被配置成將輸出提供到手勢分析引擎140，所述輸出指示起作用的手勢分類上下文。舉例來說，如果用戶導(dǎo)致光標(biāo)懸停在與應(yīng)用程序134中的一個應(yīng)用程序相關(guān)聯(lián)的圖標(biāo)上面，那么用戶接口環(huán)境130可將哪個手勢分類上下文應(yīng)起作用的指示提供到手勢分析引擎140。可準(zhǔn)許應(yīng)用程序134和操作系統(tǒng)132將來自可用手勢的預(yù)定義集合的手勢用作有效命令。舉例來說，應(yīng)用程序134和操作系統(tǒng)132可從手勢集合選擇所有手勢或手勢子集以供用作有效命令。在一些實(shí)施例中，應(yīng)用程序134和/或操作系統(tǒng)132有可能針對將添加至手勢集合的新手勢來提供訓(xùn)練數(shù)據(jù)。
[0034]手勢分析引擎140可被配置成使用從手勢檢測模塊110、用戶接口環(huán)境130和手勢分類上下文數(shù)據(jù)庫145接收的數(shù)據(jù)來識別手勢。手勢分析引擎140可被配置成從用戶接口環(huán)境130接收手勢分類上下文的指示?；谑謩莘诸惿舷挛模謩莘治鲆?40可從手勢分類上下文數(shù)據(jù)庫145存取一個手勢分類上下文。在一些實(shí)施例中，在給定的時間，單個手勢分類上下文可起作用?？赏ㄟ^手勢分析引擎140使用從手勢分類上下文數(shù)據(jù)庫145加載的起作用的手勢分類上下文的度量值來分析從手勢檢測模塊110接收到且指示由用戶執(zhí)行的手勢的數(shù)據(jù)。手勢分析引擎140可將基于起作用的手勢分類上下文所識別的手勢的指示輸出到用戶接口環(huán)境130。被輸出到用戶接口環(huán)境130的手勢的指示可充當(dāng)?shù)讲僮飨到y(tǒng)132和/或應(yīng)用程序134中的一個應(yīng)用程序的命令(或某種其它形式的輸入)。由于無論哪個手勢分類上下文起作用均是對應(yīng)于用戶接口環(huán)境130的上下文，所以可預(yù)期輸出到用戶接口環(huán)境130的手勢的指示是有效命令或其它形式的輸入。
[0035]手勢分類上下文數(shù)據(jù)庫145可存儲多個手勢分類上下文。對于每一手勢分類上下文來說，可已通過分類引擎150來確定分類度量值。對于手勢分類上下文數(shù)據(jù)庫145內(nèi)的特定手勢分類上下文來說，可僅存在用于將有效手勢與所述手勢分類上下文內(nèi)可用的其它有效手勢區(qū)別開的度量值。在一些實(shí)施例中，每一手勢分類上下文對應(yīng)于應(yīng)用程序134中的不同應(yīng)用程序。通過將用戶接口環(huán)境130置于應(yīng)用程序134中的一個應(yīng)用程序的上下文中，可使所述應(yīng)用程序的來自手勢分類上下文數(shù)據(jù)庫145的手勢分類上下文起作用。并且，基于操作系統(tǒng)132的狀態(tài)，可使來自手勢分類上下文數(shù)據(jù)庫145的一個手勢分類上下文起作用。手勢分類上下文數(shù)據(jù)庫145內(nèi)的一個手勢分類上下文可在使所述手勢分類上下文起作用之前便創(chuàng)建了其度量值。因而，在使手勢分類上下文起作用時，不需要計算所述手勢分類上下文的度量值。相反地，在一些實(shí)施例中，在安裝應(yīng)用程序134中的對應(yīng)應(yīng)用程序或安裝操作系統(tǒng)132時，可針對手勢分類上下文數(shù)據(jù)庫145來加載或計算手勢分類上下文的度量值。
[0036]在各種實(shí)施例中，應(yīng)理解，應(yīng)用程序134并不直接從接收自手勢檢測模塊110的數(shù)據(jù)來解譯手勢。相反地，與應(yīng)用程序134分離的軟件、固件或硬件組件識別由用戶執(zhí)行的手勢。應(yīng)用程序134可寧愿接受指示已執(zhí)行了哪個手勢的輸入。舉例來說，如果用戶執(zhí)行左右滑移手勢以作為到應(yīng)用程序134中的一個應(yīng)用程序的輸入，那么所述應(yīng)用程序并不分析從手勢檢測模塊110接收的圖像(或指示所述手勢的其它數(shù)據(jù))，相反地，手勢分析引擎140對接收到哪個手勢被手勢分析引擎140識別的指示的應(yīng)用程序執(zhí)行分析。
[0037]分類引擎150可被配置成創(chuàng)建手勢分類上下文以供存儲在手勢分類上下文數(shù)據(jù)庫145內(nèi)。分類引擎150可基于執(zhí)行各種手勢的人的數(shù)目和/或特定針對于系統(tǒng)100A的用戶的訓(xùn)練數(shù)據(jù)來存取訓(xùn)練數(shù)據(jù)。舉例來說，可將用于執(zhí)行畫空心圓手勢的數(shù)百或數(shù)千個不同用戶的訓(xùn)練數(shù)據(jù)存儲在手勢訓(xùn)練數(shù)據(jù)庫160內(nèi)。存儲在手勢訓(xùn)練數(shù)據(jù)庫160內(nèi)的手勢訓(xùn)練數(shù)據(jù)可用于可用手勢的預(yù)定義集合。因而，可限制用戶接口環(huán)境130內(nèi)的應(yīng)用程序134使用在手勢的所述預(yù)定義集合內(nèi)的手勢。舉例來說，可用手勢的預(yù)定義集合可包含50個手勢，應(yīng)用程序134中的一個應(yīng)用程序可識別這些手勢中的將充當(dāng)所述應(yīng)用程序的有效輸入的子集(例如，10個或某一其它數(shù)目的手勢)，而另一應(yīng)用程序則可識別充當(dāng)有效輸入的所有50個手勢。
[0038]分類引擎150可被配置成從手勢的預(yù)定義集合接收手勢子集的指示，所述手勢子集將充當(dāng)?shù)綉?yīng)用程序134中的一個應(yīng)用程序(或用戶接口環(huán)境130的某個其它部分)的有效輸入?；谒R別的手勢子集，分類引擎150可計算足以能夠?qū)碜允謩葑蛹瘍?nèi)的手勢與手勢子集內(nèi)的其它手勢區(qū)別開的度量值。值得注意的是，可不創(chuàng)建不在手勢子集內(nèi)的手勢的度量值。因此，不在手勢子集內(nèi)的手勢可未被識別或未與手勢子集內(nèi)的手勢區(qū)別開。舉例來說，如果手勢子集含有畫空心圓手勢和畫三角形手勢，那么分類引擎150可使用來自手勢訓(xùn)練數(shù)據(jù)庫160的數(shù)據(jù)來計算足以將由用戶執(zhí)行的畫空心圓手勢與畫三角形手勢區(qū)別開的度量值。因此，如果用戶在基于畫空心圓手勢和畫三角形手勢所創(chuàng)建的起作用的手勢分類上下文中執(zhí)行畫三角形手勢或畫空心圓手勢，那么由用戶執(zhí)行的畫三角形手勢和畫空心圓手勢可各自被恰當(dāng)?shù)刈R別。但是，如果對于第二手勢分類上下文來說畫空心圓手勢存在于手勢子集內(nèi)但畫三角形手勢并不存在于手勢子集內(nèi)，那么分類引擎150并不計算用于將這兩個手勢彼此區(qū)別開的度量值。因此，如果用戶在所創(chuàng)建的并無用于區(qū)別畫三角形的度量值的第二手勢分類上下文中執(zhí)行畫三角形手勢，那么所執(zhí)行的畫三角形手勢可解譯為另一手勢(例如，解譯為畫空心圓手勢)或可被忽略。
[0039]實(shí)際度量值的創(chuàng)建可涉及各種過程，例如在由Li，Yang的“量角器