專利名稱：用于交通工具接口的基于姿態(tài)的控制系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般來(lái)說(shuō)涉及計(jì)算機(jī)系統(tǒng)領(lǐng)域，具體來(lái)說(shuō)涉及用于交通工具接口的基于姿 態(tài)的控制系統(tǒng)和方法。
背景技術(shù)：
有助于人機(jī)交互的傳統(tǒng)控制系統(tǒng)和用戶接口具有許多不足。引用方式并入在本說(shuō)明書中提到的每篇專利、專利申請(qǐng)和/或公開(kāi)在相同程度上以整體引用并 入本文，如同每篇單獨(dú)專利、專利申請(qǐng)和/或公開(kāi)專門和單獨(dú)被指示為以引用方式并入。


圖IA是根據(jù)實(shí)施例的姿態(tài)控制系統(tǒng)的框圖。
圖IB是根據(jù)實(shí)施例的與交通工具子系統(tǒng)集成的姿態(tài)控制系統(tǒng)的框圖。
圖IC是根據(jù)實(shí)施例的控制器的框圖。
圖ID是根據(jù)實(shí)施例的用于使用姿態(tài)控制交通工具子系統(tǒng)的流程圖。
圖2是根據(jù)實(shí)施例的標(biāo)記標(biāo)簽的示圖。
圖3是根據(jù)實(shí)施例的姿態(tài)符號(hào)集中的姿勢(shì)的示圖。
圖4是根據(jù)實(shí)施例的姿態(tài)符號(hào)集中的方位的示圖。
圖5是根據(jù)實(shí)施例的姿態(tài)符號(hào)集中的雙手組合的示圖。
圖6是根據(jù)實(shí)施例的姿態(tài)符號(hào)集中的方位混合的示圖。
圖7是根據(jù)實(shí)施例的系統(tǒng)操作的流程圖。
圖8/1和圖8/2示出了根據(jù)實(shí)施例的示例命令。
具體實(shí)施例方式本文描述了用于基于姿態(tài)的子系統(tǒng)的控制的系統(tǒng)和方法。在下文具體描述的空間 操作環(huán)境(SOE)的背景中提供系統(tǒng)和方法的實(shí)施例。包括姿態(tài)控制系統(tǒng)或基于姿態(tài)的控制 系統(tǒng)的SOE可以可替代地稱為空間用戶界面(SUI)或空間界面(Si)。在以下描述中，具體描述了許多特征從而提供對(duì)實(shí)施例的更全面理解。明顯的是，可以在不具備這些具體細(xì)節(jié)的情況下實(shí)踐所述實(shí)施例。在其他情況下，沒(méi)有具體描述公知 的特征。系統(tǒng)本文在空間操作環(huán)境(SOE)的背景下描述了基于姿態(tài)的控制系統(tǒng)的實(shí)施例。作為 示例，圖IA是根據(jù)實(shí)施例的空間操作環(huán)境(SOE)的框圖。用戶把手101和102放在相機(jī) 104A-104D陣列的查看區(qū)150中。相機(jī)檢測(cè)手指和手101和102的定位、方位和運(yùn)動(dòng)并且生 成輸出信號(hào)到預(yù)處理器105。預(yù)處理器105把相機(jī)輸出轉(zhuǎn)換成提供給系統(tǒng)的計(jì)算機(jī)處理單 元107的姿態(tài)信號(hào)。計(jì)算機(jī)107使用輸入信息生成命令來(lái)控制一個(gè)或多個(gè)屏幕上的光標(biāo)并 且把視頻輸出提供給顯示器103。盡管借助單個(gè)用戶的手作為輸入示出了該系統(tǒng)，但是也可以使用多個(gè)用戶實(shí)現(xiàn)該 實(shí)施例。另外，作為手的替代或添加，該系統(tǒng)可以跟蹤用戶身體的任何部分或多個(gè)部分，包 括頭、腳、腿、臂、肘、膝等等。在所示的實(shí)施例中，使用四個(gè)相機(jī)來(lái)檢測(cè)用戶的手101和102的定位、方位和運(yùn) 動(dòng)。應(yīng)當(dāng)理解，本實(shí)施例可以在不脫離本實(shí)施例的范圍或精神的情況下使用更多(例如，六 個(gè)相機(jī)、八個(gè)相機(jī)等)或更少的相機(jī)(例如，兩個(gè)相機(jī))。另外，盡管在示例實(shí)施例中對(duì)稱布 置所述相機(jī)，但是這種對(duì)稱不是必要條件。可以使用允許用戶的手的定位、方位和運(yùn)動(dòng)的任 意數(shù)量的定位相機(jī)。在一個(gè)實(shí)施例中，所使用的相機(jī)是能夠拍攝灰度圖像的運(yùn)動(dòng)拍攝相機(jī)。在一個(gè)實(shí) 施例中，所使用的相機(jī)是Vicon生產(chǎn)的如Vicon MX40相機(jī)的那些相機(jī)。該相機(jī)包括相機(jī)上 處理并且能夠每秒1000幀地拍攝圖像。運(yùn)動(dòng)拍攝相機(jī)能夠檢測(cè)和定位標(biāo)志。在所述實(shí)施例中，使用相機(jī)用于光學(xué)檢測(cè)。在其他實(shí)施例中，可以使用相機(jī)或其他 檢測(cè)器用于電磁、靜磁、RFID或其他任何適合類型的檢測(cè)。使用預(yù)處理器105生成三維空間點(diǎn)重構(gòu)和骨點(diǎn)(skeletal point)標(biāo)記。使用姿 態(tài)轉(zhuǎn)換器106把3D空間信息和標(biāo)志運(yùn)動(dòng)信息轉(zhuǎn)換成計(jì)算機(jī)處理器可以解譯來(lái)在顯示器上 更新光標(biāo)的定位、形狀和動(dòng)作的命令語(yǔ)言。在替代實(shí)施例中，可以把預(yù)處理器105和姿態(tài)轉(zhuǎn) 換器106組合成單個(gè)裝置。計(jì)算機(jī)107可以是如Apple、Dell或其他任何適合制造商制造的任何通用計(jì)算機(jī)。 計(jì)算機(jī)107運(yùn)行應(yīng)用程序并且提供顯示輸出。另外來(lái)自鼠標(biāo)或其他現(xiàn)有技術(shù)的輸入裝置的 光標(biāo)信息現(xiàn)在來(lái)自姿態(tài)系統(tǒng)。與交通工具接口集成的姿態(tài)控制系統(tǒng)圖IB是根據(jù)實(shí)施例的與交通工具子系統(tǒng)120集成的姿態(tài)控制系統(tǒng)的框圖。交通 工具(例如，汽車、拖拉機(jī)、飛行器等)的駕駛室區(qū)域或其他乘客座艙區(qū)域中的人可以使用 包括用戶的手101和102中的一只手或雙手以及手101和102中的一只手或雙手的手指的 對(duì)象來(lái)控制交通工具子系統(tǒng)120。交通工具的駕駛室區(qū)域是相機(jī)104A-104D陣列的查看區(qū)。 相機(jī)檢測(cè)對(duì)象(例如，手101和102以及手的手指)的定位、方位和運(yùn)動(dòng)并且生成到預(yù)處理 器105的輸出信號(hào)。預(yù)處理器105把相機(jī)輸出轉(zhuǎn)換成提供給系統(tǒng)的控制器107(本文也稱 為計(jì)算機(jī)處理單元107或計(jì)算機(jī)107)的姿態(tài)信號(hào)。控制器107使用輸入信息生成控制一 個(gè)或多個(gè)交通工具子系統(tǒng)120的命令。實(shí)施例的計(jì)算機(jī)107包括一個(gè)或多個(gè)控制程序來(lái)管理與經(jīng)由交互系統(tǒng)暴露的汽車子系統(tǒng)組件的用戶交互。圖IC是根據(jù)實(shí)施例的控制器107的框圖。作為一個(gè)示例，該控 制器107包括用于對(duì)應(yīng)的汽車子系統(tǒng)組件的姿態(tài)控制的氣候控制131、音頻132、通信133、 導(dǎo)航134、導(dǎo)向135、娛樂(lè)136、操作信息可視化137和網(wǎng)絡(luò)控制138程序或應(yīng)用，但是并不限 于這些控制程序。包括在交通工具控制器中的控制程序?qū)?yīng)于交通工具中的對(duì)于控制可用 的交通工具子系統(tǒng)。盡管采用單個(gè)用戶的手和/或手指作為跟蹤對(duì)象示出了該系統(tǒng)，但是可以使用多 用戶實(shí)現(xiàn)該實(shí)施例。而且，替代手或除了手之外，該系統(tǒng)還可以跟蹤包括用戶身體的任何部 分中的一個(gè)或多個(gè)部分的對(duì)象，包括頭、腳、腿、臂、肘、膝等。在所示實(shí)施例中，使用四個(gè)相機(jī)來(lái)檢測(cè)用戶的手101和102的定位、方位和運(yùn)動(dòng)。 應(yīng)當(dāng)理解，在不脫離本實(shí)施例的范圍或精神的情況下本實(shí)施例可以與更多(例如，六個(gè)相 機(jī)、八個(gè)相機(jī)等)或更少相機(jī)(例如，兩個(gè)相機(jī))一起使用。另外，盡管在示例實(shí)施例中相 機(jī)對(duì)稱布置，但是這種對(duì)稱不是必要條件。可以使用允許用戶的手的定位、方位和運(yùn)動(dòng)的任 意數(shù)量的定位相機(jī)。預(yù)處理器105生成三維空間點(diǎn)重構(gòu)和骨點(diǎn)標(biāo)記。姿態(tài)轉(zhuǎn)換器106把3D空間信息 和對(duì)象運(yùn)動(dòng)信息轉(zhuǎn)換成計(jì)算機(jī)處理器可以解譯來(lái)控制交通工具子系統(tǒng)的命令語(yǔ)言。在替代 實(shí)施例中，可以把預(yù)處理器105和姿態(tài)轉(zhuǎn)換器106組合成單個(gè)裝置。與交通工具子系統(tǒng)集成的姿態(tài)控制系統(tǒng)的實(shí)施例能夠使得交通工具上的駕駛者 或乘客使用姿態(tài)控制交通工具子系統(tǒng)控制組件和交通工具子系統(tǒng)的一個(gè)或多個(gè)參數(shù)。用戶 因此可以控制例如像領(lǐng)航、導(dǎo)航和借助姿態(tài)驅(qū)動(dòng)界面的外圍系統(tǒng)功能的交通工具子系統(tǒng)的 一個(gè)或多個(gè)參數(shù)。本文所述的姿態(tài)控制系統(tǒng)與一個(gè)或多個(gè)交通工具子系統(tǒng)120，舉例來(lái)說(shuō)包 括但不限于交互導(dǎo)航裝置、無(wú)線電廣播和數(shù)字音頻播放器、電話、巡航控制、自動(dòng)駕駛和其 他自動(dòng)導(dǎo)向模塊、氣候控制、操作信息可視化和聯(lián)網(wǎng)應(yīng)用集成在一起。本文所述的姿態(tài)控制系統(tǒng)包括反饋裝置125，為用戶提供各種類型的反饋，包括但 不限于音頻提示、平面顯示器上的視覺(jué)輸出、儀表盤上安裝的基于像素的顯示器、專用發(fā)光 或變色指示器和觸覺(jué)或觸感顯示器上的視覺(jué)輸出。盡管反饋裝置125被示出耦接到控制器 107，但是該實(shí)施例并不限于此，反饋裝置125可以耦接到集成系統(tǒng)的任何其他元件。圖ID是根據(jù)實(shí)施例的使用姿態(tài)控制140交通工具子系統(tǒng)的流程圖。該實(shí)施例包 括經(jīng)由交通工具中的多個(gè)傳感器接收142對(duì)象的圖像并且輸出144表示對(duì)象所做姿態(tài)的姿 態(tài)數(shù)據(jù)。對(duì)象包括用戶的手和手指中的至少一個(gè)。姿態(tài)數(shù)據(jù)是對(duì)象在空間中時(shí)間點(diǎn)上的瞬 時(shí)狀態(tài)。該實(shí)施例包括通過(guò)提取對(duì)象的位置、恢復(fù)對(duì)象的量化姿勢(shì)和方位矢量并且把姿態(tài) 數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)來(lái)從姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)146對(duì)象的姿態(tài)。該實(shí)施例包括響應(yīng)于姿態(tài)信 號(hào)管理148與多個(gè)交通工具子系統(tǒng)的用戶交互?？梢圆捎脦追N不同的方式配置實(shí)施例的姿態(tài)控制系統(tǒng)。實(shí)施例的系統(tǒng)和方法包含 兩種不同類型的姿態(tài)控制與特定物理對(duì)象靠近的一個(gè)或幾個(gè)手指的最小運(yùn)動(dòng)；以及包含 整個(gè)手部的自由空間運(yùn)動(dòng)。當(dāng)然，這些是理想的分類。實(shí)際上，特定配置可能會(huì)使得兩種姿 態(tài)控制系統(tǒng)之間的差別變得模糊。與交通工具子系統(tǒng)集成的姿態(tài)控制系統(tǒng)的以下描述結(jié)合對(duì)汽車背景的細(xì)節(jié)的偶 然引用，但是應(yīng)當(dāng)理解，所述系統(tǒng)是完全概括的并且可以采用用于與任何交通工具類型相 關(guān)聯(lián)的功能的交互控制。
實(shí)施例的交通工具接口的姿態(tài)控制系統(tǒng)包括以下中的一個(gè)或多個(gè)用于跟蹤三維 空間中手指和/或整個(gè)手的位置的一組傳感器；用于處理傳感器數(shù)據(jù)的應(yīng)用或元件；用于 以控制程序或其他基于交通工具的程序或應(yīng)用可以使用的形式表示手指和/或手的位置 的代表組件；管理與經(jīng)由交互系統(tǒng)暴露的汽車子系統(tǒng)組件的用戶交互的控制程序；和/或 包括通過(guò)視覺(jué)和其他通道的連續(xù)和/或動(dòng)態(tài)反饋的反饋方案，通過(guò)這些反饋，人力操作者 不僅被告知姿態(tài)控制系統(tǒng)對(duì)汽車子系統(tǒng)組件的影響，還被告知姿態(tài)控制系統(tǒng)的對(duì)操作者相 關(guān)手勢(shì)和運(yùn)動(dòng)的瞬時(shí)、正在進(jìn)行的和預(yù)測(cè)的解譯。盡管交通工具接口的姿態(tài)控制系統(tǒng)沒(méi)設(shè) 想對(duì)標(biāo)志的使用，但是以下描述的實(shí)施例不限于此。實(shí)施例的傳感器可以采取各種形式。實(shí)施例使用耦接到一起的兩個(gè)或更多的小相 機(jī)來(lái)形成立體聲視覺(jué)系統(tǒng)。將相機(jī)定位以查看主交通工具的駕駛室和/或乘客座艙。該立 體聲視覺(jué)系統(tǒng)在其視野內(nèi)最少生成對(duì)象的三維數(shù)據(jù)點(diǎn)云。在數(shù)據(jù)集中的點(diǎn)的分辨深度精度 根據(jù)包括距相機(jī)基線的距離的許多因素而變化，但是大約為1毫米(mm)。成像的對(duì)象是用 戶或操作者的空手和/或手指。替代實(shí)施例的傳感器是飛行時(shí)間深度感測(cè)相機(jī)。另一替代實(shí)施例的傳感器是結(jié)構(gòu) 光三維傳感器。給定由立體聲傳感器組生成的點(diǎn)云，姿態(tài)控制系統(tǒng)提取手和手指中至少一個(gè)的位 置，從該位置又可以恢復(fù)量化的手部姿勢(shì)和連續(xù)的手和手指方位矢量。針對(duì)這種恢復(fù)所使 用的方法基本上類似于下述方法，不同之處在于交通工具系統(tǒng)開(kāi)始于非結(jié)構(gòu)點(diǎn)云而非合計(jì) 標(biāo)簽數(shù)據(jù)。使得手和手指表示為實(shí)現(xiàn)系統(tǒng)互動(dòng)模式的機(jī)構(gòu)所用。實(shí)施例使用多組立體聲耦接相機(jī)，或者使用處理像素?cái)?shù)據(jù)來(lái)處理大于一個(gè)相機(jī)的 變型的相關(guān)算法。增加相機(jī)的數(shù)量例如可以擴(kuò)大視野、減小手的一部分的遮擋造成的困難、 和/或提高點(diǎn)云數(shù)據(jù)的準(zhǔn)確度。根據(jù)姿態(tài)控制系統(tǒng)的第一互動(dòng)模式，交通工具的駕駛者借助手指運(yùn)動(dòng)控制各種子 系統(tǒng)同時(shí)使手與方向盤或其他交通工具導(dǎo)向機(jī)構(gòu)接觸或非常接近。這種以方向盤為中心的 模式包括或者使用對(duì)駕駛者每只手上的一部分手指的位置的精確跟蹤。駕駛者開(kāi)始正常把握在方向盤上，例如手部位于十點(diǎn)鐘和兩點(diǎn)鐘位置，手指環(huán)繞 在方向盤邊緣。伸展任一只手的食指和中指中的任一個(gè)激活控制系統(tǒng)。手指運(yùn)動(dòng)的各種組 合實(shí)現(xiàn)導(dǎo)航以及對(duì)各種控制模式、交通工具子系統(tǒng)的組件和/或參數(shù)的選擇。一個(gè)替代方 案暗含用戶拇指而非食指和中指或者連同食指和中指的跟蹤運(yùn)動(dòng)。通過(guò)依次步進(jìn)與“加/減”狀態(tài)變化相結(jié)合的可用模式可以實(shí)現(xiàn)簡(jiǎn)單的系統(tǒng)控制 (例如，交通工具系統(tǒng))。手指控制狀態(tài)空間的簡(jiǎn)單配置包括伸展任一只手的兩個(gè)手指以激 活控制系統(tǒng)，并且這兩個(gè)手指的快速握緊和再次伸展彈開(kāi)在可用的主要控制模式(例如， 無(wú)線電廣播、電話、數(shù)字音頻播放器、氣候控制等)之間輪換。另一只手隨后步進(jìn)通過(guò)并且 控制該模式中可用的選項(xiàng)。兩個(gè)手指快速握緊-伸展配置在耦接系統(tǒng)的主要設(shè)置模式之間 循環(huán)。通過(guò)單個(gè)手指握緊-伸展彈開(kāi)或者食指和中指分別的按下運(yùn)動(dòng)提供各自的向上設(shè)置 和向下設(shè)置的參數(shù)的步進(jìn)。類似的操作實(shí)現(xiàn)子模式、子-子模式等的往返運(yùn)動(dòng)，在這些情況 下控制拓?fù)浣Y(jié)構(gòu)大于單個(gè)水平深度。因此，例如在無(wú)線電廣播模式中，初始設(shè)置模式是音量控制。食指的快速握緊-伸 展將音量設(shè)置提高一個(gè)增量。相反，中指的握緊-伸展使得音量降低一個(gè)增量。將任一個(gè)手指向下按壓在方向盤(另一個(gè)手指保持伸展)以恒定速率提高或降低音量。兩個(gè)手指握 緊-伸展循環(huán)到無(wú)線電廣播預(yù)置的下一個(gè)設(shè)置模式。這里，食指和中指運(yùn)動(dòng)控制預(yù)置列表 的向上和向下往返運(yùn)動(dòng)。手指運(yùn)動(dòng)到本文所述的控制輸入的相對(duì)簡(jiǎn)單的映射具有幾個(gè)理想特點(diǎn)。多數(shù)交互 模式直接取決于熟悉的交通工具接口，例如幾乎在各車載無(wú)線電廣播上都存在的向上/向 下按鈕?？梢詫⒆藨B(tài)控制系統(tǒng)耦接到許多可用的輸出裝置來(lái)為用戶提供反饋。例如，姿態(tài) 控制系統(tǒng)的輸出包括與姿態(tài)或者姿態(tài)所實(shí)現(xiàn)的控制有關(guān)的合成語(yǔ)音反饋。作為另一示例， 姿態(tài)控制系統(tǒng)的輸出包括基本字母數(shù)字顯示器上的大文本。另外，可以提供包括硬質(zhì)模壓、 二元發(fā)光按鈕顯示器或掩模LCD屏的輸出。使用姿態(tài)控制系統(tǒng)減小了把手從方向盤移開(kāi)或者改變正常駕駛手部位置和姿勢(shì) 的需要。這些駕駛友好的人體工學(xué)提供舒適和便捷，并且對(duì)于安全來(lái)說(shuō)可能是理想的。如果呈現(xiàn)整個(gè)圖形顯示器并且耦接到姿態(tài)控制系統(tǒng)，則另外一組交互行為變得可 用。手指運(yùn)動(dòng)可以驅(qū)動(dòng)指示光標(biāo)在圖形顯示器上的位置，進(jìn)而允許進(jìn)行控制模式和設(shè)置的 非線性選擇。在實(shí)施例中，該圖形顯示器集成到擋風(fēng)玻璃(例如，在平視配置中，其中固有 的光學(xué)功率使得顯示器以針對(duì)視覺(jué)適應(yīng)而優(yōu)化的深度來(lái)呈現(xiàn))或者安裝在方向盤的正上 方和下方的儀表盤部件中。這種配置將圖形顯示器置于“方向盤上方”視角的法線的駕駛 者最近區(qū)域內(nèi)。對(duì)于非線性控制類型，手部在正常駕駛位置開(kāi)始。伸展任一只手的食指激活控制 系統(tǒng)并且在顯示器上顯示指示光標(biāo)。手指尖的相對(duì)運(yùn)動(dòng)驅(qū)動(dòng)光標(biāo)在顯示區(qū)域上的水平和垂 直運(yùn)動(dòng)。可以通過(guò)指示裝置近鄰選擇顯示器上的界面圖形，并且通過(guò)一只或兩只手指點(diǎn)擊 以及無(wú)指示裝置的手部的把握或者通過(guò)無(wú)指示裝置的手部上食指的二維手指尖運(yùn)動(dòng)來(lái)操 控。可以通過(guò)食指握緊-伸展來(lái)控制簡(jiǎn)單(虛擬)開(kāi)關(guān)按鈕。虛擬標(biāo)尺或滑塊，例如音量 控制如上所述可以由食指和中指來(lái)控制。姿態(tài)控制系統(tǒng)的第二交互模式包含自由空間控制。在該模式中，用戶(例如，交通 工具操作者或乘客)通過(guò)在汽車內(nèi)部的特定開(kāi)放區(qū)內(nèi)移動(dòng)一只手以及結(jié)合手指與導(dǎo)航系 統(tǒng)、無(wú)線電廣播和/或其他子系統(tǒng)交互。自由空間控制可以與完整圖形顯示器相結(jié)合使用， 其中一個(gè)實(shí)施例可以定位感測(cè)音量，并且由此操作者動(dòng)作定位在顯示器的正前方。在實(shí)施例中，指向顯示器的“仿真槍”姿勢(shì)激活控制系統(tǒng)。十個(gè)姿勢(shì)連同他們之間 以及借助手部的細(xì)粒度目標(biāo)和運(yùn)動(dòng)改變順序的變換構(gòu)成了實(shí)施例的核心姿態(tài)符號(hào)集。然 而，姿態(tài)符號(hào)集并不限于十個(gè)姿勢(shì)。實(shí)施例的十個(gè)姿勢(shì)通過(guò)組合生成‘仿真槍’的‘槍管’ 可以單獨(dú)由食指或者由食指和中指一起形成。對(duì)于這兩種狀態(tài)中的任一個(gè)，拇指可以垂直 于‘槍管’(在手部平面中)或者可以平行于‘槍管’向下‘點(diǎn)擊’。而且，對(duì)于這四個(gè)狀態(tài)中 的任一個(gè)，整個(gè)手和手指幾何關(guān)系可以在與重力對(duì)齊的平面中以垂直方向，或者在與重力 垂直的平面中以水平方向定向。這給出八種基本姿勢(shì)；另外兩個(gè)姿勢(shì)通過(guò)旋轉(zhuǎn)手部大部分 從而使得‘槍管’基本上指向中間來(lái)形成。根據(jù)下文，用姿態(tài)描述語(yǔ)言(以下具體描述)表示實(shí)施例的十個(gè)姿勢(shì)"" -:-χ( ‘一個(gè)手指指向，)"" |:-χ( ‘一個(gè)手指點(diǎn)擊，)
一 一X (‘兩個(gè)手指點(diǎn)擊’)
一 一VX(‘傾向于兩個(gè)手指指向’)
一． 一．一(‘中間兩個(gè)手指指向’)
由于控制系統(tǒng)處于有效狀態(tài)(隨后首次恢復(fù)垂直的拇指向上，一個(gè)手指指向)，所以出現(xiàn)用于當(dāng)前模式的指示光標(biāo)和背景菜單組件。光標(biāo)位置通過(guò)食指的運(yùn)動(dòng)和／或瞄準(zhǔn)來(lái)驅(qū)動(dòng)。通過(guò)把指示裝置定位在組件中并且把拇指移動(dòng)到向下／點(diǎn)擊(與食指對(duì)齊)位置完成在按鈕1滑塊和菜單組件上的基本選擇和控制。將光標(biāo)移動(dòng)遠(yuǎn)離屏幕到中間側(cè)調(diào)出高水平菜單列表，光標(biāo)移動(dòng)限制在二維(向上和向下)。從高水平菜單中選擇選項(xiàng)操作來(lái)改變控制模式(例如，從電話模式到導(dǎo)航系統(tǒng)模式)。I0071] 主交通工具系統(tǒng)的模式可以利用手部的真實(shí)三維運(yùn)動(dòng)。例如在導(dǎo)航系統(tǒng)模式時(shí)，將手傾斜到拇指水平姿勢(shì)使得正常選擇組件半透明并且將映射的位置和縮放限制到手的左向1右向1向上1向下，向前和后向運(yùn)動(dòng)。返回到拇指垂直姿勢(shì)凍結(jié)映射視角并且恢復(fù)背景菜單和選擇組件。
對(duì)于獲得最小舒適水平和對(duì)基本系統(tǒng)的熟悉的操作者來(lái)說(shuō)，許多改進(jìn)是可能的。例如，上面列舉的兩個(gè)手指姿勢(shì)可以選擇性地被限制到特定的“快捷”功能。駕駛者可以選擇來(lái)把共有的無(wú)線電廣播功能，即音量控制和電臺(tái)預(yù)置關(guān)聯(lián)到兩個(gè)手指姿勢(shì)，使得這些控制模式始終可用。借助這種激活的定制，交互背景開(kāi)關(guān)不必操控?zé)o線電廣播，這種控制動(dòng)作由此可以出現(xiàn)在距其他正在進(jìn)行的控制序列的‘條帶之外’。即(對(duì)于當(dāng)前示例)一個(gè)手指姿勢(shì)進(jìn)行如上所述動(dòng)作；兩個(gè)手指姿勢(shì)直接并且同時(shí)起到無(wú)線電廣播快捷方式和關(guān)聯(lián)的反饋圖形的作用，在有效的手部離開(kāi)控制空間或者返回到與‘標(biāo)準(zhǔn)’控制語(yǔ)義相關(guān)聯(lián)的一個(gè)手指姿勢(shì)時(shí)，后者隨后消失。本文所述的各種交互可以結(jié)合在一起來(lái)形成可能巨大的一組控制和接口行為，如下文具體描述的那樣。
標(biāo)志標(biāo)簽I0074] 相對(duì)于上述的系統(tǒng)和方法，實(shí)施例的系統(tǒng)和方法可以使用用戶的一個(gè)或多個(gè)手指上的標(biāo)志標(biāo)簽從而使得系統(tǒng)能夠定位用戶的手部，識(shí)別出正在觀看左手還是右手，以及哪些手指是可見(jiàn)的。這允許該系統(tǒng)檢測(cè)用戶手部的定位1方位和運(yùn)動(dòng)。該信息使得許多姿態(tài)將由系統(tǒng)來(lái)識(shí)別并且由用戶作為命令來(lái)使用。
在一個(gè)實(shí)施例中，標(biāo)志標(biāo)簽是物理標(biāo)簽，包括基板(在本實(shí)施例中適于附接到人手上的多個(gè)位置)和以唯一標(biāo)識(shí)圖案在基板表面上布置的離散標(biāo)志。
標(biāo)志和關(guān)聯(lián)的外部感測(cè)系統(tǒng)可以工作在允許對(duì)其三空間位置進(jìn)行準(zhǔn)確、精確和快 速而連續(xù)采集的任何域(例如，光學(xué)、電磁、靜磁等)。標(biāo)志自身可以主動(dòng)(例如，通過(guò)發(fā)射 結(jié)構(gòu)化電磁脈沖)或被動(dòng)(例如，如在本實(shí)施例中那樣，通過(guò)被光學(xué)回射)工作。在采集每幀時(shí)，檢測(cè)系統(tǒng)從儀器實(shí)現(xiàn)的工作空間范圍(相機(jī)或其他檢測(cè)器的可見(jiàn) 范圍內(nèi))中的當(dāng)前的標(biāo)簽接收包括所有標(biāo)志的恢復(fù)的三空間位置的聚集‘云’。每個(gè)標(biāo)簽上 的標(biāo)志足夠多樣化并且以唯一圖案布置，使得該檢測(cè)系統(tǒng)可以執(zhí)行以下任務(wù)(1)分段，其 中把每個(gè)恢復(fù)的標(biāo)志位置分配給形成單個(gè)標(biāo)簽的點(diǎn)的一個(gè)和唯一一個(gè)子集；( 標(biāo)注，其 中各個(gè)點(diǎn)的分段子集被識(shí)別為特定標(biāo)簽；C3)定位，其中恢復(fù)識(shí)別的標(biāo)簽的三空間位置；以 及(4)方位，其中恢復(fù)識(shí)別的標(biāo)簽的三空間方位。通過(guò)標(biāo)志圖案的特定特點(diǎn)可能完成任務(wù) (1)和O)，如以下所述并且如在圖2中的一個(gè)實(shí)施例中所圖示的那樣。在一個(gè)實(shí)施例中，標(biāo)簽上的標(biāo)志附接到規(guī)則網(wǎng)格定位的子集。如在本實(shí)施例中的 那樣，這種基本網(wǎng)格可以是傳統(tǒng)的笛卡爾類型，或者可以是另外的其他一些規(guī)則平面鑲嵌 (例如，三角形/六角形瓦片排列)。針對(duì)標(biāo)志感測(cè)系統(tǒng)的已知空間分辨率建立網(wǎng)格的尺度 和間隔，從而可能不會(huì)弄混相鄰的網(wǎng)格定位。針對(duì)所有標(biāo)簽對(duì)標(biāo)志圖案的選擇應(yīng)當(dāng)滿足以 下約束條件沒(méi)有標(biāo)簽圖案與通過(guò)旋轉(zhuǎn)、轉(zhuǎn)換或鏡像的任意組合的其他任何標(biāo)簽圖案的一 致。還可以選擇標(biāo)志的多樣性和布置從而容許某些特定數(shù)量的組成標(biāo)志的損失(或遮擋) 在任一隨機(jī)轉(zhuǎn)換之后，仍然可能不會(huì)將損壞的模塊與其他任何模塊弄亂?，F(xiàn)在參考圖2，示出了多個(gè)標(biāo)簽201A-201E (左手)和202A-202E (右手)。各個(gè)標(biāo) 簽為矩形并且在該實(shí)施例中由5x7網(wǎng)格陣列組成。選擇矩形形狀輔助確定標(biāo)簽的方位并且 減小鏡像復(fù)制的可能性。在所示的實(shí)施例中，各個(gè)手的各個(gè)手指都有標(biāo)簽。在一些實(shí)施例 中，每只手使用一個(gè)、兩個(gè)、三個(gè)或四個(gè)標(biāo)簽可能足夠。每個(gè)標(biāo)簽具有不同灰度或顏色陰影 的邊界。在該邊界中是3x5網(wǎng)格陣列。以網(wǎng)格陣列把標(biāo)志(由圖2的黑點(diǎn)表示)置于某些 點(diǎn)處來(lái)提供信息。通過(guò)將每個(gè)圖案分段成‘共有’和‘唯一’子圖案而將符合條件的信息編碼在標(biāo)簽 的標(biāo)志圖案中。例如，本實(shí)施例規(guī)定了兩種可能的‘邊界圖案’，有關(guān)矩形邊界的標(biāo)志分布。 由此建立標(biāo)簽‘族’-意在用于左手的標(biāo)簽由此可能都使用與標(biāo)簽201A-201E所示的相同 邊界圖案，盡管附接到右手手指的那些標(biāo)簽可以分配有如標(biāo)簽202A-202E所示的不同的圖 案。選擇這種子圖案從而可以在標(biāo)簽的所有方位中將左側(cè)圖案與右側(cè)圖案區(qū)分開(kāi)。在圖示 示例中，左手圖案包括每個(gè)角上的標(biāo)志以及距角網(wǎng)格定位的第二個(gè)角上的標(biāo)志。右手圖案 具有僅在兩個(gè)角上的標(biāo)志和在非角網(wǎng)格定位上的兩個(gè)標(biāo)志。圖案的檢查表明，只要四個(gè)標(biāo) 志中的任意三個(gè)可見(jiàn)，就肯定可以將左手圖案與右手圖案區(qū)分開(kāi)。在一個(gè)實(shí)施例中，邊界的 顏色或陰影還可以用作偏手性的指示器。各標(biāo)簽仍然當(dāng)然必須采用唯一內(nèi)部圖案，在其家族公共邊界內(nèi)分布的標(biāo)志。在所 示實(shí)施例中，已發(fā)現(xiàn)，由于手指的旋轉(zhuǎn)或方位的原因，內(nèi)部網(wǎng)格陣列中的兩個(gè)標(biāo)志無(wú)需復(fù)制 足以唯一地識(shí)別出十個(gè)手指中的每一個(gè)。即使遮擋標(biāo)志中的一個(gè)，標(biāo)簽的圖案和偏手性的 組合產(chǎn)生唯一標(biāo)識(shí)符。在本實(shí)施例中，網(wǎng)格定位可視地呈現(xiàn)在剛性基板上作為對(duì)把每個(gè)回射標(biāo)志附接到 其想要定位的(手動(dòng))任務(wù)的輔助。這些網(wǎng)格和想要的標(biāo)志定位經(jīng)由彩色噴墨打印機(jī)逐字 地打印到基板上，這里基板是(最初)柔性‘收縮薄膜’的片材。每個(gè)模塊從該片材切除并且隨后被烘烤，在熱處理期間每個(gè)模塊經(jīng)過(guò)精確和可重復(fù)的收縮。針對(duì)該過(guò)程之后的簡(jiǎn)短 間隔，冷卻標(biāo)簽可以稍微成形-例如遵循手指的縱向曲線，其后，基板適于為剛性并且可以 把標(biāo)志附接到所指示的網(wǎng)格點(diǎn)。在一個(gè)實(shí)施例中，標(biāo)志自身是三維的，如經(jīng)由粘合劑或其他任何適合方式附接到 基板的小反射球。三維標(biāo)志可以成為在二維標(biāo)志上的檢測(cè)和定位的輔助。然而，可以在不 脫離實(shí)施例的精神和范圍的情況下使用任何一種。目前，經(jīng)由Velcro或其他適合方式把標(biāo)簽附接到操作者戴的手套或者可替代地 使用柔和的雙面膠帶直接附接到操作者手指。在第三實(shí)施例中，可以與剛性基板一起分配 并且把單獨(dú)標(biāo)志直接附接或‘印刷’到操作者手指和手上。姿態(tài)符號(hào)集實(shí)施例考慮由手部姿勢(shì)、方位、手部組合以及方位混合組成的姿態(tài)符號(hào)集。符號(hào)語(yǔ) 言還實(shí)現(xiàn)用于以實(shí)施例的姿態(tài)符號(hào)集設(shè)計(jì)和傳遞姿勢(shì)和姿態(tài)。姿態(tài)符號(hào)集是以簡(jiǎn)潔的文 本形式表現(xiàn)運(yùn)動(dòng)聯(lián)接的瞬時(shí)‘姿勢(shì)狀態(tài)’的系統(tǒng)。所討論的聯(lián)接可以是生物學(xué)的(例如人 手；或者整個(gè)人體；或者蝗蟲(chóng)腿；或獼猴的關(guān)節(jié)相連的脊骨)或者是非生物學(xué)的(例如，機(jī) 械臂)。在任一種情況下，聯(lián)接可以是簡(jiǎn)單的(脊骨)或者分支的(手)。實(shí)施例的姿態(tài)符 號(hào)集系統(tǒng)針對(duì)任一特定聯(lián)接創(chuàng)建恒定長(zhǎng)度的序列；占據(jù)序列‘字符定位’的特定ASCII字符 的集合成為聯(lián)接的瞬時(shí)狀態(tài)或‘姿勢(shì)’的唯一描述。手部姿勢(shì)圖3圖示了姿態(tài)符號(hào)集的實(shí)施例中的手部姿勢(shì)。該實(shí)施例假設(shè)使用了一只手的五 個(gè)手指中的每一個(gè)。這些手指標(biāo)記為P-小手指、r-無(wú)名指、m-中指、i_食指和t-拇指。 在圖3中定義和圖示了手指和拇指的許多姿勢(shì)。姿態(tài)符號(hào)集序列為聯(lián)接中(在此情況下 為手指)各個(gè)可表現(xiàn)的自由度創(chuàng)建單個(gè)字符位置。而且，各個(gè)這種自由度被認(rèn)為是離散的 (或‘量化的’)，從而可以通過(guò)在該序列位置上分配確定數(shù)量的標(biāo)準(zhǔn)ASCII字符之一來(lái)表現(xiàn) 其整個(gè)運(yùn)動(dòng)范圍。相對(duì)主體特用原點(diǎn)和坐標(biāo)系(手背、蝗蟲(chóng)身體的中心；機(jī)械臂的底座等) 表現(xiàn)這些自由度。因此使用少量附加的姿態(tài)符號(hào)集字符位置在更普遍的坐標(biāo)系中‘作為整 體’表現(xiàn)聯(lián)接的位置和方位。仍然參考圖3，使用ASCII字符定義和標(biāo)識(shí)許多姿勢(shì)。一些姿勢(shì)被劃分在拇指和非 拇指之間。該實(shí)施例使用編碼從而使得ASCII符號(hào)本身作為對(duì)姿勢(shì)的提示。然而，不管提 示與否，可以使用任何字符來(lái)表示姿勢(shì)。另外，對(duì)于符號(hào)序列不需要使用ASCII字符?？梢?在不脫離該實(shí)施例的范圍和精神的情況下使用任何適合的符號(hào)、數(shù)字或其他表示。例如，如 果想要的話，符號(hào)可以使用每個(gè)手指兩位，或者根據(jù)需要使用其他數(shù)量的位。蜷起的手指由字符“ ~ ”表示，而蜷起的拇指由“ > ”表示。伸直的手指或向上指的 拇指由“1”指示并且由“\”或“/”指示一定角度?！?”表示指向筆直側(cè)向的拇指，而“X”表 示指向平面的拇指。使用這些單獨(dú)的手指和拇指描述，根據(jù)實(shí)施例可以定義和記下手部姿勢(shì)的大致數(shù) 量。每個(gè)姿勢(shì)由如上所述的p-r-m-i-t順序的五個(gè)字符表示。圖3圖示了許多姿勢(shì)并且這 里借助圖示和示例描述一些姿勢(shì)。手部保持平直并且與地面平行表示為“11111”。拳頭表 示為>”?！按_定”記號(hào)表示為“ 11Γ >”。在使用提示字符時(shí)，字符串提供了易懂的‘人類可讀性’的機(jī)會(huì)。一般來(lái)說(shuō)，可以用眼睛選擇描述各自由度的可能的字符集來(lái)加快識(shí)別和明顯類推。例如，垂直條(‘|’)可 能表示聯(lián)接組件是‘平直的’，長(zhǎng)度符號(hào)(‘L’)可能表示90度彎曲，聲調(diào)符號(hào)(‘~’)可能 表示銳彎。如上所述，可以根據(jù)需要使用任意字符或編碼。采用如本文所述的姿態(tài)字符集序列的任何系統(tǒng)得益于序列比較-識(shí)別的高計(jì)算 效率或者按照文字搜索任何特定姿勢(shì)變成期望姿勢(shì)序列與瞬時(shí)真實(shí)序列之間的‘序列比 較’(例如，UNIX的‘strcmpO ’功能)。而且，‘通配符字符’的使用為程序員或系統(tǒng)設(shè)計(jì)者提 供了額外熟悉的效率和功效瞬時(shí)狀態(tài)對(duì)于匹配無(wú)關(guān)的自由度可以規(guī)定為詢問(wèn)點(diǎn)(‘？’)； 可以分配另外的通配符含義。方位除了手指和拇指的姿勢(shì)之外，手的方位可以表示信息。顯然還可以選擇描述一般 空間方位的字符字符‘<’、‘>’、‘~’，而可以使用‘V’來(lái)指示出現(xiàn)在方位字符位置上時(shí)的 左、右、上和下的概念。圖4圖示了將姿勢(shì)和方位組合的編碼的手部方位描述符和示例。在 實(shí)施例中，兩個(gè)字符位置首先規(guī)定手掌的方向并且隨后規(guī)定手指的方向(如果手指伸直， 則與手指的真實(shí)彎曲無(wú)關(guān))。這兩個(gè)位置的可能的字符代表方位的‘以主體為中心’的符 號(hào)‘_’、‘ + ’、‘χ’、‘*’、‘~’，而‘V，描繪了中間、橫向、前面(遠(yuǎn)離主體向前)、后面(遠(yuǎn)離 主體向后)、頭部(向上)和尾部(向下)。在實(shí)施例的符號(hào)方案中，指示字符的五個(gè)手指姿態(tài)之后是冒號(hào)，并且隨后是定義 完整命令姿勢(shì)的兩個(gè)方位字符。在一個(gè)實(shí)施例中，開(kāi)始位置是指“xyz”姿勢(shì)，其中拇指 豎直指向上，食指指向前，中指垂直于食指，在右手做出該姿勢(shì)時(shí)指向左。這表示為序列 “""xl-:-x”?！甔YZ-手’是采用人手的幾何形狀允許對(duì)視覺(jué)呈現(xiàn)的三維結(jié)構(gòu)進(jìn)行全部六個(gè)自由 度導(dǎo)航的技術(shù)。盡管該技術(shù)僅取決于操作者手部的整體轉(zhuǎn)換和旋轉(zhuǎn)，從而使得其手指在原 理上可以保持在期望的任意姿勢(shì)，但是本實(shí)施例寧愿靜態(tài)配置，其中食指指向遠(yuǎn)離身體，拇 指指向天花板，中指指向左-右。三個(gè)手指由此描繪了(粗略地，但是清晰明確的意圖)三 空間坐標(biāo)系的三個(gè)相互垂直的軸這樣的‘XYZ-手’。XYZ-手導(dǎo)航隨后用手、手指進(jìn)行上述的在操作者的身體前保持預(yù)定的‘中立定位’ 的姿勢(shì)。以下列固有方式實(shí)現(xiàn)對(duì)三空間對(duì)象(或相機(jī))的三個(gè)轉(zhuǎn)換和三個(gè)旋轉(zhuǎn)自由度的訪 問(wèn)手部的左右運(yùn)動(dòng)(相對(duì)于身體固有坐標(biāo)系)產(chǎn)生沿計(jì)算背景的X軸的運(yùn)動(dòng)；手部的上下 運(yùn)動(dòng)產(chǎn)生沿受控的背景的y軸的運(yùn)動(dòng)，而前后的手部運(yùn)動(dòng)(向著/遠(yuǎn)離操作者身體)產(chǎn)生 背景內(nèi)的ζ軸運(yùn)動(dòng)。類似地，操作者的手部圍繞食指的旋轉(zhuǎn)造成計(jì)算背景的方位的‘滾動(dòng)’ 變化；分別通過(guò)操作者的手部圍繞中指和拇指的旋轉(zhuǎn)，類似地造成‘傾斜’和‘偏轉(zhuǎn)’變化。注意，盡管這里使用‘計(jì)算背景’來(lái)指代由XYZ-手的方法所控制的實(shí)體一并且看 上去暗示了合成的三空間對(duì)象或者相機(jī)，但是應(yīng)該理解，該技術(shù)對(duì)于控制真實(shí)世界對(duì)象的 各個(gè)自由度來(lái)說(shuō)同等有效例如，裝備有適當(dāng)?shù)男D(zhuǎn)致動(dòng)器的視頻或運(yùn)動(dòng)畫面攝像機(jī)的平 移/傾斜/偏轉(zhuǎn)控制。而且，XYZ-手部姿勢(shì)所提供的物理自由度在某種程度上可能較少逐 字地映射到虛擬域中。在本實(shí)施例中，還使用XYZ-手提供對(duì)大型全景顯示圖像的導(dǎo)航訪 問(wèn)，從而使得操作者的手部的左右和上下運(yùn)動(dòng)產(chǎn)生有關(guān)圖像的期望的左右和上下‘平移’， 而操作者的手部的前后運(yùn)動(dòng)映射到‘縮放’控制。在每種情況下，手部運(yùn)動(dòng)與引起的計(jì)算轉(zhuǎn)換/旋轉(zhuǎn)之間的耦合可以是直接的(即，操作者的手部的位置或旋轉(zhuǎn)偏移經(jīng)由一些線性或非線性函數(shù)一對(duì)一地映射到計(jì)算背景中 的對(duì)象或相機(jī)的位置或旋轉(zhuǎn)偏移)或者間接的(即，操作者的手部的位置或旋轉(zhuǎn)偏移經(jīng)由 一些線性或非線性函數(shù)一對(duì)一地映射到計(jì)算背景中位置/方位的第一或更高次導(dǎo)數(shù)；進(jìn)行 中的結(jié)合隨后在計(jì)算背景的真實(shí)0階位置/方位發(fā)生非靜態(tài)變化)。后者的這種控制方式 類似于汽車‘油門踏板’的使用，其中踏板的恒定偏移或多或少產(chǎn)生恒定的車輛速度。作為真實(shí)世界XYZ-手的本地六自由度坐標(biāo)原點(diǎn)的‘中立定位’可以被設(shè)立(1)作 為空間中的絕對(duì)位置和方位(即，相對(duì)于封閉室)；(2)作為相對(duì)于操作者自身的固定位置 和方位(例如，身體前方8英寸，下巴下方10英寸并且與肩部平面橫向平行)，與操作者的 整體位置和‘航向’無(wú)關(guān)；或者(3)通過(guò)操作者的故意的次要?jiǎng)幼?例如使用操作者的‘另 一只’手所作的姿態(tài)命令，所述命令指示XYZ-手的當(dāng)前位置和方位應(yīng)當(dāng)此后用作轉(zhuǎn)換和旋 轉(zhuǎn)原點(diǎn))進(jìn)行交互。進(jìn)一步方便提供有關(guān)XYZ-手的中立定位的‘鎖銷’區(qū)(或者‘靜區(qū)’)，使得該范 圍內(nèi)的運(yùn)動(dòng)未映射到受控背景中的運(yùn)動(dòng)。其他姿勢(shì)可以包括[I I I I I :vx]是伸直的手(拇指平行于手指)，手掌朝下手指向前。[| ι ι ι ι :x"]是伸直的手，手掌朝前，手指朝向天花板。[I I I I I :-χ]是伸直的手，手掌朝身體中心(如果是左手則手掌朝右，如果是右手 則手掌朝左)手指向前。是單個(gè)手拇指向上(拇指指向天花板)。["" -:-χ]是指向前的仿真槍姿勢(shì)。雙手組合實(shí)施例考慮單手命令和姿勢(shì)以及雙手命令和姿勢(shì)。圖5圖示了實(shí)施例中的雙手組 合和相關(guān)符號(hào)的示例?；仡櫟谝皇纠姆?hào)，“完全停止”表明其包括兩個(gè)閉合的拳頭?！翱?照”示例具有每個(gè)伸展開(kāi)的手的拇指和食指，拇指相互指向?qū)Ψ剑x了目標(biāo)后形成的幀。 “方向舵和節(jié)氣門開(kāi)始位置”是向上指向面對(duì)屏幕的手掌的手指和拇指。方位混合圖6圖示了實(shí)施例中的方位混合的示例。在所示的示例中，通過(guò)將方位符號(hào)對(duì)裝 入手指姿勢(shì)序列之后的括號(hào)內(nèi)來(lái)表示混合。例如，第一命令示出了所有豎直指向的手指位 置。第一方位命令對(duì)將使得手掌向顯示器伸直，第二對(duì)具有向屏幕旋轉(zhuǎn)45度傾角的手。盡 管在該示例中示出了混合對(duì)，但是考慮到任意數(shù)量的混合。示例命令圖8/1和圖8/2圖示了根據(jù)實(shí)施例的可以使用的大量可能的命令。盡管本文說(shuō)明 書的部分在于控制顯示器上的光標(biāo)，但是該實(shí)施例不限于該操作。事實(shí)上，該實(shí)施例在操控 顯示器上的任何和所有以及部分?jǐn)?shù)據(jù)連同顯示器的狀態(tài)方面具有重大應(yīng)用。例如，可以使 用命令在視頻媒體播放期間替代視頻控制?？梢允褂妹顣和！⒖爝M(jìn)、倒帶等。另外，可以 實(shí)現(xiàn)命令放大或縮小圖像以改變圖像的方位、在任意方向上平移等。還可以使用該實(shí)施例 來(lái)代替如打開(kāi)、關(guān)閉、保存等的菜單命令。換言之，可以使用手部姿態(tài)實(shí)現(xiàn)可以設(shè)想到的任 何命令或者動(dòng)作。操作
圖7是示出了根據(jù)實(shí)施例的系統(tǒng)操作的流程圖。在701，檢測(cè)系統(tǒng)檢測(cè)標(biāo)志和標(biāo) 簽。在702，確定是否檢測(cè)到標(biāo)簽和標(biāo)志。如果否，系統(tǒng)返回到701。如果在702檢測(cè)到標(biāo) 簽和標(biāo)志，則系統(tǒng)進(jìn)行到703。在703，系統(tǒng)根據(jù)所檢測(cè)的標(biāo)簽和標(biāo)志識(shí)別手、手指和姿勢(shì)。 在704，系統(tǒng)識(shí)別姿勢(shì)的方位。在705，系統(tǒng)識(shí)別被檢測(cè)的一只手或雙手的三維空間定位(請(qǐng) 注意可以將703、704和705中的任意個(gè)或全部相結(jié)合)。在706，把信息轉(zhuǎn)換成如上所述的姿態(tài)符號(hào)。在707，確定姿勢(shì)是否有效。這可以 使用所生成的符號(hào)序列通過(guò)簡(jiǎn)單序列比較來(lái)實(shí)現(xiàn)。如果姿勢(shì)無(wú)效，則系統(tǒng)返回到701。如果 姿勢(shì)有效，則在708系統(tǒng)把符號(hào)和位置信息發(fā)送給計(jì)算機(jī)。在709，計(jì)算機(jī)響應(yīng)于該姿態(tài)確 定要采取的適合動(dòng)作并且相應(yīng)地在710更新顯示。在一個(gè)實(shí)施例中，701-705由相機(jī)上的處理器來(lái)完成。在其他實(shí)施例中，可以根據(jù) 需要由系統(tǒng)計(jì)算機(jī)完成處理。分析和轉(zhuǎn)換系統(tǒng)能夠“分析”和“轉(zhuǎn)換”通過(guò)基本系統(tǒng)恢復(fù)的低水平姿態(tài)流，并且把那些分析 和轉(zhuǎn)換的姿態(tài)變成可以用來(lái)控制廣泛的計(jì)算機(jī)應(yīng)用和系統(tǒng)的命令流或事件數(shù)據(jù)?？梢栽谙?統(tǒng)中實(shí)現(xiàn)這些技術(shù)和算法，該系統(tǒng)包括提供實(shí)現(xiàn)這些技術(shù)的引擎以及構(gòu)建利用引擎能力的 計(jì)算機(jī)應(yīng)用的平臺(tái)兩者的計(jì)算機(jī)代碼。一個(gè)實(shí)施例關(guān)注于在計(jì)算機(jī)接口中實(shí)現(xiàn)人手的大量姿態(tài)使用，但是還能夠識(shí)別其 他身體部分做出的姿態(tài)(包括但不限于臂、軀干、腿和頭)以及各種非手部的身體工具，所 有固定和關(guān)節(jié)連接的部分，包括但不限于圓規(guī)、羅盤、柔性曲線近似器和各種形狀的指示裝 置。可以把標(biāo)志和標(biāo)簽應(yīng)用到可以根據(jù)需要由操作者攜帶和使用的物品和工具。這里所述的系統(tǒng)加入了許多改進(jìn)，使得能夠構(gòu)建富于可以識(shí)別和做出姿態(tài)的范圍 的姿態(tài)系統(tǒng)，而同時(shí)提供了對(duì)應(yīng)用的簡(jiǎn)單結(jié)合。在一個(gè)實(shí)施例中的姿態(tài)分析和轉(zhuǎn)換系統(tǒng)包括1)以幾種不同集合水平規(guī)定(編碼以在計(jì)算機(jī)程序中使用)姿態(tài)的簡(jiǎn)潔和有效方 法；a. 一只手的“姿勢(shì)”(這只手的各部位相互之間的布置和方位)三維空間的一只 手的方位和位置。b.雙手組合，對(duì)于考慮姿勢(shì)、位置或姿勢(shì)和位置兩者的每只手。c.多人組合；該系統(tǒng)可以跟蹤多于兩只手，并且從而一人以上可以協(xié)同地(或者 在游戲應(yīng)用情況下競(jìng)爭(zhēng)地)控制目標(biāo)系統(tǒng)。d.其中姿勢(shì)順序組合的順序姿態(tài)；我們稱這些為“動(dòng)畫”姿態(tài)。e. “語(yǔ)義圖”姿態(tài)，其中操作者跟蹤空間中的形狀。2)用于從上面的每個(gè)類別登記與給定應(yīng)用場(chǎng)景相關(guān)的特定姿態(tài)的編程技術(shù)。3)用于分析姿態(tài)流從而可以識(shí)別該登記的姿態(tài)并且可以把封裝那些姿態(tài)的事件 傳送到相關(guān)的應(yīng)用場(chǎng)景的算法。借助構(gòu)成元素(Ia)到(If)，規(guī)范系統(tǒng)(1)提供了使用這里所述的系統(tǒng)的姿態(tài)分析 和轉(zhuǎn)換能力的基礎(chǔ)。一只手“姿勢(shì)”被表示為以下的序列i)手指與手背之間的相對(duì)方位，
ii)量化成少量離散狀態(tài)。使用相對(duì)結(jié)合方位允許這里所述的系統(tǒng)避免不同的手部大小和幾何形狀相關(guān)的 問(wèn)題。對(duì)于這種系統(tǒng)不需要“操作者校準(zhǔn)”。另外，將姿勢(shì)規(guī)定為相對(duì)方位的序列或集合允 許通過(guò)將姿勢(shì)表示與另外的濾波器和規(guī)范相結(jié)合以容易地創(chuàng)建更復(fù)雜的姿態(tài)規(guī)范。針對(duì)姿勢(shì)規(guī)范使用少量離散狀態(tài)能夠簡(jiǎn)單地指定姿勢(shì)并且使用各種基本跟蹤技 術(shù)(例如，使用相機(jī)的被動(dòng)光學(xué)跟蹤，使用光點(diǎn)和相機(jī)的主動(dòng)光學(xué)跟蹤，電磁場(chǎng)跟蹤等)確 保準(zhǔn)確的姿勢(shì)識(shí)別?？梢圆糠值?或者最小地)規(guī)定每個(gè)類別(Ia)到(If)中的姿態(tài)，從而忽略非關(guān) 鍵數(shù)據(jù)。例如，兩個(gè)手指的位置是確定的并且其他手指位置是不重要的姿態(tài)可以表示為單 個(gè)規(guī)范，其中給出兩個(gè)相關(guān)手指的操作位置，并且在同一序列中，為其他手指列出“通配符” 或一般“忽略這些”指示符。針對(duì)姿態(tài)識(shí)別這里描述的所有改進(jìn)，包括但不限于多層規(guī)范技術(shù)、相對(duì)方位的運(yùn) 用、數(shù)據(jù)量化以及針對(duì)每個(gè)級(jí)別的部分或最小規(guī)范的余量，將手部姿態(tài)的超過(guò)規(guī)范歸納為 使用其他身體部分和“制造”工具和對(duì)象的姿態(tài)的規(guī)范。用于“登記姿態(tài)” O)的編程技術(shù)由預(yù)定義的應(yīng)用編程接口集調(diào)用函數(shù)組成，調(diào)用 函數(shù)允許編程者定義引擎應(yīng)當(dāng)使得哪些姿態(tài)對(duì)于運(yùn)行系統(tǒng)的其他部分可用。在應(yīng)用建立時(shí)可以使用這些API線程，創(chuàng)建在運(yùn)行應(yīng)用程序的持續(xù)時(shí)間期間使用 的靜態(tài)接口定義。在運(yùn)行期間也可以使用這些線程，允許接口特性在不工作時(shí)發(fā)生改變。接 口的這種實(shí)時(shí)變化使得能夠i)構(gòu)建復(fù)雜場(chǎng)景和條件控制狀態(tài)，ii)向控制環(huán)境動(dòng)態(tài)地添加遲滯(hysteresis)，以及iii)創(chuàng)建應(yīng)用，其中用戶能夠改變或擴(kuò)展運(yùn)行系統(tǒng)自身的接口符號(hào)集。用于分析姿態(tài)流(3)的算法將(1)中規(guī)定和在( 中登記的姿態(tài)與輸入的低水平 姿態(tài)數(shù)據(jù)相比較。在識(shí)別出用于登記姿態(tài)的匹配時(shí)，把代表匹配姿態(tài)的事件數(shù)據(jù)在堆棧上 方傳送到運(yùn)行的應(yīng)用。在這種系統(tǒng)的設(shè)計(jì)中有效的實(shí)時(shí)匹配是理想的，將指定姿態(tài)看作是盡可能快的處 理的概率樹(shù)。另外，內(nèi)部使用以識(shí)別指定姿態(tài)的初始比較操作符還暴露給應(yīng)用程序編程者來(lái)使 用，使得甚至在應(yīng)用場(chǎng)景中也可以進(jìn)行進(jìn)一步比較(例如在復(fù)雜或復(fù)合姿態(tài)中的靈活的狀 態(tài)檢查)。識(shí)別“鎖定”語(yǔ)義是本文所述系統(tǒng)的改進(jìn)。這些語(yǔ)義由登記API (2)(以及，在較小 程度上，嵌入在規(guī)范符號(hào)集(1)中)來(lái)暗示。登記API調(diào)用函數(shù)包括i) “登入”狀態(tài)提示符以及“繼續(xù)”狀態(tài)提示符，以及ii)姿態(tài)優(yōu)先級(jí)指示符。如果識(shí)別出姿態(tài)，則其“繼續(xù)”條件對(duì)于相同或較低優(yōu)先級(jí)的姿態(tài)占據(jù)所有“登入” 條件的優(yōu)先位置。登入和繼續(xù)狀態(tài)之間的這種差異明顯增加感知系統(tǒng)可用性。本文所述的系統(tǒng)包括面對(duì)真實(shí)世界數(shù)據(jù)誤差和不確定性的魯棒操作的算法。來(lái)自 低水平跟蹤系統(tǒng)的數(shù)據(jù)可能是不完整的(由于多種原因，包括光學(xué)跟蹤、網(wǎng)絡(luò)中斷或處理 延遲等中標(biāo)志的遮擋)。
丟失的數(shù)據(jù)由分析系統(tǒng)做標(biāo)記，并且根據(jù)丟失數(shù)據(jù)的數(shù)量和背景插入“最后已知 的”或“最可能的”狀態(tài)。如果丟失有關(guān)特定姿態(tài)成分的數(shù)據(jù)(例如，特定接合的方位)，而該特定成分的 “最后已知的”狀態(tài)可以作為本質(zhì)上可能的狀態(tài)進(jìn)行分析，則系統(tǒng)在其實(shí)時(shí)匹配中使用該最 后已知的狀態(tài)。相反，如果最后已知的狀態(tài)作為本質(zhì)上不可能的狀態(tài)進(jìn)行分析，則系統(tǒng)退回到該 成分的“最佳猜測(cè)范圍”，并且在其實(shí)時(shí)匹配中使用該合成數(shù)據(jù)。本文描述的規(guī)范和分析系統(tǒng)被精心設(shè)計(jì)來(lái)支持“偏手性不可知論”，從而針對(duì)多個(gè) 手部姿態(tài)允許任一只手滿足姿勢(shì)需求。一致的虛擬/顯示和物理空間系統(tǒng)可以提供這樣一種環(huán)境，其中在一個(gè)或多個(gè)顯示裝置(“屏幕”)上描繪的虛 擬空間被看作與系統(tǒng)的一個(gè)或多個(gè)操作者所處的物理空間一致。本文描述了這種環(huán)境的實(shí) 施例。該當(dāng)前實(shí)施例包括固定定位處的三個(gè)投影儀驅(qū)動(dòng)屏幕，由單個(gè)臺(tái)式計(jì)算機(jī)驅(qū)動(dòng)并且 使用本文描述的姿態(tài)符號(hào)集和接口系統(tǒng)來(lái)控制。然而，注意，任意數(shù)量的屏幕得到正在描述 的技術(shù)的支持，那些屏幕可以是移動(dòng)的(而非固定的)，屏幕可以由許多獨(dú)立計(jì)算機(jī)同時(shí)驅(qū) 動(dòng)，以及整個(gè)系統(tǒng)可以受到任何輸入裝置或技術(shù)的控制。本公開(kāi)中描述的接口系統(tǒng)應(yīng)當(dāng)具有確定屏幕在物理空間中的尺寸、方位和位置的 裝置。給定該信息，該系統(tǒng)能夠把這些屏幕作為投影定位(并且存在系統(tǒng)的操作者)的物 理空間動(dòng)態(tài)地映射到在系統(tǒng)上運(yùn)行的計(jì)算機(jī)應(yīng)用的虛擬空間。作為該自動(dòng)映射的部分，該 系統(tǒng)根據(jù)系統(tǒng)所具有的應(yīng)用的需要以多種方式轉(zhuǎn)換兩個(gè)空間的尺度、角度、深度、尺寸和其 他空間特征。物理和虛擬空間之間的這種連續(xù)轉(zhuǎn)換使得能夠一致和普遍應(yīng)用難以在現(xiàn)有應(yīng)用 平臺(tái)上實(shí)現(xiàn)或者針對(duì)在現(xiàn)有平臺(tái)上運(yùn)行的各個(gè)應(yīng)用必須逐個(gè)(piece-meal)實(shí)現(xiàn)的許多接 口技術(shù)。這些技術(shù)包括(但不限于)1) “文字指示”的使用-在姿態(tài)接口環(huán)境中使用手部，或者使用物理指示工具或裝 置-作為普遍和自然接口技術(shù)。2)對(duì)屏幕移動(dòng)或重新定位的自動(dòng)補(bǔ)償。3)根據(jù)操作者位置例如模擬視差偏移發(fā)生變化以增強(qiáng)深度感受的圖形渲染。4)在屏幕上顯示器中包括物理對(duì)象-考慮真實(shí)世界位置、方位、狀態(tài)等。例如，站 在大型、不透明的屏幕前方的操作者可以看到應(yīng)用圖形以及屏幕(并且可以正在移動(dòng)或者 改變方位)后方的比例模型的真實(shí)位置的表示。值得注意的是，文字指示不同于在基于鼠標(biāo)的窗口接口和大多數(shù)其他同時(shí)期的系 統(tǒng)中使用的抽象指示。在那些系統(tǒng)中，操作者必須學(xué)會(huì)管理虛擬指示裝置與物理指示裝置 之間的轉(zhuǎn)換，并且必須有認(rèn)知地在兩者之間映射。相反，在本公開(kāi)內(nèi)容中描述的系統(tǒng)中，不管是從應(yīng)用還是從用戶角度來(lái)說(shuō)，虛擬和 物理空間之間都不存在差別(只是虛擬空間更受數(shù)學(xué)運(yùn)算的影響)，所以不存在操作者的 所需要的認(rèn)知轉(zhuǎn)換。本文描述的實(shí)施例所提供的文字指示的最接近近似是觸摸敏感屏幕(例如在許 多ATM機(jī)器上所見(jiàn)的)。觸摸敏感屏幕在屏幕上的二維顯示空間與屏幕表面的二維輸入空間之間提供一對(duì)一的映射。在類似方式中，本文所述的系統(tǒng)在一個(gè)或多個(gè)屏幕上顯示的虛 擬空間與操作者所處的物理空間之間提供了靈活的映射(可能但并非必須一對(duì)一)。盡管 類推的有效性問(wèn)題，但是值得注意的是，該“映射方法”到三維的擴(kuò)展，任意大型架構(gòu)環(huán)境以 及多屏幕并非微不足道。除了本文描述的成分之外，系統(tǒng)還可以實(shí)現(xiàn)在環(huán)境的物理空間與每個(gè)屏幕上的顯 示空間之間實(shí)現(xiàn)連續(xù)、系統(tǒng)級(jí)映射(大概通過(guò)旋轉(zhuǎn)、轉(zhuǎn)換、縮放和其他幾何關(guān)系變換修改) 的算法。實(shí)施例的系統(tǒng)包括渲染堆棧，其獲得計(jì)算對(duì)象和映射并且輸出虛擬空間的圖形表
7J\ ο實(shí)施例的系統(tǒng)包括輸入事件處理堆棧，其從控制系統(tǒng)獲得事件數(shù)據(jù)(在當(dāng)前實(shí)施 例中為來(lái)自系統(tǒng)和鼠標(biāo)輸入的姿態(tài)和指示數(shù)據(jù)兩者)并且把空間數(shù)據(jù)從輸入事件映射到 虛擬空間中的坐標(biāo)。隨后將轉(zhuǎn)換后的事件傳送給運(yùn)行的應(yīng)用。實(shí)施例的系統(tǒng)包括“粘合層”，允許系統(tǒng)具有通過(guò)局域網(wǎng)在幾個(gè)計(jì)算機(jī)之間運(yùn)行的應(yīng)用。本文所述的實(shí)施例包括一種系統(tǒng)，包括交通工具中的多個(gè)傳感器，其中所述多個(gè) 傳感器映射對(duì)象并且輸出表示所述對(duì)象所做姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是所述對(duì) 象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)，其中所述對(duì)象包括用戶的手和手指中的至少一個(gè)；處理器， 耦接到所述多個(gè)傳感器，所述處理器從所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿態(tài)，所述檢測(cè) 包括提取所述對(duì)象的位置，所述檢測(cè)包括恢復(fù)所述對(duì)象的量化姿勢(shì)和方位矢量，所述檢測(cè) 包括把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)；以及控制器，耦接到所述處理器并且耦接到交通工 具的多個(gè)交通工具子系統(tǒng)，所述控制器響應(yīng)于所述姿態(tài)信號(hào)管理與所述多個(gè)交通工具子系 統(tǒng)的用戶交互。定位實(shí)施例的多個(gè)傳感器來(lái)查看所述交通工具的座艙。實(shí)施例的多個(gè)傳感器包括多個(gè)相機(jī)。實(shí)施例的多個(gè)相機(jī)包括立體視覺(jué)系統(tǒng)。實(shí)施例的姿態(tài)數(shù)據(jù)包括表示所述對(duì)象的三維數(shù)據(jù)點(diǎn)云。實(shí)施例的三維數(shù)據(jù)點(diǎn)云中的數(shù)據(jù)點(diǎn)的分辨深度精度大約為1毫米(mm)。實(shí)施例的對(duì)象的位置包括手的位置。實(shí)施例的對(duì)象的位置包括一組手指的位置。實(shí)施例的對(duì)象的量化姿勢(shì)包括至少一只手的量化姿勢(shì)。實(shí)施例的對(duì)象的方位矢量包括至少一只手的連續(xù)方位矢量。實(shí)施例的對(duì)象的方位矢量包括一組手指的連續(xù)方位矢量。實(shí)施例的轉(zhuǎn)換包括把所述姿態(tài)的信息轉(zhuǎn)換成姿態(tài)符號(hào)。實(shí)施例的姿態(tài)符號(hào)表示姿態(tài)符號(hào)集，并且所述姿態(tài)信號(hào)包括所述姿態(tài)符號(hào)集的通
fn °實(shí)施例的姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接的瞬時(shí)姿勢(shì)狀態(tài)。實(shí)施例的姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接的方位。實(shí)施例的姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接的方位組合。實(shí)施例的姿態(tài)符號(hào)集包括表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接狀態(tài)的字符串。
實(shí)施例的系統(tǒng)包括耦接到所述處理器的反饋裝置，所述反饋裝置為用戶提供對(duì)應(yīng) 于所述姿態(tài)的指示。實(shí)施例的指示包括對(duì)所述姿態(tài)的解釋。實(shí)施例的指示包括響應(yīng)于所述姿態(tài)在所述多個(gè)交通工具子系統(tǒng)上實(shí)現(xiàn)的效果。實(shí)施例的反饋裝置是視覺(jué)裝置。實(shí)施例的反饋裝置是聽(tīng)覺(jué)裝置。實(shí)施例的反饋裝置是音頻-視覺(jué)裝置。實(shí)施例的反饋裝置是交通工具平視顯示器。實(shí)施例的反饋裝置是基于像素的交通工具顯示器。實(shí)施例的反饋裝置是至少一個(gè)變色發(fā)光指示器。實(shí)施例的反饋裝置是觸覺(jué)顯示器。實(shí)施例的控制器使用第一交互模式管理所述用戶交互，所述第一交互模式包括響 應(yīng)于所述姿態(tài)來(lái)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所述姿態(tài)包括用戶的手指運(yùn) 動(dòng)。實(shí)施例的姿態(tài)包括手部?jī)蓚€(gè)手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于 所述姿態(tài)而循環(huán)經(jīng)過(guò)交通工具子系統(tǒng)的多個(gè)控制組件，其中每個(gè)控制組件都允許用戶控制 交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括用戶手部的手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng) 于所述姿態(tài)而遞增地改變所述參數(shù)的設(shè)置。實(shí)施例的姿態(tài)包括按住第一手指和伸展第二手指，其中所述控制器響應(yīng)于所述姿 態(tài)以恒定速率改變所述參數(shù)的設(shè)置。實(shí)施例的姿態(tài)包括用戶第一只手的至少一個(gè)手指的伸展，其中所述處理器響應(yīng)于 所述姿態(tài)激活所述控制器。實(shí)施例的用戶的手部在所述姿態(tài)期間保持與交通工具的導(dǎo)向機(jī)構(gòu)接觸。實(shí)施例的至少一個(gè)手指是所述用戶的食指、中指和拇指中的至少一個(gè)。實(shí)施例的姿態(tài)包括所述第一只手的兩個(gè)手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控 制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)交通工具子系統(tǒng)的多個(gè)控制模式，其中所述多個(gè)控制模式 的每個(gè)控制模式都對(duì)應(yīng)于交通工具子系統(tǒng)。實(shí)施例的姿態(tài)包括第二只手的兩個(gè)手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控制器 響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)每個(gè)控制模式的多個(gè)控制選項(xiàng)，其中所述多個(gè)控制選項(xiàng)的每個(gè) 控制選項(xiàng)都對(duì)應(yīng)于交通工具子系統(tǒng)。實(shí)施例的姿態(tài)包括所述用戶手部的手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控制器 響應(yīng)于所述姿態(tài)對(duì)控件的設(shè)置進(jìn)行控制。實(shí)施例的姿態(tài)包括所述用戶的手部的第一手指的握緊-再次伸展運(yùn)動(dòng)，其中所述 控制器響應(yīng)于所述姿態(tài)通過(guò)沿第一方向?qū)λ鲈O(shè)置進(jìn)行步進(jìn)來(lái)遞增地改變所述設(shè)置。實(shí)施例的姿態(tài)包括所述用戶手部的第二手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控 制器響應(yīng)于所述姿態(tài)通過(guò)沿第二方向?qū)λ鲈O(shè)置進(jìn)行步進(jìn)來(lái)遞增地改變所述設(shè)置。實(shí)施例的姿態(tài)包括按住所述第一手指和伸展所述第二手指，其中所述控制器響應(yīng) 于所述姿態(tài)以恒定速率改變所述設(shè)置。
實(shí)施例的系統(tǒng)包括耦接到所述處理器的圖形顯示器，所述圖形顯示器為用戶提供 對(duì)應(yīng)于所述姿態(tài)的指示，其中所述姿態(tài)控制顯示組件在所述圖形顯示器上的位置。實(shí)施例的手指運(yùn)動(dòng)經(jīng)由所述顯示組件實(shí)現(xiàn)所述交通工具子系統(tǒng)的控制組件的非 線性選擇，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括所述用戶的第一只手的至少一個(gè)手指的伸展，其中所述處理器 響應(yīng)于所述姿態(tài)激活所述控制器并且使得所述顯示組件將被顯示。實(shí)施例的姿態(tài)包括指尖的相對(duì)運(yùn)動(dòng)，其中所述處理器響應(yīng)于所述指尖的相對(duì)運(yùn)動(dòng) 控制所述顯示組件在所述圖形顯示器上的運(yùn)動(dòng)。通過(guò)所述顯示組件的近鄰選擇實(shí)施例的所述顯示器的界面圖形，其中所述顯示組 件是指示裝置。實(shí)施例的界面圖形對(duì)應(yīng)于所述交通工具子系統(tǒng)的控制組件，其中每個(gè)控制組件的 界面圖形都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括所述用戶手部的手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控制器 響應(yīng)于所述姿態(tài)經(jīng)由所述界面圖形改變所述參數(shù)的設(shè)置。實(shí)施例的姿態(tài)包括按住第一手指和伸展第二手指，其中所述控制器響應(yīng)于所述姿 態(tài)經(jīng)由所述界面圖形改變所述參數(shù)的設(shè)置。實(shí)施例的顯示組件包括撥動(dòng)開(kāi)關(guān)圖標(biāo)，其中所述姿態(tài)包括所述用戶手部的手指的 握緊-再次伸展運(yùn)動(dòng)，其中所述姿態(tài)控制所述撥動(dòng)開(kāi)關(guān)的設(shè)置。實(shí)施例的顯示組件包括滑塊圖標(biāo)，其中所述姿態(tài)包括按住第一手指和伸展第二手 指，其中所述控制器響應(yīng)于所述姿態(tài)以恒定速率改變所述滑塊的設(shè)置。實(shí)施例的顯示組件包括滑塊圖標(biāo)，其中所述姿態(tài)包括所述用戶手部的手指的握 緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)而遞增地改變所述滑塊的設(shè)置。實(shí)施例的控制器使用第二交互模式管理所述用戶交互，所述第二交互模式包括響 應(yīng)于所述姿態(tài)來(lái)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所述姿態(tài)包括所述用戶的手 部運(yùn)動(dòng)和手指運(yùn)動(dòng)。實(shí)施例的控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通工具子系統(tǒng)的多個(gè)控制組 件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括手部的沿第一方向伸展的第一手指。實(shí)施例的姿態(tài)包括所述手部的沿第二方向伸展的第二手指。實(shí)施例的姿態(tài)包括所述手部、所述第一手指和所述第二手指的組合的垂直方位， 其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置在與重力對(duì)齊的平面 中。實(shí)施例的姿態(tài)包括所述手部、所述第一手指和所述第二手指的組合的水平方位， 其中所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面 中。實(shí)施例的姿態(tài)包括所述手部的沿所述第一方向伸展并且與所述第一手指近似對(duì) 齊的第三手指。實(shí)施例的第二手指在伸展時(shí)與所述第一手指近似垂直。實(shí)施例的第二手指在伸展時(shí)與所述第一手指近似平行。
實(shí)施例的姿態(tài)包括旋轉(zhuǎn)到所述第一手指近似中間指向的位置的手部。實(shí)施例的系統(tǒng)包括耦接到所述處理器的圖形顯示器，所述圖形顯示器經(jīng)由所述姿 態(tài)為所述用戶提供控制，其中所述控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通工具子系統(tǒng) 的多個(gè)控制組件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)控制顯示組件在所述圖形顯示器上的位置。實(shí)施例的姿態(tài)包括手部的沿第一方向伸展的第一手指。實(shí)施例的顯示組件包括指示裝置，其中所述指示裝置的位置由所述第一手指的運(yùn) 動(dòng)和目標(biāo)中的至少一個(gè)控制。在使用所述第一手指的目標(biāo)在控制組件內(nèi)布置所述指示裝置并且所述手部的第 二手指從第一位置移動(dòng)到第二位置時(shí)，實(shí)施例的姿態(tài)對(duì)控制組件的選擇進(jìn)行控制，其中第 一位置近似垂直于所述第一手指延伸，而第二位置近似平行于所述第一手指延伸。實(shí)施例的姿態(tài)包括使所述第一手指瞄準(zhǔn)遠(yuǎn)離所述圖形顯示器的位置，其中所述控 制器呈現(xiàn)菜單列表。實(shí)施例的姿態(tài)包括使所述第一手指瞄準(zhǔn)菜單項(xiàng)并且把所述第二手指移向所述第 一位置，其中所述控制器選擇所述菜單項(xiàng)作為有效控制組件。實(shí)施例的姿態(tài)包括所述手部和所述手部的至少一個(gè)手指的組合的垂直方位，其中 所述垂直方位把所述手部、所述第一手指和所述第二手指布置在與重力對(duì)齊的平面中，其 中所述控制器呈現(xiàn)第一組控制組件。實(shí)施例的姿態(tài)包括所述手部和所述手部的至少一個(gè)手指的組合的水平方位，其中 所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面中，其 中所述控制器呈現(xiàn)不同于第一組控制組件的第二組控制組件。實(shí)施例的交通工具子系統(tǒng)包括氣候控制裝置，多功能顯示裝置、音頻裝置、無(wú)線電 廣播裝置、數(shù)字音頻裝置、電話、導(dǎo)航裝置、巡航控制裝置、自動(dòng)駕駛裝置、自動(dòng)導(dǎo)向裝置和 聯(lián)網(wǎng)裝置中的至少一個(gè)。實(shí)施例的多個(gè)傳感器包括多個(gè)飛行時(shí)間深度感測(cè)相機(jī)。實(shí)施例的多個(gè)傳感器包括多個(gè)結(jié)構(gòu)光三維傳感器。本文所述的實(shí)施例包括一種系統(tǒng)，包括多個(gè)傳感器，其中所述多個(gè)傳感器映射對(duì) 象并且輸出表示姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是所述對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀 態(tài)，其中所述對(duì)象包括手和手指中的至少一個(gè)；以及處理器，耦接到所述多個(gè)傳感器，所述 處理器從所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿態(tài)，所述檢測(cè)包括提取所述對(duì)象的位置，所 述檢測(cè)包括恢復(fù)所述對(duì)象的量化姿勢(shì)和方位矢量，所述檢測(cè)包括把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿 態(tài)信號(hào)并且使用所述姿態(tài)信號(hào)控制耦接到所述處理器的交通工具子系統(tǒng)。本文所述的實(shí)施例包括一種系統(tǒng)，包括安裝在交通工具中的多個(gè)傳感器，其中所 述多個(gè)傳感器映射對(duì)象并且輸出表示所述對(duì)象所做姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是 所述對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)；處理器，耦接到所述多個(gè)傳感器，所述處理器從所述 姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿態(tài)并且把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)；控制器，耦接到 所述控制器并且耦接到交通工具的交通工具子系統(tǒng)，所述控制器響應(yīng)于所述姿態(tài)信號(hào)來(lái)控 制所述交通工具子系統(tǒng)；以及反饋裝置，耦接到所述處理器，所述反饋裝置提供對(duì)應(yīng)于所述 姿態(tài)的視覺(jué)和音頻反饋中的至少一個(gè)。
本文所述的實(shí)施例包括一種方法，包括經(jīng)由交通工具中的多個(gè)傳感器接收對(duì)象 的圖像并且輸出表示所述對(duì)象所做姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是所述對(duì)象在空間 中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)，其中所述對(duì)象包括用戶的手和手指中的至少一個(gè)；通過(guò)提取所述對(duì) 象的位置，恢復(fù)所述對(duì)象的量化姿勢(shì)和方位矢量以及把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)來(lái)從 所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿態(tài)；以及響應(yīng)于所述姿態(tài)信號(hào)來(lái)管理與所述多個(gè)交通 工具子系統(tǒng)的用戶交互。實(shí)施例的方法包括定位所述多個(gè)傳感器來(lái)查看所述交通工具的座艙，其中所述多 個(gè)傳感器包括多個(gè)相機(jī)。實(shí)施例的姿態(tài)數(shù)據(jù)包括表示所述對(duì)象的三維數(shù)據(jù)點(diǎn)云。實(shí)施例的對(duì)象的位置包括手的位置。實(shí)施例的對(duì)象的位置包括一組手指的位置。實(shí)施例的對(duì)象的量化姿勢(shì)包括至少一只手的量化姿勢(shì)。實(shí)施例的對(duì)象的方位矢量包括至少一只手的連續(xù)方位矢量。實(shí)施例的對(duì)象的方位矢量包括一組手指的連續(xù)方位矢量。實(shí)施例的轉(zhuǎn)換包括把所述姿態(tài)的信息轉(zhuǎn)換成姿態(tài)符號(hào)，其中所述姿態(tài)符號(hào)表示姿 態(tài)符號(hào)集，并且所述姿態(tài)信號(hào)包括所述姿態(tài)符號(hào)集的通信。實(shí)施例的姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接的瞬時(shí)姿勢(shì)狀態(tài)。實(shí)施例的姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接的方位。實(shí)施例的姿態(tài)符號(hào)集包括表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接狀態(tài)的字符串。實(shí)施例的方法包括為用戶提供對(duì)應(yīng)于所述姿態(tài)的指示，其中所述指示包括對(duì)所述 姿態(tài)的解釋以及響應(yīng)于所述姿態(tài)在所述多個(gè)交通工具子系統(tǒng)上實(shí)現(xiàn)的效果中的至少一個(gè)。實(shí)施例的用戶交互的管理包括使用第一交互模式，所述第一交互模式包括響應(yīng)于 所述姿態(tài)來(lái)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所述姿態(tài)包括用戶的手指運(yùn)動(dòng)。實(shí)施例的姿態(tài)包括手部的兩個(gè)手指的握緊-再次伸展運(yùn)動(dòng)，其中管理用戶交互包 括響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)交通工具子系統(tǒng)的多個(gè)控制組件，其中每個(gè)控制組件都允許 用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括用戶手部的手指的握緊-再次伸展運(yùn)動(dòng)，其中管理用戶交互包 括響應(yīng)于所述姿態(tài)而遞增地改變所述參數(shù)的設(shè)置。實(shí)施例的姿態(tài)包括按住第一手指和伸展第二手指，其中管理用戶交互包括響應(yīng)于 所述姿態(tài)以恒定速率改變所述參數(shù)的設(shè)置。實(shí)施例的用戶的手部在所述姿態(tài)期間保持與交通工具的導(dǎo)向機(jī)構(gòu)接觸。實(shí)施例的方法包括為用戶提供對(duì)應(yīng)于所述姿態(tài)的指示，其中所述姿態(tài)控制顯示組 件在圖形顯示器上的位置。實(shí)施例的手指運(yùn)動(dòng)經(jīng)由所述顯示組件實(shí)現(xiàn)所述交通工具子系統(tǒng)的控制組件的非 線性選擇，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括指尖的相對(duì)運(yùn)動(dòng)，其中管理用戶交互包括響應(yīng)于所述指尖的相 對(duì)運(yùn)動(dòng)控制所述顯示組件在所述圖形顯示器上的運(yùn)動(dòng)。實(shí)施例的方法包括通過(guò)所述顯示組件的近鄰選擇所述顯示器的界面圖形，其中所 述顯示組件是指示裝置。
實(shí)施例的界面圖形對(duì)應(yīng)于所述交通工具子系統(tǒng)的控制組件，其中每個(gè)控制組件的 界面圖形都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的用戶交互的管理包括使用第二交互模式，所述第二交互模式包括響應(yīng)于 所述姿態(tài)來(lái)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所述姿態(tài)包括所述用戶的手部運(yùn) 動(dòng)和手指運(yùn)動(dòng)。實(shí)施例的方法包括響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通工具子系統(tǒng)的多個(gè)控制 組件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。實(shí)施例的姿態(tài)包括手部的沿第一方向伸展的第一手指。實(shí)施例的姿態(tài)包括所述手部的沿第二方向伸展的第二手指。實(shí)施例的姿態(tài)包括所述手部、所述第一手指和所述第二手指的組合的垂直方位， 其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置在與重力對(duì)齊的平面 中。實(shí)施例的姿態(tài)包括所述手部、所述第一手指和所述第二手指的組合的水平方位， 其中所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面 中。實(shí)施例的姿態(tài)包括所述手部的沿所述第一方向伸展并且與所述第一手指近似對(duì) 齊的第三手指。實(shí)施例的第二手指在伸展時(shí)與所述第一手指近似垂直。實(shí)施例的第二手指在伸展時(shí)與所述第一手指近似平行。實(shí)施例的姿態(tài)包括旋轉(zhuǎn)到所述第一手指近似中間指向的位置的手部。實(shí)施例的方法包括提供顯示輸出，所述顯示輸出經(jīng)由所述姿態(tài)為用戶提供控制， 其中管理用戶交互包括響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通工具子系統(tǒng)的多個(gè)控制組件， 其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。 實(shí)施例的姿態(tài)控制顯示組件在所述顯示輸出上的位置。實(shí)施例的姿態(tài)包括手部的沿第一方向伸展的第一手指。實(shí)施例的顯示組件包括指示裝置，其中所述指示裝置的位置由所述第一手指的運(yùn) 動(dòng)和目標(biāo)中的至少一個(gè)控制。在使用所述第一手指的目標(biāo)在控制組件內(nèi)布置所述指示裝置并且所述手部的第 二手指從第一位置移動(dòng)到第二位置時(shí)，實(shí)施例的姿態(tài)對(duì)控制組件的選擇進(jìn)行控制，其中第 一位置近似垂直于所述第一手指延伸，而第二位置近似平行于所述第一手指延伸。實(shí)施例的姿態(tài)包括使所述第一手指瞄準(zhǔn)遠(yuǎn)離所述圖形顯示器的位置，其中所述控 制器呈現(xiàn)菜單列表。實(shí)施例的姿態(tài)包括使所述第一手指瞄準(zhǔn)菜單項(xiàng)并且把所述第二手指移向所述第 一位置，其中所述控制器選擇所述菜單項(xiàng)作為有效控制組件。本文描述的基于姿態(tài)的控制系統(tǒng)和方法包括處理系統(tǒng)和/或在處理系統(tǒng)下運(yùn)行 和/或與處理系統(tǒng)相結(jié)合地運(yùn)行。如本領(lǐng)域已知的，處理系統(tǒng)包括基于處理器的裝置或一 起操作的計(jì)算裝置的任意結(jié)合，或者處理系統(tǒng)或裝置的元件。例如，處理系統(tǒng)可以包括便攜 式計(jì)算機(jī)、在通信網(wǎng)絡(luò)中運(yùn)行的便攜式通信裝置和/或網(wǎng)絡(luò)服務(wù)器中的一個(gè)或多個(gè)。便攜 式計(jì)算機(jī)可以是任意數(shù)量的個(gè)人計(jì)算機(jī)、蜂窩電話、個(gè)人數(shù)字助理、便攜式計(jì)算裝置和便攜式通信裝置和/或組合，但是不限于此。處理系統(tǒng)可以包括大型計(jì)算機(jī)系統(tǒng)中的元件。實(shí)施例的處理系統(tǒng)包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器裝置或子系統(tǒng)。處理 系統(tǒng)還可以包括至少一個(gè)數(shù)據(jù)庫(kù)或者與至少一個(gè)數(shù)據(jù)庫(kù)耦接。本文一般意義上使用的術(shù) 語(yǔ)“處理器”是指任何邏輯處理單元，諸如一個(gè)或多個(gè)中央處理單元(CPU)、數(shù)字信號(hào)處理器 (DSP)、專用集成電路(ASIC)等。處理器和存儲(chǔ)器可以整體集成在單個(gè)芯片中，分布在主機(jī) 系統(tǒng)的多個(gè)芯片或元件中，和/或由一些算法的組合來(lái)提供。本文所述的方法可以采取任 意組合形式由(多個(gè))軟件算法、程序、固件、硬件、元件、電路中的一個(gè)或多個(gè)來(lái)實(shí)現(xiàn)。實(shí)施本文描述的系統(tǒng)和方法的系統(tǒng)元件可以一起定位或者位于單獨(dú)的定位。因 此，實(shí)施本文描述的系統(tǒng)和方法的系統(tǒng)元件可以是單個(gè)系統(tǒng)、多個(gè)系統(tǒng)和/或地理位置上 為單獨(dú)系統(tǒng)的元件。這些元件還可以是單個(gè)系統(tǒng)、多個(gè)系統(tǒng)和/或地理位置上為單獨(dú)系統(tǒng) 的子元件或子系統(tǒng)。這些元件可以耦接到主機(jī)系統(tǒng)或者與該主機(jī)系統(tǒng)耦接的系統(tǒng)的一個(gè)或 多個(gè)其他元件。通信路徑耦接系統(tǒng)元件并且包括在元件當(dāng)中傳送或傳輸文件的任何介質(zhì)。通信 路徑包括無(wú)線連接、有線連接以及混合無(wú)線/有線連接。通信路徑還包括與包括局域網(wǎng) (LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、專屬網(wǎng)絡(luò)、局間網(wǎng)絡(luò)或后端網(wǎng)絡(luò)以及因特網(wǎng)的網(wǎng)絡(luò)的 耦接或連接。而且，通信路徑包括如軟盤、硬盤驅(qū)動(dòng)器和CD-ROM盤的可移除的固定介質(zhì)，以 及閃速RAM、通用串行總線(USB)連接、RS-232連接、電話線、總線和電子郵件消息。除了另外明確需要的背景，詞語(yǔ)“包括”、“包含”等在說(shuō)明書通篇被認(rèn)為包含在內(nèi) 的意思而與排他或窮盡的意思相反，即，“包括但不限于”的意思。使用單數(shù)或復(fù)數(shù)的詞語(yǔ) 分別還包括多個(gè)或單數(shù)個(gè)。另外，詞語(yǔ)“本文”、“下文”、“上文”、“以下”以及類似引入的詞 匯在本申請(qǐng)中是指作為整體而非本申請(qǐng)的任何特定部分。當(dāng)引用兩個(gè)或多項(xiàng)列表使用詞語(yǔ) “或”時(shí)，該詞匯覆蓋以下對(duì)該詞匯的所有解釋列表中的任一項(xiàng)、列表中的所有項(xiàng)以及列表 中各項(xiàng)的任意組合?；谧藨B(tài)的控制的實(shí)施例的以上描述并非意在將所述的系統(tǒng)和方法窮盡或限于 所披露的精確形式。盡管為了說(shuō)明目的描述了基于姿態(tài)的控制的特定實(shí)施例以及示例，但 是正如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的那樣，在其他系統(tǒng)和方法的范圍內(nèi)的各種等同變型是可 能的。本文提供的基于姿態(tài)的控制的指教不僅僅用于上述系統(tǒng)和方法還可以應(yīng)用于其他處 理系統(tǒng)和方法。上述各個(gè)實(shí)施例的元素和動(dòng)作可以結(jié)合起來(lái)提供另外的實(shí)施例。根據(jù)以上具體描 述可以對(duì)基于姿態(tài)的控制做出這些變化或另外變化。通常，在所附權(quán)利要求中，所用的術(shù)語(yǔ)不應(yīng)當(dāng)被解釋為將基于姿態(tài)的控制限于在 說(shuō)明書和權(quán)利要求中所披露的特定實(shí)施例，而應(yīng)當(dāng)解釋為包括根據(jù)權(quán)利要求運(yùn)行的所有系 統(tǒng)。因此，基于姿態(tài)的控制不限于本公開(kāi)內(nèi)容，相反基于姿態(tài)的控制的范圍完全由權(quán)利要求 來(lái)確定。盡管以下以某些權(quán)利要求形式呈現(xiàn)基于姿態(tài)的控制的某些方面，但是發(fā)明人設(shè)想 到以任意數(shù)量的權(quán)利要求形式的基于姿態(tài)的控制的各個(gè)方面。因此，發(fā)明人保留在提交本 申請(qǐng)之后添加附加權(quán)利要求的權(quán)利從而針對(duì)基于姿態(tài)的控制的其他方面要求這種附加權(quán) 利要求。
權(quán)利要求
1.一種系統(tǒng)，包括交通工具中的多個(gè)傳感器，其中所述多個(gè)傳感器映射對(duì)象并且輸出表示所述對(duì)象所做 姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是所述對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)，其中所述對(duì) 象包括用戶的手和手指中的至少一個(gè)；處理器，耦接到所述多個(gè)傳感器，所述處理器從所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿 態(tài)，所述檢測(cè)包括提取所述對(duì)象的位置，所述檢測(cè)包括恢復(fù)所述對(duì)象的量化姿勢(shì)和方位矢 量，所述檢測(cè)包括把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)；以及控制器，耦接到所述處理器并且耦接到交通工具的多個(gè)交通工具子系統(tǒng)，所述控制器 響應(yīng)于所述姿態(tài)信號(hào)管理與所述多個(gè)交通工具子系統(tǒng)的用戶交互。
2.如權(quán)利要求1所述的系統(tǒng)，其中定位所述多個(gè)傳感器來(lái)查看所述交通工具的座艙。
3.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)傳感器包括多個(gè)相機(jī)。
4.如權(quán)利要求3所述的系統(tǒng)，其中所述多個(gè)相機(jī)包括立體視覺(jué)系統(tǒng)。
5.如權(quán)利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)包括表示所述對(duì)象的三維數(shù)據(jù)點(diǎn)云。
6.如權(quán)利要求5所述的系統(tǒng)，其中所述三維數(shù)據(jù)點(diǎn)云中的數(shù)據(jù)點(diǎn)的分辨深度精度大約 為1毫米(mm)。
7.如權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象的位置包括手的位置。
8.如權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象的位置包括一組手指的位置。
9.如權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象的量化姿勢(shì)包括至少一只手的量化姿勢(shì)。
10.如權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象的方位矢量包括至少一只手的連續(xù)方位矢量。
11.如權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象的方位矢量包括一組手指的連續(xù)方位矢量。
12.如權(quán)利要求1所述的系統(tǒng)，其中所述轉(zhuǎn)換包括把所述姿態(tài)的信息轉(zhuǎn)換成姿態(tài)符號(hào)。
13.如權(quán)利要求12所述的系統(tǒng)，其中所述姿態(tài)符號(hào)表示姿態(tài)符號(hào)集，并且所述姿態(tài)信 號(hào)包括所述姿態(tài)符號(hào)集的通信。
14.如權(quán)利要求13所述的系統(tǒng)，其中所述姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng) 聯(lián)接的瞬時(shí)姿勢(shì)狀態(tài)。
15.如權(quán)利要求13所述的系統(tǒng)，其中所述姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng) 聯(lián)接的方位。
16.如權(quán)利要求13所述的系統(tǒng)，其中所述姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng) 聯(lián)接的方位組合。
17.如權(quán)利要求13所述的系統(tǒng)，其中所述姿態(tài)符號(hào)集包括表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接狀 態(tài)的字符串。
18.如權(quán)利要求1所述的系統(tǒng)，包括耦接到所述處理器的反饋裝置，所述反饋裝置為用 戶提供對(duì)應(yīng)于所述姿態(tài)的指示。
19.如權(quán)利要求18所述的系統(tǒng)，其中所述指示包括對(duì)所述姿態(tài)的解釋。
20.如權(quán)利要求18所述的系統(tǒng)，其中所述指示包括響應(yīng)于所述姿態(tài)在所述多個(gè)交通工 具子系統(tǒng)上實(shí)現(xiàn)的效果。
21.如權(quán)利要求18所述的系統(tǒng)，其中所述反饋裝置是視覺(jué)裝置。
22.如權(quán)利要求18所述的系統(tǒng)，其中所述反饋裝置是聽(tīng)覺(jué)裝置。
23.如權(quán)利要求18所述的系統(tǒng)，其中所述反饋裝置是音頻-視覺(jué)裝置。
24.如權(quán)利要求18所述的系統(tǒng)，其中反饋裝置是交通工具平視顯示器。
25.如權(quán)利要求18所述的系統(tǒng)，其中所述反饋裝置是交通工具的基于像素的顯示器。
26.如權(quán)利要求18所述的系統(tǒng)，其中所述反饋裝置是至少一個(gè)變色發(fā)光指示器。
27.如權(quán)利要求18所述的系統(tǒng)，其中所述反饋裝置是觸覺(jué)顯示器。
28.如權(quán)利要求1所述的系統(tǒng)，其中所述控制器使用第一交互模式管理所述用戶交互， 所述第一交互模式包括響應(yīng)于所述姿態(tài)來(lái)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所 述姿態(tài)包括用戶的手指運(yùn)動(dòng)。
29.如權(quán)利要求觀所述的系統(tǒng)，其中所述姿態(tài)包括手部?jī)蓚€(gè)手指的握緊-再次伸展運(yùn) 動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)交通工具子系統(tǒng)的多個(gè)控制組件，其中每 個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
30.如權(quán)利要求四所述的系統(tǒng)，其中所述姿態(tài)包括用戶手部的手指的握緊-再次伸展 運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)而遞增地改變所述參數(shù)的設(shè)置。
31.如權(quán)利要求四所述的系統(tǒng)，其中所述姿態(tài)包括按住第一手指和伸展第二手指，其 中所述控制器響應(yīng)于所述姿態(tài)以恒定速率改變所述參數(shù)的設(shè)置。
32.如權(quán)利要求觀所述的系統(tǒng)，其中所述姿態(tài)包括用戶第一只手的至少一個(gè)手指的伸 展，其中所述處理器響應(yīng)于所述姿態(tài)激活所述控制器。
33.如權(quán)利要求32所述的系統(tǒng)，其中所述用戶的手部在所述姿態(tài)期間保持與交通工具 的導(dǎo)向機(jī)構(gòu)接觸。
34.如權(quán)利要求32所述的系統(tǒng)，其中所述至少一個(gè)手指是所述用戶的食指、中指和拇 指中的至少一個(gè)。
35.如權(quán)利要求32所述的系統(tǒng)，其中所述姿態(tài)包括所述第一只手的兩個(gè)手指的握 緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)交通工具子系統(tǒng)的多個(gè)控 制模式，其中所述多個(gè)控制模式的每個(gè)控制模式都對(duì)應(yīng)于交通工具子系統(tǒng)。
36.如權(quán)利要求35所述的系統(tǒng)，其中所述姿態(tài)包括第二只手的兩個(gè)手指的握緊-再次 伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)每個(gè)控制模式的多個(gè)控制選項(xiàng)，其 中所述多個(gè)控制選項(xiàng)的每個(gè)控制選項(xiàng)都對(duì)應(yīng)于交通工具子系統(tǒng)。
37.如權(quán)利要求36所述的系統(tǒng)，其中所述姿態(tài)包括所述用戶手部的手指的握緊-再次 伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)對(duì)控件的設(shè)置進(jìn)行控制。
38.如權(quán)利要求37所述的系統(tǒng)，其中所述姿態(tài)包括所述用戶手部的第一手指的握 緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)通過(guò)沿第一方向?qū)λ鲈O(shè)置進(jìn)行步進(jìn) 來(lái)遞增地改變所述設(shè)置。
39.如權(quán)利要求38所述的系統(tǒng)，其中所述姿態(tài)包括所述用戶手部的第二手指的握 緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)通過(guò)沿第二方向?qū)λ鲈O(shè)置進(jìn)行步進(jìn) 來(lái)遞增地改變所述設(shè)置。
40.如權(quán)利要求39所述的系統(tǒng)，其中所述姿態(tài)包括按住所述第一手指和伸展所述第二 手指，其中所述控制器響應(yīng)于所述姿態(tài)以恒定速率改變所述設(shè)置。
41.如權(quán)利要求28所述的系統(tǒng)，包括耦接到所述處理器的圖形顯示器，所述圖形顯示器為用戶提供對(duì)應(yīng)于所述姿態(tài)的指示，其中所述姿態(tài)控制顯示組件在所述圖形顯示器上的位置。
42.如權(quán)利要求41所述的系統(tǒng)，其中所述手指運(yùn)動(dòng)經(jīng)由所述顯示組件實(shí)現(xiàn)所述交通工 具子系統(tǒng)的控制組件的非線性選擇，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
43.如權(quán)利要求42所述的系統(tǒng)，其中所述姿態(tài)包括所述用戶的第一只手的至少一個(gè) 手指的伸展，其中所述處理器響應(yīng)于所述姿態(tài)激活所述控制器并且使得所述顯示組件被顯示。
44.如權(quán)利要求43所述的系統(tǒng)，其中所述姿態(tài)包括指尖的相對(duì)運(yùn)動(dòng)，其中所述處理器 響應(yīng)于所述指尖的相對(duì)運(yùn)動(dòng)控制所述顯示組件在所述圖形顯示器上的運(yùn)動(dòng)。
45.如權(quán)利要求44所述的系統(tǒng)，其中通過(guò)所述顯示組件的鄰近而選擇所述顯示器的界 面圖形，其中所述顯示組件是指示裝置。
46.如權(quán)利要求45所述的系統(tǒng)，其中所述界面圖形對(duì)應(yīng)于所述交通工具子系統(tǒng)的控制 組件，其中每個(gè)控制組件的界面圖形都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
47.如權(quán)利要求46所述的系統(tǒng)，其中所述姿態(tài)包括所述用戶手部的手指的握緊-再次 伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)經(jīng)由所述界面圖形改變所述參數(shù)的設(shè)置。
48.如權(quán)利要求46所述的系統(tǒng)，其中所述姿態(tài)包括按住第一手指和伸展第二手指，其 中所述控制器響應(yīng)于所述姿態(tài)經(jīng)由所述界面圖形改變所述參數(shù)的設(shè)置。
49.如權(quán)利要求41所述的系統(tǒng)，其中所述顯示組件包括撥動(dòng)開(kāi)關(guān)圖標(biāo)，其中所述姿態(tài) 包括所述用戶手部的手指的握緊-再次伸展運(yùn)動(dòng)，其中所述姿態(tài)控制所述撥動(dòng)開(kāi)關(guān)的設(shè) 置。
50.如權(quán)利要求41所述的系統(tǒng)，其中所述顯示組件包括滑塊圖標(biāo)，其中所述姿態(tài)包括 按住第一手指和伸展第二手指，其中所述控制器響應(yīng)于所述姿態(tài)以恒定速率改變所述滑塊 的設(shè)置。
51.如權(quán)利要求41所述的系統(tǒng)，其中所述顯示組件包括滑塊圖標(biāo)，其中所述姿態(tài)包括 所述用戶手部的手指的握緊-再次伸展運(yùn)動(dòng)，其中所述控制器響應(yīng)于所述姿態(tài)遞增地改變 所述滑塊的設(shè)置。
52.如權(quán)利要求1所述的系統(tǒng)，其中所述控制器使用第二交互模式管理所述用戶交互， 所述第二交互模式包括響應(yīng)于所述姿態(tài)來(lái)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所 述姿態(tài)包括所述用戶的手部運(yùn)動(dòng)和手指運(yùn)動(dòng)。
53.如權(quán)利要求52所述的系統(tǒng)，其中所述控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通 工具子系統(tǒng)的多個(gè)控制組件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
54.如權(quán)利要求52所述的系統(tǒng)，其中所述姿態(tài)包括手部的沿第一方向伸展的第一手指。
55.如權(quán)利要求M所述的系統(tǒng)，其中所述姿態(tài)包括所述手部的沿第二方向伸展的第二 手指。
56.如權(quán)利要求55所述的系統(tǒng)，其中所述姿態(tài)包括所述手部、所述第一手指和所述第 二手指的組合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手指 布置在與重力對(duì)齊的平面中。
57.如權(quán)利要求55所述的系統(tǒng)，其中所述姿態(tài)包括所述手部、所述第一手指和所述第 二手指的組合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手指 布置在垂直于重力的平面中。
58.如權(quán)利要求55所述的系統(tǒng)，其中所述姿態(tài)包括所述手部的沿所述第一方向伸展并 且與所述第一手指近似對(duì)齊的第三手指。
59.如權(quán)利要求55所述的系統(tǒng)，其中所述第二手指在伸展時(shí)與所述第一手指近似垂直。
60.如權(quán)利要求55所述的系統(tǒng)，其中所述第二手指在伸展時(shí)與所述第一手指近似平行。
61.如權(quán)利要求55所述的系統(tǒng)，其中所述姿態(tài)包括旋轉(zhuǎn)到所述第一手指近似中間指向 的位置的手部。
62.如權(quán)利要求52所述的系統(tǒng)，包括耦接到所述處理器的圖形顯示器，所述圖形顯示 器經(jīng)由所述姿態(tài)為所述用戶提供控制，其中所述控制器響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交 通工具子系統(tǒng)的多個(gè)控制組件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
63.如權(quán)利要求62所述的系統(tǒng)，其中所述姿態(tài)控制顯示組件在所述圖形顯示器上的位置。
64.如權(quán)利要求63所述的系統(tǒng)，其中所述姿態(tài)包括手部的沿第一方向伸展的第一手指。
65.如權(quán)利要求64所述的系統(tǒng)，其中所述顯示組件包括指示裝置，其中所述指示裝置 的位置由所述第一手指的運(yùn)動(dòng)和目標(biāo)中的至少一個(gè)控制。
66.如權(quán)利要求65所述的系統(tǒng)，其中在使用所述第一手指的目標(biāo)在控制組件內(nèi)布置所 述指示裝置并且所述手部的第二手指從第一位置移動(dòng)到第二位置時(shí)，所述姿態(tài)對(duì)控制組件 的選擇進(jìn)行控制，其中所述第一位置近似垂直于所述第一手指延伸，而所述第二位置近似 平行于所述第一手指延伸。
67.如權(quán)利要求66所述的系統(tǒng)，其中所述姿態(tài)包括使所述第一手指瞄準(zhǔn)遠(yuǎn)離所述圖形 顯示器的位置，其中所述控制器呈現(xiàn)菜單列表。
68.如權(quán)利要求67所述的系統(tǒng)，其中所述姿態(tài)包括使所述第一手指瞄準(zhǔn)菜單項(xiàng)并且把 所述第二手指移向所述第一位置，其中所述控制器選擇所述菜單項(xiàng)作為有效控制組件。
69.如權(quán)利要求62所述的系統(tǒng)，其中所述姿態(tài)包括所述手部和所述手部的至少一個(gè)手 指的組合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置 在與重力對(duì)齊的平面中，其中所述控制器呈現(xiàn)第一組控制組件。
70.如權(quán)利要求69所述的系統(tǒng)，其中所述姿態(tài)包括所述手部和所述手部的至少一個(gè)手 指的組合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手指布置 在垂直于重力的平面中，其中所述控制器呈現(xiàn)不同于所述第一組控制組件的第二組控制組 件。
71.如權(quán)利要求1所述的系統(tǒng)，其中所述交通工具子系統(tǒng)包括氣候控制裝置，多功能顯 示裝置、音頻裝置、無(wú)線電廣播裝置、數(shù)字音頻裝置、電話、導(dǎo)航裝置、巡航控制裝置、自動(dòng)駕 駛裝置、自動(dòng)導(dǎo)向裝置和聯(lián)網(wǎng)裝置中的至少一個(gè)。
72.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)傳感器包括多個(gè)飛行時(shí)間深度感測(cè)相機(jī)。
73.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)傳感器包括多個(gè)結(jié)構(gòu)光三維傳感器。
74.一種系統(tǒng)，包括多個(gè)傳感器，其中所述多個(gè)傳感器映射對(duì)象并且輸出表示姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述 姿態(tài)數(shù)據(jù)是所述對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)，其中所述對(duì)象包括手和手指中的至少一 個(gè)；以及處理器，耦接到所述多個(gè)傳感器，所述處理器從所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿 態(tài)，所述檢測(cè)包括提取所述對(duì)象的位置，所述檢測(cè)包括恢復(fù)所述對(duì)象的量化姿勢(shì)和方位矢 量，所述檢測(cè)包括把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)并且使用所述姿態(tài)信號(hào)控制耦接到所述 處理器的交通工具子系統(tǒng)。
75.一種系統(tǒng)，包括安裝在交通工具中的多個(gè)傳感器，其中所述多個(gè)傳感器映射對(duì)象并且輸出表示所述對(duì) 象所做姿態(tài)的姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是所述對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)；處理器，耦接到所述多個(gè)傳感器，所述處理器從所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿 態(tài)并且把所述姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)；控制器，耦接到所述處理器并且耦接到所述交通工具的交通工具子系統(tǒng)，所述控制器 響應(yīng)于所述姿態(tài)信號(hào)控制所述交通工具子系統(tǒng)；以及反饋裝置，耦接到所述處理器，所述反饋裝置提供對(duì)應(yīng)于所述姿態(tài)的視覺(jué)和音頻反饋 中的至少一個(gè)。
76.一種方法，包括經(jīng)由交通工具中的多個(gè)傳感器接收對(duì)象的圖像并且輸出表示所述對(duì)象所做姿態(tài)的姿 態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)是所述對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)，其中所述對(duì)象包括用 戶的手和手指中的至少一個(gè)；通過(guò)提取所述對(duì)象的位置，恢復(fù)所述對(duì)象的量化姿勢(shì)和方位矢量以及把所述姿態(tài)數(shù)據(jù) 轉(zhuǎn)換成姿態(tài)信號(hào)來(lái)從所述姿態(tài)數(shù)據(jù)自動(dòng)檢測(cè)所述對(duì)象的姿態(tài)；以及 響應(yīng)于所述姿態(tài)信號(hào)管理與所述多個(gè)交通工具子系統(tǒng)的用戶交互。
77.如權(quán)利要求76所述的方法，包括定位所述多個(gè)傳感器來(lái)查看所述交通工具的座 艙，其中所述多個(gè)傳感器包括多個(gè)相機(jī)。
78.如權(quán)利要求76所述的方法，其中所述姿態(tài)數(shù)據(jù)包括表示所述對(duì)象的三維數(shù)據(jù)點(diǎn)云。
79.如權(quán)利要求76所述的方法，其中所述對(duì)象的位置包括手的位置。
80.如權(quán)利要求76所述的方法，其中所述對(duì)象的位置包括一組手指的位置。
81.如權(quán)利要求76所述的方法，其中所述對(duì)象的量化姿勢(shì)包括至少一只手的量化姿勢(shì)。
82.如權(quán)利要求76所述的方法，其中所述對(duì)象的方位矢量包括至少一只手的連續(xù)方位矢量。
83.如權(quán)利要求76所述的方法，其中所述對(duì)象的方位矢量包括一組手指的連續(xù)方位矢量。
84.如權(quán)利要求76所述的方法，其中所述轉(zhuǎn)換包括把所述姿態(tài)的信息轉(zhuǎn)換成姿態(tài)符號(hào)，其中所述姿態(tài)符號(hào)表示姿態(tài)符號(hào)集，并且所述姿態(tài)信號(hào)包括所述姿態(tài)符號(hào)集的通信。
85.如權(quán)利要求84所述的方法，其中所述姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng) 聯(lián)接的瞬時(shí)姿勢(shì)狀態(tài)。
86.如權(quán)利要求84所述的方法，其中所述姿態(tài)符號(hào)集以文本形式表示所述對(duì)象的運(yùn)動(dòng) 聯(lián)接的方位。
87.如權(quán)利要求84所述的方法，其中所述姿態(tài)符號(hào)集包括表示所述對(duì)象的運(yùn)動(dòng)聯(lián)接狀 態(tài)的字符串。
88.如權(quán)利要求76所述的方法，包括為用戶提供對(duì)應(yīng)于所述姿態(tài)的指示，其中所述指 示包括對(duì)所述姿態(tài)的解釋以及響應(yīng)于所述姿態(tài)在所述多個(gè)交通工具子系統(tǒng)上實(shí)現(xiàn)的效果 中的至少一個(gè)。
89.如權(quán)利要求76所述的方法，其中用戶交互的管理包括使用第一交互模式，所述第 一交互模式包括響應(yīng)于所述姿態(tài)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所述姿態(tài)包 括用戶的手指運(yùn)動(dòng)。
90.如權(quán)利要求89所述的方法，其中所述姿態(tài)包括手部的兩個(gè)手指的握緊-再次伸 展運(yùn)動(dòng)，其中管理用戶交互包括響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)交通工具子系統(tǒng)的多個(gè)控制組 件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
91.如權(quán)利要求90所述的方法，其中所述姿態(tài)包括用戶手部的手指的握緊-再次伸展 運(yùn)動(dòng)，其中管理用戶交互包括響應(yīng)于所述姿態(tài)遞增地改變所述參數(shù)的設(shè)置。
92.如權(quán)利要求90所述的方法，其中所述姿態(tài)包括按住第一手指和伸展第二手指，其 中管理用戶交互包括響應(yīng)于所述姿態(tài)以恒定速率改變所述參數(shù)的設(shè)置。
93.如權(quán)利要求89所述的方法，其中所述用戶的手部在所述姿態(tài)期間保持與交通工具 的導(dǎo)向機(jī)構(gòu)接觸。
94.如權(quán)利要求89所述的方法，包括為用戶提供對(duì)應(yīng)于所述姿態(tài)的指示，其中所述姿 態(tài)控制顯示組件在所述圖形顯示器上的位置。
95.如權(quán)利要求94所述的方法，其中所述手指運(yùn)動(dòng)經(jīng)由所述顯示組件實(shí)現(xiàn)所述交通工 具子系統(tǒng)的控制組件的非線性選擇，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
96.如權(quán)利要求95所述的方法，其中所述姿態(tài)包括指尖的相對(duì)運(yùn)動(dòng)，其中管理用戶交 互包括響應(yīng)于所述指尖的相對(duì)運(yùn)動(dòng)控制所述顯示組件在所述圖形顯示器上的運(yùn)動(dòng)。
97.如權(quán)利要求96所述的方法，包括通過(guò)所述顯示組件的鄰近而選擇所述顯示器的界 面圖形，其中所述顯示組件是指示裝置。
98.如權(quán)利要求97所述的方法，其中所述界面圖形對(duì)應(yīng)于所述交通工具子系統(tǒng)的控制 組件，其中每個(gè)控制組件的界面圖形都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
99.如權(quán)利要求76所述的方法，其中所述用戶交互的管理包括使用第二交互模式，所 述第二交互模式包括響應(yīng)于所述姿態(tài)控制與所述多個(gè)交通工具子系統(tǒng)的交互，其中所述姿 態(tài)包括所述用戶的手部運(yùn)動(dòng)和手指運(yùn)動(dòng)。
100.如權(quán)利要求99所述的方法，包括響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通工具子系 統(tǒng)的多個(gè)控制組件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
101.如權(quán)利要求99所述的方法，其中所述姿態(tài)包括手部的沿第一方向伸展的第一手指。
102.如權(quán)利要求101所述的方法，其中所述姿態(tài)包括所述手部的沿第二方向伸展的第一手指。
103.如權(quán)利要求102所述的方法，其中所述姿態(tài)包括所述手部、所述第一手指和所述 第二手指的組合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手 指布置在與重力對(duì)齊的平面中。
104.如權(quán)利要求102所述的方法，其中所述姿態(tài)包括所述手部、所述第一手指和所述 第二手指的組合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手 指布置在垂直于重力的平面中。
105.如權(quán)利要求102所述的方法，其中所述姿態(tài)包括所述手部的沿所述第一方向伸展 并且與所述第一手指近似對(duì)齊的第三手指。
106.如權(quán)利要求102所述的方法，其中所述第二手指在伸展時(shí)與所述第一手指近似垂直。
107.如權(quán)利要求102所述的方法，其中所述第二手指在伸展時(shí)與所述第一手指近似平行。
108.如權(quán)利要求102所述的方法，其中所述姿態(tài)包括旋轉(zhuǎn)到所述第一手指近似中間指 向的位置的手部。
109.如權(quán)利要求99所述的方法，包括提供顯示輸出，所述顯示輸出經(jīng)由所述姿態(tài)為用 戶提供控制，其中管理用戶交互包括響應(yīng)于所述姿態(tài)而循環(huán)經(jīng)過(guò)所述交通工具子系統(tǒng)的多 個(gè)控制組件，其中每個(gè)控制組件都允許用戶控制交通工具子系統(tǒng)的參數(shù)。
110.如權(quán)利要求109所述的方法，其中所述姿態(tài)控制顯示組件在所述顯示輸出上的位置。
111.如權(quán)利要求110所述的方法，其中所述姿態(tài)包括手部的沿第一方向伸展的第一手指。
112.如權(quán)利要求111所述的方法，其中所述顯示組件包括指示裝置，其中所述指示裝 置的位置由所述第一手指的運(yùn)動(dòng)和目標(biāo)中的至少一個(gè)控制。
113.如權(quán)利要求112所述的方法，其中在使用所述第一手指的目標(biāo)在控制組件內(nèi)布置 所述指示裝置并且所述手部的第二手指從第一位置移動(dòng)到第二位置時(shí)，所述姿態(tài)對(duì)控制組 件的選擇進(jìn)行控制，其中所述第一位置近似垂直于所述第一手指延伸，而所述第二位置近 似平行于所述第一手指延伸。
114.如權(quán)利要求113所述的方法，其中所述姿態(tài)包括使所述第一手指瞄準(zhǔn)遠(yuǎn)離所述圖 形顯示器的位置，其中所述控制器呈現(xiàn)菜單列表。
115.如權(quán)利要求114所述的方法，其中所述姿態(tài)包括使所述第一手指瞄準(zhǔn)菜單項(xiàng)并且 把所述第二手指移向所述第一位置，其中所述控制器選擇所述菜單項(xiàng)作為有效控制組件。
全文摘要
描述了用于使用姿態(tài)來(lái)控制交通工具子系統(tǒng)的系統(tǒng)和方法?？刂瓢ń?jīng)由交通工具中的傳感器接收對(duì)象的圖像并且輸出表示對(duì)象所做姿態(tài)的姿態(tài)數(shù)據(jù)。對(duì)象包括用戶的至少一只手和/或手指。姿態(tài)數(shù)據(jù)是對(duì)象在空間中時(shí)間點(diǎn)的瞬時(shí)狀態(tài)?？刂瓢ㄍㄟ^(guò)提取對(duì)象的位置，恢復(fù)對(duì)象的量化姿勢(shì)和方位矢量并且把姿態(tài)數(shù)據(jù)轉(zhuǎn)換成姿態(tài)信號(hào)來(lái)自動(dòng)地從姿態(tài)數(shù)據(jù)檢測(cè)對(duì)象的姿態(tài)?？刂瓢憫?yīng)于姿態(tài)信號(hào)管理與交通工具子系統(tǒng)的用戶交互。
文檔編號(hào)G06F3/033GK102112945SQ200980130788
公開(kāi)日2011年6月29日 申請(qǐng)日期2009年6月18日 優(yōu)先權(quán)日2008年6月18日
發(fā)明者克溫德拉·赫爾特曼·克拉默, 約翰·S·昂德科夫勒 申請(qǐng)人:奧布隆工業(yè)有限公司