專利名稱：使用在擴(kuò)展的景深內(nèi)提取的三維信息進(jìn)行的基于姿態(tài)的控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明概括地說(shuō)涉及計(jì)算機(jī)系統(tǒng)領(lǐng)域，具體地說(shuō)涉及通過(guò)在擴(kuò)展的景深內(nèi)提取三 維信息來(lái)進(jìn)行基于姿態(tài)的控制的系統(tǒng)和方法。
背景技術(shù)：
當(dāng)在成像系統(tǒng)中在擴(kuò)展的景深內(nèi)提取三維信息時(shí)，距場(chǎng)景中一點(diǎn)的距離可根據(jù)它 在被同時(shí)捕捉到的兩個(gè)或更多圖像中的位置來(lái)估算出。當(dāng)圖像之間的三維(3D)關(guān)系已知 時(shí)，該點(diǎn)的3D位置可根據(jù)基本幾何關(guān)系來(lái)計(jì)算出。根據(jù)多個(gè)圖像計(jì)算空間位置所面臨的挑 戰(zhàn)(常稱為立體相關(guān)或立體深度計(jì)算)是將一點(diǎn)在一個(gè)圖像中的映射與它在另一個(gè)圖像中 的映射自動(dòng)和準(zhǔn)確地相關(guān)聯(lián)。這最通常是通過(guò)使從一個(gè)圖像到一個(gè)或多個(gè)其他圖像的圖像 特征相關(guān)來(lái)完成的。然而，所有立體匹配方法中的基本假設(shè)是圖像中必須存在某個(gè)可標(biāo)識(shí) 的局部對(duì)比度或特征，以便將該點(diǎn)與它在另一個(gè)圖像中的位置相匹配。因此，當(dāng)由于散焦而 在圖像中沒有局部對(duì)比度或特征時(shí)，會(huì)產(chǎn)生問題——立體匹配在圖像的焦點(diǎn)沒對(duì)準(zhǔn)的區(qū)域 內(nèi)不產(chǎn)生準(zhǔn)確的結(jié)果。用于擴(kuò)展圖像焦深的常規(guī)手段是減小相機(jī)鏡頭光瞳的直徑(“縮小”)。然而，兩個(gè) 副作用限制了該技術(shù)的實(shí)用性。首先，成像系統(tǒng)的靈敏度降低了與光瞳內(nèi)外徑比的平方相 等的倍數(shù)。其次，最大空間頻率響應(yīng)降低了與光瞳內(nèi)外徑比相等的倍數(shù)，這限制了圖像中的 分辨率和對(duì)比度。因此，在常規(guī)成像系統(tǒng)中存在景深、曝光時(shí)間和總體對(duì)比度之間的權(quán)衡。 在多相機(jī)測(cè)距系統(tǒng)的情況下，凈效應(yīng)將是立體深度準(zhǔn)確度與工作范圍之間的折衷。通過(guò)引用的合并將本說(shuō)明書中提到的每個(gè)專利、專利申請(qǐng)和/或出版物通過(guò)引用而整體合并于 此，就如同特意地且單獨(dú)地表明將每個(gè)專利、專利申請(qǐng)和/或出版物通過(guò)引用而合并一樣。


圖1是本發(fā)明的系統(tǒng)的一個(gè)實(shí)施例的圖；圖2是本發(fā)明的標(biāo)記標(biāo)簽的一個(gè)實(shí)施例的圖；圖3是本發(fā)明的一個(gè)實(shí)施例中的姿態(tài)詞匯中的姿勢(shì)的圖；圖4是本發(fā)明的一個(gè)實(shí)施例中的姿態(tài)詞匯中的取向的圖5是本發(fā)明的一個(gè)實(shí)施例中的姿態(tài)詞匯中的雙手組合的圖；圖6是本發(fā)明的一個(gè)實(shí)施例中的姿態(tài)詞匯中的取向混合的圖；圖7是圖示了本發(fā)明的系統(tǒng)的一個(gè)實(shí)施例中的操作的流程圖；圖8是該系統(tǒng)的一個(gè)實(shí)施例中的命令的例子；圖9是一個(gè)實(shí)施例下的、在擴(kuò)展的景深內(nèi)提取三維信息的基于姿態(tài)的控制系統(tǒng)的 框圖；圖10是一個(gè)實(shí)施例下的、在基于姿態(tài)的控制系統(tǒng)中使用的波前編碼成像系統(tǒng)的 框圖；圖11是一個(gè)實(shí)施例下的基于姿態(tài)的控制系統(tǒng)的框圖，該系統(tǒng)采用包括兩個(gè)波前 編碼相機(jī)的波前編碼成像系統(tǒng)在擴(kuò)展的景深內(nèi)提取三維信息；圖12是一個(gè)實(shí)施例下的、使用在擴(kuò)展的景深內(nèi)提取的三維信息進(jìn)行的基于姿態(tài) 的控制的流程圖；圖13是一個(gè)實(shí)施例下的、在基于姿態(tài)的控制系統(tǒng)中使用的波前編碼設(shè)計(jì)過(guò)程的 框圖。
具體實(shí)施例方式下面描述使用在擴(kuò)展的景深內(nèi)提取的三維信息進(jìn)行基于姿態(tài)的控制的系統(tǒng)和方 法。一個(gè)實(shí)施例的系統(tǒng)包括與至少一個(gè)處理器耦合的多個(gè)光學(xué)檢測(cè)器。該多個(gè)光學(xué)檢測(cè)器 對(duì)身體成像。該多個(gè)光學(xué)檢測(cè)器中的至少兩個(gè)光學(xué)檢測(cè)器包括波前編碼相機(jī)。該處理器自 動(dòng)檢測(cè)身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時(shí)狀態(tài)。該檢測(cè)包括聚集一瞬間的該姿態(tài)的 姿態(tài)數(shù)據(jù)。該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內(nèi)的身體的焦點(diǎn)分辨數(shù)據(jù)。該處理器將該姿態(tài) 翻譯成姿態(tài)信號(hào)，并使用該姿態(tài)信號(hào)來(lái)控制與該處理器耦合的部件。一個(gè)實(shí)施例的方法包括利用成像系統(tǒng)對(duì)身體成像，其中該成像包括產(chǎn)生身體的波 前編碼圖像。該方法自動(dòng)檢測(cè)身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時(shí)狀態(tài)。該檢測(cè)包括 聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)。該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內(nèi)的身體的焦點(diǎn)分辨數(shù) 據(jù)。該方法包括將該姿態(tài)翻譯成姿態(tài)信號(hào)，并響應(yīng)于該姿態(tài)信號(hào)而控制與計(jì)算機(jī)耦合的部 件。在下面的描述中，詳細(xì)描述了多個(gè)特征，以便提供對(duì)這里描述的實(shí)施例的更徹底 的理解。顯然，本發(fā)明可以在沒有這些具體細(xì)節(jié)的情況下實(shí)施。在其他情況下，沒有詳細(xì)描 述眾所周之的特征。系統(tǒng)在圖1中示出了本發(fā)明的一個(gè)實(shí)施例的框圖。用戶將手101和102放在相機(jī)陣列 104A-104D的觀察區(qū)域內(nèi)。相機(jī)檢測(cè)手指及手101和102的定位、取向和移動(dòng)，并產(chǎn)生輸出 信號(hào)給預(yù)處理器105。預(yù)處理器105將相機(jī)輸出翻譯成姿態(tài)信號(hào)，姿態(tài)信號(hào)被提供給系統(tǒng)的 計(jì)算機(jī)處理單元107。計(jì)算機(jī)107使用輸入信息來(lái)產(chǎn)生命令以控制一個(gè)或多個(gè)屏上光標(biāo)，并 將視頻輸出提供給顯示器103。盡管系統(tǒng)是以單個(gè)用戶的手作為輸入而示出的，本發(fā)明也可采用多個(gè)用戶來(lái)實(shí) 現(xiàn)。另外，代替手或除了手以外，系統(tǒng)可跟蹤用戶身體的任何一個(gè)或多個(gè)部分，包括頭、腳、 腿、臂、肘、膝等。
在所示實(shí)施例中，采用四個(gè)相機(jī)來(lái)檢測(cè)用戶的手101和102的定位、取向和移動(dòng)。 應(yīng)該理解，在不脫離本發(fā)明的范圍或精神的情況下，本發(fā)明對(duì)更多或更少的相機(jī)同樣適用。 另外，盡管在示例實(shí)施例中相機(jī)是對(duì)稱布置的，但在本發(fā)明中這種對(duì)稱不是必需的。在本發(fā) 明中，可以使用允許用戶的手的定位、取向和移動(dòng)的任何數(shù)目或定位的相機(jī)。在本發(fā)明的一個(gè)實(shí)施例中，所用相機(jī)是能夠捕捉灰階圖像的運(yùn)動(dòng)捕捉相機(jī)。在一 個(gè)實(shí)施例中，所用相機(jī)是由Vicon制造的相機(jī)，如Vicon MX40相機(jī)。此相機(jī)包括相機(jī)上處 理并且能夠進(jìn)行每秒1000幀的圖像捕捉。運(yùn)動(dòng)捕捉相機(jī)能夠檢測(cè)并定位標(biāo)記。在所描述的實(shí)施例中，相機(jī)用于光檢測(cè)。在其他實(shí)施例中，相機(jī)或其他檢測(cè)器可用 于電磁的、靜磁的、RFID或任何其他合適類型的檢測(cè)。預(yù)處理器105用來(lái)產(chǎn)生三維空間點(diǎn)重構(gòu)和骨點(diǎn)標(biāo)簽設(shè)定。姿態(tài)翻譯器106用來(lái)將 3D空間信息和標(biāo)記運(yùn)動(dòng)信息翻譯成命令語(yǔ)言，該命令語(yǔ)言可由計(jì)算機(jī)處理器解釋以更新顯 示器上光標(biāo)的位置、形狀和動(dòng)作。在本發(fā)明的一個(gè)可替選實(shí)施例中，預(yù)處理器105和姿態(tài)翻 譯器106可組合成單個(gè)裝置。計(jì)算機(jī)107可以是比如由蘋果、戴爾或任何合適的制造商制造的任何通用計(jì)算 機(jī)。計(jì)算機(jī)107運(yùn)行應(yīng)用并提供顯示輸出。原本來(lái)自鼠標(biāo)或其他現(xiàn)有技術(shù)的輸入裝置的光 標(biāo)信息現(xiàn)在來(lái)自姿態(tài)系統(tǒng)。標(biāo)記標(biāo)簽本發(fā)明考慮在用戶的一個(gè)或多個(gè)手指上使用標(biāo)記標(biāo)簽，以使得系統(tǒng)可定位用戶的 手，標(biāo)識(shí)其正在觀察左手還是右手以及哪些手指是可視的。這允許系統(tǒng)檢測(cè)用戶的手的定 位、取向和移動(dòng)。此信息允許多個(gè)姿態(tài)被系統(tǒng)識(shí)別并被用戶用作命令。一個(gè)實(shí)施例中的標(biāo)記標(biāo)簽是物理標(biāo)簽，該物理標(biāo)簽包括襯底(在本實(shí)施例中適合 于貼附到人手上的各個(gè)位置)和以唯一標(biāo)識(shí)圖案布置在襯底表面上的離散標(biāo)記。標(biāo)記和相關(guān)聯(lián)的外部感測(cè)系統(tǒng)可以在允許準(zhǔn)確、精確、迅速且持續(xù)地獲取其三維 空間位置的任何域(光域、電磁域、靜磁域等)中工作。標(biāo)記本身可主動(dòng)地(例如，通過(guò)發(fā) 射結(jié)構(gòu)化電磁脈沖)工作或被動(dòng)地(例如，通過(guò)如本實(shí)施例中的光學(xué)回射標(biāo)記)工作。在每個(gè)獲取幀，檢測(cè)系統(tǒng)接收由恢復(fù)后的三維空間位置構(gòu)成的聚集“云”，其包括 目前在儀器化工作空間體積內(nèi)(在相機(jī)或其他檢測(cè)器的可視范圍內(nèi))的標(biāo)簽上的所有標(biāo) 記。每個(gè)標(biāo)簽上的標(biāo)記具有足夠的多樣性，并且被布置成唯一的圖案，從而檢測(cè)系統(tǒng)可執(zhí)行 以下任務(wù)(1)分割，其中每個(gè)恢復(fù)后的標(biāo)記位置被分配給構(gòu)成單個(gè)標(biāo)簽的點(diǎn)的一個(gè)且僅 一個(gè)子集；( 標(biāo)簽設(shè)定，其中點(diǎn)的每個(gè)分割后的子集被標(biāo)識(shí)為特定標(biāo)簽；C3)定位，其中被 標(biāo)識(shí)的標(biāo)簽的三維空間位置被恢復(fù)；以及(4)取向，其中被標(biāo)識(shí)的標(biāo)簽的三維空間取向被 恢復(fù)。如下面所述和如圖2中的一個(gè)實(shí)施例所示的那樣，通過(guò)標(biāo)記圖案的特定性質(zhì)，使得任 務(wù)(1)和⑵成為可能。一個(gè)實(shí)施例中的標(biāo)簽上的標(biāo)記被貼附于規(guī)則網(wǎng)格位置的子集。此基本網(wǎng)格如本實(shí) 施例中那樣可以是傳統(tǒng)笛卡爾類型的；或者代之以可以是某種其他的規(guī)則平面棋盤形布置 (例如，三角形/六邊形平鋪布置)。鑒于標(biāo)記感測(cè)系統(tǒng)的已知空間分辨率而確立網(wǎng)格的 比例和間距，使得相鄰網(wǎng)格位置不大可能被混淆。所有標(biāo)簽的標(biāo)記圖案的選擇應(yīng)滿足以下 約束標(biāo)簽的圖案不應(yīng)通過(guò)旋轉(zhuǎn)、平移或鏡像的任意組合而與任何其他標(biāo)簽的圖案相一致， 標(biāo)記的多樣性和布置可進(jìn)一步選擇為使得容許某個(gè)規(guī)定數(shù)目的分量標(biāo)記的損失(或遮蔽(occlusion))。在任何任意變換之后，應(yīng)仍然不大可能將受損的模塊與任何其他模塊混淆?，F(xiàn)在參考圖2，示出了多個(gè)標(biāo)簽201A-201E (左手)和202A-202E (右手)。每個(gè)標(biāo) 簽都是矩形的，并且在本實(shí)施例中由5X7網(wǎng)格陣列構(gòu)成。選擇矩形形狀來(lái)幫助確定標(biāo)簽的 取向以及降低鏡像重復(fù)的可能性。在所示的實(shí)施例中，每個(gè)手上的每個(gè)指頭都有標(biāo)簽。在 一些實(shí)施例中，每個(gè)手使用一個(gè)、兩個(gè)、三個(gè)或四個(gè)標(biāo)簽可能是足夠的。每個(gè)標(biāo)簽具有不同 灰階或色彩明暗的邊界。此邊界內(nèi)是3X5網(wǎng)格陣列。標(biāo)記(由圖2中的黑點(diǎn)表示)被布 置在該網(wǎng)格陣列的某些點(diǎn)處以提供信息。通過(guò)將每個(gè)圖案分割成“共同的”和“唯一的”子圖案，鑒定信息可以用標(biāo)簽的標(biāo) 記圖案進(jìn)行編碼。例如，本實(shí)施例規(guī)定了兩種可能的“邊界圖案”(標(biāo)記圍繞矩形邊界的分 布)。由此建立了標(biāo)簽“族”~意圖用于左手的標(biāo)簽由此可能都使用如標(biāo)簽201A-201E中 所示的相同邊界圖案，而附著到右手手指的標(biāo)簽可能被分配如標(biāo)簽202A-202E中所示的不 同圖案。此子圖案被選擇為使得在標(biāo)簽的所有取向上都可區(qū)分左圖案與右圖案。在所示的 例子中，左手圖案在每個(gè)角落都包括標(biāo)記，并且在從角落起第二個(gè)網(wǎng)格位置包括標(biāo)記。右手 圖案在僅兩個(gè)角落有標(biāo)記，并且在非角落網(wǎng)格位置有兩個(gè)標(biāo)記。從該圖案可以看出只要四 個(gè)標(biāo)記中的任何三個(gè)是可視的，就能明確區(qū)分左手圖案與右手圖案。在一個(gè)實(shí)施例中，邊界 的色彩或陰影也可用作手型性的指示。每個(gè)標(biāo)簽當(dāng)然必須仍采用唯一的內(nèi)部圖案，標(biāo)記分布在其族的共同邊界內(nèi)。在所 示的實(shí)施例中，已發(fā)現(xiàn)，內(nèi)部網(wǎng)格陣列中的兩個(gè)標(biāo)記足以唯一地標(biāo)識(shí)十個(gè)手指中的每個(gè)，而 不會(huì)因手指的旋轉(zhuǎn)或取向而發(fā)生重復(fù)。即使標(biāo)記中有一個(gè)被遮蔽，標(biāo)簽的手型性和圖案的 組合也產(chǎn)生唯一的標(biāo)識(shí)符。在本實(shí)施例中，網(wǎng)格位置可視地存在于剛性襯底上，來(lái)幫助執(zhí)行將每個(gè)回射標(biāo)記 貼附于其預(yù)期位置的人工任務(wù)。借助彩色噴墨打印機(jī)將這些網(wǎng)格和預(yù)期標(biāo)記位置精確地打 印到襯底上，這里襯底是由初始時(shí)為撓性的“收縮膜”構(gòu)成的片。將每個(gè)模塊從該片切下， 然后用爐烘烤，在該熱處理過(guò)程中每個(gè)模塊經(jīng)歷精確和可重復(fù)的收縮。在此過(guò)程后的短暫 間隔內(nèi)，冷卻標(biāo)簽可略微變形——以模仿例如手指的縱向彎曲；此后，襯底是適當(dāng)剛性的， 標(biāo)記可被粘附于所指示的網(wǎng)格點(diǎn)。在一個(gè)實(shí)施例中，標(biāo)記本身是三維的，比如借助粘合劑或其他合適的裝置貼附到 襯底的小反射球。標(biāo)記的三維性可幫助對(duì)二維標(biāo)記的檢測(cè)和定位。然而，在不脫離本發(fā)明 的精神和范圍的情況下，可使用任一個(gè)。目前，標(biāo)簽借助Velcro或其他合適的裝置貼附到操作者佩戴的手套，或者可替選 地使用雙面膠帶直接貼附到操作者的手指。在第三實(shí)施例中，可以完全省去剛性襯底，而將 各個(gè)標(biāo)記貼附(或“涂”)在操作者的手指和手上。姿態(tài)詞匯本發(fā)明考慮由手姿勢(shì)、取向、手組合和取向混合組成的姿態(tài)詞匯。還實(shí)施記號(hào)語(yǔ) 言來(lái)設(shè)計(jì)和傳達(dá)本發(fā)明的姿態(tài)詞匯中的姿勢(shì)和姿態(tài)。姿態(tài)詞匯是以緊湊的文本形式來(lái)表 示運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的瞬時(shí)‘姿勢(shì)狀態(tài)’的系統(tǒng)。所討論的聯(lián)動(dòng)機(jī)構(gòu)可以是生物的(例如人 手；或整個(gè)人體；或蚱蜢腿；或狐猴的具關(guān)節(jié)的脊柱)或者代之以可以是非生物的(例如機(jī) 器臂)。在任何情況下，該聯(lián)動(dòng)機(jī)構(gòu)可以是簡(jiǎn)單的(脊柱)或有分支的(手)。本發(fā)明的姿 態(tài)詞匯系統(tǒng)為任何具體聯(lián)動(dòng)機(jī)構(gòu)建立恒定長(zhǎng)度的串；于是，占據(jù)該串的‘字符位置’的具體ASCII字符集是聯(lián)動(dòng)機(jī)構(gòu)的瞬時(shí)狀態(tài)或‘姿勢(shì)’的唯一描述。手姿勢(shì)圖3圖示了使用本發(fā)明的姿態(tài)詞匯的一個(gè)實(shí)施例中的手姿勢(shì)。本發(fā)明假設(shè)手上的 五個(gè)手指中的每個(gè)都被使用。這些手指是諸如P-小指、r-無(wú)名指、m-中指、i-食指和t-拇 指的碼。圖3中定義并示出了手指和拇指的多個(gè)姿勢(shì)。姿態(tài)詞匯串為聯(lián)動(dòng)機(jī)構(gòu)(在此情況 下為手指)中的每個(gè)可表達(dá)的自由度確立單個(gè)字符位置。此外，每個(gè)這樣的自由度被理解 為離散化的(或‘量子化的’)，從而可通過(guò)在該串位置分配有限數(shù)目的標(biāo)準(zhǔn)ASCII字符之 一來(lái)表達(dá)其全程運(yùn)動(dòng)。這些自由度是相對(duì)于身體特有的原點(diǎn)和坐標(biāo)系(手的背面，蚱蜢身 體的中心；機(jī)器臂的底座等)而表達(dá)的。因此，使用小數(shù)目的額外姿態(tài)詞匯字符位置來(lái)表達(dá) 聯(lián)動(dòng)機(jī)構(gòu)‘作為整體’在更全局的坐標(biāo)系中的位置和取向。仍參考圖3，使用ASCII字符定義和標(biāo)識(shí)多個(gè)姿勢(shì)。其中一些姿勢(shì)在拇指和非拇指 之間加以劃分。本發(fā)明在此實(shí)施例中使用編碼，從而ASCII字符本身就暗示著姿勢(shì)。然而， 無(wú)論暗示與否，任何字符都可用來(lái)表示姿勢(shì)。另外，在本發(fā)明中不必須為記號(hào)串使用ASCII 字符。在不脫離本發(fā)明的范圍和精神的情況下，可以使用任何合適的符號(hào)、數(shù)字或其他表示 法。例如，如果需要，記號(hào)可采用每手指兩位或某個(gè)其他位數(shù)。彎曲的手指由字符表示，而彎曲的拇指由“〉”表示。指向上方的直的手指或 拇指由“ 1”表示，指向某個(gè)角度的直的手指或拇指由“ \ ”或“ / ”表示?！?”表示指向正側(cè)方 的拇指，“ χ ”表示指向平面內(nèi)的拇指。采用這些單獨(dú)的手指和拇指描述，可觀數(shù)目的手姿勢(shì)可使用本發(fā)明的方案來(lái)限定 和書寫。每個(gè)姿勢(shì)由如上所述順序?yàn)閜-r-m-i-t的五個(gè)字符表示。圖3圖示了多個(gè)姿勢(shì)， 并且在此通過(guò)圖示和舉例對(duì)少數(shù)姿勢(shì)進(jìn)行了描述。保持平坦且平行于地面的手由“ 11111” 表示。拳頭由“~~~~>”表示?！?K”符號(hào)由“111~>”表示。字符串當(dāng)使用暗示性字符時(shí)提供了淺顯“易讀”的機(jī)會(huì)。著眼于快速的識(shí)別和直白 的模擬，通?？蛇x擇描述每個(gè)自由度的可能字符的集合。例如，豎條(‘I’)意在表明聯(lián)動(dòng) 機(jī)構(gòu)元件是‘直的’，L形(‘L’ )可表示九十度彎曲，抑揚(yáng)符()可表示銳角彎曲。如 上所述，可按照需要使用任何字符或編碼。采用如這里所述的姿態(tài)詞匯串的任何系統(tǒng)都受益于串比較的高計(jì)算效率——標(biāo) 識(shí)或搜索任何規(guī)定的姿勢(shì)事實(shí)上變成期望姿勢(shì)串與瞬時(shí)實(shí)際串之間的‘串比較’(例如 UNIX的‘strcmpO ’函數(shù))。此外，‘通配符’的使用為程序員或系統(tǒng)設(shè)計(jì)者提供了額外的常 見效能和功效可將其瞬時(shí)狀態(tài)對(duì)于匹配不相關(guān)的自由度規(guī)定為問號(hào)(‘？’)；可賦予額外 的通配符含義。取向除了手指和拇指的姿勢(shì)以外，手的取向也可表示信息。顯然，亦可選擇描述全局空 間取向的字符字符‘〈’、‘>’、‘~’和‘V’當(dāng)以取向字符位置出現(xiàn)時(shí)可用來(lái)表示左、右、上和 下的概念。圖4圖示了組合了姿勢(shì)和取向的編碼的例子以及手取向描述符。在本發(fā)明的一 個(gè)實(shí)施例中，兩個(gè)字符位置首先規(guī)定手掌的方向，然后規(guī)定手指的方向(如果手指是直的， 不管手指的實(shí)際彎曲)。這兩個(gè)位置的可能字符表達(dá)取向的‘身體中心’記號(hào)‘-、‘ + ’、‘x’、 ‘*’、‘~’和‘V’描述中間的、側(cè)面的、前面的(向前的，離開身體)、后面的(向后的，離開身 體)、頭部的(向上的)和尾部的(向下的)。
在本發(fā)明的一個(gè)實(shí)施例的記號(hào)方案中，表示五個(gè)手指姿勢(shì)的字符的后面是冒號(hào)和 兩個(gè)取向字符，以定義完整的命令姿勢(shì)。在一個(gè)實(shí)施例中，起始位置被稱為“xyz”姿勢(shì)，其 中拇指指向正上方，食指指向前方，中指垂直于食指，當(dāng)姿勢(shì)用右手作出時(shí)指向左方。這由 串 “~~xl-:-X”表示?！癤YZ-手”是利用人手的幾何結(jié)構(gòu)來(lái)允許對(duì)視覺上呈現(xiàn)的三維結(jié)構(gòu)進(jìn)行全部六個(gè) 自由度的導(dǎo)航的技術(shù)。盡管該技術(shù)僅依賴于操作者的手的整體平移和旋轉(zhuǎn)——從而其手指 原則上可保持在任何期望姿勢(shì)——在本實(shí)施例中更可取的是靜態(tài)配置，其中食指指向遠(yuǎn)離 身體的方向；拇指指向天花板；中指指向左-右。這三個(gè)手指由此描述(粗略但意圖明晰地 描述)了三維空間坐標(biāo)系的三個(gè)互相正交的軸由此‘XYZ-手’。于是，進(jìn)行XYZ-手導(dǎo)航，其中手、手指呈如上所述的姿勢(shì)并保持在操作者身體之 前、預(yù)定的‘中性位置’。以下面的自然方式實(shí)現(xiàn)對(duì)三維空間物體(或相機(jī))的三個(gè)平移和 三個(gè)旋轉(zhuǎn)自由度的理解手的左右移動(dòng)(相對(duì)于身體的自然坐標(biāo)系)導(dǎo)致沿著計(jì)算環(huán)境的 X軸的移動(dòng)；手的上下移動(dòng)導(dǎo)致沿著受控環(huán)境的y軸的移動(dòng)；手的前后移動(dòng)(朝著或遠(yuǎn)離操 作者的身體)導(dǎo)致該環(huán)境內(nèi)的ζ軸運(yùn)動(dòng)。類似地，操作者的手圍繞食指的旋轉(zhuǎn)導(dǎo)致計(jì)算環(huán) 境的取向的‘滾動(dòng)’變化；類似地，分別通過(guò)使操作者的手圍繞中指和拇指的旋轉(zhuǎn)來(lái)實(shí)現(xiàn)‘俯 仰’和‘搖擺’的變化。注意，盡管‘計(jì)算環(huán)境’這里用來(lái)指代由XYZ-手方法控制的實(shí)體——并且似乎暗 示合成的三維空間物體或者相機(jī)，但應(yīng)理解該技術(shù)同樣可用于控制真實(shí)世界物體的各種 自由度例如配備有適當(dāng)旋轉(zhuǎn)致動(dòng)器的攝像機(jī)或攝影機(jī)的搖攝/傾斜/滾動(dòng)控制。此外， 由XYZ-手姿勢(shì)提供的物理自由度可能稍微有些不精確地映射在虛擬域中在本實(shí)施例中， XYZ-手還用來(lái)提供對(duì)大的全景顯示圖像的導(dǎo)航訪問，從而操作者的手的左右和上下運(yùn)動(dòng)導(dǎo) 致圍繞圖像的預(yù)期左右或上下‘搖攝’，而操作者的手的前后運(yùn)動(dòng)映射到‘變焦’控制。在所有情況下，手的運(yùn)動(dòng)與所引起的計(jì)算平移/旋轉(zhuǎn)之間的耦合可以是直接的 (即，操作者的手的位置或旋轉(zhuǎn)偏移借助某個(gè)線性或非線性函數(shù)而一一映射到在計(jì)算環(huán)境 內(nèi)物體或相機(jī)的位置或旋轉(zhuǎn)偏移)或間接的(即，操作者的手的位置或旋轉(zhuǎn)偏移借助某個(gè) 線性或非線性函數(shù)而一一映射到在計(jì)算環(huán)境內(nèi)位置/取向的一階或更高階導(dǎo)數(shù)；正在進(jìn)行 的積分于是實(shí)現(xiàn)計(jì)算環(huán)境的實(shí)際零階位置/取向的非靜態(tài)變化)。此后一控制手段類似于 汽車的‘氣動(dòng)踏板’的使用，其中該踏板的恒定偏移或多或少導(dǎo)致恒定的車速。擔(dān)當(dāng)真實(shí)世界XYZ-手的局部六自由度坐標(biāo)原點(diǎn)的‘中性位置’可以(1)被確立為 空間中的絕對(duì)位置和取向(相對(duì)于比如封閉室)；(2)被確立為相對(duì)于操作者自身的固定 位置和取向(例如，在身體前方八英寸、在下巴下方十英寸、以及在側(cè)面與肩膀平面成一直 線)，而無(wú)論操作者的總體位置和‘朝向’如何；或者(3)通過(guò)操作者的有意的副動(dòng)作(例如 采用由操作者的‘另一只’手作出的姿態(tài)命令，所述命令表明XYZ-手的當(dāng)前位置和取向自 此以后應(yīng)當(dāng)被用作平移和旋轉(zhuǎn)原點(diǎn))來(lái)被交互式地確立。此外，方便的是，提供圍繞XYZ-手的中性位置的‘封鎖’區(qū)(或‘死區(qū)’)，使得該 體積內(nèi)的移動(dòng)不映射到受控環(huán)境內(nèi)的移動(dòng)?？砂ㄆ渌藙?shì)[I I I I I :VX]是手掌面朝下方且手指朝前方的扁平手(拇指平行于手指)。[I I I I ι :χ 是手掌面朝前方且手指朝天花板的扁平手。
[I I I I I -x]是手掌面朝身體中心(左手情況下為右，右手情況下為左)且手 指朝前方的扁平手。[""""--x]是單手豎起大拇指(拇指指向天花板)["" -:-χ]是模仿槍指向前方雙手組合本發(fā)明考慮單手命令和姿勢(shì)，同樣也考慮雙手命令和姿勢(shì)。圖5示出了本發(fā)明的 一個(gè)實(shí)施例中的雙手組合和相關(guān)聯(lián)的記號(hào)的例子。觀察第一個(gè)例子的記號(hào)，“完全停止”表 明其包括兩個(gè)合上的拳頭?！翱煺铡崩拥拿總€(gè)手的拇指和食指伸展，各拇指指向彼此，從而 定義球門柱形狀的框架?！胺较蚨婧陀烷T起始位置”是手指和拇指指向上方，手掌面朝屏幕。取向混合圖6圖示了本發(fā)明的一個(gè)實(shí)施例中的取向混合的例子。在所示的例子中，通過(guò)在 手指姿勢(shì)串之后將成對(duì)的取向記號(hào)括在括號(hào)內(nèi)來(lái)表示該混合。例如，第一個(gè)命令示出了全 部直指的手指位置。第一對(duì)取向命令將導(dǎo)致手掌平坦地朝著顯示器，第二對(duì)使手旋轉(zhuǎn)到斜 向顯示器45度的斜度。盡管本例子中示出了成對(duì)的混合，但在本發(fā)明中可考慮任何數(shù)目的 混合。示例命令圖8示出了適用于本發(fā)明的多個(gè)可能的命令。盡管這里的討論有一些是關(guān)于控制 顯示器上的光標(biāo)的，但本發(fā)明不限于該工作。實(shí)際上，本發(fā)明在操縱屏幕上的任何和所有數(shù) 據(jù)及部分?jǐn)?shù)據(jù)、以及顯示器的狀態(tài)時(shí)有大的應(yīng)用。例如，這些命令可用于在視頻媒體的回放 過(guò)程中取代視頻控制。這些命令可用來(lái)暫停、快進(jìn)、倒回等。另外，可執(zhí)行命令來(lái)縮小或放 大圖像、改變圖像的取向、在任何方向上搖攝等。本發(fā)明還可代替諸如打開、關(guān)閉、保存等的 菜單命令而使用。換句話說(shuō)，任何可想象的命令或工作都可用姿態(tài)實(shí)現(xiàn)。操作圖7是圖示了一個(gè)實(shí)施例中的本發(fā)明的操作的流程圖。在步驟701，檢測(cè)系統(tǒng)檢測(cè) 標(biāo)記和標(biāo)簽。在判定塊702，確定是否檢測(cè)到標(biāo)簽和標(biāo)記。如果未檢測(cè)到，系統(tǒng)返回到步驟 701。如果在步驟702檢測(cè)到標(biāo)簽和標(biāo)記，系統(tǒng)進(jìn)入步驟703。在步驟703，系統(tǒng)根據(jù)檢測(cè)到 的標(biāo)簽和標(biāo)記標(biāo)識(shí)手、手指和姿勢(shì)。在步驟704，系統(tǒng)標(biāo)識(shí)姿勢(shì)的取向。在步驟705，系統(tǒng)標(biāo) 識(shí)檢測(cè)到的一個(gè)或多個(gè)手的三維空間位置。(請(qǐng)注意步驟703、704和705中的任何或全部 步驟可組合為單個(gè)步驟)。在步驟706，信息被翻譯成上面描述的姿態(tài)記號(hào)。在判定塊707，確定姿勢(shì)是否有 效。這可以通過(guò)使用所產(chǎn)生的記號(hào)串進(jìn)行簡(jiǎn)單的串比較來(lái)實(shí)現(xiàn)。如果姿勢(shì)無(wú)效，系統(tǒng)返回 到步驟701。如果姿勢(shì)有效，系統(tǒng)在步驟708將記號(hào)和位置信息發(fā)送給計(jì)算機(jī)。計(jì)算機(jī)在步 驟709確定為響應(yīng)于姿態(tài)而要采取的合適動(dòng)作，并相應(yīng)地在步驟710更新顯示器。在本發(fā)明的一個(gè)實(shí)施例中，步驟701-705是通過(guò)相機(jī)上處理器實(shí)現(xiàn)的。在其他實(shí) 施例中，如果需要，該處理可由系統(tǒng)計(jì)算機(jī)實(shí)現(xiàn)。分析和翻譯系統(tǒng)能夠“分析”和“翻譯”被底層系統(tǒng)恢復(fù)的低級(jí)姿態(tài)所構(gòu)成的流，并將那些經(jīng) 分析和翻譯的姿態(tài)變成可用于控制大范圍的計(jì)算機(jī)應(yīng)用和系統(tǒng)的命令或事件數(shù)據(jù)所構(gòu)成 的流。這些技術(shù)和算法可包含在由計(jì)算機(jī)代碼構(gòu)成的系統(tǒng)中，該系統(tǒng)既提供實(shí)施這些技術(shù)的引擎也提供構(gòu)建對(duì)該引擎的能力進(jìn)行利用的計(jì)算機(jī)應(yīng)用的平臺(tái)。一個(gè)實(shí)施例致力于在計(jì)算機(jī)接口中實(shí)現(xiàn)人手的豐富姿態(tài)使用，但也能夠識(shí)別由其 他身體部分(包括但不限于臂、軀干、腿和頭)以及各種各樣的非手的物理工具(靜態(tài)的有 關(guān)節(jié)的)作出的姿態(tài)，所述非手的物理工具包括但不限于卡鉗、兩角規(guī)、撓性彎曲合攏器以 及各種形狀的指點(diǎn)裝置。可按照需要將標(biāo)記和標(biāo)簽施加于可由操作者攜帶和使用的物品和 工具。這里所述的系統(tǒng)合并了使得構(gòu)建在可被識(shí)別和作用于的姿態(tài)的范圍方面豐富的 姿態(tài)系統(tǒng)成為可能的多個(gè)創(chuàng)新，同時(shí)提供向應(yīng)用中的簡(jiǎn)單集成。一個(gè)實(shí)施例中的姿態(tài)分析和翻譯系統(tǒng)的組成如下1)規(guī)定(為用在計(jì)算機(jī)程序中而編碼)如下幾個(gè)不同聚集水平的姿態(tài)的簡(jiǎn)潔有效 的方式a.單只手的“姿勢(shì)”(手的各部分相對(duì)于彼此的配置和取向)單只手在三維空間 中的取向和位置。b.雙手組合，對(duì)于任一只手，考慮姿勢(shì)、位置或兩者。c.多人組合；系統(tǒng)可跟蹤多于兩只的手，因此多于一個(gè)的人可協(xié)同地(或競(jìng)爭(zhēng)地， 在游戲應(yīng)用的情況下)控制目標(biāo)系統(tǒng)。d.按順序的姿態(tài)，其中姿勢(shì)被組合成一系列；我們稱它們?yōu)椤盎顒?dòng)的”姿態(tài)。e. “語(yǔ)義圖”姿態(tài)，其中操作者在空間中描繪形狀。2)用于注冊(cè)與給定應(yīng)用環(huán)境相關(guān)的上述每個(gè)種類中的具體姿態(tài)的編程技術(shù)。3)用于分析姿態(tài)流以使得經(jīng)注冊(cè)的姿態(tài)可被標(biāo)識(shí)且封裝了這些姿態(tài)的事件可被 傳送給相關(guān)應(yīng)用環(huán)境的算法。具有組成要素(Ia)到(If)的規(guī)定系統(tǒng)(1)為利用這里所述的系統(tǒng)的姿態(tài)分析和 翻譯能力提供了基礎(chǔ)。單手“姿勢(shì)”被表示為i)手指與手背之間的相對(duì)取向所構(gòu)成的串，ii)被量子化成小數(shù)目的離散狀態(tài)。使用相對(duì)聯(lián)接取向使得這里所述的系統(tǒng)可避免與不同的手大小和幾何結(jié)構(gòu)相關(guān) 聯(lián)的問題。本系統(tǒng)不要求“操作者校準(zhǔn)”。另外，將姿勢(shì)規(guī)定為相對(duì)取向的串或集合使得可 通過(guò)將姿勢(shì)表示法與另外的濾波器和規(guī)定相結(jié)合而容易地創(chuàng)建更復(fù)雜的姿態(tài)規(guī)定。使用小數(shù)目的用于姿勢(shì)規(guī)定的離散狀態(tài)使得簡(jiǎn)潔地規(guī)定姿勢(shì)以及使用多種基本 跟蹤技術(shù)(例如，使用相機(jī)的被動(dòng)光學(xué)跟蹤、使用發(fā)光點(diǎn)和相機(jī)的主動(dòng)跟蹤、電磁場(chǎng)跟蹤 等)來(lái)確保準(zhǔn)確的姿勢(shì)識(shí)別成為可能?？刹糠?或最小限度地)規(guī)定(Ia)到(If)的每個(gè)種類中的姿態(tài)，以使得非關(guān)鍵的 數(shù)據(jù)被忽略。例如，其中兩個(gè)手指的位置明確且其他手指位置不重要的姿態(tài)可由這樣的單 個(gè)規(guī)定來(lái)表示其中給出兩個(gè)相關(guān)手指的操作位置，且在同一個(gè)串內(nèi)，為其他手指列出“通 配符”或一般的“忽略這些”指示。這里所述的用于姿態(tài)識(shí)別的所有創(chuàng)新(包括但不限于多層化規(guī)定技術(shù)、相對(duì)取向 的使用、數(shù)據(jù)的量子化以及對(duì)每一級(jí)的部分或最小規(guī)定的允許)超越人的姿態(tài)的規(guī)定而推 廣到使用其他身體部分和“人造”工具和物體作出的姿態(tài)的規(guī)定。
用于“注冊(cè)姿態(tài)” O)的編程技術(shù)由限定的一組應(yīng)用編程接口調(diào)用組成，其允許程 序員限定引擎應(yīng)使哪些姿態(tài)可為運(yùn)行的系統(tǒng)的其他部分所用。這些API例程可以在應(yīng)用建立時(shí)間使用，從而創(chuàng)建在運(yùn)行的應(yīng)用的整個(gè)生命期使 用的靜態(tài)接口定義。它們還可以在運(yùn)行的過(guò)程中使用，從而允許接口特性在運(yùn)行中改變。接 口的該實(shí)時(shí)變更使得可以i)構(gòu)建復(fù)雜的環(huán)境和條件控制狀態(tài)，ii)向控制環(huán)境動(dòng)態(tài)地添加滯后，和iii)創(chuàng)建使得用戶能夠變更或擴(kuò)展運(yùn)行的系統(tǒng)本身的接口詞匯的應(yīng)用。用于分析姿態(tài)流(3)的算法將在(1)中規(guī)定并在(2)中注冊(cè)的姿態(tài)與輸入的低級(jí) 姿態(tài)數(shù)據(jù)相比較。當(dāng)經(jīng)注冊(cè)的姿態(tài)的匹配被識(shí)別出時(shí)，表示匹配的姿態(tài)的事件數(shù)據(jù)被堆棧 上傳到運(yùn)行的應(yīng)用。在本系統(tǒng)的設(shè)計(jì)中期望高效的實(shí)時(shí)匹配，將規(guī)定的姿態(tài)處理為被盡可能快地處理 的可能性的樹。另外，在內(nèi)部使用以識(shí)別規(guī)定的姿態(tài)的簡(jiǎn)單比較操作符也被暴露以供應(yīng)用程序員 使用，使得進(jìn)一步的比較(例如，復(fù)雜或復(fù)合姿態(tài)中的靈活的狀態(tài)檢查)甚至可以從應(yīng)用環(huán) 境內(nèi)發(fā)生。識(shí)別“鎖定”語(yǔ)義是這里所述系統(tǒng)的創(chuàng)新。這些語(yǔ)義由注冊(cè)API (2)暗示(并且， 對(duì)于較小的范圍，嵌入在規(guī)定詞匯(1)內(nèi))。注冊(cè)API調(diào)用包括，i) “進(jìn)入”狀態(tài)通知符和“持續(xù)”狀態(tài)通知符，和ii)姿態(tài)優(yōu)先級(jí)說(shuō)明符。如果姿態(tài)已被識(shí)別出，則其“持續(xù)”狀態(tài)優(yōu)先于相同或較低優(yōu)先級(jí)的姿態(tài)的所有 “進(jìn)入”狀態(tài)。進(jìn)入和持續(xù)狀態(tài)之間的這種區(qū)別顯著增大了感知到的系統(tǒng)可用性。這里所述的系統(tǒng)包括用于面對(duì)真實(shí)世界數(shù)據(jù)誤差和不確定性的魯棒操作的算法。 來(lái)自低級(jí)跟蹤系統(tǒng)的數(shù)據(jù)可能是不完整的(由于多種原因，包括光學(xué)跟蹤中的標(biāo)記遮蔽、 網(wǎng)絡(luò)掉線或處理滯后等)。取決于丟失數(shù)據(jù)的量和上下文，丟失數(shù)據(jù)由分析系統(tǒng)標(biāo)記，并被插入到“最后已知 的”或“很可能的”狀態(tài)中。如果關(guān)于特定姿態(tài)成分(例如，特定關(guān)節(jié)的取向)的數(shù)據(jù)丟失，但該特定成分的 “最后已知的”狀態(tài)可被分析為在物理上是可能的，則系統(tǒng)在其實(shí)時(shí)匹配時(shí)使用此最后已知 的狀態(tài)。相反，如果最后已知的狀態(tài)被分析為在物理上是不可能的，則系統(tǒng)后退到該成分 的“最佳猜測(cè)范圍”，并在其實(shí)時(shí)匹配時(shí)使用此合成數(shù)據(jù)。仔細(xì)地設(shè)計(jì)了這里所述的規(guī)定和分析系統(tǒng)以支持“手型性不可知論”，從而對(duì)于多 手姿態(tài)，任一只手都被允許滿足姿態(tài)要求。一致的虛擬/顯示和物理空間系統(tǒng)可提供這樣的環(huán)境，其中描繪在一個(gè)或多個(gè)顯示裝置(“屏幕”)上的虛擬空 間被處理為與系統(tǒng)的一個(gè)或多個(gè)操作者所處的物理空間相一致。這里描述了這種環(huán)境的一 個(gè)實(shí)施例。該當(dāng)前實(shí)施例包括固定位置處的三個(gè)由投影儀驅(qū)動(dòng)的屏幕，由單個(gè)臺(tái)式計(jì)算機(jī) 驅(qū)動(dòng)，并使用這里所述的姿態(tài)詞匯和接口系統(tǒng)來(lái)控制。然而，請(qǐng)注意所描述的技術(shù)支持任何數(shù)目的屏幕；這些屏幕可以是移動(dòng)的(而非固定的)；這些屏幕可由很多獨(dú)立的計(jì)算機(jī)同 時(shí)驅(qū)動(dòng)；且整個(gè)系統(tǒng)可通過(guò)任何輸入裝置或技術(shù)來(lái)控制。本公開中描述的接口系統(tǒng)應(yīng)具有確定屏幕在物理空間中的尺度、取向和位置的方 法。給定此信息，系統(tǒng)能夠?qū)⑦@些屏幕所處(且系統(tǒng)的操作者所處)的物理空間作為投影 動(dòng)態(tài)地映射到在系統(tǒng)上運(yùn)行的計(jì)算機(jī)應(yīng)用的虛擬空間中。作為該自動(dòng)映射的一部分，系統(tǒng) 還根據(jù)由系統(tǒng)掌管的應(yīng)用的需要、以多種方式翻譯這兩個(gè)空間的比例、角度、深度、尺度和 其他空間特性。物理和虛擬空間之間的這種連續(xù)翻譯使得多種接口技術(shù)的一致和普遍使用成為 可能，這些接口技術(shù)在現(xiàn)有的應(yīng)用平臺(tái)上難以實(shí)現(xiàn)或者必須針對(duì)在現(xiàn)有平臺(tái)上運(yùn)行的每個(gè) 應(yīng)用個(gè)別地實(shí)施。這些技術(shù)包括(但不限于)1)使用“精確指點(diǎn)”——在姿態(tài)接口環(huán)境中使用手，或使用物理指點(diǎn)工具或裝 置——作為普遍和自然的接口技術(shù)。2)對(duì)屏幕的移動(dòng)或重新定位的自動(dòng)補(bǔ)償。3)圖形渲染，其依操作者位置而變，例如模擬視差位移以增強(qiáng)深度感。4)在屏幕顯示中包括物理物體——考慮真實(shí)世界位置、取向、狀態(tài)等。例如，站在 大的不透明屏幕前方的操作者既能看到應(yīng)用圖形也能看到在屏幕后方(并且可能正在移 動(dòng)或改變?nèi)∠?的比例模型的真實(shí)位置的表示。重要的是，注意精確指點(diǎn)不同于在基于鼠標(biāo)的窗口接口和大多數(shù)其他現(xiàn)代系統(tǒng)中 使用的抽象指點(diǎn)。在那些系統(tǒng)中，操作者必須學(xué)習(xí)管理虛擬指點(diǎn)器和物理指點(diǎn)裝置之間的 翻譯，并且必須在這兩者之間有認(rèn)知力地映射。通過(guò)比較，在本公開中所述的系統(tǒng)中，無(wú)論從應(yīng)用還是用戶角度，虛擬和物理空間 之間沒有差異(除了虛擬空間更適合于數(shù)學(xué)變換)，因此操作者不需要有認(rèn)知力的翻譯。由這里所述的實(shí)施例提供的精確指點(diǎn)的最接近模擬是觸摸屏(例如，可在很多 ATM機(jī)上看到)。觸摸屏提供了屏幕上的二維顯示空間與屏幕表面的二維輸入空間之間的 一一映射。以類似的方式，這里所述的系統(tǒng)提供了顯示在一個(gè)或多個(gè)屏幕上的虛擬空間與 操作者所處的物理空間之間的靈活映射(可能但不必須是一一映射)。不管模擬的實(shí)用性 如何，都值得理解該“映射方法”擴(kuò)展到三維、任意大的架構(gòu)環(huán)境以及多個(gè)屏幕不是無(wú)關(guān)緊 要的。除了這里所述的部件，系統(tǒng)還可執(zhí)行實(shí)現(xiàn)環(huán)境的物理空間與每個(gè)屏幕上的顯示空 間之間的連續(xù)的系統(tǒng)級(jí)映射(可能已通過(guò)旋轉(zhuǎn)、平移、比例縮放或其他幾何變換加以修改) 的算法。渲染堆棧，其獲取計(jì)算對(duì)象和映射，并輸出虛擬空間的圖形表示。輸入事件處理堆棧，其獲取來(lái)自控制系統(tǒng)的事件數(shù)據(jù)(在本實(shí)施例中，是來(lái)自系 統(tǒng)和鼠標(biāo)輸入的姿態(tài)和指點(diǎn)數(shù)據(jù))，并將來(lái)自輸入事件的空間數(shù)據(jù)映射到虛擬空間中的坐 標(biāo)。然后，經(jīng)翻譯的事件被傳送到運(yùn)行的應(yīng)用?！澳z層”，其允許系統(tǒng)掌管在局域網(wǎng)上的若干計(jì)算機(jī)之間運(yùn)行的應(yīng)用。使用在擴(kuò)展 的景深內(nèi)提取的三維信息進(jìn)行的基于姿態(tài)的控制圖9是一個(gè)實(shí)施例下的、包括在擴(kuò)展的景深內(nèi)提取三維信息的成像系統(tǒng)的基于姿 態(tài)的控制系統(tǒng)900的框圖。用戶將手101和102放在相機(jī)陣列904A-904D的觀察區(qū)域內(nèi)。陣列904A-904D中的至少兩個(gè)相機(jī)是波前編碼相機(jī)，其中每個(gè)都包含包括波前編碼掩模(這 里也稱為“非球面光學(xué)元件”或“光學(xué)元件”)的波前編碼成像系統(tǒng)元件，如下面詳細(xì)所述。 用戶的手和/或手指可能包括或可能不包括上述標(biāo)記標(biāo)簽。相機(jī)904A-904D檢測(cè)或捕捉包括手指和手101和102的定位、取向和移動(dòng)的手指 和手101和102的圖像，并產(chǎn)生輸出信號(hào)給預(yù)處理器905。預(yù)處理器905可包括或耦合到波 前編碼數(shù)字信號(hào)處理908，如下所述?？商孢x地，波前編碼數(shù)字信號(hào)處理可包含在系統(tǒng)900 的一個(gè)或多個(gè)其他部件中、耦合到該一個(gè)或多個(gè)其他部件或者分布在該一個(gè)或多個(gè)其他部 件當(dāng)中。波前編碼數(shù)字信號(hào)處理908被配置成極大地?cái)U(kuò)展成像系統(tǒng)的景深。預(yù)處理器905將相機(jī)輸出翻譯成姿態(tài)信號(hào)，姿態(tài)信號(hào)被提供給系統(tǒng)的計(jì)算機(jī)處理 單元907。在這樣做時(shí)，預(yù)處理器905產(chǎn)生三維空間點(diǎn)重構(gòu)和骨點(diǎn)標(biāo)簽設(shè)定。姿態(tài)翻譯器 906將3D空間信息和標(biāo)記運(yùn)動(dòng)信息翻譯成命令語(yǔ)言，命令語(yǔ)言可由計(jì)算機(jī)處理器解釋以更 新顯示器上光標(biāo)的位置、形狀和動(dòng)作。計(jì)算機(jī)907使用輸入信息來(lái)產(chǎn)生命令以控制一個(gè)或 多個(gè)屏上光標(biāo)，并將視頻輸出提供給顯示器903。一個(gè)可替選實(shí)施例的預(yù)處理器905、姿態(tài)翻譯器906和計(jì)算機(jī)907中的一個(gè)或多個(gè) 可組合成單個(gè)裝置。無(wú)論系統(tǒng)配置如何，預(yù)處理器905、姿態(tài)翻譯器906和計(jì)算機(jī)907中的 每個(gè)的功能和/或功能性都是如上面參照?qǐng)D1-8和其他地方所描述的。此外，盡管本例子示出了用于檢測(cè)用戶的手101和102的定位、取向和移動(dòng)的四個(gè) 相機(jī)，但本實(shí)施例不限于此。系統(tǒng)配置可根據(jù)系統(tǒng)或工作站配置的需要而包括兩個(gè)或更多 相機(jī)。另外，盡管在示例實(shí)施例中相機(jī)是對(duì)稱布置的，但在本發(fā)明中這種對(duì)稱不是必需的。 因此，在下文中可以使用允許用戶的手的定位、取向和移動(dòng)的任何定位的至少兩個(gè)相機(jī)。盡管系統(tǒng)是以單個(gè)用戶的手作為輸入而示出的，系統(tǒng)也可跟蹤任何數(shù)目的多個(gè)用 戶的手。另外，代替手或除了手以外，系統(tǒng)可跟蹤用戶身體的任何一個(gè)或多個(gè)部分，包括頭、 腳、腿、臂、肘、膝等。此外，系統(tǒng)可跟蹤任何數(shù)目的有生命的或無(wú)生命的物體，而不限于跟蹤 身體的部分。特別而言，對(duì)于定位光學(xué)傳感器使之蓄意地或潛在地接近操作者的手(或被等效 地跟蹤的器具)的姿態(tài)分析系統(tǒng)，由此察覺到的要素通常將涵蓋整個(gè)自然順序的操作者運(yùn) 動(dòng)、相對(duì)距離的幾個(gè)或許多量級(jí)。持續(xù)焦點(diǎn)分辨地記錄橫越這一范圍的距離的事件超出了 傳統(tǒng)光學(xué)成像系統(tǒng)的能力。然而，這些接近中距離的幾何在為了宏觀裝置和產(chǎn)品設(shè)計(jì)的目 的而跟蹤物體或操作者的情況下常常是所期望的。因此，值得提供在預(yù)期的操作者活動(dòng)范 圍內(nèi)確保局部對(duì)比度或突出特征穩(wěn)定性的技術(shù)(為此目的，傳統(tǒng)光學(xué)是不夠的)。當(dāng)描述在這里的系統(tǒng)中在擴(kuò)展的景深內(nèi)提取三維信息時(shí)，距場(chǎng)景中一點(diǎn)的距離可 根據(jù)它在被同時(shí)捕捉到的兩個(gè)或更多圖像中的位置來(lái)估算出。當(dāng)圖像之間的三維(3D)關(guān) 系已知時(shí)，該點(diǎn)的3D位置可根據(jù)基本幾何關(guān)系來(lái)計(jì)算出。根據(jù)多個(gè)圖像計(jì)算空間位置所面 臨的挑戰(zhàn)(常稱為立體相關(guān)或立體深度計(jì)算)是將一點(diǎn)在一個(gè)圖像中的映射與它在另一個(gè) 圖像中的映射自動(dòng)和準(zhǔn)確地相關(guān)聯(lián)。這最通常是通過(guò)使從一個(gè)圖像到一個(gè)或多個(gè)其他圖像 的圖像特征相關(guān)來(lái)完成的。然而，所有立體匹配方法中的基本假設(shè)是圖像中必須存在某個(gè) 可標(biāo)識(shí)的局部對(duì)比度或特征，以便將該點(diǎn)與它在另一個(gè)圖像中的位置相匹配。因此，當(dāng)由于 散焦而在圖像中沒有局部對(duì)比度或特征時(shí)，會(huì)產(chǎn)生問題——立體匹配在圖像的焦點(diǎn)沒對(duì)準(zhǔn) 的區(qū)域內(nèi)不產(chǎn)生準(zhǔn)確的結(jié)果。
用于擴(kuò)展圖像焦深的常規(guī)方法是減小相機(jī)鏡頭光瞳的直徑(“縮小”)。然而，兩個(gè) 副作用限制了該技術(shù)的實(shí)用性。首先，成像系統(tǒng)的靈敏度降低了與光瞳內(nèi)外徑比的平方相 等的倍數(shù)。其次，最大空間頻率響應(yīng)降低了與光瞳內(nèi)外徑比相等的倍數(shù)，這限制了圖像中的 分辨率和對(duì)比度。因此，在常規(guī)成像系統(tǒng)中存在景深、曝光時(shí)間和總體對(duì)比度之間的權(quán)衡。 在多相機(jī)測(cè)距系統(tǒng)的情況下，凈效應(yīng)將是立體深度準(zhǔn)確度與工作范圍之間的折衷。增大景深而不縮小鏡頭的一種替代方法是在相機(jī)鏡頭的光瞳中引入規(guī)定要求的 相位掩模。利用恰當(dāng)選擇的相位函數(shù)，可通過(guò)對(duì)在傳感器上捕捉到的圖像進(jìn)行后續(xù)電子處 理來(lái)恢復(fù)擴(kuò)展的景深。這種被稱作波前編碼的技術(shù)通常提供景深、相機(jī)動(dòng)態(tài)范圍和信噪比 之間的權(quán)衡。波前編碼使得針對(duì)具體應(yīng)用優(yōu)化相機(jī)參數(shù)成為可能。不需要很高的動(dòng)態(tài)范圍 且照明在用戶控制之下的應(yīng)用(比如這里所述的姿態(tài)識(shí)別)可大大受益于波前編碼，從而 在指定的空間體積內(nèi)實(shí)現(xiàn)高的準(zhǔn)確度。如上所述，一個(gè)實(shí)施例的系統(tǒng)包括使用多個(gè)波前編碼相機(jī)的經(jīng)處理的輸出來(lái)確定 場(chǎng)景內(nèi)選定物體的范圍和位置的技術(shù)。由波前編碼產(chǎn)生的擴(kuò)展的景深可用于多種應(yīng)用，包 括姿態(tài)識(shí)別和一大批其他基于任務(wù)的成像工作，以顯著提高它們的性能。盡管要求最少兩 個(gè)相機(jī)，但在該實(shí)施例中可使用的相機(jī)的數(shù)目沒有上限。場(chǎng)景提取可包括用于通過(guò)兩個(gè)或 更多相機(jī)進(jìn)行范圍提取的多種處理技術(shù)(比如相關(guān))中的任一種。這里所述的實(shí)施例包括 在處理后產(chǎn)生擴(kuò)展的景深的所有波前編碼相位函數(shù)及其對(duì)應(yīng)的解碼內(nèi)核。在波前編碼成像系統(tǒng)中使用的波前編碼是使用廣義非球面光學(xué)(裝置)和數(shù)字信 號(hào)處理來(lái)大大提高成像系統(tǒng)的性能和/或降低成像系統(tǒng)的成本的一般技術(shù)。所采用的該類 非球面光學(xué)(裝置)產(chǎn)生對(duì)散焦相關(guān)偏差很不敏感的光學(xué)成像特性。銳利和清晰的圖像不 直接從該光學(xué)(裝置)產(chǎn)生，然而，施加于采樣圖像的數(shù)字信號(hào)處理產(chǎn)生銳利和清晰的、同 樣對(duì)散焦相關(guān)偏差不敏感的最終圖像。波前編碼用來(lái)大大提高圖像系統(tǒng)的性能，同時(shí)還減小成像系統(tǒng)的大小、重量和成 本。波前編碼將非旋轉(zhuǎn)對(duì)稱的非球面光學(xué)元件與數(shù)字信號(hào)處理以基本的方式相結(jié)合，來(lái)極 大地?cái)U(kuò)展成像系統(tǒng)的景深。利用波前編碼，例如對(duì)于給定的孔徑大小或F#，成像系統(tǒng)的景 深或焦深可相對(duì)于傳統(tǒng)成像系統(tǒng)增大十倍或更多。一個(gè)實(shí)施例的波前編碼光學(xué)元件是相位 面，因而不吸收光或增加曝光或照明要求。傳統(tǒng)成像技術(shù)在不產(chǎn)生極大光功率損耗(比如 縮小孔徑時(shí)必產(chǎn)生極大光功率損耗)的情況下不可能實(shí)現(xiàn)這種擴(kuò)展景深的性能。增大的景 深/焦深還通過(guò)控制散焦相關(guān)偏差來(lái)使得成像系統(tǒng)能夠在物理上更便宜、更小或更輕，而 散焦相關(guān)偏差傳統(tǒng)上是通過(guò)添加透鏡元件或提高透鏡復(fù)雜性來(lái)控制的?？衫貌ㄇ熬幋a控 制的散焦相關(guān)偏差包括色差、Petzval曲率、散光、球差以及溫度相關(guān)散焦。作為混合成像方法的波前編碼將光學(xué)和電子學(xué)相結(jié)合來(lái)增大景深并減少光學(xué)部 件的數(shù)目、制造公差和整個(gè)系統(tǒng)成本。圖10是一個(gè)實(shí)施例下的、在基于姿態(tài)的控制系統(tǒng)中 使用的波前編碼成像系統(tǒng)1000的框圖。波前編碼成像系統(tǒng)1000的光學(xué)部分1001是常規(guī) 光學(xué)系統(tǒng)或相機(jī)，但被修改為在孔徑光闌附近放置波前編碼光學(xué)元件1002。添加該編碼光 學(xué)元件導(dǎo)致圖像具有對(duì)散焦不敏感的、專門化的鮮明的模糊或點(diǎn)擴(kuò)散函數(shù)(point spread function)。施加于采樣圖像的數(shù)字處理1003產(chǎn)生對(duì)散焦效應(yīng)很不敏感的、銳利的和清晰 的圖像1004。圖11是一個(gè)實(shí)施例下的基于姿態(tài)的控制系統(tǒng)1100的框圖，控制系統(tǒng)1100采用包括兩個(gè)波前編碼相機(jī)的波前編碼成像系統(tǒng)在擴(kuò)展的景深內(nèi)提取三維信息。如上面參照?qǐng)D10 所述，系統(tǒng)1100包括至少兩個(gè)波前編碼相機(jī)1101和1102。處理器被耦合以接收波前編碼 相機(jī)1101和1102的輸出并對(duì)相機(jī)輸出執(zhí)行數(shù)據(jù)處理。數(shù)據(jù)處理包括例如去卷積1120和 范圍提取1130，并產(chǎn)生擴(kuò)展的焦點(diǎn)范圍圖1140。在波前編碼系統(tǒng)1100中，系統(tǒng)的光學(xué)部分(例如波前編碼相機(jī)1101和1102)對(duì) 所得到的圖像進(jìn)行“編碼”以產(chǎn)生中間圖像1110。由于波前編碼元件(例如圖10中的元件 1002)有目的地模糊了任何圖像中的所有點(diǎn)，所以中間圖像1110呈現(xiàn)散焦。在這種中間圖 像1110中，視野內(nèi)幾乎所有的物體都是模糊的，但它們是同等模糊的。相比之下，傳統(tǒng)光學(xué) (裝置)通常形成具有依賴于距場(chǎng)景中每個(gè)物體的距離的可變模糊函數(shù)的圖像。為了從中間波前編碼圖像1110產(chǎn)生銳利和清晰的圖像，使用電子學(xué)(例如，波前 編碼數(shù)字信號(hào)處理)、通過(guò)去除依賴于系統(tǒng)的圖像模糊來(lái)對(duì)模糊的中間圖像進(jìn)行處理或“解 碼” 1120和1130?？赏ㄟ^(guò)軟件或利用專門化的硬件方案來(lái)實(shí)時(shí)地執(zhí)行數(shù)字濾波。如上面參照?qǐng)D10所述，一個(gè)實(shí)施例的系統(tǒng)光學(xué)(裝置)包括具有執(zhí)行波前編碼 功能的至少一個(gè)額外光學(xué)元件的常規(guī)部件。該元件被放置在光路中，通常在系統(tǒng)的孔徑光 闌附近以最小化漸暈。對(duì)檢測(cè)到的圖像執(zhí)行的信號(hào)處理依賴于光學(xué)(裝置)、波前編碼元件 以及數(shù)字檢測(cè)器的一階特性。盡管也可使用衍射表面，一般的波前編碼元件是非旋轉(zhuǎn)對(duì)稱的和光滑的。該元件 可以是單獨(dú)的部件，或者它可通過(guò)添加廣義非球面表面而被集成到傳統(tǒng)透鏡元件上。所有 編碼元件都使光改變方向，從而除了軸上光線以外，沒有光線射向傳統(tǒng)幾何焦點(diǎn)。實(shí)際上， 沒有兩個(gè)光線沿著光軸射向同一點(diǎn)。系統(tǒng)在任何像平面都不會(huì)形成清晰的圖像。波前編碼成像系統(tǒng)的光學(xué)部分的主要作用是使得所得到的圖像對(duì)焦點(diǎn)相關(guān)偏 差(如散焦、球差、散光或場(chǎng)曲)不敏感。中間模糊圖像對(duì)物體或成像系統(tǒng)的包含散焦偏 差的變化不敏感或不隨之變化。從系統(tǒng)分析的觀點(diǎn)來(lái)看，波前編碼系統(tǒng)的調(diào)制傳遞函數(shù) (modulation transfer function) (MTF)和點(diǎn)擴(kuò)散函數(shù)(PSF)不關(guān)于散焦而變化。盡管來(lái)自波前編碼系統(tǒng)的中間圖像的MTF表現(xiàn)出隨散焦變化很少，但是相對(duì)于焦 點(diǎn)對(duì)準(zhǔn)的傳統(tǒng)系統(tǒng)而言，該MTF的確具有降低的功率。由于未使用變跡法(apodization)， 所以保持了總的光功率。采用數(shù)字濾波或圖像重構(gòu)處理來(lái)形成清晰的圖像。這些最終MTF 對(duì)散焦很不敏感一因此，波前編碼成像系統(tǒng)具有很大的景深。類似地，來(lái)自波前編碼系統(tǒng) 的中間PSF不同于傳統(tǒng)系統(tǒng)PSF，但它們隨散焦的變化而變化非常少。再次參考圖10，專用非球面光學(xué)元件被放置在常規(guī)成像系統(tǒng)的孔徑光闌處或其附 近，以形成波前編碼成像系統(tǒng)。此光學(xué)元件以這樣的方式修改成像系統(tǒng)即，使得所得到的 PSF和光學(xué)傳遞函數(shù)(OTF)對(duì)一定范圍的散焦或散焦相關(guān)偏差不敏感。然而，該P(yáng)SF和OTF 與利用高質(zhì)量的焦點(diǎn)對(duì)準(zhǔn)的成像系統(tǒng)獲得的PSF和OTF不相同。使得成像系統(tǒng)對(duì)散焦偏差 不敏感的過(guò)程產(chǎn)生具有專門化的鮮明的模糊的圖像；該模糊利用波前編碼數(shù)字信號(hào)處理來(lái) 去除。例如來(lái)自常規(guī)成像系統(tǒng)的PSF隨散焦急劇地變化，而來(lái)自波前編碼成像系統(tǒng)的 PSF表現(xiàn)出隨散焦幾乎沒有明顯變化。施加于散焦的傳統(tǒng)成像系統(tǒng)用以去除散焦模糊的數(shù) 字處理依賴于圖像的不同區(qū)域中存在的散焦的量而進(jìn)行處理。在很多情況下，散焦的量是 未知的并且難以計(jì)算。另外，散焦的傳統(tǒng)成像系統(tǒng)的MTF常?？赡馨慊蚩罩担@進(jìn)一步增大了數(shù)字處理的難度。相比之下，來(lái)自波前編碼系統(tǒng)的PSF隨散焦的恒定性質(zhì)正是消除 數(shù)字處理對(duì)散焦的依賴性所需要的。施加于電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS)檢測(cè)到的圖像的數(shù)字處理獨(dú)立于散焦和被成像的實(shí)際場(chǎng)景。另外，焦點(diǎn)對(duì)準(zhǔn)和焦點(diǎn) 沒對(duì)準(zhǔn)的波前編碼成像系統(tǒng)的MTF都不包含零或空值，從而允許高質(zhì)量的最終圖像。用于擴(kuò)展景深的波前編碼能夠使通常無(wú)法接受傳統(tǒng)方法(即，縮小孔徑)的成像 應(yīng)用增值。對(duì)照明水平、曝光時(shí)間或空間分辨率的約束常常限制了現(xiàn)有光學(xué)方法的應(yīng)用。通 過(guò)使用波前編碼，在不犧牲曝光時(shí)間或要求大量照明的情況下，應(yīng)用可受益于散焦相關(guān)問 題的減少。如上所述，波前編碼成像系統(tǒng)包括對(duì)所得到的圖像的數(shù)字信號(hào)處理和非常規(guī)光學(xué) 設(shè)計(jì)。所使用的信號(hào)處理依賴于具體光學(xué)系統(tǒng)。波前編碼光學(xué)(裝置)依賴于待使用的信 號(hào)處理的類型和量。由于光學(xué)(裝置)和信號(hào)處理是緊密耦合的，所以其中光學(xué)和數(shù)字部件 在設(shè)計(jì)過(guò)程中被聯(lián)合優(yōu)化的系統(tǒng)自然預(yù)期會(huì)有最佳的性能。光學(xué)部件被配置成使光學(xué)(裝 置)隨散焦效應(yīng)的變化或?qū)ι⒔剐?yīng)的敏感度最小化以及實(shí)現(xiàn)高效的信號(hào)處理。數(shù)字部件 被設(shè)計(jì)成使算法復(fù)雜性、處理時(shí)間以及數(shù)字處理對(duì)圖像噪聲的影響最小化。圖12是一個(gè)實(shí)施例下的、使用在擴(kuò)展的景深內(nèi)提取的三維信息進(jìn)行的基于姿態(tài) 的控制的流程圖。一個(gè)實(shí)施例的基于姿態(tài)的控制包括利用成像系統(tǒng)對(duì)身體成像1202。成像 1202包括產(chǎn)生身體的波前編碼圖像。一個(gè)實(shí)施例的基于姿態(tài)的控制包括自動(dòng)檢測(cè)1204身 體的姿態(tài)，該姿態(tài)包括身體的瞬時(shí)狀態(tài)。檢測(cè)1204包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)。 該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內(nèi)的身體的焦點(diǎn)分辨數(shù)據(jù)。一個(gè)實(shí)施例的基于姿態(tài)的控制 包括將姿態(tài)翻譯1206成姿態(tài)信號(hào)。一個(gè)實(shí)施例的基于姿態(tài)的控制包括響應(yīng)于姿態(tài)信號(hào)而 控制1208與計(jì)算機(jī)耦合的部件。用于一個(gè)實(shí)施例的波前編碼的基本例程可包括對(duì)通過(guò)典型球面和非球面表面以 及一般波前編碼表面形式的光線進(jìn)行追蹤的光線追蹤程序。光線追蹤程序用來(lái)計(jì)算出射光 瞳和優(yōu)化給定的一組光學(xué)和數(shù)字品質(zhì)(merit)函數(shù)或操作數(shù)。圖13是一個(gè)實(shí)施例下的、在 基于姿態(tài)的控制系統(tǒng)中使用的波前編碼設(shè)計(jì)過(guò)程1300的框圖。該設(shè)計(jì)的輸出包括但不限 于傳統(tǒng)光學(xué)表面、材料、厚度和間距；波前編碼表面的參數(shù)；和數(shù)字濾波器系數(shù)?，F(xiàn)在參照?qǐng)D13描述一般的光學(xué)/數(shù)字設(shè)計(jì)環(huán)路。光線追蹤程序1302時(shí)通過(guò)光學(xué) 表面的光線進(jìn)行追蹤，以計(jì)算出射光瞳光程差(OPD) 1304并優(yōu)化給定的一組光學(xué)和數(shù)字品 質(zhì)函數(shù)或操作數(shù)。至光線追蹤程序1302的輸入包括例如光學(xué)表面、厚度和工作條件(波長(zhǎng)、 視野、溫度范圍、樣本物體圖像等)。在1306計(jì)算或產(chǎn)生0TF，并在1308添加與檢測(cè)器幾何 結(jié)構(gòu)相關(guān)的像素0TF。在1310計(jì)算采樣OTF和PSF。針對(duì)基于采樣PSF選擇的處理算法，產(chǎn) 生1312數(shù)字濾波器系數(shù)。該處理接下來(lái)形成用于濾波器的品質(zhì)因數(shù)(例如，波前編碼操作 數(shù))，該品質(zhì)因數(shù)是基于最小化以下二者的采樣PSF和MTF因混疊、因溫度變化、隨色彩、 隨場(chǎng)角、通過(guò)焦點(diǎn)等的變化；諸如處理量、處理形式、處理相關(guān)圖像噪聲、數(shù)字濾波器噪聲增 益等的數(shù)字處理參數(shù)。通過(guò)優(yōu)化例程將波前編碼操作數(shù)與傳統(tǒng)光學(xué)操作數(shù)Geidel波前偏 差、RMS波前誤差等)相結(jié)合以修改光學(xué)表面。操作返回到通過(guò)傳統(tǒng)光線追蹤來(lái)產(chǎn)生1302 出射光瞳光程差(OPD)。使用理論計(jì)算出的波前編碼表面形式作為光學(xué)優(yōu)化的出發(fā)點(diǎn)。在歸一化坐標(biāo)中給 出可矩形分離的表面形式的一個(gè)一般族
S(x) = I β |sign(x) |x| °其中對(duì)于 χ > 0, sign (χ) = +1 ；對(duì)于 χ 彡 0，sign (χ) = -1。指數(shù)參數(shù)α控制散焦范圍內(nèi)的MTF的高度，參數(shù)β控制對(duì)散焦的敏感度。通常， 增大參數(shù)β降低了對(duì)散焦的敏感度，同時(shí)降低了 MTF的高度并增大了所得到的PSF的長(zhǎng)度。用于重構(gòu)中間圖像并產(chǎn)生最終圖像的濾波處理可能施加計(jì)算負(fù)擔(dān)。取決于由編碼 處理引入的景深增強(qiáng)以及光學(xué)系統(tǒng)，圖像重構(gòu)所需的濾波器內(nèi)核的大小可多達(dá)70X70個(gè) 系數(shù)。通常，景深擴(kuò)展越大，則濾波器內(nèi)核就越大，噪聲特性惡化或噪聲增益也越大。此外， 由于圖像中的每個(gè)像素因波前編碼而模糊，所以每個(gè)像素需要被濾波；因此，較大的圖像相 對(duì)于較小的圖像可能需要較多的計(jì)算。對(duì)于接近千萬(wàn)像素的圖像大小，高效的計(jì)算方案被 用于實(shí)際的和經(jīng)濟(jì)的系統(tǒng)。計(jì)算實(shí)施(比如可矩形分離的濾波器近似)可幫助減小內(nèi)核尺 度。例如所使用的波前編碼元件可具有如下式所述的可矩形分離的立方相形式S (x, y) = a (x3+y3)對(duì)模糊圖像濾波以去除模糊實(shí)質(zhì)上是根據(jù)空間頻率施加放大和相移。該放大既增 大了最終圖像中的信號(hào)也增大了最終圖像中的噪聲。對(duì)于很大(例如超過(guò)10倍)的景深 增強(qiáng)，波前編碼系統(tǒng)中的噪聲增益可為四倍或五倍。對(duì)于二到四倍的較適中的景深增強(qiáng)，噪 聲增益通常為二倍或更小。對(duì)于不相關(guān)的高斯噪聲(對(duì)于大多數(shù)圖像的良好假設(shè))，噪聲增益為濾波器系數(shù) 的RMS值。對(duì)于景深擴(kuò)展太大以至于不能產(chǎn)生適當(dāng)小的噪聲增益值的系統(tǒng)，減小數(shù)字濾波 器的分辨率或空間帶寬可降低噪聲增益。降低最終圖像的對(duì)比度也能減小增大的噪聲的總 體影響。專門化的非線性濾波是去除波前編碼圖像中的噪聲的最佳方案。由于一個(gè)實(shí)施例中用于形成MTF和PSF的波前編碼光學(xué)元件是可矩形分離的，所 以所使用的信號(hào)處理也可以是可矩形分離的?？删匦畏蛛x的處理可以使所需計(jì)算量降低一 個(gè)或多個(gè)量級(jí)。由于數(shù)字濾波是利用空間卷積進(jìn)行的，所以一個(gè)實(shí)施例的計(jì)算方法包括用 濾波器系數(shù)對(duì)數(shù)據(jù)進(jìn)行比例縮放的一系列乘法；以及遍及整個(gè)內(nèi)核將所有經(jīng)比例縮放的數(shù) 據(jù)值相加的求和。該計(jì)算的基本單元是乘-累加運(yùn)算。用于大的景深增大的典型2D波前 編碼濾波器內(nèi)核可為30X30個(gè)系數(shù)。該濾波器的可矩形分離的版本包含長(zhǎng)度為30個(gè)系數(shù) 的行濾波器和高度為30個(gè)系數(shù)的列濾波器，或者包含60個(gè)總系數(shù)。盡管波前編碼元件在 設(shè)計(jì)上可以是可矩形分離的，但它們不限于此，高度偏差的系統(tǒng)可使用不可分離的濾波。通過(guò)將光學(xué)成像技術(shù)與電子濾波相結(jié)合，波前編碼技術(shù)可改善各種各樣的成像系 統(tǒng)的性能。高性能成像系統(tǒng)的性能提升可包括在不犧牲光收集或空間分辨率的情況下實(shí)現(xiàn) 很大的景深。較低成本成像系統(tǒng)的性能提升可包括在比傳統(tǒng)上所需的更少的物理部件的情 況下實(shí)現(xiàn)良好的圖像質(zhì)量。這里所述的實(shí)施例包括一種系統(tǒng)，該系統(tǒng)包括多個(gè)光學(xué)檢測(cè)器，其中該多個(gè)光學(xué) 檢測(cè)器中的至少兩個(gè)光學(xué)檢測(cè)器包括波前編碼相機(jī)，其中該多個(gè)光學(xué)檢測(cè)器對(duì)身體成像； 與該多個(gè)光學(xué)檢測(cè)器耦合的處理器，該處理器自動(dòng)檢測(cè)身體的姿態(tài)，其中該姿態(tài)包括身體 的瞬時(shí)狀態(tài)，其中該檢測(cè)包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)，該姿態(tài)數(shù)據(jù)包括成像系統(tǒng) 的景深內(nèi)的身體的焦點(diǎn)分辨數(shù)據(jù)，該處理器將姿態(tài)翻譯成姿態(tài)信號(hào)并使用該姿態(tài)信號(hào)來(lái)控 制與該處理器耦合的部件。
一個(gè)實(shí)施例的波前編碼相機(jī)包括波前編碼光學(xué)元件。一個(gè)實(shí)施例的成像包括產(chǎn)生身體的波前編碼圖像。一個(gè)實(shí)施例的波前編碼相機(jī)包括增大成像的焦深的相位掩模。一個(gè)實(shí)施例的姿態(tài)數(shù)據(jù)包括景深內(nèi)的身體的焦點(diǎn)分辨范圍數(shù)據(jù)。一個(gè)實(shí)施例的景深內(nèi)的身體的焦點(diǎn)分辨范圍數(shù)據(jù)來(lái)自于波前編碼相機(jī)的輸出。一個(gè)實(shí)施例的姿態(tài)數(shù)據(jù)包括景深內(nèi)的身體的焦點(diǎn)分辨位置數(shù)據(jù)。一個(gè)實(shí)施例的景深內(nèi)的身體的焦點(diǎn)分辨位置數(shù)據(jù)來(lái)自于波前編碼相機(jī)的輸出。一個(gè)實(shí)施例的系統(tǒng)包括不隨身體與成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù) 和點(diǎn)擴(kuò)散函數(shù)。一個(gè)實(shí)施例的系統(tǒng)包括不關(guān)于散焦而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。一個(gè)實(shí)施例的處理器通過(guò)對(duì)由波前編碼相機(jī)收集到的圖像進(jìn)行編碼來(lái)產(chǎn)生中間 圖像。一個(gè)實(shí)施例的中間圖像是模糊的。一個(gè)實(shí)施例的中間圖像對(duì)包含散焦偏差的多個(gè)光學(xué)檢測(cè)器或者身體的變化不敏感。一個(gè)實(shí)施例的姿態(tài)數(shù)據(jù)是表示姿態(tài)的三維空間位置數(shù)據(jù)。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的位置、檢測(cè)身體的取向中的至少一種，且檢測(cè) 包括檢測(cè)身體的運(yùn)動(dòng)。一個(gè)實(shí)施例的檢測(cè)包括標(biāo)識(shí)姿態(tài)，其中標(biāo)識(shí)包括標(biāo)識(shí)身體的一部分的姿勢(shì)和取向。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的第一組附屬物和第二組附屬物中的至少一種。一個(gè)實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)與身體的一部分耦合的一組標(biāo)簽的位置。一個(gè)實(shí)施例的該組標(biāo)簽中的每個(gè)標(biāo)簽包括圖案，其中該組標(biāo)簽中的每個(gè)標(biāo)簽的每 個(gè)圖案不同于多個(gè)標(biāo)簽中的任何剩余標(biāo)簽的任何圖案。一個(gè)實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位身體上的標(biāo)記。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)與身體的一部分耦合的一組標(biāo)記的位置。一個(gè)實(shí)施例的該組標(biāo)記形成身體上的多個(gè)圖案。一個(gè)實(shí)施例的檢測(cè)包括使用與每個(gè)附屬物耦合的一組標(biāo)記來(lái)檢測(cè)身體的多個(gè)附 屬物的位置。一個(gè)實(shí)施例的翻譯包括將姿態(tài)的信息翻譯成姿態(tài)記號(hào)。一個(gè)實(shí)施例的姿態(tài)記號(hào)表示姿態(tài)詞匯，且姿態(tài)信號(hào)包括姿態(tài)詞匯的傳達(dá)。一個(gè)實(shí)施例的姿態(tài)詞匯以文本形式表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的瞬時(shí)姿勢(shì)狀態(tài)。一個(gè)實(shí)施例的姿態(tài)詞匯以文本形式表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向。一個(gè)實(shí)施例的姿態(tài)詞匯以文本形式表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向的組合。一個(gè)實(shí)施例的姿態(tài)詞匯包括表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的狀態(tài)的字符串。一個(gè)實(shí)施例的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)是身體的至少一個(gè)第一附屬物。一個(gè)實(shí)施例的系統(tǒng)包括將該串中的每個(gè)位置分配給第二附屬物，第二附屬物連接 到第一附屬物。
一個(gè)實(shí)施例的系統(tǒng)包括將多個(gè)字符中的字符分配給第二附屬物的多個(gè)位置中的 每個(gè)。一個(gè)實(shí)施例的該多個(gè)位置是相對(duì)于坐標(biāo)原點(diǎn)而確立的。一個(gè)實(shí)施例的系統(tǒng)包括使用空間中的絕對(duì)位置和取向來(lái)確立坐標(biāo)原點(diǎn)；使用相 對(duì)于身體的固定位置和取向來(lái)確立坐標(biāo)原點(diǎn)，而無(wú)論身體的總體位置和朝向如何；或者響 應(yīng)于身體的動(dòng)作而交互式地確立坐標(biāo)原點(diǎn)。一個(gè)實(shí)施例的系統(tǒng)包括將多個(gè)字符中的字符分配給第一附屬物的多個(gè)取向中的 每個(gè)。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的推斷位置何時(shí)與虛擬空間相交，其中虛擬空間 包括描繪在與計(jì)算機(jī)耦合的顯示裝置上的空間。一個(gè)實(shí)施例的控制該部件包括當(dāng)推斷位置與虛擬空間中的虛擬物體相交時(shí)控制 虛擬物體。
一個(gè)實(shí)施例的控制該部件包括響應(yīng)于虛擬空間中的推斷位置而控制虛擬空間中 的虛擬物體的位置。一個(gè)實(shí)施例的控制該部件包括響應(yīng)于姿態(tài)而控制虛擬空間中的虛擬物體的姿 態(tài)。一個(gè)實(shí)施例的系統(tǒng)包括對(duì)檢測(cè)和控制進(jìn)行比例控制以產(chǎn)生虛擬空間與物理空間 之間的一致，其中虛擬空間包括描繪在與處理器耦合的顯示裝置上的空間，其中物理空間 包括身體所處的空間。一個(gè)實(shí)施例的系統(tǒng)包括響應(yīng)于物理空間中的至少一個(gè)物理物體的移動(dòng)而控制虛 擬空間中的至少一個(gè)虛擬物體。一個(gè)實(shí)施例的控制包括以下控制中的至少一個(gè)控制處理器上掌管的應(yīng)用的運(yùn) 行；和控制處理器上顯示的部件。這里所述的實(shí)施例包括一種方法，該方法包括利用成像系統(tǒng)對(duì)身體成像，該成像 包括產(chǎn)生身體的波前編碼圖像；自動(dòng)檢測(cè)身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時(shí)狀態(tài)，其 中該檢測(cè)包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)，該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內(nèi)的身體 的焦點(diǎn)分辨數(shù)據(jù)；將該姿態(tài)翻譯成姿態(tài)信號(hào)；或者響應(yīng)于該姿態(tài)信號(hào)而控制與計(jì)算機(jī)耦合 的部件。一個(gè)實(shí)施例的成像系統(tǒng)包括多個(gè)光學(xué)檢測(cè)器，其中光學(xué)檢測(cè)器中的至少兩個(gè)是包 括波前編碼光學(xué)元件的波前編碼相機(jī)。一個(gè)實(shí)施例的成像包括產(chǎn)生身體的波前編碼圖像。一個(gè)實(shí)施例的成像系統(tǒng)包括多個(gè)光學(xué)檢測(cè)器，其中光學(xué)檢測(cè)器中的至少兩個(gè)是包 括增大成像的焦深的相位掩模的波前編碼相機(jī)。一個(gè)實(shí)施例的姿態(tài)數(shù)據(jù)包括景深內(nèi)的身體的焦點(diǎn)分辨范圍數(shù)據(jù)。一個(gè)實(shí)施例的景深內(nèi)的身體的焦點(diǎn)分辨范圍數(shù)據(jù)來(lái)自于成像系統(tǒng)的輸出。一個(gè)實(shí)施例的姿態(tài)數(shù)據(jù)包括景深內(nèi)的身體的焦點(diǎn)分辨位置數(shù)據(jù)。一個(gè)實(shí)施例的景深內(nèi)的身體的焦點(diǎn)分辨位置數(shù)據(jù)來(lái)自于成像系統(tǒng)的輸出。一個(gè)實(shí)施例的方法包括產(chǎn)生不隨身體與成像系統(tǒng)之間的距離而變化的調(diào)制傳遞 函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
一個(gè)實(shí)施例的方法包括產(chǎn)生不關(guān)于散焦而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。一個(gè)實(shí)施例的方法包括通過(guò)對(duì)由波前編碼相機(jī)收集到的圖像進(jìn)行編碼來(lái)產(chǎn)生中 間圖像。一個(gè)實(shí)施例的中間圖像是模糊的。一個(gè)實(shí)施例的中間圖像對(duì)包含散焦偏差的成像系統(tǒng)的多個(gè)光學(xué)檢測(cè)器或者身體 的變化不敏感。一個(gè)實(shí)施例的姿態(tài)數(shù)據(jù)是表示姿態(tài)的三維空間位置數(shù)據(jù)。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的位置。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的取向。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的運(yùn)動(dòng)。一個(gè)實(shí)施例的檢測(cè)包括標(biāo)識(shí)姿態(tài)，其中標(biāo)識(shí)包括標(biāo)識(shí)身體的一部分的姿勢(shì)和取向。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的第一組附屬物和第二組附屬物中的至少一種。一個(gè)實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)與身體的一部分耦合的一組標(biāo)簽的位置。一個(gè)實(shí)施例的該組標(biāo)簽中的每個(gè)標(biāo)簽包括圖案，其中該組標(biāo)簽中的每個(gè)標(biāo)簽的每 個(gè)圖案不同于多個(gè)標(biāo)簽中的任何剩余標(biāo)簽的任何圖案。一個(gè)實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位身體上的標(biāo)記。一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)與身體的一部分耦合的一組標(biāo)記的位置。一個(gè)實(shí)施例的該組標(biāo)記形成身體上的多個(gè)圖案。一個(gè)實(shí)施例的檢測(cè)包括使用與每個(gè)附屬物耦合的一組標(biāo)記來(lái)檢測(cè)身體的多個(gè)附 屬物的位置。一個(gè)實(shí)施例的翻譯包括將姿態(tài)的信息翻譯成姿態(tài)記號(hào)。一個(gè)實(shí)施例的姿態(tài)記號(hào)表示姿態(tài)詞匯，且姿態(tài)信號(hào)包括姿態(tài)詞匯的傳達(dá)。—個(gè)實(shí)施例的姿態(tài)詞匯以文本形式表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的瞬時(shí)姿勢(shì)狀態(tài)。一個(gè)實(shí)施例的姿態(tài)詞匯以文本形式表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向?！獋€(gè)實(shí)施例的姿態(tài)詞匯以文本形式表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向的組合。一個(gè)實(shí)施例的姿態(tài)詞匯包括表示身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)的狀態(tài)的字符串。一個(gè)實(shí)施例的運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)是身體的至少一個(gè)第一附屬物。一個(gè)實(shí)施例的方法包括將該串中的每個(gè)位置分配給第二附屬物，第二附屬物連接 到第一附屬物。一個(gè)實(shí)施例的方法包括將多個(gè)字符中的字符分配給第二附屬物的多個(gè)位置中的 每個(gè)。
一個(gè)實(shí)施例的該多個(gè)位置是相對(duì)于坐標(biāo)原點(diǎn)而確立的。一個(gè)實(shí)施例的方法包括使用空間中的絕對(duì)位置和取向來(lái)確立坐標(biāo)原點(diǎn)；使用相 對(duì)于身體的固定位置和取向來(lái)確立坐標(biāo)原點(diǎn)，而無(wú)論身體的總體位置和朝向如何；或者響 應(yīng)于身體的動(dòng)作而交互式地確立坐標(biāo)原點(diǎn)。一個(gè)實(shí)施例的方法包括將多個(gè)字符中的字符分配給第一附屬物的多個(gè)取向中的 每個(gè)。
一個(gè)實(shí)施例的檢測(cè)包括檢測(cè)身體的推斷位置何時(shí)與虛擬空間相交，其中虛擬空間 包括描繪在與計(jì)算機(jī)耦合的顯示裝置上的空間。一個(gè)實(shí)施例的控制該部件包括當(dāng)推斷位置與虛擬空間中的虛擬物體相交時(shí)控制 虛擬物體。一個(gè)實(shí)施例的控制該部件包括響應(yīng)于虛擬空間中的推斷位置而控制虛擬空間中 的虛擬物體的位置。一個(gè)實(shí)施例的控制該部件包括響應(yīng)于姿態(tài)而控制虛擬空間中的虛擬物體的姿 態(tài)。一個(gè)實(shí)施例的方法包括對(duì)檢測(cè)和控制進(jìn)行比例控制以產(chǎn)生虛擬空間與物理空間 之間的一致，其中虛擬空間包括描繪在與處理器耦合的顯示裝置上的空間，其中物理空間 包括身體所處的空間。一個(gè)實(shí)施例的方法包括根據(jù)與處理器耦合的至少一個(gè)應(yīng)用的需要、在虛擬空間 與物理空間之間翻譯比例、角度、深度和尺度。一個(gè)實(shí)施例的方法包括響應(yīng)于物理空間中的至少一個(gè)物理物體的移動(dòng)而控制虛 擬空間中的至少一個(gè)虛擬物體。
一個(gè)實(shí)施例的控制包括控制處理器上掌管的應(yīng)用的運(yùn)行。一個(gè)實(shí)施例的控制包括控制處理器上顯示的部件。這里所述的系統(tǒng)和方法包括處理系統(tǒng)，并且/或者在處理系統(tǒng)下運(yùn)行和/或與處 理系統(tǒng)相關(guān)聯(lián)地運(yùn)行。在本領(lǐng)域中已知，處理系統(tǒng)包括處理系統(tǒng)或裝置的部件、或者一起工 作的計(jì)算裝置或基于處理器的裝置的任何集合。例如，處理系統(tǒng)可包括便攜式計(jì)算機(jī)、在通 信網(wǎng)絡(luò)中工作的便攜式通信裝置和/或網(wǎng)絡(luò)服務(wù)器中的一個(gè)或多個(gè)。便攜式計(jì)算機(jī)可以是 從個(gè)人計(jì)算機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理、便攜式計(jì)算裝置和便攜式通信裝置中選擇的任何 多個(gè)裝置和/或裝置組合，但不限于此。處理系統(tǒng)可包括更大的計(jì)算機(jī)系統(tǒng)內(nèi)的部件。一個(gè)實(shí)施例的處理系統(tǒng)包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器件或子系統(tǒng)。處 理系統(tǒng)還可包括或耦合到至少一個(gè)數(shù)據(jù)庫(kù)。這里廣泛使用的術(shù)語(yǔ)“處理器”指的是任何邏 輯處理單元，比如一個(gè)或多個(gè)中央處理單元(CPU)、數(shù)字信號(hào)處理器(DSP)、專用集成電路 (ASIC)等。處理器和存儲(chǔ)器可單片地集成到單個(gè)芯片上，分布在主機(jī)系統(tǒng)的多個(gè)芯片或部 件當(dāng)中，和/或由某個(gè)算法組合提供。這里所述的方法可以用軟件算法、程序、固件、硬件、 部件、電路中的一個(gè)或多個(gè)以任意組合加以實(shí)現(xiàn)。體現(xiàn)這里所述的系統(tǒng)和方法的系統(tǒng)部件可放置在一起或者放置在分開的位置。因 此，體現(xiàn)這里所述的系統(tǒng)和方法的系統(tǒng)部件可以是單個(gè)系統(tǒng)、多個(gè)系統(tǒng)和/或地理上分開 的系統(tǒng)的部件。這些部件也可以是單個(gè)系統(tǒng)、多個(gè)系統(tǒng)和/或地理上分開的系統(tǒng)的子部件 或子系統(tǒng)。這些部件可耦合到主機(jī)系統(tǒng)或與主機(jī)系統(tǒng)耦合的系統(tǒng)的一個(gè)或多個(gè)其他部件。通信路徑將系統(tǒng)部件耦合，并包括用于在部件之間通信或傳遞文件的介質(zhì)。通 信路徑包括無(wú)線連接、有線連接和混合無(wú)線/有線連接。通信路徑還包括與包括局域網(wǎng) (LAN)、城域網(wǎng)(MAN)、萬(wàn)維網(wǎng)(WAN)、專用網(wǎng)絡(luò)、辦公網(wǎng)絡(luò)或后端網(wǎng)絡(luò)以及因特網(wǎng)在內(nèi)的網(wǎng) 絡(luò)的耦合或連接。此外，通信路徑包括可拆卸的固定介質(zhì)，如軟盤、硬盤驅(qū)動(dòng)器和CD-ROM 盤、以及閃存RAM、通用串行總線(USB)連接、RS-232連接、電話線、總線和電子郵件消息。除了上下文另有明確要求，在整個(gè)描述中，詞語(yǔ)“包括(comprise) ”、“包括(comprising) ”等應(yīng)以與排他性或窮舉性含義相反的包括性含義加以解釋；也就是說(shuō)，應(yīng)以 “包括但不限于”的含義加以解釋。同樣，使用單數(shù)或復(fù)數(shù)的詞語(yǔ)分別包括復(fù)數(shù)或單數(shù)。另 外，詞語(yǔ)“這里”、“下文中”、“上面”、“下面”和意思類似的詞語(yǔ)是指本申請(qǐng)的整體，而不是指 本申請(qǐng)的任何特定部分。當(dāng)針對(duì)兩個(gè)或更多項(xiàng)目的列表而使用詞語(yǔ)“或”時(shí)，該詞語(yǔ)涵蓋該 詞語(yǔ)的所有以下解釋該列表中的任何項(xiàng)目、該列表中的所有項(xiàng)目以及該列表中的項(xiàng)目的 任何組合。對(duì)處理環(huán)境的實(shí)施例的以上描述不意在是排他性的，所描述的系統(tǒng)和方法不限于 所公開的精確形式。盡管這里為說(shuō)明的目的描述了處理環(huán)境的具體實(shí)施例和例子，但本領(lǐng) 域的技術(shù)人員應(yīng)認(rèn)識(shí)到，在其他系統(tǒng)和方法的范圍內(nèi)可以進(jìn)行各種等效修改。這里提供的 處理環(huán)境的教導(dǎo)可應(yīng)用于其他處理系統(tǒng)和方法，而不僅是上面描述的系統(tǒng)和方法?？蓪⑸厦婷枋龅母鞣N實(shí)施例的要素和操作相組合以提供更多的實(shí)施例?？筛鶕?jù)上 面的詳細(xì)描述對(duì)處理環(huán)境進(jìn)行這些和其他改變。
權(quán)利要求
1.一種系統(tǒng)，包括多個(gè)光學(xué)檢測(cè)器，其中所述多個(gè)光學(xué)檢測(cè)器中的至少兩個(gè)光學(xué)檢測(cè)器包括波前編碼相 機(jī)，其中所述多個(gè)光學(xué)檢測(cè)器對(duì)身體成像；以及與所述多個(gè)光學(xué)檢測(cè)器耦合的處理器，所述處理器自動(dòng)檢測(cè)身體的姿態(tài)，其中所述姿 態(tài)包括所述身體的瞬時(shí)狀態(tài)，其中所述檢測(cè)包括聚集一瞬間的所述姿態(tài)的姿態(tài)數(shù)據(jù)，所述 姿態(tài)數(shù)據(jù)包括所述成像系統(tǒng)的景深內(nèi)的所述身體的焦點(diǎn)分辨數(shù)據(jù)，所述處理器將所述姿態(tài) 翻譯成姿態(tài)信號(hào)并使用所述姿態(tài)信號(hào)來(lái)控制與所述處理器耦合的部件。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述波前編碼相機(jī)包括波前編碼光學(xué)元件。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述成像包括產(chǎn)生所述身體的波前編碼圖像。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述波前編碼相機(jī)包括增大所述成像的焦深的相 位掩模。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)包括所述景深內(nèi)的所述身體的焦點(diǎn) 分辨范圍數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述景深內(nèi)的所述身體的所述焦點(diǎn)分辨范圍數(shù)據(jù) 來(lái)自于所述波前編碼相機(jī)的輸出。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)包括所述景深內(nèi)的所述身體的焦點(diǎn) 分辨位置數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述景深內(nèi)的所述身體的所述焦點(diǎn)分辨位置數(shù)據(jù) 來(lái)自于所述波前編碼相機(jī)的輸出。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，包括不隨所述身體與所述成像系統(tǒng)之間的距離而變化 的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，包括不關(guān)于散焦而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述處理器通過(guò)對(duì)由所述波前編碼相機(jī)收集到 的圖像進(jìn)行編碼來(lái)產(chǎn)生中間圖像。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述中間圖像是模糊的。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述中間圖像對(duì)包含散焦偏差的所述多個(gè)光學(xué) 檢測(cè)器或者所述身體的變化不敏感。
14.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)是表示所述姿態(tài)的三維空間位置 數(shù)據(jù)。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述檢測(cè)包括檢測(cè)所述身體的位置、檢測(cè)所述身 體的取向中的至少一種，且檢測(cè)包括檢測(cè)所述身體的運(yùn)動(dòng)。
16.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述檢測(cè)包括標(biāo)識(shí)所述姿態(tài)，其中所述標(biāo)識(shí)包括 標(biāo)識(shí)所述身體的一部分的姿勢(shì)和取向。
17.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述檢測(cè)包括檢測(cè)所述身體的第一組附屬物和 第二組附屬物中的至少一種。
18.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述檢測(cè)包括檢測(cè)與所述身體的一部分耦合的 一組標(biāo)簽的位置。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中該組標(biāo)簽中的每個(gè)標(biāo)簽包括圖案，其中該組標(biāo) 簽中的每個(gè)標(biāo)簽的每個(gè)圖案不同于所述多個(gè)標(biāo)簽中的任何剩余標(biāo)簽的任何圖案。
21.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位所述身體上的標(biāo)記。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述檢測(cè)包括檢測(cè)與所述身體的一部分耦合的一組標(biāo)記的位置。
23.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中該組標(biāo)記形成所述身體上的多個(gè)圖案。
24.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述檢測(cè)包括使用與每個(gè)所述附屬物耦合的一 組標(biāo)記來(lái)檢測(cè)所述身體的多個(gè)附屬物的位置。
25.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述翻譯包括將所述姿態(tài)的信息翻譯成姿態(tài)記號(hào)。
26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述姿態(tài)記號(hào)表示姿態(tài)詞匯，且所述姿態(tài)信號(hào) 包括所述姿態(tài)詞匯的傳達(dá)。
27.根據(jù)權(quán)利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯以文本形式表示所述身體的運(yùn)動(dòng) 學(xué)聯(lián)動(dòng)機(jī)構(gòu)的瞬時(shí)姿勢(shì)狀態(tài)。
28.根據(jù)權(quán)利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯以文本形式表示所述身體的運(yùn)動(dòng) 學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向。
29.根據(jù)權(quán)利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯以文本形式表示所述身體的運(yùn)動(dòng) 學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向的組合。
30.根據(jù)權(quán)利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯包括表示所述身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng) 機(jī)構(gòu)的狀態(tài)的字符串。
31.根據(jù)權(quán)利要求30所述的系統(tǒng)，其中所述運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)是所述身體的至少一個(gè)第 一附屬物。
32.根據(jù)權(quán)利要求31所述的系統(tǒng)，包括將所述串中的每個(gè)位置分配給第二附屬物，所 述第二附屬物連接到所述第一附屬物。
33.根據(jù)權(quán)利要求32所述的系統(tǒng)，包括將多個(gè)字符中的字符分配給所述第二附屬物的 多個(gè)位置中的每個(gè)。
34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述多個(gè)位置是相對(duì)于坐標(biāo)原點(diǎn)而確立的。
35.根據(jù)權(quán)利要求34所述的系統(tǒng)，包括使用空間中的絕對(duì)位置和取向來(lái)確立所述坐 標(biāo)原點(diǎn)；使用相對(duì)于所述身體的固定位置和取向來(lái)確立所述坐標(biāo)原點(diǎn)，而無(wú)論所述身體的 總體位置和朝向如何；或者響應(yīng)于所述身體的動(dòng)作而交互式地確立所述坐標(biāo)原點(diǎn)。
36.根據(jù)權(quán)利要求33所述的系統(tǒng)，包括將所述多個(gè)字符中的字符分配給所述第一附屬 物的多個(gè)取向中的每個(gè)。
37.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中所述檢測(cè)包括檢測(cè)所述身體的推斷位置何時(shí)與 虛擬空間相交，其中所述虛擬空間包括描繪在與所述計(jì)算機(jī)耦合的顯示裝置上的空間。
38.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中控制所述部件包括當(dāng)所述推斷位置與所述虛 擬空間中的虛擬物體相交時(shí)控制所述虛擬物體。
39.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中控制所述部件包括響應(yīng)于所述虛擬空間中的 所述推斷位置而控制所述虛擬空間中的所述虛擬物體的位置。
40.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中控制所述部件包括響應(yīng)于所述姿態(tài)而控制所 述虛擬空間中的所述虛擬物體的姿態(tài)。
41.根據(jù)權(quán)利要求1所述的系統(tǒng)，包括對(duì)所述檢測(cè)和控制進(jìn)行比例控制以產(chǎn)生虛擬空 間與物理空間之間的一致，其中所述虛擬空間包括描繪在與所述處理器耦合的顯示裝置上 的空間，其中所述物理空間包括所述身體所處的空間。
42.根據(jù)權(quán)利要求41所述的系統(tǒng)，包括響應(yīng)于所述物理空間中的至少一個(gè)物理物體的 移動(dòng)而控制所述虛擬空間中的至少一個(gè)虛擬物體。
43.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述控制包括以下控制中的至少一個(gè)控制所述 處理器上掌管的應(yīng)用的運(yùn)行；和控制所述處理器上顯示的部件。
44.一種方法，包括利用成像系統(tǒng)對(duì)身體成像，所述成像包括產(chǎn)生所述身體的波前編碼圖像；自動(dòng)檢測(cè)身體的姿態(tài)，其中所述姿態(tài)包括所述身體的瞬時(shí)狀態(tài)，其中所述檢測(cè)包括聚 集一瞬間的所述姿態(tài)的姿態(tài)數(shù)據(jù)，所述姿態(tài)數(shù)據(jù)包括所述成像系統(tǒng)的景深內(nèi)的所述身體的 焦點(diǎn)分辨數(shù)據(jù)；將所述姿態(tài)翻譯成姿態(tài)信號(hào)；以及響應(yīng)于所述姿態(tài)信號(hào)而控制與計(jì)算機(jī)耦合的部件。
45.根據(jù)權(quán)利要求44所述的方法，其中所述成像系統(tǒng)包括多個(gè)光學(xué)檢測(cè)器，其中所述 光學(xué)檢測(cè)器中的至少兩個(gè)是包括波前編碼光學(xué)元件的波前編碼相機(jī)。
46.根據(jù)權(quán)利要求44所述的方法，其中所述成像包括產(chǎn)生所述身體的波前編碼圖像。
47.根據(jù)權(quán)利要求44所述的方法，其中所述成像系統(tǒng)包括多個(gè)光學(xué)檢測(cè)器，其中所述 光學(xué)檢測(cè)器中的至少兩個(gè)是包括增大所述成像的焦深的相位掩模的波前編碼相機(jī)。
48.根據(jù)權(quán)利要求44所述的方法，其中所述姿態(tài)數(shù)據(jù)包括所述景深內(nèi)的所述身體的焦 點(diǎn)分辨范圍數(shù)據(jù)。
49.根據(jù)權(quán)利要求48所述的方法，其中所述景深內(nèi)的所述身體的所述焦點(diǎn)分辨范圍數(shù) 據(jù)來(lái)自于所述成像系統(tǒng)的輸出。
50.根據(jù)權(quán)利要求44所述的方法，其中所述姿態(tài)數(shù)據(jù)包括所述景深內(nèi)的所述身體的焦 點(diǎn)分辨位置數(shù)據(jù)。
51.根據(jù)權(quán)利要求50所述的方法，其中所述景深內(nèi)的所述身體的所述焦點(diǎn)分辨位置數(shù) 據(jù)來(lái)自于所述成像系統(tǒng)的輸出。
52.根據(jù)權(quán)利要求44所述的方法，包括產(chǎn)生不隨所述身體與所述成像系統(tǒng)之間的距離 而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
53.根據(jù)權(quán)利要求44所述的方法，包括產(chǎn)生不關(guān)于散焦而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò) 散函數(shù)。
54.根據(jù)權(quán)利要求44所述的方法，包括通過(guò)對(duì)由所述波前編碼相機(jī)收集到的圖像進(jìn)行 編碼來(lái)產(chǎn)生中間圖像。
55.根據(jù)權(quán)利要求M所述的方法，其中所述中間圖像是模糊的。
56.根據(jù)權(quán)利要求M所述的方法，其中所述中間圖像對(duì)包含散焦偏差的所述成像系統(tǒng) 的多個(gè)光學(xué)檢測(cè)器或者所述身體的變化不敏感。
57.根據(jù)權(quán)利要求44所述的方法，其中所述姿態(tài)數(shù)據(jù)是表示所述姿態(tài)的三維空間位置數(shù)據(jù)。
58.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括檢測(cè)所述身體的位置。
59.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括檢測(cè)所述身體的取向。
60.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括檢測(cè)所述身體的運(yùn)動(dòng)。
61.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括標(biāo)識(shí)所述姿態(tài)，其中所述標(biāo)識(shí)包 括標(biāo)識(shí)所述身體的一部分的姿勢(shì)和取向。
62.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括檢測(cè)所述身體的第一組附屬物和 第二組附屬物中的至少一種。
63.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。
64.根據(jù)權(quán)利要求63所述的方法，其中所述檢測(cè)包括檢測(cè)與所述身體的一部分耦合的 一組標(biāo)簽的位置。
65.根據(jù)權(quán)利要求64所述的方法，其中該組標(biāo)簽中的每個(gè)標(biāo)簽包括圖案，其中該組標(biāo) 簽中的每個(gè)標(biāo)簽的每個(gè)圖案不同于所述多個(gè)標(biāo)簽中的任何剩余標(biāo)簽的任何圖案。
66.根據(jù)權(quán)利要求44所述的方法，其中所述檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位所述身體上的標(biāo)記。
67.根據(jù)權(quán)利要求66所述的方法，其中所述檢測(cè)包括檢測(cè)與所述身體的一部分耦合的一組標(biāo)記的位置。
68.根據(jù)權(quán)利要求66所述的方法，其中該組標(biāo)記形成所述身體上的多個(gè)圖案。
69.根據(jù)權(quán)利要求66所述的方法，其中所述檢測(cè)包括使用與每個(gè)所述附屬物耦合的一 組標(biāo)記來(lái)檢測(cè)所述身體的多個(gè)附屬物的位置。
70.根據(jù)權(quán)利要求44所述的方法，其中所述翻譯包括將所述姿態(tài)的信息翻譯成姿態(tài)記號(hào)。
71.根據(jù)權(quán)利要求70所述的方法，其中所述姿態(tài)記號(hào)表示姿態(tài)詞匯，且所述姿態(tài)信號(hào) 包括所述姿態(tài)詞匯的傳達(dá)。
72.根據(jù)權(quán)利要求71所述的方法，其中所述姿態(tài)詞匯以文本形式表示所述身體的運(yùn)動(dòng) 學(xué)聯(lián)動(dòng)機(jī)構(gòu)的瞬時(shí)姿勢(shì)狀態(tài)。
73.根據(jù)權(quán)利要求71所述的方法，其中所述姿態(tài)詞匯以文本形式表示所述身體的運(yùn)動(dòng) 學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向。
74.根據(jù)權(quán)利要求71所述的方法，其中所述姿態(tài)詞匯以文本形式表示所述身體的運(yùn)動(dòng) 學(xué)聯(lián)動(dòng)機(jī)構(gòu)的取向的組合。
75.根據(jù)權(quán)利要求71所述的方法，其中所述姿態(tài)詞匯包括表示所述身體的運(yùn)動(dòng)學(xué)聯(lián)動(dòng) 機(jī)構(gòu)的狀態(tài)的字符串。
76.根據(jù)權(quán)利要求75所述的方法，其中所述運(yùn)動(dòng)學(xué)聯(lián)動(dòng)機(jī)構(gòu)是所述身體的至少一個(gè)第 一附屬物。
77.根據(jù)權(quán)利要求76所述的方法，包括將所述串中的每個(gè)位置分配給第二附屬物，所 述第二附屬物連接到所述第一附屬物。
78.根據(jù)權(quán)利要求77所述的方法，包括將多個(gè)字符中的字符分配給所述第二附屬物的 多個(gè)位置中的每個(gè)。
79.根據(jù)權(quán)利要求78所述的方法，其中所述多個(gè)位置是相對(duì)于坐標(biāo)原點(diǎn)而確立的。
80.根據(jù)權(quán)利要求79所述的方法，包括使用空間中的絕對(duì)位置和取向來(lái)確立所述坐 標(biāo)原點(diǎn)；使用相對(duì)于所述身體的固定位置和取向來(lái)確立所述坐標(biāo)原點(diǎn)，而無(wú)論所述身體的 總體位置和朝向如何；或者響應(yīng)于所述身體的動(dòng)作而交互式地確立所述坐標(biāo)原點(diǎn)。
81.根據(jù)權(quán)利要求78所述的方法，包括將所述多個(gè)字符中的字符分配給所述第一附屬 物的多個(gè)取向中的每個(gè)。
82.根據(jù)權(quán)利要求76所述的方法，其中所述檢測(cè)包括檢測(cè)所述身體的推斷位置何時(shí)與 虛擬空間相交，其中所述虛擬空間包括描繪在與所述計(jì)算機(jī)耦合的顯示裝置上的空間。
83.根據(jù)權(quán)利要求82所述的方法，其中控制所述部件包括當(dāng)所述推斷位置與所述虛 擬空間中的虛擬物體相交時(shí)控制所述虛擬物體。
84.根據(jù)權(quán)利要求83所述的方法，其中控制所述部件包括響應(yīng)于所述虛擬空間中的 所述推斷位置而控制所述虛擬空間中的所述虛擬物體的位置。
85.根據(jù)權(quán)利要求83所述的方法，其中控制所述部件包括響應(yīng)于所述姿態(tài)而控制所 述虛擬空間中的所述虛擬物體的姿態(tài)。
86.根據(jù)權(quán)利要求44所述的方法，包括對(duì)所述檢測(cè)和控制進(jìn)行比例控制以產(chǎn)生虛擬空 間與物理空間之間的一致，其中所述虛擬空間包括描繪在與所述處理器耦合的顯示裝置上 的空間，其中所述物理空間包括所述身體所處的空間。
87.根據(jù)權(quán)利要求86所述的方法，包括根據(jù)與所述處理器耦合的至少一個(gè)應(yīng)用的需 要、在所述虛擬空間與所述物理空間之間翻譯比例、角度、深度和尺度。
88.根據(jù)權(quán)利要求86所述的方法，包括響應(yīng)于所述物理空間中的至少一個(gè)物理物體的 移動(dòng)而控制所述虛擬空間中的至少一個(gè)虛擬物體。
89.根據(jù)權(quán)利要求44所述的方法，其中所述控制包括控制所述處理器上掌管的應(yīng)用的 運(yùn)行。
90.根據(jù)權(quán)利要求44所述的方法，其中所述控制包括控制所述處理器上顯示的部件。
全文摘要
描述了使用在擴(kuò)展的景深內(nèi)提取的三維信息進(jìn)行基于姿態(tài)的控制的系統(tǒng)和方法。該系統(tǒng)包括與至少一個(gè)處理器耦合的多個(gè)光學(xué)檢測(cè)器。該多個(gè)光學(xué)檢測(cè)器對(duì)身體成像。該多個(gè)光學(xué)檢測(cè)器中的至少兩個(gè)光學(xué)檢測(cè)器包括波前編碼相機(jī)。該處理器自動(dòng)檢測(cè)身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時(shí)狀態(tài)。該檢測(cè)包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)。該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內(nèi)的身體的焦點(diǎn)分辨數(shù)據(jù)。該處理器將該姿態(tài)翻譯成姿態(tài)信號(hào)，并使用該姿態(tài)信號(hào)來(lái)控制與該處理器耦合的部件。
文檔編號(hào)G06F3/033GK102047203SQ200980120542
公開日2011年5月4日 申請(qǐng)日期2009年4月2日 優(yōu)先權(quán)日2008年4月2日
發(fā)明者皮埃爾·St·希萊爾, 約翰·S·昂德科夫勒 申請(qǐng)人:奧布隆工業(yè)有限公司