深度成像被用于許多應用——近年來因飛行時間(TOF)深度成像技術的發(fā)展而更是如此。尤其是，TOF傳感器陣列中的改進使得準確、低成本的深度成像是消費者市場可訪問的。然而，消費者電子設備中的深度成像存在各種問題，其中涉及大小、權重、成本和/或功耗的限制與涉及圖像獲取的挑戰(zhàn)相結合。

概述

本公開的一個實施例提供包括調制光源、成像像素陣列、及透鏡系統(tǒng)的機器視覺系統(tǒng)。調制光源被配置來將光投射到主體。成像像素陣列被配置來接收從主體的位點反射的光并指示到該位點的距離。透鏡系統(tǒng)被配置成接收從主體反射的光并將這一光折射到成像像素陣列。透鏡系統(tǒng)的焦距隨著相對于透鏡系統(tǒng)和成像像素陣列的共享光軸的觀察角增加而減小。

提供本概述以便以簡化的形式介紹將在以下的詳細描述中進一步描述的一些概念。本概述并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。

附圖簡述

圖1是示出示例機器視覺系統(tǒng)的各方面的平面示意圖。

圖2示出機器視覺系統(tǒng)的飛行時間深度相機的示例成像像素陣列的各方面。

圖3A示出了透鏡系統(tǒng)的有效孔直徑上的視野角的效果。

圖3B是示出作為示例透鏡系統(tǒng)的視野角的函數的有效孔徑光闌的圖。

圖3C是示出作為示例透鏡系統(tǒng)的視野角的函數的相對照明的圖。

圖3D是示出根據本發(fā)明的實施例的示例透鏡系統(tǒng)的焦距和有效孔直徑的圖。

圖4示出了示例透鏡系統(tǒng)和成像像素陣列的水平和垂直觀察角。

圖5A、5B和5C示出了示例五元素物鏡系統(tǒng)的各方面，該物鏡系統(tǒng)具有在大范圍的視野角上跟蹤有效孔徑大小的焦距。

圖6A、6B和6C示出了示例六元素物鏡系統(tǒng)的各方面，該物鏡系統(tǒng)具有在大范圍的視野角上跟蹤有效孔徑大小的焦距。

圖7示出其中可使用機器視覺系統(tǒng)的示例環(huán)境的各方面。

圖8是示出示例計算機系統(tǒng)、自然用戶輸入(NUI)系統(tǒng)、機器視覺系統(tǒng)以及監(jiān)聽系統(tǒng)的各方面的高級示意圖。

圖9示出了向計算機系統(tǒng)提供NUI的示例方法。

圖10示出示例虛擬骨架的各方面，該虛擬骨架由操作地耦合到機器視覺系統(tǒng)的NUI系統(tǒng)生成。

圖11示出了用作針對計算機系統(tǒng)的NUI的示例手勢的各方面。

詳細描述

現在將通過示例并參照所示的以上列出的實施例來描述本公開的各方面。在一個或多個實施例中基本相同的組件、過程步驟和其他元素被協(xié)調地標識并且以重復最小的方式描述。然而，將注意，同等地標識的各元素也可在一定程度上不同。將進一步注意到，本公開中包括的附圖是示意性的并且通常未按照比例繪制。當然，附圖中所示的各種繪圖比例、縱橫比、以及組件的數量可故意地失真，以更容易看到某些特征或關系。

圖1示出了被配置成對主體12成像的示例機器視覺系統(tǒng)10的各方面。在所示實施例中，機器視覺系統(tǒng)包括飛行時間深度相機14。在一些配置中，深度相機可能被置于距離主體0.1至5米，但也構想了其他深度范圍。本文公開的機器視覺系統(tǒng)能夠對從簡單的靜態(tài)拓撲到諸如人類等復雜的移動主體的廣泛范圍的主體進行成像。在一些場景中，所成像的主體可包括前景和背景部分兩者并構成整個場景。

如圖1所示，深度相機14包括調制光源16、成像像素陣列18和物鏡系統(tǒng)20。深度相機還可包括各種其它組件，諸如可置于成像像素陣列或物鏡系統(tǒng)的前方的波長濾波器(未在該附圖中示出)。

調制光源16被配置成將紅外(IR)或近紅外(NIR)波段的調制探測光投射到主體12上。因此，物鏡系統(tǒng)在調制光源在其中發(fā)射的IR或NIR波段中優(yōu)選是透明的。探測光可根據包括但不限于脈沖或正弦波形的任何合適的調制波形來在時間上調制。調制光源的性質在本公開的各個實施例中可以是不同的。在一些實施例中，調制光源可包括調制激光器，諸如IR或NIR激光器。更具體的示例包括邊緣發(fā)射激光器或垂直腔面發(fā)射激光器(VCSEL)在其他實施例中，該調制光源可包括一個或多個高功率發(fā)光二極管(LED)。

物鏡系統(tǒng)20被配置成接收從主體12反射的光并將這一光折射到成像像素陣列18。在一些實施例中，如以下進一步描述的，物鏡系統(tǒng)可提供相對較高的FOV。在所示實施例中，透鏡系統(tǒng)和成像像素陣列共享共同的光軸A，該光軸垂直于成像像素陣列并經過透鏡系統(tǒng)的中心。在一些實施例中，物鏡系統(tǒng)可以是復合透鏡系統(tǒng)。在更具體的配置中，物鏡系統(tǒng)可包括五個或六個折射元件。

成像像素陣列18包括深度感測像素的陣列，每一深度感測像素被配置成接收從主體12的相應位點22折射回的至少一些調制探測光。該陣列中的每一像素輸出可用于確定從深度相機14到被成像到該像素上的主體位點的距離的信息。

機器視覺系統(tǒng)10的控制器24可操作地耦合到調制光源16和成像像素陣列18，并被配置成計算到位點22的距離?？刂破靼ㄏ蚬庠?6和成像像素陣列18提供經同步的調制驅動信號以同步這些組件的操作的邏輯。具體而言，控制器邏輯調制來自光源的發(fā)射，同時偏置成像像素陣列的電極。該控制器還被配置成讀取來自成像像素陣列的每個像素的輸出以使得能夠計算主體12的深度圖。如在此使用的，術語“深度圖”或“深度圖像”指與成像主體的對應位點(X_i,Y_i)配準(register)的像素陣列，其中深度值Z_i指示針對每個像素的對應位點的深度。“深度”被定義為與深度相機的光軸A平行的坐標，該坐標隨著距深度相機的距離的增加而增加。在一些實施例中，重復的深度成像可被使用以匯編時間分辨的一系列深度圖——即深度視頻。

在所示實施例中，機器視覺系統(tǒng)10還包括平面圖像相機26。如同深度相機14，平面圖像相機也包括成像像素陣列和高FOV物鏡系統(tǒng)。在一些實施例中，平面圖像相機的透鏡系統(tǒng)可具有固定的焦距。平面圖像相機可以在將所成像的顏色通道映射到其成像像素陣列的多個通道(例如，紅、綠、藍等)中對來自主體12的可見光進行成像。另選地，平面圖像相機可以是用灰度對主體進行成像的單色相機。平面圖像相機中曝光的所有像素的顏色或亮度值共同構成2D數字圖像。在一些實施例中，機器視覺系統(tǒng)10中的深度和平面圖像相機可具有相同的分辨率。即使當分辨率不同時，平面圖像相機的像素可被配準到深度相機的那些像素。以此方式，可針對主體12的每一位點22同時評估亮度和深度信息兩者。

在所示實施例中，平面圖像相機26沿著與深度相機14的光軸A平行的光軸B對齊。在另一實施例中，分光鏡可以在光學上被布置在深度相機和平面圖像相機的上游，并被配置成使得深度相機和平面圖像相機沿著同一光軸接收來自主體12的光。在這些和其它實施例中，這些相機之一的FOV中的任何位點(X’、Y’)可以基于機器視覺系統(tǒng)的幾何構型來經由合適的坐標變換與其它相機的FOV中的位點(X”、Y”)相關。因此，來自深度相機14和來自平面圖像相機26的相應圖像可被彼此共同配準。

圖2示出一個非限制性實施例中的深度相機14的成像像素陣列18的各方面。特別地，該附圖示出了深度感測像素28的陣列。每一個像素都包括第一像素元件30A、相鄰的第二像素元件30B，并且還可包括附圖中未示出的另外的像素元件。每一個像素元件可包括一個或多個梳狀柵、傳輸門和/或半導體基底上外延形成的集電節(jié)點。每一個像素的像素元件可被編址以便提供與來自調制光源的發(fā)射同步的兩個或多個整合周期。整合周期可在相位和/或總整合時間上不同。基于在不同整合周期期間在這些像素元件上積聚的差分(而在一些實施例中是共模)電荷的相對量，可評估距主體的相應位點的距離。在一些實施例中，調制光源16和第一個像素元件30A被同時通電，同時第二個像素元件30B相對于第一像素元件180°異相通電?；诘谝幌袼卦偷诙袼卦蟹e聚的相對電荷量，在成像像素陣列中接收到的反射脈沖光相對于探測調制的相位角被計算出。根據該相位角，可評估距相應位點的距離。

雖然以上描述著重于一種類型的飛行時間深度成像，但深度相機14的性質在本公開的各個實施例中可以是不同的。在一些實施例中，來自深度相機中的兩個實立體鏡地定向的成像像素陣列的亮度和顏色數據可被共同配準并用于構造深度圖。在一些實施例中，深度相機可被配置成將包括多個離散特征(例如，線或點)的結構化紅外照明圖案投影到主體上。該深度相機中的成像像素陣列可被配置成對從主體反射回的結構化照明進行成像?；谒上竦闹黧w的各個區(qū)域中毗鄰特征之間的間隔，可構造該主體的深度圖。在一些實施例中，因此調制光源可以是空間(而不是時間)調制光源。因此，成像像素陣列通過揭示主體的相鄰照明區(qū)域之間的間隔來指示距每一位點的距離。

任何深度測量中的不確定性的量是對應于成像像素陣列18的各深度感測像素元素的各通道中的信噪比的敏感函數。增加信號的一個選項是提升調制光源16的功率。然而，這個選項需要額外的功率以及更昂貴的光源。另一個選項是增加深度相機14的收集效率。通常，任何相機的收集效率都受限于其物鏡系統(tǒng)的孔徑大小?？赏ㄟ^使用更大直徑的透鏡來增加孔徑大小，但是這一方法也將增加透鏡系統(tǒng)的焦距，這對緊湊深度成像而言是不希望的。假設對于給定相機配置物鏡系統(tǒng)20具有最大可容許焦距，整體孔徑大小受控于透鏡系統(tǒng)的f/N參數：針對給定焦距f，使用‘f光闌’N的最小值將確保最大孔徑大小。

現在轉到圖3A，設計具有f/1.0或更大(沿光軸A測量)孔直徑的物鏡系統(tǒng)20是可能的。然而，這個和每個其它透鏡系統(tǒng)將在更大的視野角θ處展示某種程度的孔徑下降。通常，透鏡孔徑的有效f光闌按1/cosθ增加，如圖3B所示。因此，孔直徑可從視野中心處的f/1.0降至大視野角處的f/1.48。因此，通過孔徑的功率通量可按1/cos²θ減小，如圖3C所示。在TOF測量中，在更高視野角的功率損失轉換成對應于所觀察的位點的Z坐標的誤差線的陡峭增長。

平面圖像獲取中的類似效果是所獲取的圖像顯得在邊緣較黑——即，加暈影。各種補救已被用于糾正2D成像中的暈影問題。具體而言，基于軟件的亮度增強可被應用于平面圖形的外圍。與此方法相關聯的小誤差可能不被注意，因為，對于構圖良好的圖像，觀察者更關注于呈現于低視野角處的主題。高視野處的2D圖像獲取的另一個補救是采用不同積分時間多次曝光并數字地組合得到的圖像。具體而言，圖像的對應于高視野部分的像素相比于對應于低視野部分的像素而言可從更長的曝光導出。

然而，以上補救在飛行時間深度成像中提供很少的幫助，尤其是當所獲取的深度圖像要被用作計算機系統(tǒng)的輸入數據時。在此，不能假設處于高視野處的主題比處于低視野處的主題更不重要。此外，飛行時間測量中的積分時間不是可調節(jié)參數，而是主體的固有深度范圍的函數。

重申手頭問題，如果物鏡系統(tǒng)20在其整個FOV期間維持恒定焦距—尖銳成像所需—那么歸因于孔徑的有效大小的減少，對應于更大視野角的像素將絕不可能與在陣列18的中心的像素看見相同量的光。補償此效果的一條途徑是隨著視野角增加來增加映射到給定像素的視野角的范圍。這等同于根據視野角來改變物鏡系統(tǒng)的焦距。因此，圖1的透鏡系統(tǒng)20可被配置使得其焦距隨著相對于透鏡系統(tǒng)和成像像素陣列的共享光軸A的觀察角θ增加而減小。在一個限制中，焦距的對應減小可精確跟蹤孔直徑的下降，以在擴展范圍的視野角上維持基本恒定的有效孔徑大小f/N，如圖3D中所示。該方法將更多光子引導至高視野像素，其更好地利用成像像素陣列的分辨率。

然而，焦距的減少不需要精確跟蹤孔直徑的下降。透鏡系統(tǒng)的焦距可基本上與觀察角的余弦成比例地減少。更一般地，透鏡系統(tǒng)的焦距和有效孔直徑可隨著觀察角增加而減少對應的量。在此，有效孔直徑被定義為透鏡系統(tǒng)的物理孔徑在垂直于與在該位點和成像像素陣列之間通過的線的平面中的橫截面的直徑，如圖3A中所示。在某些示例中，對于范圍從零到六十度的觀察角而言，以上提及的對應的量可相差一毫米或更少。在某些實施例中，針對范圍從零到六十度的觀察角，所得到的透鏡系統(tǒng)的焦距與有效孔直徑的比值可基本恒定。例如，該比值可在此范圍中改變少于5％。在另一示例中，該比值可改變1％或更少。焦距的減小將更大范圍的觀察角的光引導至成像像素陣列的外圍像素，如上所述。換言之，成像像素陣列的更外圍的像素相比于位于更中心的像素而言將在更大范圍的觀察角上收集光。這是對于映射到外圍像素的角范圍焦距更低的結果。

在某些實施例中，透鏡系統(tǒng)20可以是繞其光軸A對稱的。然而，這不必如此，因為機器視覺系統(tǒng)可被配置來沿著一個軸提供大的視野而沿著另一個軸提供相對較小的視野。例如，在典型的居住空間中成像深度時，所需水平視野可大于垂直的。因此，圖4示出了在與成像像素陣列18正交并包括共享光軸A的水平平面H中的水平觀察角α。該圖還示出了在也與成像像素陣列正交并包括共享光軸的垂直平面V中的垂直觀察角β。在圖4的實施例中，透鏡系統(tǒng)20’準許兩個焦距分量——平行于水平平面H的折射的水平焦距以及平行于垂直平面V的折射的垂直焦距。類似地，存在兩個不同有效孔直徑——在水平平面H中測得的水平有效孔直徑，以及在垂直平面V中測得的垂直有效孔直徑。在此實施例中，透鏡系統(tǒng)的水平焦距和水平有效孔直徑可隨著增加水平觀察角而減少對應的量。類似地，透鏡系統(tǒng)的垂直焦距和垂直有效孔直徑可隨著增加垂直觀察角而減少對應的量。在此實施例中，水平和垂直焦距可互不相同。

以上略述的方法有效地將飛行時間測量中的某些δZ不確定性轉換成δX和δY不確定性，從而平衡了沿著三個坐標軸的誤差線，其使得所獲得的3D圖像更可用作計算機系統(tǒng)的輸入數據。副作用是深度圖像的增加的失真，超過由恒定焦距的透鏡系統(tǒng)通常展示的量。在不希望額外的失真的應用中，可通過深度圖像的后處理來施加校正。因此，控制器24可被配置來將主體的每個位點映射到經校正的(例如，現實世界)坐標。

這樣的校正可包括基于物鏡系統(tǒng)20和成像像素陣列18的映射函數將來自成像像素陣列18的表面上的(X’,Y’)轉換成經校正的(X,Y)。在某些實施例中，映射可基于存儲在機器視覺系統(tǒng)10的控制器24的非易失性存儲器中的參數。參數可由在深度相機14和平面圖像相機26已經被牢固地安裝在機器視覺系統(tǒng)中之后執(zhí)行的校準過程來確定。在一個示例校準過程中，兩個相機都被觸發(fā)以成像同一主體——即，具有多個特征點的校準標準。深度圖像中觀察到的特征點被映射到其中對應的特征點在2D圖像中被找到的各位置。將注意平面圖像相機還將包括高FOV透鏡系統(tǒng)，并因此可產生帶暈影的2D圖像。然而，只要特征點在2D圖像中可標識，這個問題就不損害校準。

在某些實施例中，成像像素陣列18可包括微透鏡陣列來改善整體光收集效果，并確保其它優(yōu)點。在此，物鏡系統(tǒng)20的F/N參數可在大范圍的視野角上被匹配到微透鏡陣列的F/N參數，使得下至該陣列的像素的總相對照明在對應的大范圍的視野角上維持基本恒定。

圖5A示出了更具體的五元素物鏡系統(tǒng)20A的各方面，物鏡系統(tǒng)20A具有在大范圍的視野角上跟蹤有效孔徑大小的焦距。所示的透鏡系統(tǒng)包括彎月形透鏡38、孔徑光闌的任一側上的另一彎月形透鏡40、強雙凸透鏡42、視野透鏡44，以及具有IR傳感器透鏡46的IR切濾波器。在一個非限制性實施例中，透鏡系統(tǒng)的總軸長可以是20.186毫米(mm)。圖5B表示使用在水平70度且垂直60度的視野上具有850納米(nm)光的透鏡系統(tǒng)20A的4.88mm寬乘4.20mm高的圖像中的網格失真。在此示例中，最大失真是–12.6％。圖5C示出了來自透鏡系統(tǒng)20A的相對照明在47°的視野角上是0.9或更大。

圖6A示出了更具體的六元素物鏡系統(tǒng)20B的各方面，物鏡系統(tǒng)20B具有在大范圍的視野角上跟蹤有效孔徑大小的焦距。所示的透鏡系統(tǒng)包括寬FOV彎月形透鏡54、高功率雙凸透鏡56、低功率彎月形透鏡58、低功率彎月形透鏡60、視野校正透鏡62，以及IR切濾波器64。在一個非限制性實施例中，透鏡系統(tǒng)的總軸長是20.747mm。圖6B表示使用在水平70度且垂直59.5度的視野上具有815nm的光的透鏡系統(tǒng)20B的5.10mm寬乘4.33mm高的圖像中的網格失真。在此示例中，最大失真是–14.5％。圖6C示出了來自透鏡系統(tǒng)20B的相對照明在43.5°的視野角上是0.76或更大。

圖7示出其中可使用機器視覺系統(tǒng)10的示例環(huán)境70的各方面。所示出的環(huán)境是個人住處的起居室或家庭活動室。然而，在此描述的方法可等同地適用于其它環(huán)境。圖7的環(huán)境表征包括大規(guī)格顯示器74和擴音器76的家庭娛樂系統(tǒng)72，大規(guī)格顯示器74和擴音器76兩者均被操作地耦合到計算機系統(tǒng)24’。計算機系統(tǒng)24’可以是視頻游戲系統(tǒng)、多媒體系統(tǒng)、用于互聯網瀏覽和生產力應用等的通用目的計算機系統(tǒng)。

計算機系統(tǒng)24’可被配置成接受來自一個或多個用戶——例如，人類主體12’的各種形式的用戶輸入。由此，諸如鍵盤、鼠標、觸摸屏、游戲墊或操縱桿控制器之類的傳統(tǒng)用戶輸入設備可被操作地耦合到計算機系統(tǒng)。不管是否支持傳統(tǒng)的用戶輸入模態(tài)，計算機系統(tǒng)24’也被配置來接受來自至少一個用戶的所謂的自然用戶輸入(NUI)。

為了仲裁來自一個或多個用戶的NUI，計算機系統(tǒng)24’包括NUI系統(tǒng)80。NUI系統(tǒng)被配置成捕捉NUI的各方面，并將相應的可操作輸入提供給計算機系統(tǒng)。至此，NUI系統(tǒng)接收來自外圍傳感器組件(其可包括機器視覺系統(tǒng)10和監(jiān)聽系統(tǒng)82)的低級輸入。雖然圖7示出了被布置在顯示器74頂上的傳感器組件，但各種其他布置也被構想。例如，機器視覺系統(tǒng)可被安裝在天花板上。

圖8是示出一個示例實施例中的計算機系統(tǒng)24’、NUI系統(tǒng)80、機器視覺系統(tǒng)10以及監(jiān)聽系統(tǒng)82的各方面的高級示意圖。所示計算機系統(tǒng)包括操作系統(tǒng)(OS)84，其可以用計算機系統(tǒng)的軟件和/或固件來實例化。所示的計算機系統(tǒng)被配置來執(zhí)行一個或多個應用86，例如，諸如視頻游戲應用、數字媒體播放器、互聯網瀏覽器、照片編輯器、文字處理器，和/或電子表格應用。自然地，計算機、NUI、視覺和/或監(jiān)聽系統(tǒng)可按需包括合適的數據存儲、指令存儲、和邏輯硬件以支持它們的各功能。

監(jiān)聽系統(tǒng)82可包括一個或多個話筒以拾取發(fā)聲或來自一個或多個用戶及環(huán)境70中的其它源的其它可聽輸入；機器視覺系統(tǒng)10檢測來自用戶的視覺輸入。在所示實施例中，機器視覺系統(tǒng)包括一個或多個深度相機14、一個或多個平面圖像相機26，以及凝視跟蹤器88。在其它實施例中，機器視覺系統(tǒng)可包括更多或更少的組件。NUI系統(tǒng)80處理來自這些傳感器組件的低級輸入(即，信號)以向計算機系統(tǒng)24’提供可操作的高級輸入。

如圖8所示，NUI系統(tǒng)80包括語音識別引擎90和手勢識別引擎92。語音識別引擎可被配置來處理來自監(jiān)聽系統(tǒng)82的音頻數據，以識別用戶的話語中的某些單詞或詞組，并生成對應的到計算機系統(tǒng)24’的OS 84或應用86的可操作輸入。手勢識別引擎被配置來：至少處理來自機器視覺系統(tǒng)10的深度數據，標識深度數據中的一個或多個人類主體，計算所標識的主體的各種幾何(例如，骨架)特征，以及從幾何特征收集要被用作對OS或應用的NUI的各種姿勢或手勢信息。至此，包括到主體的每個位點的距離的深度圖像數據作為輸入被提供給手勢識別引擎。手勢識別引擎的功能在下文中更詳細地描述。

上述配置使得能用各種方法來向計算機系統(tǒng)24’提供NUI。因此，現在通過示例并繼續(xù)參照以上配置來描述一些這樣的方法。然而，應該理解，本文所述的方法以及同樣在本公開的范圍內的其它方法也可以由其它配置來實現。

圖9示出了向計算機系統(tǒng)提供NUI的示例方法96。該方法的第一部分是校準子例程，其可在機器視覺系統(tǒng)10被制造的機構處被執(zhí)行。替換地，校準例程可在機器視覺系統(tǒng)的服務期間或甚至在視野中被執(zhí)行。

在方法96的98，通過深度相機14獲得校準標準的深度圖像。校準標準可以是大小和被定位在的距離為使得其充滿深度相機的整個FOV的基本上平的表面。在某些示例中，校準標準可包括規(guī)則地間隔的特征點，諸如網格或棋盤格。在100，由平面圖像相機26獲取相同校準標準的平面圖像，平面圖像相機26具有基本上固定焦距的透鏡，并且不承受深度相機14因其可變焦距導致的額外失真。在102，將深度相機14的FOV與平面圖像相機的FOV進行相關的校準參數被計算并被儲存在控制器24的非易失性存儲器中。

方法96的平衡是用于將NUI提供給計算機系統(tǒng)(諸如計算機系統(tǒng)24’)的主要例程。在104，主體的深度圖像通過深度相機14獲得，如上所述深度相機14裝備有高FOV物鏡系統(tǒng)20。在106，那個透鏡系統(tǒng)給予深度圖像的失真基于存儲在非易失性存儲器中的校準參數來反轉。

在方法96的108，主體的幾何模型基于經校正的深度圖像來計算，經校正的深度圖像在高視野角處包括高質量圖像內容。在一個非限制性實施例中，一個或多個人類主體的至少一部分可由NUI系統(tǒng)80在深度數據中標識出。通過合適的深度圖像處理，深度圖的給定位點可被識別為屬于人類主體。在更特定實施例中，屬于人類主體的像素可通過分割出在合適的時間標度內展示出高于閾值的運動的深度數據部分并嘗試將該部分擬合到人類的通用幾何模型來標識。如果可實現合適的擬合，則該部分中的像素被識別為人類主體的像素。

在一個非限制性示例中，深度圖的每一像素可被分配將該像素標識為屬于特定人類主體或非人類元素的人物索引。作為示例，與第一人類主體相對應的像素可被分配等于一的人物索引，與第二人類主體相對應的像素可被分配等于二的人物索引，而未與人類主體相對應的像素可被分配等于零的人物索引。人物索引可用任何適當的方式來確定、分配和保存。

在所有的候選人類主體在每個相連的深度相機的視野(FOV)中被標識之后，NUI系統(tǒng)80可作出有關哪個(或哪些)人類主體將把用戶輸入提供給計算機系統(tǒng)24’—即，將被表示為用戶—的決定。在某些實施例中，人類主體可基于到顯示器74或深度相機14的鄰近度和/或在深度相機的視野中的位置被選為用戶。更具體地，所選用戶可以是最接近深度相機或最接近深度相機的FOV的中心的人類主體。

在一個或多個用戶被標識之后，NUI系統(tǒng)80可開始處理來自這樣的用戶的姿勢信息。姿勢信息可通過計算從用深度相機14獲取的深度視頻中導出。在這個執(zhí)行階段，附加的感測輸入—例如，來自平面圖像相機26的圖像數據或來自監(jiān)聽系統(tǒng)82的音頻數據—可與姿勢信息一起被處理。

在某些實施例中，NUI系統(tǒng)80可被配置來分析深度圖的對應于用戶的像素，以確定每個像素對應于用戶身體的什么部位。至此，各種不同身體部位分配技術可被使用。在一個示例中，深度圖中的具有適當的人物索引(見上文)的每一個像素可被分配身體部位索引。身體部位索引可包括離散標識符、置信度值和/或指示像素可能對應的一個或多個身體部位的身體部位概率分布。

在一個示例中，機器學習可被用于向每一像素分配身體部位索引和/或身體部位概率分布。機器學習方法參考從先前訓練的已知姿態(tài)集合中學習到的信息來分析用戶。在受監(jiān)督訓練階段期間，例如，各種人類主體被觀察到處于各種姿態(tài)，訓練器在觀察到的數據中提供標記不同的機器學習分類器的地面實況注釋。所觀察到的數據和注釋接著被用于生成將輸入(例如，來自深度相機的觀察數據)映射到所需輸出(例如，相關像素的身體部位索引)的一個或多個機器學習算法。

然后，虛擬骨架被適配到所標識的至少一個人類主體。在某些實施例中，虛擬骨架被適配到對應于用戶的深度數據的像素。圖10示出在某些實施例中的示例虛擬骨架110。該虛擬骨架包括樞轉地耦合在多個關節(jié)114處的多個骨骼部分112。在一些實施例中，身體部位指定可被分配給每個骨骼部分和/或每個關節(jié)。在圖10中，每個骨骼部分112的身體部位指定由所附字母表示：A針對頭部、B針對鎖骨、C針對上臂、D針對前臂、E針對手、F針對軀干、G針對骨盆、H針對大腿、J針對小腿、而K針對腳。類似地，每個關節(jié)114的身體部位指定由所附字母表示：A針對頸部，B針對肩膀，C針對肘，D針對手腕，E針對下背，F針對髖關節(jié)，G針對膝蓋以及H針對踝。自然地，圖10中示出的骨骼部分和關節(jié)的安排不是為了以任何方式進行限制。符合本公開的虛擬骨架可包括實質上任何類型和數量的骨骼部分和關節(jié)。

在某些實施例中，每個關節(jié)可被分配各種參數－例如，指定關節(jié)位置的笛卡爾坐標、指定關節(jié)旋轉的角、以及指定對應的身體部位的形態(tài)(手打開、手閉合等)的附加參數。該虛擬骨架可采取數據結構的形式，該數據結構包括針對每個關節(jié)的這些參數中的任一個、一些或全部。以此方式，定義虛擬骨架的度量數據——它的大小、形狀和相對于深度相機的位置和朝向可被分配給關節(jié)。

通過任何合適的最小化方式，骨骼部分的長度和關節(jié)的位置和旋轉角可被調整以符合深度圖的各個輪廓。該過程可以限定所成像的人類主體的位置和姿態(tài)。一些骨架擬合算法可以使用深度數據結合其他信息，諸如彩色圖像數據和/或指示一個像素軌跡如何相對于另一個來移動的運動數據。

在一些實施例中，虛擬骨架可被適配到深度視頻的幀序列中的每一幀中。通過分析各個骨架關節(jié)和/或分段的位置變化，所成像的用戶的對應移動——例如，手勢、動作、或行為模式——可被確定。以此方式，一個或多個人類主體的姿勢或手勢可基于一個或多個虛擬骨架在NUI系統(tǒng)80中被檢測。

上述描述不應當被理解為限制可用于構造虛擬骨架的方法的范圍，因為可以用任何合適的方式從深度圖中導出虛擬骨架而不背離本公開的范圍。此外，除了使用虛擬骨架來建模人類主體的有點之外，這個方面決不需要。代替虛擬骨架，原始點云數據可被直接用來提供合適的姿勢信息。

返回到圖9，在116，基于幾何模型的NUI數據被提供給計算機系統(tǒng)24’。這樣的輸入數據可包括機器視覺系統(tǒng)引用的一個或多個人類主體的姿勢數據或手勢數據。在圖11中示出代表性手勢，其中主體的手置于相對于機器視覺系統(tǒng)10的光軸A的高角度θ處。這樣的手勢可包括加載過程、改變OS的設置、將輸入聚焦從一個過程切換到另一個，或提供計算機系統(tǒng)24’中的事實上任何控制功能的輸入。

從上述描述中顯而易見，本文所述的方法和過程可以與一個或多個計算設備的計算系統(tǒng)綁定。這樣的方法和過程可被實現為計算機應用程序或服務、應用編程接口(API)、庫和/或其它計算機程序產品。

圖1和8示出控制器24和計算機系統(tǒng)24'(被配置成支持本文所描述的方法和過程的計算系統(tǒng))的各方面。每個計算系統(tǒng)包括邏輯機118和指令存儲機(或存儲器)120。每個計算系統(tǒng)可任選地包括顯示子系統(tǒng)、輸入子系統(tǒng)、通信子系統(tǒng)和在圖中未示出的其他組件。

邏輯機器118包括被配置成執(zhí)行指令的一個或多個物理設備。例如，邏輯機可被配置來執(zhí)行作為以下各項的一部分的指令：一個或多個應用、服務、程序、例程、庫、對象、組件、數據結構、或其它邏輯構造。這種指令可被實現以執(zhí)行任務、實現數據類型、轉換一個或多個部件的狀態(tài)、實現技術效果、或以其它方式得到期望結果。

邏輯機118可包括被配置成執(zhí)行軟件指令的一個或多個處理器。作為補充或替換，邏輯機可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機。邏輯機的處理器可以是單核或多核，且在其上執(zhí)行的指令可被配置為串行、并行和/或分布式處理。邏輯機的各個組件可任選地分布在兩個或更多單獨設備上，這些設備可以位于遠程和/或被配置成進行協(xié)同處理。邏輯機的各方面可由以云計算配置進行配置的可遠程訪問的聯網計算設備來虛擬化和執(zhí)行。

指令存儲機120包括被配置成保持可由相關聯的邏輯機118執(zhí)行以實現此處描述的方法和過程的指令的一個或多個物理設備。當實現這樣的方法和過程時，指令存儲機的狀態(tài)可以被變換—例如用來保持不同的數據。指令存儲機可包括可移動的和/或內置設備；它可包括光學存儲器(例如，CD、DVD、HD-DVD、藍光碟等)、半導體存儲器(例如，RAM、EPROM、EEPROM等)、和/或磁性存儲器(例如，硬盤驅動器、軟盤驅動器、磁帶驅動器、MRAM等)、以及其他。指令存儲機可以包括易失性的、非易失性的、動態(tài)的、靜態(tài)的、讀/寫的、只讀的、隨機存取的、順序存取的、位置可定址的、文件可定址的、和/或內容可定址的設備。

將理解，每個指令存儲機120包括一個或多個物理設備。然而，本文所述的指令的各方面替代地可由不經由存儲媒介存儲的通信媒介(如電磁信號、光學信號等)來傳播。

邏輯機118和指令存儲機120的各方面可以被一起集成到一個或多個硬件邏輯組件中。這些硬件邏輯組件可包括例如現場可編程門陣列(FPGA)、程序和應用專用的集成電路(PASIC/ASIC)、程序和應用專用的標準產品(PSSP/ASSP)、片上系統(tǒng)(SOC)以及復雜可編程邏輯器件(CPLD)。

在包括顯示子系統(tǒng)時，顯示子系統(tǒng)可被用于呈現由相關聯的指令存儲機120所保持的數據的視覺表示。該視覺表示可采用圖形用戶界面(GUI)的形式。由于此處描述的方法和過程改變了存儲機所保持的數據、且因此轉換了存儲機的狀態(tài)，因此該顯示子系統(tǒng)的狀態(tài)可同樣地被轉換以視覺地表示底層數據中的變化。顯示子系統(tǒng)可包括利用幾乎任何類型的技術的一個或多個顯示設備?？蓪⒋祟愶@示設備與邏輯機118和/或指令存儲機120組合在共享封裝中，或者此類顯示設備可以是外圍顯示設備。

在包括輸入子系統(tǒng)時，輸入子系統(tǒng)可以包括或相接于一個或多個用戶輸入設備，諸如鍵盤、鼠標、觸摸屏或游戲控制器。在一些實施例中，輸入子系統(tǒng)可包括所選的自然用戶輸入部件或與其結合。這種元件部分可以是集成的或外圍的，并且輸入動作的轉導和/或處理可以在板上或板外被處理。

當被包括在內時，通信子系統(tǒng)122可以被配置成將計算系統(tǒng)與一個或多個其他計算系統(tǒng)可通信地耦合。通信子系統(tǒng)可以包括與一個或多個不同通信協(xié)議兼容的有線和/或無線通信設備。作為非限制性示例，通信子系統(tǒng)可被配置成用于經由無線電話網絡或者有線或無線局域網或廣域網來進行通信。在一些實施例中，通信子系統(tǒng)可允許計算系統(tǒng)經由諸如因特網這樣的網絡將消息發(fā)送至其他設備以及/或者從其它設備接收消息。

將會理解，此處描述的配置和/或方法本質是示例性的，這些具體實施例或示例不應被視為限制性的，因為許多變體是可能的。此處描述的具體例程或方法可以表示任何數量的處理策略中的一個或多個。如此，所示和/或所述的各種動作可以以所示和/或所述順序、以其它順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動作和/或屬性、以及它們的任一和全部等價物的所有新穎且非顯而易見的組合和子組合。