用于大腿、J用于下腿、K用于腳部。同樣地，每個關(guān)節(jié)820的身體部分標號由所附的字母來表示:A用于脖子、B用于肩膀、C用于肘、D用于手腕、E用于下背、F用于臀部、G用于膝蓋、H用于腳踝。自然地，在圖6中示出的骨架段和關(guān)節(jié)的布置不是以任何方式限制。與本公開相一致的虛擬骨架可以包括幾乎任何類型和數(shù)量的骨架段和關(guān)節(jié)。
[0042]在一個實施例中，可以將各種不同的參數(shù)(例如，指定關(guān)節(jié)位置的笛卡爾坐標、指定關(guān)節(jié)旋轉(zhuǎn)的角度、以及指定對應(yīng)的身體部分的形態(tài)的附加的參數(shù)(打開手、握緊手等))指派給每個關(guān)節(jié)。虛擬骨架可以采取包括用于每個關(guān)節(jié)的這些參數(shù)的任何或者全部參數(shù)的數(shù)據(jù)結(jié)構(gòu)的形式。通過這個方式，定義虛擬骨架的度量數(shù)據(jù)(其尺寸、形狀、朝向、位置等)可以被指派給關(guān)節(jié)。
[0043]經(jīng)由任何適合的最小化方法，骨架段的長度和關(guān)節(jié)的位置和旋轉(zhuǎn)角度可以被調(diào)整以用于與深度圖的各種不同的輪廓相一致。這個過程可以定義被成像的人類主體的位置和姿勢。一些骨架適配算法可以與諸如彩色圖像數(shù)據(jù)和/或指示像素的一個地點如何相對于另一個而移動的運動數(shù)據(jù)之類的其他信息相結(jié)合地使用深度數(shù)據(jù)。如上文所提到的，身體部分索引可以在最小化之前而被指派。身體部分索引可以被用來協(xié)助(seed)、通知或者偏置適配過程以便增加覆蓋率。例如，如果像素的給定地點被標明為主體的頭部，那么適配過程可以尋求適配到骨架段可樞軸旋轉(zhuǎn)地耦合到單個關(guān)節(jié)(即，脖子)的那個地點。如果地點被標明為前臂，那么適配過程可以尋求適配被耦合到兩個關(guān)節(jié)的骨架段一在骨架段的每一端是一個關(guān)節(jié)。此外，如果確定給定的地點不可能對應(yīng)于主體的任何身體部分，那么該地點可以被屏蔽或者否則從后續(xù)骨架適配中排除。在一些實施例中，虛擬骨架可以被適配到深度視頻的幀序列的每一個。通過分析在各種不同的骨架關(guān)節(jié)和/或段的位置的改變，被成像的人類主體的對應(yīng)的移動(例如，手勢、動作、行為模式)可以被確定。前面的描述不應(yīng)該被解釋為限制可以使用來建立虛擬骨架的方法的范圍，因為虛擬骨架可以在不偏離本公開的范圍的情況下以任何適合的方式從深度圖中導(dǎo)出。此外，盡管使用虛擬骨架來建模人類主體具有優(yōu)勢，但是這個方面絕不是必要的。來自一個或多個深度攝像機的數(shù)據(jù)可以被用來評估趨勢和/或規(guī)則一致性，或者被用來甚至在沒有虛擬骨架建立的情況下在環(huán)境中啟動(actuate )硬件。例如，替代虛擬骨架，原始的點云數(shù)據(jù)可以被使用。
[0044]現(xiàn)在轉(zhuǎn)回圖5，在方法66的82處，發(fā)現(xiàn)的人類主體的一個或多個方面從深度數(shù)據(jù)中被計算。在一個實施例中，計算的方面可以包括人類主體在合適的坐標系統(tǒng)中的位置。在其中人類主體在深度數(shù)據(jù)中所發(fā)現(xiàn)的多個人類主體中是第一個的實施例中，計算的方面可以包括第一人類主體相對于其他人類主體的位置。通過這個方式，可以確定人類主體的詳細的布置。在另一個實施例中，人類主體的計算的方面可以包括人類主體的一個或多個身體特征的尺寸和/或形狀的表征。在另一個實施例中，人類主體的計算的方面可以包括從多個候選人類主體中所確定的人類主體的身份。在另一個實施例中，人類主體的計算的方面可以包括人類主體的姿勢。在另一個實施例中，人類主體的計算的方面可以包括在人類主體的姿勢中的手勢改變。在另一個實施例中，人類主體的計算的方面可以包括由在人類主體的姿勢中的一系列的手勢改變所定義的人類主體的動作。在又另一個實施例中，人類主體的計算的方面可以包括由一系列動作所定義的人類主體的行為模式。此外，在一些實施例中，這些和其他方面可以被獨立地或者共同地考慮。
[0045]在方法66的84處，基于計算的方面確定人類主體是遵守還是偏離在68處所定義的一個或多個規(guī)則。在一個實施例中，人類主體是遵守還是偏離規(guī)則的確定可以進一步基于方法66在72處所獲取的其他傳感數(shù)據(jù)；例如，其可以取決于來自彩色攝像機26的彩色圖像數(shù)據(jù)、來自運動傳感器30的運動數(shù)據(jù)或者來自麥克風28的音頻數(shù)據(jù)。如果人類主體偏離了規(guī)則，那么方法前進到86，其中采取適當?shù)膭幼?。否則，方法返回。
[0046]在一些實施例中，在86處所采取的動作可以包括通知(S卩，消息，大意是從預(yù)定義的規(guī)則的偏離已經(jīng)在環(huán)境中發(fā)生)的發(fā)布。計算機14可以自主地向能夠接收消息的通信設(shè)備(例如，環(huán)境外部的設(shè)備或者位于與偏離在其中發(fā)生的環(huán)境的部分不同的部分的設(shè)備)發(fā)送這樣的消息。通知可以經(jīng)由文本傳輸、圖像傳輸、話音傳輸、視頻傳輸或者任何其他合適的遞送機制中的一個或多個而被發(fā)布。特定的傳輸形態(tài)可以包括SMS、電子郵件、視頻饋送、對講機等。在一個實施例中，通知可以被發(fā)布到環(huán)境的管理員。在這個和其他實施例中，通知可以被發(fā)布到被觀察到從這個規(guī)則偏離的個人；作為反饋其可以被指引一例如，“你需要幫助嗎？ ”。在一些實施例中，可以經(jīng)由公共地址系統(tǒng)在整個環(huán)境中廣播通知。在通知被發(fā)布到多于一個接收者的實施例中，通知方案可以是并行的或者按順序的。在并行的情況下，例如，可以同時向管理員和被觀察到從規(guī)則偏離的個人發(fā)布通知。在按順序的情況下，可以首先向主體發(fā)布通知；僅當主體不響應(yīng)(例如，不妥協(xié)、無意識或者不能響應(yīng))的情況下，可以通知管理員。在又其他的實施例中，在86處的動作可以通過可自主啟動的硬件18來采取。例如，這樣的動作可以包括在家庭安全系統(tǒng)中發(fā)出警報，打開燈，或者靜默家庭影院系統(tǒng)。
[0047]方法66表示許多、更特定的使用場景，現(xiàn)在描述其中的一些。在一個示例中，上文所提到的規(guī)則可以定義哪些人被允許在家庭或者其他環(huán)境中或者在家庭的指定的部分。此夕卜，規(guī)則可以指示特定的人在一周的某些天、或者一天的幾個小時被允許在家庭中。在一個場景中，智能系統(tǒng)可以在早上2點在家庭的客廳發(fā)現(xiàn)人。智能系統(tǒng)立即工作來確定那個人是家庭成員還是家庭的其他居民。如果在客廳的人被識別為家庭成員，那么沒有打破任何規(guī)則，所以不可以采取任何動作。但是，如果該人沒有被識別為家庭成員，則家庭中的安全系統(tǒng)可以被觸發(fā)來使警報發(fā)出聲音，通知家庭的領(lǐng)導(dǎo)和/或警察等。通過這個方式，該人的各種不同的方面(例如，這個人的身高、身體維度以及頭發(fā)色彩(以及僅僅這是一個人，而不是貓這個事實))的計算可以基于在家庭中非預(yù)期的運動來阻止多個虛假的警報。
[0048]在這個和其他場景中，智能系統(tǒng)可以同時評估與涉及相同或者不同人的多個規(guī)則的一致性。例如，盡管由于在早上2點在客廳僅是家庭成員的存在而可以不采取任何動作，但是如果家庭成員的某些更特定的方面被揭示，則其可以觸發(fā)適當?shù)膭幼鳌＠?，如果家庭成員面部朝下地躺在客廳地面上，那么系統(tǒng)可以通知家庭領(lǐng)導(dǎo)、另一個家庭成員、或者緊急響應(yīng)服務(wù)。在不同的示例中，對于成年家庭成員而不是小孩而言，可以允許其在早上2點鐘在客廳中看電視。在住房的另一個房間(例如木工工場、槍支儲藏室或者酒柜)中，小孩可能在任何時間都不會準許。相應(yīng)地，如果系統(tǒng)確定小孩(在圖4中的身份56)是在這些房間(位置50)的一個中或者其經(jīng)過某個時間是醒著的(動作62)或者其看了太多的電視(行為模式64)，那么可以通知家庭領(lǐng)導(dǎo)。
[0049]被合適配置的智能系統(tǒng)也可以被用來觀察老人或者恢復(fù)期病人。在這個場景中，合適的規(guī)則可以是基于姿勢的；其可以包括這個人應(yīng)當或者是站立或者是坐在椅子上或者躺在床上；以及可以包括這個人不應(yīng)該在再次起來前躺下超過8個小時。偏離這個規(guī)則可以指示老人已經(jīng)摔倒或者遭受某種疾病的復(fù)發(fā)，以及指示親人或者照料人應(yīng)該被通知。
[0050]在其他示例中，個人的觀察的手勢可以構(gòu)成從預(yù)定義的規(guī)則的偏離，例如，抓住一個人的胸膛、展示吃力的呼吸或者疾病發(fā)作的身體征兆。在一些情況下，偏離規(guī)則可以通過觀察被觀察的人的面部和/或聲音特征(例如，通常在中風之后的面部低垂和/或語音含糊不清)來檢測。在這些和其他實施例中，當違反規(guī)則時被發(fā)出的通知可以包括在違反規(guī)則發(fā)生時的時刻所記錄的圖像和/或話音數(shù)據(jù)。自然地，這樣的圖像數(shù)據(jù)可以是在接收它的設(shè)備上可存儲的，以便衛(wèi)生保健提供者可以稍后檢查它。附帶地，這個特征也可以被用來使得積極的和/或可紀念的違反規(guī)則(比如，嬰兒的第一步)得到永存。
[0051]除了簡單的手勢和動作之外，被觀察的個人的更復(fù)雜的行為模式可以保證照料人的注意。例如，已經(jīng)發(fā)現(xiàn)與其他人面對面的接觸是與老人的生命期望相關(guān)的。相應(yīng)地，智能系統(tǒng)可以被配置來保持跟蹤何時老人接收訪客；如果他或她以低于門限頻率來接收訪客，則親人可以被通知。同樣地，智能系統(tǒng)可以被配置來觀察何時老人吃藥；可以在錯過服藥時或者在吃藥太頻繁的時候通知照料人。
[0052]類似地，被合適地配置的智能系統(tǒng)可以被配置來觀察在家庭托兒所的嬰兒，并且根據(jù)嬰兒的動作和行為，確定是否存在理由來提醒照料人。在這個場景中，適當?shù)囊?guī)則可以包括嬰兒不應(yīng)該在嬰兒床上面部朝下超過幾分鐘，不應(yīng)該在嬰兒床上站立超過幾分鐘以及不應(yīng)該哭超過幾分鐘。通過隨著時間的推移觀察嬰兒，智能系統(tǒng)可以確定嬰兒是否以預(yù)期的速率成長；如果觀察到較慢的成長，則可以通知父母。
[0053]其他示例的規(guī)則可以定義環(huán)境中的個人被要求做鍛煉、運動訓(xùn)練和/或物理療法的方式和/或頻率。通過觀察這樣的活動在其中完成的房間中的個人，智能系統(tǒng)可以確定正在遵守哪些規(guī)則或者正在偏離哪些準則。因此，當被觀察的個人偏離所要求的進程(regimen)或者不適當?shù)赜?xùn)練時，則那個人可以被通知。在又另一個場景中，規(guī)則可以針對被準許到家中執(zhí)行特定任務(wù)的工作者定義所允許的行為以及訪問。例如，廚房改造者不會被期待進入臥室。如果他這么做了，則家主人可以被通知。
[0054]圖7圖示了用于評估趨勢的示例方法90。如上文所描述的，該方法可以經(jīng)由包括計算機的智能系統(tǒng)來實現(xiàn)。在方法90的70處，深度數(shù)據(jù)從智能系統(tǒng)的一個或多個深度攝像機獲取。在72處，其他傳感數(shù)據(jù)被可選地獲取。在74處，一個或多個人類主體在深度數(shù)據(jù)中被發(fā)現(xiàn)，以及在82處，人類主體的一個或多個方面被計算。
[0055]在方法90的92處，基于計算的方面中的至少一個來識別趨勢。如本文中所使用的，“趨勢”可以被定義為隨著時間過去在計算的方面中的任何改變(或者缺少改變)一例如，人類主體的位置、身體尺寸或形狀、動作、手勢或者行為模式的改變。在94處，根據(jù)正在被識別的趨勢，采取適當?shù)膭幼鳌Ｔ谝粋€實施例中，這樣的動作可以包括例如向展示出該趨勢的人或者向環(huán)境的管理員報告所識別的趨勢，或者在整個環(huán)境中廣播等。在其他實施例中，適當?shù)膭幼骺梢园ㄔ诃h(huán)境中的硬件的啟動。
[0056]與之前的方法66相同，方法90也表示許多、更特定的使用場景，現(xiàn)在描述其中的一些。在一個場景中，在92處所識別的趨勢可以是小孩成長中的趨勢。這樣的趨勢可以通過隨著時間推移對小孩的觀