在環(huán)境中控制硬件的機器的制造方法
【專利說明】
【背景技術】
[0001]計算機技術可以幫助人們更有效率地工作、對他們的環(huán)境施加控制以及更好地享受他們的生活。但是，技術給人們帶來的優(yōu)勢有時會被與技術進行交互的復雜和不自然的模式降低。在技術上裝備的家庭中，例如，居民可能會被保持大量獨立系統(tǒng)(例如，安全性、家庭影院以及氣候控制系統(tǒng))適合(key)于主要偏好的任務打倒(overwhelm)，尤其是如果這樣的偏好從一個家庭成員到下一個家庭成員發(fā)生變化、隨著時間演進或者是受到例外的約束。

【發(fā)明內(nèi)容】

[0002]本公開的一個實施例提供持有指令的指令存儲機器，當所述指令被邏輯機器執(zhí)行時，使得該邏輯機器在利用被布置來對環(huán)境進行成像的一個或多個深度攝像機所獲取的深度數(shù)據(jù)中查找人類主體(subject)，以及使得該邏輯機器從深度數(shù)據(jù)中計算人類主體的方面?；谟嬎愕姆矫妫壿嫏C器確定在環(huán)境中要作出的改變并且啟動在環(huán)境中的合適的硬件來做出這個改變。
[0003]本
【發(fā)明內(nèi)容】
被提供來以簡化的形式介紹概念的選擇，所述概念的選擇在下文【具體實施方式】中將被進一步描述。本
【發(fā)明內(nèi)容】
不是旨在識別要求保護的主題的關鍵特征或者必要特征，也不是旨在被用來限制要求保護的主題的范圍。此外，要求保護的主題不局限于解決在本公開的任何部分中所指出的任何或者全部缺點的實現(xiàn)方式。
【附圖說明】
[0004]圖1示意性地示出了根據(jù)本公開的實施例的示例環(huán)境的方面。
[0005]圖2示意性地示出了根據(jù)本公開的實施例的示例智能系統(tǒng)的方面。
[0006]圖3示意性地示出了根據(jù)本公開的實施例的觀測(sight)相同主體的多個深度圖。
[0007]圖4是總結了根據(jù)本公開的實施例的可以通過對深度數(shù)據(jù)的處理來計算的人類主體的方面的圖表。
[0008]圖5圖示了根據(jù)本公開的實施例用于在環(huán)境中評估規(guī)則一致性的示例方法。
[0009]圖6示出了根據(jù)本公開的實施例的示例虛擬骨架的方面。
[0010]圖7圖示了根據(jù)本公開的實施例用于評估趨勢的示例方法。
[0011]圖8圖示了根據(jù)本公開的實施例用于在環(huán)境中控制可自主啟動的(actuable)硬件的示例方法。
【具體實施方式】
[0012]現(xiàn)在將通過示例和參考上文列出的圖示的實施例來描述本公開的各方面。在一個或多個實施例中實質上可以相同的組件、過程步驟以及其他元件被同等地識別并且以最少的重復而被描述。但是，將指出的是，被同等地識別的元件在一定程度上也可以是不同的。將進一步指出的是，包括在本公開中繪制的附圖是示意性的并且一般沒有被按比例繪制。相反，在附圖中所示出的組件的各種不同的繪制比例、高寬比以及編號可以被有意地變形以便使得某些特征或關系更加容易看到。
[0013]本公開描述了互連的深度攝像機以及用于監(jiān)控環(huán)境中的人的其他傳感器的“智能系統(tǒng)”，其中所述環(huán)境例如可以是住宅或者商業(yè)地點。這樣的監(jiān)控被應用于各種不同的有用的目的，諸如趨勢評估、規(guī)則一致性評估以及環(huán)境中的可自主啟動的硬件的控制。在下文中，示例方法和場景被提出來以便更詳細地圖示這些形態(tài)和展示現(xiàn)在所公開的方法的廣泛的適用性。在提出方法和場景之前，將首先描述示例的環(huán)境和示例的智能系統(tǒng)。
[0014]圖1示意性地示出了示例環(huán)境10的方面。圖示的環(huán)境是住房，即個人住宅。但是，在本文中所描述的方法可以同樣地應用于其他環(huán)境，諸如療養(yǎng)院、輔助生活設施、托兒所、零售環(huán)境、服務環(huán)境、工作場所等。環(huán)境10包括多個房間(獨立的內(nèi)部空間)，多個人處在這些房間中。自然地，在房間中的人們可以參與活動，所述活動定義趨勢或者構成與一個或多個規(guī)則的一致或偏離。此外，人們的處置(disposit1n)和活動可以提供揭示(reveal)做出在環(huán)境狀態(tài)中的某種改變的期望的信息。
[0015]為了評估趨勢、規(guī)則一致性、或者在環(huán)境10中要做出的期望的狀態(tài)改變，在環(huán)境中安裝智能系統(tǒng)。該智能系統(tǒng)包括多個深度攝像機12、計算機14以及各種不同的其他組件，如在下文中所描述的。計算機從深度攝像機中的每一個中接收深度數(shù)據(jù)，其中所述深度攝像機被布置來對環(huán)境進行成像。在圖示的實施例中，計算機被連接到網(wǎng)絡16和可自主啟動的硬件18 (—般性地在圖1中示出)，所述可自主啟動的硬件分布在整個環(huán)境中。可自主啟動的硬件的一些示例包括氣候控制系統(tǒng)、家庭影院系統(tǒng)、照明系統(tǒng)、家庭安全系統(tǒng)等。
[0016]圖1也示出了管理員(steward) 20，其可以是在環(huán)境中的授權的人或者對環(huán)境的安全性或者對環(huán)境中的任何人的舒適負責任的人。相應地，管理員可以在本公開的不同實施例中被不同地定義。例如，管理員可以是家庭的領導、管理人、或者值班經(jīng)理。在其他示例中，管理員可能不是單個人自身，而是有責任的一方，例如，父母、設施人員、執(zhí)法、或者諸如救護服務或者消防隊之類的緊急響應服務。經(jīng)由來自計算機的自主消息傳送，可以將環(huán)境中的任何平常的或者異常的情況(例如，識別趨勢或者從環(huán)境中的規(guī)則偏離的情況)通知給管理員。任何這樣的消息可以經(jīng)由可以包括互聯(lián)網(wǎng)的網(wǎng)絡16而被發(fā)送。管理員可以在他的或她的移動設備22上或者經(jīng)由遠程計算機系統(tǒng)或者以任何其它合適的方式來接收消息。
[0017]圖2是示例智能系統(tǒng)24的高層示意圖。智能系統(tǒng)包括也分布在整個環(huán)境10中的多個彩色攝像機26和麥克風28。在一些實施例中，彩色攝像機和/或麥克風可以與深度攝像機12整合在一起以便向計算機14提供組合可視或者音視頻的輸入?？蛇x的運動傳感器30也可以被提供，例如以便降低系統(tǒng)成本或者在環(huán)境的某些區(qū)域中提供更大的保密性。附加的傳感器可以包括被動的IR傳感器、壓力傳感器等。
[0018]在圖2的實施例中，計算機14包括傳感器接口 32、啟動器(actuator)接口 34、網(wǎng)絡接口 36以及邏輯系統(tǒng)38。傳感器接口是從被布置在環(huán)境中的一個或多個深度攝像機接收深度數(shù)據(jù)的計算機的一部分，其接收其他傳感數(shù)據(jù)并且進行對傳感數(shù)據(jù)的底層處理來產(chǎn)生到邏輯系統(tǒng)38的可執(zhí)行的(act1nable)、高層的輸入。在一個實施例中，傳感器接口可以對來自麥克風的音頻輸入數(shù)據(jù)執(zhí)行聲音或者話音識別。這樣的動作可以生成基于文本的輸入或者其他高層命令，其在邏輯系統(tǒng)38中被接收。相反，啟動器接口 34從邏輯系統(tǒng)38接收高層指令和向可自主啟動的硬件18發(fā)出合適的低層命令和信號以便啟動該硬件。該硬件可以被直接或者間接地(例如，經(jīng)由獨立的啟動器)啟動。通過這種方式，環(huán)境的狀態(tài)的各種不同的方面可以由計算機14來自主地改變。如上文所提到的，可自主啟動的硬件可以包括例如氣候控制系統(tǒng)40、家庭影院系統(tǒng)42、照明系統(tǒng)44以及家庭安全系統(tǒng)46的元件。通過網(wǎng)絡接口 36，邏輯系統(tǒng)38跨網(wǎng)絡16來發(fā)送和接收數(shù)據(jù)。智能系統(tǒng)24的各種不同的組件可以有線地連接在一起或者無線地進行互聯(lián)。
[0019]在一個非限制性的實施例中，每個深度攝像機12可以是KINECT?系統(tǒng)，其可從華盛頓雷蒙德的微軟公司得到。更一般性地，每個深度攝像機可以包括被配置來獲取其觀測的一個或多個人類主體的深度圖的時間分辨序列的任何成像系統(tǒng)。如在本文中所使用的，術語“深度圖”指的是被登記到成像場景的對應區(qū)域(尤，O的像素陣列，對于每個像素深度值石指示對應區(qū)域的深度。“深度”被定義為與深度攝像機的光學軸平行的坐標，其隨著距離深度攝像機的距離的增加而增加?？刹僮鞯?，深度攝像機可以被配置來獲取兩維圖像數(shù)據(jù)，深度圖經(jīng)由下游處理從所述二維圖像數(shù)據(jù)中獲得。
[0020]一般地，深度攝像機12的特性在本公開的各種不同的實施例中可以不同。例如，深度攝像機可以是靜止的、可移動的或者自主地運動的。任何非靜止的深度攝像機都可以具有從一個范圍的視角對環(huán)境進行成像的能力。在一個實施例中，來自深度攝像機中的兩個實立體鏡定向的成像陣列的亮度或者色彩數(shù)據(jù)可以是經(jīng)由基于相關性的立體成像的深度圖。在其它實施例中，深度攝像機可以被配置來在主體上投射(project)結構化的紅外(IR)照明圖案，所述照明圖案包括許多離散特征一例如，線條或點。在深度攝像機中的成像陣列可以被配置來對從該主體反射回的結構化的照明進行成像?；谠诒怀上竦闹黧w的各種不同的區(qū)域中的相鄰的特征之間的間距，該主體的深度圖可以被建立。在再其它的實施例中，深度攝像機可以朝主體投射脈沖的紅外照明。深度攝像機中的一對成像陣列可以被配置來檢測從該主體反射回的脈沖照明。兩個陣列都可以包括與脈沖照明相同步的電子快門，但是用于這些陣列的集成時間可以不同，以便從照明源到主體然后到陣列的脈沖照明的像素解析的傳播時間(time-of-flight)基于在兩個陣列的對應的元件中所接收的光的相對量是可辨別的。
[0021]在一些情況下，多個深度攝像機12可以觀測相同的主體，每個攝像機提供該主體的不同視圖。在圖3的示意圖中圖示了這個場景的優(yōu)勢。如在這個附圖中所示出的，單個深度攝像機可以僅僅對表面S的有限的部分(從單個觀察點P可看到的部分，所述觀察點P位于攝像機的光學軸A的終點)進行成像。在單軸深度圖中，可看見的部分被定義為笛卡爾三元組(石，，乙)，一個Z坐標與給定的19對相關聯(lián)。相反，多深度攝像機可以對僅從多個觀察點(即，從攝像機的不同光學軸的終點)一起可看到的表面的擴展部分進行成像。在多軸深度圖中，這個擴展部分也可以以笛卡爾三元組來定義，但是多于一個Z坐標可以與給定的(X 19對相關聯(lián)。通過這種方式，表面的前向和后向部分可以在相同的多軸深度圖中被表示。如在單軸深度圖的情況一樣，多軸深度圖的時間解析序列可以在多個幀中被匯集(assemble)為視頻。相應地，在本文中所提及的“深度視頻”、“深度數(shù)據(jù)”以及“深度圖像”可以包括任何復雜度的單軸或者多軸深度圖。
[0022]當被包括在智能系統(tǒng)24中時，每個彩色攝像機26可以從觀察的場景中在多個通道(例如，紅色、綠色、藍色等)對可見光進行成像，將成像的光映射到像素陣列?？商鎿Q地，單色攝像機可以被包括，其以灰度級對光線進行成像。用于全部像素的色彩或者亮度值共同構成了數(shù)字彩色圖像。在一個實施例中，深度和彩色攝像機可以具有相同的分辨率。即使當分辨率不同時，彩色攝像機的像素可以被登記到深度攝像機的那些像素上。通過這種方式，針對觀察的場景的每個部分，可以評估色彩和深度信息。當被包括在智能系統(tǒng)24中，每個麥克風28可以從環(huán)境10中的觀察的人類主體或者其他來源來拾取定向和/或非定向的聲音。將要指出的是，通過傳感器接口 32所獲取的傳感數(shù)據(jù)可以采取任何合適數(shù)據(jù)結構的形