與示例性實(shí)施例一致的方法和裝置涉及用于基于利用諸如點(diǎn)云相機(jī)的記錄設(shè)備對(duì)環(huán)境的感測(cè)來生成環(huán)境簡(jiǎn)檔的方法和裝置。

背景技術(shù)：

下面的背景論述包括可有用于理解本發(fā)明的信息。并不承認(rèn)此處提供的任何信息是現(xiàn)有技術(shù)或與當(dāng)前請(qǐng)求保護(hù)的發(fā)明相關(guān)，或者具體或隱式引用的任何公開物是現(xiàn)有技術(shù)。

大多數(shù)常規(guī)推薦系統(tǒng)依賴用戶的數(shù)字生活來識(shí)別用戶的選擇并生成簡(jiǎn)檔?；谶@樣生成的簡(jiǎn)檔，可以向用戶呈現(xiàn)合適的推薦。描述前述原理的現(xiàn)有技術(shù)文檔中的一些是美國公開第20120232977號(hào)和美國公開第20120233003號(hào)。

美國公開第20120232977號(hào)描述了識(shí)別用戶的金融行為及用戶的收藏并且基于此輔助用戶。金融行為數(shù)據(jù)可基于信用、借記和其他活期存款賬戶的購買/交易來確定。其還進(jìn)行實(shí)時(shí)的視頻流分析以從視頻中發(fā)現(xiàn)對(duì)象并且通過選擇/推薦產(chǎn)品和企業(yè)來輔助用戶。

美國公開第20120233003號(hào)描述了在經(jīng)由移動(dòng)設(shè)備進(jìn)行購買以用于電子商務(wù)活動(dòng)時(shí)通過對(duì)產(chǎn)品/物品進(jìn)行實(shí)時(shí)視頻分析來輔助用戶。

除了基于用戶的數(shù)字生活生成簡(jiǎn)檔之外，還可以基于真實(shí)生活環(huán)境并且更具體地基于在環(huán)境中感測(cè)的對(duì)象和活動(dòng)來創(chuàng)建簡(jiǎn)檔。除了生成推薦之外，這樣生成的簡(jiǎn)檔還可有利地用于例如在家庭自動(dòng)化系統(tǒng)、安保系統(tǒng)等中生成警告。為了生成這樣的簡(jiǎn)檔，可能必須依賴各種電子設(shè)備，包括例如圖像捕獲設(shè)備、聲音捕獲設(shè)備等。描述基于對(duì)環(huán)境的感測(cè)生成簡(jiǎn)檔的文檔中的一些為美國專利第8081158號(hào)、美國公開第20080167913號(hào)、美國公開第20040037469號(hào)、美國公開第20030088832號(hào)和美國專利第8068879號(hào)。

美國專利第8081158號(hào)描述了利用相機(jī)來捕獲圖像并且基于圖像特性來遞送屏幕內(nèi)容。該想法主要是識(shí)別用戶的年齡及性別并且相應(yīng)地遞送屏幕內(nèi)容(例如，廣告、程序等)。

美國公開第20080167913號(hào)描述了在計(jì)算機(jī)系統(tǒng)的部件的指定接近度內(nèi)檢測(cè)物理對(duì)象，其中計(jì)算機(jī)系統(tǒng)將用于所述物理對(duì)象的接入對(duì)象識(shí)別符呈遞給內(nèi)容門戶。該發(fā)明基于對(duì)象的物理特性促進(jìn)遞送內(nèi)容(例如，廣告、游戲、多媒體片段等)。對(duì)象可以為任何東西(例如，瓶子、玻璃制品、手指、帽子等)并且應(yīng)當(dāng)在臺(tái)式計(jì)算機(jī)系統(tǒng)的部件的指定接近度內(nèi)。該想法是識(shí)別產(chǎn)品(或其分類)并且呈現(xiàn)相關(guān)內(nèi)容以顯示在臺(tái)式計(jì)算機(jī)系統(tǒng)上。

美國公開第20040037469號(hào)描述了利用傳感器設(shè)備進(jìn)行對(duì)象檢測(cè)并且然后基于檢測(cè)到的對(duì)象控制顯示設(shè)備。該發(fā)明涉及用于對(duì)信息顯示設(shè)備(例如，廣告載體)的面向?qū)ο蟮目刂频脑O(shè)備。所討論的對(duì)象主要是人，但是也可以為其他對(duì)象，諸如車輛。

美國公開第20030088832號(hào)描述了用于顯示廣告信息的系統(tǒng)和方法，其中系統(tǒng)能夠感測(cè)在顯示器的直接環(huán)境中的個(gè)人的存在并獲得其特性。這種想法識(shí)別用戶的特性(比如，用戶的移動(dòng)、性別、年齡和種族)并利用該信息以將材料呈現(xiàn)在顯示單元上。

美國專利第8068879號(hào)描述了個(gè)人通信設(shè)備上的傳感器，其監(jiān)測(cè)設(shè)備周圍的環(huán)境?；趯?duì)該監(jiān)測(cè)的分析，將適當(dāng)?shù)囊曈X消息顯示在設(shè)備的外顯示屏上。視覺消息針對(duì)設(shè)備周圍的人，而不是針對(duì)設(shè)備的用戶。

從上面的文檔可以觀察到，圖像捕獲設(shè)備和對(duì)捕獲的圖像的分析在該領(lǐng)域中起關(guān)鍵作用。前述文件主要利用諸如RGB相機(jī)的圖像捕獲設(shè)備進(jìn)行對(duì)象檢測(cè)/識(shí)別，并且因此不能夠確定深度參數(shù)。然而，將會(huì)領(lǐng)會(huì)，包括深度參數(shù)(或者換言之，基于存在于環(huán)境中的對(duì)象的形狀)的簡(jiǎn)檔的生成提供更好質(zhì)量的簡(jiǎn)檔。盡管在處理期間能夠?qū)惯@樣的限制，但是歸因于對(duì)過度的圖像處理技術(shù)的要求，其導(dǎo)致成本效率低，從而使得簡(jiǎn)檔生成系統(tǒng)不高效。

除了上述之外，已經(jīng)發(fā)現(xiàn)，當(dāng)處理從RGB相機(jī)獲得的低分辨率圖像用于簡(jiǎn)檔生成時(shí)，生成的簡(jiǎn)檔的質(zhì)量不令人滿意。盡管能夠通過利用高分辨率相機(jī)來對(duì)抗這樣的限制，但是其導(dǎo)致成本效率低。

即便簡(jiǎn)檔生成系統(tǒng)利用具體設(shè)計(jì)成捕獲高分辨率圖像的捕獲設(shè)備，由于捕獲設(shè)備要求預(yù)定的照明或者充足開明的環(huán)境來檢測(cè)任何對(duì)象或活體或在環(huán)境中發(fā)生的任何移動(dòng)，所以與環(huán)境的照明水平相關(guān)的問題還仍然在獲得期望的結(jié)果方面扮演令人掃興的角色。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

因此，仍然存在提供用于基于對(duì)環(huán)境中對(duì)象的感測(cè)、環(huán)境中發(fā)生的改變、環(huán)境中發(fā)生的活動(dòng)和環(huán)境中發(fā)生的交互來生成環(huán)境的簡(jiǎn)檔的改進(jìn)的方法和系統(tǒng)的需要。

問題的解決方案

示例性實(shí)施例的一個(gè)方面涉及用于通過檢測(cè)在通過利用具有點(diǎn)云相機(jī)的記錄設(shè)備生成的圖像中的對(duì)象的改變來生成對(duì)象周圍的環(huán)境的簡(jiǎn)檔的用于生成環(huán)境簡(jiǎn)檔的方法及其環(huán)境簡(jiǎn)檔生成裝置。

根據(jù)示例性實(shí)施例的一個(gè)方面，提供了一種用于生成環(huán)境簡(jiǎn)檔的方法，所述方法包括：通過借助至少一個(gè)記錄設(shè)備捕獲環(huán)境來生成環(huán)境的圖像；基于圖像檢測(cè)環(huán)境中對(duì)象的改變；以及基于對(duì)象的改變來生成環(huán)境的環(huán)境簡(jiǎn)檔。

至少一個(gè)記錄設(shè)備可包括RGB相機(jī)、熱相機(jī)、深度相機(jī)和點(diǎn)云相機(jī)中的一者。

所述方法可進(jìn)一步包括基于環(huán)境簡(jiǎn)檔為與環(huán)境相關(guān)的用戶生成推薦。

生成可包括基于檢測(cè)到對(duì)象的改變的時(shí)間和對(duì)象的改變的類型來生成環(huán)境簡(jiǎn)檔。

所述方法可進(jìn)一步包括利用音頻傳感器來分析環(huán)境的音頻信號(hào)，其中檢測(cè)包括基于音頻信號(hào)檢測(cè)對(duì)象的改變。

生成可包括基于圖像與用戶之間的相關(guān)性生成環(huán)境簡(jiǎn)檔。

對(duì)象的改變可包括對(duì)于對(duì)象的添加、刪除、替換、修改、位置的改變中的一者。

所述方法可進(jìn)一步包括基于對(duì)象的改變輸出用于用戶的推薦、通知和警告中的至少一者。

檢測(cè)可包括測(cè)量對(duì)象的改變的頻率，并且生成可包括基于對(duì)象的改變的頻率生成環(huán)境簡(jiǎn)檔。

所述方法可進(jìn)一步包括基于對(duì)象的改變確定用戶對(duì)對(duì)象的使用模式，其中生成包括基于用戶的使用模式來生成環(huán)境簡(jiǎn)檔。

根據(jù)示例性實(shí)施例的另一方面，提供了一種用于生成環(huán)境簡(jiǎn)檔的裝置，所述裝置包括：圖像生成器，配置為通過捕獲環(huán)境來生成環(huán)境的圖像；檢測(cè)器，配置為基于圖像來檢測(cè)環(huán)境中對(duì)象的改變；以及簡(jiǎn)檔生成器，配置為基于對(duì)象的改變來生成環(huán)境簡(jiǎn)檔。

圖像生成器可包括RGB相機(jī)、熱相機(jī)、深度相機(jī)和點(diǎn)云相機(jī)中的至少一者。

簡(jiǎn)檔生成器可基于環(huán)境簡(jiǎn)檔為與環(huán)境相關(guān)的用戶生成推薦。

簡(jiǎn)檔生成器可基于檢測(cè)到對(duì)象的改變的時(shí)間和對(duì)象的改變的類型來生成環(huán)境簡(jiǎn)檔。

所述裝置可進(jìn)一步包括配置為分析環(huán)境的音頻信號(hào)的音頻傳感器，其中檢測(cè)器基于音頻信號(hào)檢測(cè)對(duì)象的改變。

簡(jiǎn)檔生成器可基于圖像與用戶之間的相關(guān)性生成環(huán)境簡(jiǎn)檔。

對(duì)象的改變可包括對(duì)于對(duì)象的添加、刪除、替換、修改、位置的改變中的至少一者。

簡(jiǎn)檔生成器可基于對(duì)象的改變輸出用于用戶的推薦、通知和警告中的至少一者。

簡(jiǎn)檔生成器可基于對(duì)象的改變的頻率生成環(huán)境簡(jiǎn)檔。

簡(jiǎn)檔生成器可基于用戶對(duì)對(duì)象的使用模式來生成環(huán)境簡(jiǎn)檔，用戶對(duì)對(duì)象的使用模式基于對(duì)象的改變來確定。

根據(jù)示例性實(shí)施例的另一方面，提供了一種用于生成環(huán)境簡(jiǎn)檔的方法，所述方法包括：利用至少一個(gè)記錄設(shè)備捕獲表示環(huán)境的參數(shù)；基于參數(shù)檢測(cè)環(huán)境中的至少一個(gè)對(duì)象；以及基于對(duì)象來生成指示環(huán)境的特性的環(huán)境簡(jiǎn)檔。

參數(shù)可包括對(duì)象的點(diǎn)云數(shù)據(jù)。

檢測(cè)可包括：基于點(diǎn)云數(shù)據(jù)提取對(duì)象的3D外觀；以及從對(duì)象數(shù)據(jù)庫檢索匹配3D外觀的對(duì)象信息。

對(duì)象可包括與環(huán)境相關(guān)的人。

生成可包括將所述參數(shù)與先前與從環(huán)境檢測(cè)到的舊參數(shù)進(jìn)行比較；基于比較的結(jié)果檢測(cè)環(huán)境的改變；以及基于改變分析環(huán)境的特性。

環(huán)境的特性可包括與環(huán)境相關(guān)的人的行為模式。所述方法可進(jìn)一步包括基于環(huán)境簡(jiǎn)檔輸出用于控制環(huán)境中存在的至少一個(gè)設(shè)備的控制信號(hào)。

附圖說明

圖1是示意根據(jù)示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的方法的流程圖；

圖2是示意根據(jù)示例性實(shí)施例的生成環(huán)境簡(jiǎn)檔的方法的流程圖；

圖3是根據(jù)示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的裝置的框圖；

圖4是根據(jù)另一示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的裝置的框圖；

圖5是根據(jù)再另一示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的裝置的框圖；

圖6示意了根據(jù)示例性實(shí)施例的包括三個(gè)對(duì)象和用于感測(cè)環(huán)境中的至少一個(gè)參數(shù)的記錄設(shè)備的環(huán)境；

圖7示意了根據(jù)實(shí)施例的基于背景減除檢測(cè)改變的構(gòu)思；

圖8是示意根據(jù)示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖；

圖9是示意根據(jù)另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖；

圖10是示意根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖；

圖11是示意根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖；

圖12是示意根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖；

圖13是示意根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖；以及

圖14是示意根據(jù)示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔觸發(fā)警告的方法的流程圖。

具體實(shí)施方式

出于促進(jìn)對(duì)示例性實(shí)施例的原理的理解的目的，現(xiàn)在將對(duì)附圖進(jìn)行參考并且將使用特定言語來描述附圖。然而，將要理解，不打算借此限制本公開的范圍，本領(lǐng)域技術(shù)人員通常將想到在示意的系統(tǒng)中的這樣的變更和進(jìn)一步的修改以及本文示意的示例性實(shí)施例的原理的這樣的進(jìn)一步應(yīng)用。

本領(lǐng)域技術(shù)人員將理解，前面的概要描述和下面的詳細(xì)描述是示例性和解釋性的實(shí)施例，而不打算對(duì)實(shí)施例進(jìn)行限制。貫穿本公開，采用這樣的習(xí)慣：在附圖中，相同標(biāo)號(hào)表示相同部件。

貫穿本公開對(duì)“示例性實(shí)施例”、“另一示例性實(shí)施例”或類似言語的提及意思是聯(lián)系示例性實(shí)施例描述的特定特征、結(jié)構(gòu)或特性包括在至少一個(gè)示例性實(shí)施例中。因此，貫穿本說明書中出現(xiàn)的措辭“在示例性實(shí)施例中”、“在另一示例性實(shí)施例中”和類似言語可以但不一定全部涉及相同示例性實(shí)施例。

術(shù)語“包括”、“包含”或其任何其他變體意圖覆蓋非排他性包含，以使得包括步驟列表的過程或方法不僅包含這些步驟，還可包含未明確列出的或者這樣的過程或方法固有的其他步驟。類似地，如果沒有更多限制，則接在“包括”之后的一個(gè)或多個(gè)設(shè)備或子系統(tǒng)或元件或者結(jié)構(gòu)不排除其他設(shè)備或其他子系統(tǒng)或其他元件或其他結(jié)構(gòu)或附加設(shè)備或附加子系統(tǒng)或附加元件或者附加結(jié)構(gòu)的存在。

除非另有限定，否則本文使用的所有技術(shù)和科學(xué)術(shù)語具有與本發(fā)明所屬技術(shù)領(lǐng)域中普通技術(shù)人員通常理解相同的意義。本文提供的系統(tǒng)、方法和示例僅是示例性的，而不打算進(jìn)行限制。

將領(lǐng)會(huì)，來自點(diǎn)云相機(jī)的輸出包括深度相關(guān)信息并且因此這樣生成的簡(jiǎn)檔將具有比僅基于2D數(shù)據(jù)生成的簡(jiǎn)檔更高的質(zhì)量。除了上述之外，由于點(diǎn)云相機(jī)固有地提供深度相關(guān)信息，因此不需要執(zhí)行用于從2D數(shù)據(jù)獲得深度信息所涉及的圖像處理技術(shù)。因此，能夠預(yù)見處理時(shí)間大大減少，處理電路的復(fù)雜性降低，所有這些都可有助于降低成本。

還已經(jīng)觀察到，如果來自點(diǎn)云相機(jī)的輸出被用于對(duì)象識(shí)別處理，則相比于使用來自RGB相機(jī)的輸出，其會(huì)產(chǎn)生更好的結(jié)果。此外，已經(jīng)觀察到，如果來自點(diǎn)云相機(jī)的輸出被用于對(duì)象識(shí)別處理，則特別是在照明水平低(例如弱光條件或夜間條件)時(shí)，相比于來自RGB相機(jī)的輸出，其會(huì)產(chǎn)生更好的結(jié)果。

貫穿本公開，術(shù)語“對(duì)象”可涵蓋包括人的活體和非活體事物。

在示例性實(shí)施例中，可從包括點(diǎn)云相機(jī)和RGB相機(jī)、熱圖像傳感器和音頻傳感器中的至少一者的一個(gè)或多個(gè)記錄設(shè)備接收環(huán)境中的參數(shù)。例如，環(huán)境中的參數(shù)可通過使用下列組合來獲得：(a)點(diǎn)云相機(jī)和RGB相機(jī)，(b)點(diǎn)云相機(jī)和熱圖像傳感器，(c)點(diǎn)云相機(jī)和音頻傳感器，(d)點(diǎn)云相機(jī)、熱圖像傳感器和音頻傳感器，(e)點(diǎn)云相機(jī)、RGB相機(jī)和音頻傳感器。當(dāng)照明水平低(例如弱光條件或夜間條件)時(shí)，與單單使用點(diǎn)云相機(jī)相比，使用熱圖像傳感器提供對(duì)這樣生成的簡(jiǎn)檔質(zhì)量的附加增強(qiáng)。

下面將參考附圖詳細(xì)描述各種示例性實(shí)施例。

圖1是示意了根據(jù)示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的方法的流程圖。在操作102中，根據(jù)示例性實(shí)施例生成環(huán)境簡(jiǎn)檔的設(shè)備接收關(guān)于環(huán)境的至少一個(gè)參數(shù)?？赏ㄟ^圖像捕獲設(shè)備捕獲參數(shù)。例如，由點(diǎn)云相機(jī)捕獲的點(diǎn)云數(shù)據(jù)可為參數(shù)。參數(shù)可在連續(xù)的基礎(chǔ)上或周期性地捕獲。一般地，參數(shù)可與環(huán)境中存在的一個(gè)或多個(gè)對(duì)象關(guān)聯(lián)。對(duì)象可為環(huán)境中存在的包括人的活體或非活體事物。

在操作104中，檢查在參數(shù)中是否發(fā)生過任何改變(104)。為了檢測(cè)改變，將當(dāng)前接收到的參數(shù)的值與參數(shù)的基準(zhǔn)值比較。在這樣的基準(zhǔn)值不可用的情況下，可通過將參數(shù)的當(dāng)前值與參數(shù)的過去值比較來檢測(cè)參數(shù)的改變?？商鎿Q地，可使用參數(shù)的其他適當(dāng)值用于比較和檢測(cè)參數(shù)的改變的目的?？赏ㄟ^從過去的圖像幀減除接收的圖像幀來進(jìn)行檢測(cè)。

參數(shù)的改變的發(fā)生可歸因于任何原因。例如，原因可包括但不限于環(huán)境中發(fā)生的自然現(xiàn)象(其對(duì)對(duì)象具有影響)或活體執(zhí)行的動(dòng)作的結(jié)果。由活體執(zhí)行的動(dòng)作可涉及一個(gè)或多個(gè)其他活體或一個(gè)或多個(gè)活體事物。

可在操作106中評(píng)估已經(jīng)檢測(cè)到改變的參數(shù)。然而，對(duì)于進(jìn)一步的評(píng)估可不考慮某些類型的改變。例如，可限定就改變的程度來說的最小閾值，并且可過濾掉低于最小閾值限的改變。可注意到，可針對(duì)被監(jiān)測(cè)的參數(shù)中的所有或一些來設(shè)置最小閾值。作為另一示例，可在時(shí)間段的基礎(chǔ)上過濾掉改變。具體來說，可以限定一時(shí)間段，并且可考慮僅在該時(shí)間段期間發(fā)生的一些改變以用于進(jìn)一步評(píng)估。同樣，可針對(duì)被監(jiān)測(cè)的參數(shù)中的所有或一些來設(shè)置該時(shí)間段。

在操作106中，可評(píng)估已經(jīng)經(jīng)歷改變的參數(shù)并且可在評(píng)估的基礎(chǔ)上生成環(huán)境的簡(jiǎn)檔?？赏ㄟ^查閱存儲(chǔ)推斷集合的存儲(chǔ)設(shè)備來生成環(huán)境簡(jiǎn)檔，所述推斷集合與已經(jīng)經(jīng)歷改變的參數(shù)對(duì)應(yīng)。然而，不需要每個(gè)改變都具有對(duì)應(yīng)的環(huán)境簡(jiǎn)檔。簡(jiǎn)檔可反映多個(gè)參數(shù)，其中多個(gè)參數(shù)中的每一個(gè)都以廣泛狀態(tài)存在。

另外，可利用自學(xué)習(xí)方法來生成環(huán)境簡(jiǎn)檔。自學(xué)習(xí)方法可最初依賴包含在存儲(chǔ)設(shè)備中的數(shù)據(jù)，之后可逐漸增加或減少簡(jiǎn)檔的數(shù)量。還可以修改形成環(huán)境簡(jiǎn)檔的一部分的標(biāo)準(zhǔn)。

圖2是根據(jù)示例性實(shí)施例的更加詳細(xì)地示意了圖1的方法的流程圖。

在操作102中，從點(diǎn)云相機(jī)接收一個(gè)或多個(gè)參數(shù)。

在操作202中，可從記錄設(shè)備接收一個(gè)或多個(gè)附加參數(shù)。記錄設(shè)備可包括但不限于RGB相機(jī)、熱傳感器或音頻傳感器。

在操作204中，可檢測(cè)接收到的參數(shù)的改變?？稍诓僮?06中生成針對(duì)環(huán)境的簡(jiǎn)檔時(shí)考慮參數(shù)的改變。

在操作206中，可確定改變發(fā)生的頻率。

在操作208中，可在環(huán)境中在一時(shí)間段內(nèi)觀察特定類型的改變并且可基于重復(fù)發(fā)生的改變確定模式統(tǒng)計(jì)量?？纱鎯?chǔ)模式統(tǒng)計(jì)量供進(jìn)一步使用，例如用于簡(jiǎn)檔生成。

在操作212中，可使用接收到的參數(shù)查詢對(duì)象數(shù)據(jù)庫模塊。

在操作210中，識(shí)別與記錄的參數(shù)或改變的參數(shù)對(duì)應(yīng)的對(duì)象。一個(gè)參數(shù)可以與多個(gè)對(duì)象關(guān)聯(lián)。在這種情況下，可檢測(cè)參數(shù)的改變，并且可從與改變了的參數(shù)關(guān)聯(lián)的多個(gè)對(duì)象識(shí)別或然(probable)對(duì)象。

在操作106中，評(píng)估改變了的參數(shù)并且基于評(píng)估生成環(huán)境簡(jiǎn)檔。

在操作214中，基于檢測(cè)到的改變確定環(huán)境的主題。主題可從在存儲(chǔ)設(shè)備中可用的主題列表中確定。

環(huán)境簡(jiǎn)檔可涉及很多應(yīng)用。例如，其可用于向用戶發(fā)送推薦(216)，用于向用戶發(fā)送通知(218)或用于向用戶發(fā)送警告(220)。

圖3是根據(jù)示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的裝置的框圖。

裝置300可包括：接收單元302，用于從至少一個(gè)記錄設(shè)備(例如點(diǎn)云相機(jī))接收環(huán)境中的至少一個(gè)參數(shù)；改變檢測(cè)單元304，用于檢測(cè)參數(shù)的改變；以及簡(jiǎn)檔構(gòu)造模塊306，用于生成環(huán)境簡(jiǎn)檔。接收單元302、改變檢測(cè)單元304和簡(jiǎn)檔構(gòu)造模塊306可以以硬件或軟件的形式實(shí)現(xiàn)或?qū)崿F(xiàn)為嵌入式部件。

圖4是根據(jù)另一示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的裝置的框圖。

裝置400可包括接收單元302、改變檢測(cè)單元304、簡(jiǎn)檔構(gòu)造模塊306、分析模塊402、對(duì)象識(shí)別模塊404、對(duì)象數(shù)據(jù)庫406、推薦生成單元408、通知生成單元410和警告生成單元412。

除了從諸如點(diǎn)云相機(jī)的記錄設(shè)備接收一個(gè)或多個(gè)參數(shù)之外，接收單元302還可從其他記錄設(shè)備(例如，RGB相機(jī)、熱傳感器或音頻傳感器)接收一個(gè)或多個(gè)附加參數(shù)。改變檢測(cè)單元304可檢測(cè)從這些其他記錄設(shè)備接收的附加參數(shù)的改變。簡(jiǎn)檔構(gòu)造模塊306可將在附加參數(shù)中檢測(cè)到的改變考慮在內(nèi)以生成針對(duì)環(huán)境的簡(jiǎn)檔。簡(jiǎn)檔構(gòu)造模塊306可基于檢測(cè)到的改變確定環(huán)境的主題。主題可從在存儲(chǔ)設(shè)備中可用的主題列表中選擇。

分析模塊402可確定參數(shù)改變發(fā)生的頻率。分析模塊402可進(jìn)一步基于重復(fù)發(fā)生的改變確定模式統(tǒng)計(jì)量并且將模式統(tǒng)計(jì)量存儲(chǔ)在存儲(chǔ)設(shè)備中供進(jìn)一步使用，例如用于環(huán)境簡(jiǎn)檔生成。

如果沒有識(shí)別出參數(shù)與對(duì)象之間的關(guān)聯(lián)性，則對(duì)象識(shí)別模塊404可識(shí)別與記錄的參數(shù)或改變的參數(shù)對(duì)應(yīng)的或然對(duì)象。為了這樣做，對(duì)象識(shí)別模塊404可使用至少一個(gè)捕獲的參數(shù)來在對(duì)象數(shù)據(jù)庫406中執(zhí)行搜索。

推薦生成單元408可生成并提供推薦給用戶。通知生成單元410可生成并提供通知給用戶。警告生成單元412可生成并提供警告給用戶。

圖5是根據(jù)再另一示例性實(shí)施例的用于生成環(huán)境簡(jiǎn)檔的裝置的框圖。裝置500可包括能夠被執(zhí)行以使得裝置500執(zhí)行本公開中示例性實(shí)施例中的一個(gè)或多個(gè)的一組指令。裝置500可操作為單機(jī)設(shè)備或可例如使用網(wǎng)絡(luò)連接到其他計(jì)算設(shè)備或外圍設(shè)備。

裝置500可實(shí)現(xiàn)為各種設(shè)備或結(jié)合到各種設(shè)備中，所述各種設(shè)備諸如個(gè)人計(jì)算機(jī)(PC)、平板PC、機(jī)頂盒(STB)、個(gè)人數(shù)字助理(PDA)、移動(dòng)設(shè)備、掌上計(jì)算機(jī)、膝上計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、電視機(jī)或能夠執(zhí)行使得機(jī)器執(zhí)行本公開中的示例性實(shí)施例的一個(gè)或多個(gè)的一組指令(順序的或其它形式的)的任何其他機(jī)器。另外，盡管在圖5中示意了單個(gè)裝置500，但是裝置可包括單獨(dú)或共同執(zhí)行一組或多組指令以根據(jù)示例性實(shí)施例執(zhí)行一個(gè)或多個(gè)功能的系統(tǒng)或子系統(tǒng)的任意集合。

裝置500可包括處理器502(例如中央處理單元(CPU))、圖形處理單元(GPU)或這兩者。處理器502可為多種系統(tǒng)中的部件。處理器502可為一個(gè)或多個(gè)通用處理器、數(shù)字信號(hào)處理器、專用集成電路、現(xiàn)場(chǎng)可編程門陣列、服務(wù)器、網(wǎng)絡(luò)、數(shù)字電路、模擬電路、其組合或用于分析和處理數(shù)據(jù)的其他現(xiàn)在已知或以后開發(fā)的設(shè)備。處理器502可實(shí)現(xiàn)為軟件程序，諸如手動(dòng)生成的(即，編程的)代碼。

術(shù)語“模塊”可解釋為包括多個(gè)可執(zhí)行模塊。如本文所描述的，模塊可包括能夠由處理器(諸如處理器502)執(zhí)行的軟件、硬件或其某種組合。軟件模塊可包括能夠由處理器502或其他處理器執(zhí)行的存儲(chǔ)在存儲(chǔ)器(諸如存儲(chǔ)器504或另外的存儲(chǔ)器設(shè)備)中的指令。硬件模塊可包括能夠被執(zhí)行、引導(dǎo)或以其他方式控制以用于由處理器502執(zhí)行的各種設(shè)備、部件、電路、門、電路板等。

裝置500可包括存儲(chǔ)器504，存儲(chǔ)器504可連接到總線508。存儲(chǔ)器504可為主存儲(chǔ)器、靜態(tài)存儲(chǔ)器或動(dòng)態(tài)存儲(chǔ)器。存儲(chǔ)器504可包括各種類型的易失性和非易失性存儲(chǔ)介質(zhì)。例如，存儲(chǔ)器504可包括但不限于隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、可編程只讀存儲(chǔ)器、電可編程只讀存儲(chǔ)器、電可擦除只讀存儲(chǔ)器、閃存存儲(chǔ)器、磁帶或盤、光學(xué)介質(zhì)等。存儲(chǔ)器504可包括用于處理器502的高速緩存或隨機(jī)存取存儲(chǔ)器或者可以與處理器502分離，諸如系統(tǒng)存儲(chǔ)器。存儲(chǔ)器504可為外部存儲(chǔ)設(shè)備或用于存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫。例如，存儲(chǔ)器504可包括硬盤驅(qū)動(dòng)器、致密盤(“CD”)、數(shù)字視頻盤(“DVD”)、存儲(chǔ)卡、存儲(chǔ)棒、軟盤、通用串行總線(“USB”)存儲(chǔ)設(shè)備或進(jìn)行操作以存儲(chǔ)數(shù)據(jù)的任何其他設(shè)備。存儲(chǔ)器504可操作為存儲(chǔ)能夠被處理器502執(zhí)行的指令。根據(jù)示例性實(shí)施例的功能、動(dòng)作或任務(wù)可由執(zhí)行存儲(chǔ)在存儲(chǔ)器504中的指令的經(jīng)編程的處理器502來執(zhí)行。所述功能、動(dòng)作或任務(wù)不依賴于特定類型的指令集、存儲(chǔ)介質(zhì)、處理器或處理策略，并且可由單獨(dú)或組合操作的軟件、硬件、集成電路、固件、微碼等來執(zhí)行。同樣，處理策略包括多處理、多任務(wù)、并行處理等。

顯示單元510包括但不限于液晶顯示器(LCD)、有機(jī)發(fā)光二極管(OLED)、平板顯示器、固態(tài)顯示器、陰極射線管(CRT)、投影儀、打印機(jī)或用于輸出確定的信息的其他現(xiàn)在已知或以后開發(fā)的顯示設(shè)備。顯示器510可充當(dāng)使用戶看到處理器502的功能的接口，或具體地用作與存儲(chǔ)在存儲(chǔ)器504中的或在驅(qū)動(dòng)單元516中的軟件的接口。裝置500可不包括顯示單元510。

用戶輸入設(shè)備512可允許用戶與裝置500的部件中的任一個(gè)交互。用戶輸入設(shè)備512可借助數(shù)字鍵區(qū)、鍵盤、諸如鼠標(biāo)或控制桿的光標(biāo)控制設(shè)備、觸摸屏顯示器、遙控器或進(jìn)行操作以與裝置500交互的任何其他設(shè)備。

驅(qū)動(dòng)單元516可包括計(jì)算機(jī)可讀介質(zhì)522，在計(jì)算機(jī)可讀介質(zhì)522中可存儲(chǔ)一組或多組指令524，例如軟件。另外，指令524可體現(xiàn)所描述的示例性實(shí)施例的算法中的一個(gè)或多個(gè)。例如，指令524在被裝置500執(zhí)行期間可完全地或至少部分地駐存在存儲(chǔ)器504內(nèi)或處理器502內(nèi)。存儲(chǔ)器504和處理器502還可包括在上面論述的計(jì)算機(jī)可讀介質(zhì)。

示例性實(shí)施例設(shè)想到了包括指令524或響應(yīng)于傳播的信號(hào)接收并執(zhí)行指令524的計(jì)算機(jī)可讀介質(zhì)，以使得連接到網(wǎng)絡(luò)526的設(shè)備能夠通過網(wǎng)絡(luò)526傳送語音、視頻、音頻、圖像或任何其他數(shù)據(jù)。另外，可經(jīng)由通信通過總線508或通過網(wǎng)絡(luò)526傳輸或接收指令524。通信接口520可為處理器502的一部分或者可為單獨(dú)的部件。通信接口520可以以軟件或硬件來實(shí)現(xiàn)。通信接口520可以與網(wǎng)絡(luò)526、外部介質(zhì)、顯示器510或計(jì)算系統(tǒng)500中的任何其他部件或其組合連接。

術(shù)語“計(jì)算機(jī)可讀介質(zhì)”可包括單個(gè)介質(zhì)或多個(gè)介質(zhì)，諸如集中式或分布式數(shù)據(jù)庫和關(guān)聯(lián)的高速緩存以及存儲(chǔ)一組或多組指令的服務(wù)器。術(shù)語“計(jì)算機(jī)可讀介質(zhì)”還可包括能夠存儲(chǔ)、編碼或承載用于由處理器執(zhí)行或使得計(jì)算機(jī)系統(tǒng)執(zhí)行所公開的方法或操作中的任意一個(gè)或多個(gè)的一組指令的任意介質(zhì)。“計(jì)算機(jī)可讀介質(zhì)”可為非暫態(tài)且有形的。

計(jì)算機(jī)可讀介質(zhì)可包括諸如存儲(chǔ)卡的固態(tài)存儲(chǔ)器或容納一個(gè)或多個(gè)非易失性只讀存儲(chǔ)器的其他封裝。另外，計(jì)算機(jī)可讀介質(zhì)可為隨機(jī)存取存儲(chǔ)器或其他易失性可再寫入存儲(chǔ)器。此外，計(jì)算機(jī)可讀介質(zhì)可包括磁光介質(zhì)或光學(xué)介質(zhì)(諸如盤或帶或其他存儲(chǔ)設(shè)備)以捕獲載波信號(hào)，諸如通過傳輸介質(zhì)傳送的信號(hào)。電子郵件的數(shù)字文件附件或其他自包含的信息檔案或檔案的集合可視作為有形存儲(chǔ)介質(zhì)的分布介質(zhì)。因此，設(shè)想到本公開包括計(jì)算機(jī)可讀介質(zhì)或分布介質(zhì)和其他等價(jià)物以及數(shù)據(jù)或指令可存儲(chǔ)在其中的接繼介質(zhì)中的任一個(gè)或多個(gè)。

裝置500可借助專用硬件實(shí)現(xiàn)方式(諸如專用集成電路、可編程邏輯陣列和其他硬件設(shè)備)來實(shí)現(xiàn)。

示例性實(shí)施例的應(yīng)用可涉及多種電子和計(jì)算機(jī)系統(tǒng)。一些示例性實(shí)施例可使用兩個(gè)或更多個(gè)特定的互連硬件模塊或設(shè)備。相關(guān)的控制和數(shù)據(jù)信號(hào)可在模塊之間并通過模塊傳送，或作為專用集成電路的部分傳送。因此，示例性實(shí)施例可涵蓋軟件、固件和硬件實(shí)現(xiàn)方式。

下面將通過不同場(chǎng)景詳細(xì)描述示例性實(shí)施例。

正在日益增加地使用推薦系統(tǒng)來在生活中輔助用戶，但是大多數(shù)推薦系統(tǒng)和算法仍然依賴用戶的數(shù)字生活來識(shí)別用戶的選擇并相應(yīng)地生成簡(jiǎn)檔。然而，更合意的是簡(jiǎn)檔反映其在其中生活的真實(shí)環(huán)境。圖6示意了根據(jù)示例性實(shí)施例的包括三個(gè)對(duì)象和用于感測(cè)環(huán)境中的至少一個(gè)參數(shù)的記錄設(shè)備的環(huán)境。在示例性實(shí)施例中，點(diǎn)云相機(jī)可用作記錄設(shè)備以捕獲用戶的生活環(huán)境及真實(shí)的生活事實(shí)。點(diǎn)云相機(jī)可結(jié)合在TV中或連接到計(jì)算設(shè)備。如在圖6中示意的，三個(gè)對(duì)象存在于用戶的環(huán)境中。本領(lǐng)域普通技術(shù)人員將理解，環(huán)境可被修改以包括任何其他可替換對(duì)象。其他記錄設(shè)備可以與點(diǎn)云相機(jī)結(jié)合或連接以監(jiān)測(cè)環(huán)境的參數(shù)。這種方法具有許多優(yōu)點(diǎn)；例如，由于捕獲的場(chǎng)景固定，所以需要處理的數(shù)據(jù)較少。此外，通過僅僅分析場(chǎng)景中的動(dòng)態(tài)對(duì)象，可以進(jìn)一步提高速度和準(zhǔn)確性。借助其他傳感器(諸如一般的相機(jī)(或可替換地稱為RGB相機(jī))、熱傳感器(例如紅外傳感器)、音頻傳感器等)的幫助而非只用點(diǎn)云相機(jī)，可以更準(zhǔn)確和迅速地分析環(huán)境。

在示例性實(shí)施例中，可使用點(diǎn)云相機(jī)分析包括用戶及其行為的環(huán)境。被監(jiān)測(cè)并用于生成簡(jiǎn)檔的參數(shù)可包括但不限于下列各項(xiàng)：

1、房間中的對(duì)象：房間中對(duì)象的種類，例如，電子物品、古董物品、家具、裝飾物品等；

2、觀看TV的人數(shù)：這提供可能的用戶計(jì)數(shù)；

3、房間中發(fā)生的改變的頻率：房間中事物被添加/改變得有多頻繁；

4、房間中對(duì)象的屬性，例如廉價(jià)/昂貴、現(xiàn)代/古董、實(shí)用/裝飾、顏色豐富/晦暗等；

5、房間和對(duì)象的顏色；

6、在觀看TV時(shí)的照明條件等。

一旦創(chuàng)建了簡(jiǎn)檔，就可以向用戶提供推薦，所述推薦不僅針對(duì)數(shù)字內(nèi)容還針對(duì)真實(shí)世界物品，諸如衣物、電子物品等。另外，可使用多個(gè)用戶的簡(jiǎn)檔來提供跨用戶的推薦?？稍趯?shí)時(shí)的基礎(chǔ)上、在時(shí)間延遲的基礎(chǔ)上或在批模式的基礎(chǔ)上生成簡(jiǎn)檔。時(shí)間延遲的基礎(chǔ)可涉及捕獲參數(shù)的時(shí)間與生成簡(jiǎn)檔的時(shí)間之間的時(shí)間差。在批模式中，可使用多個(gè)參數(shù)來生成環(huán)境簡(jiǎn)檔。在批模式的示例性實(shí)施例中，可僅處理在預(yù)定時(shí)間段期間捕獲的參數(shù)來生成環(huán)境簡(jiǎn)檔。另外，可以對(duì)要用于生成環(huán)境簡(jiǎn)檔的參數(shù)的數(shù)量施加限制。

示例性實(shí)施例假設(shè)：

(1)用戶對(duì)其使用最多的對(duì)象感興趣，

(2)每當(dāng)對(duì)象被使用時(shí)，其狀態(tài)被改變。

這樣，為了識(shí)別用戶感興趣的對(duì)象，需要識(shí)別隨著時(shí)間推移改變其狀態(tài)的對(duì)象。參考圖6，對(duì)于固定環(huán)境可通過使用靜態(tài)點(diǎn)云相機(jī)來容易地檢測(cè)狀態(tài)的改變。如在前面提及的，諸如RGB相機(jī)、熱傳感器、音頻傳感器等的附加傳感器可用于檢測(cè)各種種類的改變。例如，RGB相機(jī)和熱傳感器中的每一個(gè)都可提供與例如位置或物理性質(zhì)(例如顏色)的改變有關(guān)的信息。傳感器可在一時(shí)間段內(nèi)連續(xù)地監(jiān)測(cè)環(huán)境并且通過將當(dāng)前的捕獲的幀與先前的幀比較來找到改變的對(duì)象。這種方法為檢測(cè)用戶感興趣的對(duì)象產(chǎn)生更好的準(zhǔn)確性和性能。用戶的簡(jiǎn)檔可基于用戶的對(duì)象使用行為和時(shí)間信息來生成。

可通過點(diǎn)云相機(jī)以及可選地通過一個(gè)或多個(gè)附加設(shè)備(諸如RGB相機(jī)、熱傳感器等)來捕獲圖像并且可對(duì)它們進(jìn)行處理并識(shí)別在一時(shí)間段內(nèi)在場(chǎng)景中被改變的對(duì)象?；跁r(shí)間，對(duì)環(huán)境改變模式進(jìn)行記錄，該環(huán)境改變模式進(jìn)一步用于準(zhǔn)備環(huán)境簡(jiǎn)檔。該簡(jiǎn)檔進(jìn)一步用于在數(shù)字/真實(shí)世界中預(yù)測(cè)和輔助用戶。

在示例性實(shí)施例中，環(huán)境簡(jiǎn)檔生成系統(tǒng)300可包括：

1、圖像捕獲模塊

2、圖像分析模塊

3、對(duì)象識(shí)別模塊

4、對(duì)象數(shù)據(jù)庫模塊

5、音頻捕獲及分析模塊

6、簡(jiǎn)檔生成模塊

7、基于簡(jiǎn)檔的推薦模塊

下面是對(duì)模塊的詳細(xì)描述：

1、圖像捕獲模塊：該模塊負(fù)責(zé)從環(huán)境捕獲圖像?？赏ㄟ^使用點(diǎn)云相機(jī)來進(jìn)行圖像捕獲。除了點(diǎn)云相機(jī)之外，還可以額外地使用諸如RGB相機(jī)或熱相機(jī)的其他設(shè)備?？蛇B續(xù)地(如同視頻流)捕獲環(huán)境，或者可僅當(dāng)在場(chǎng)景幀中識(shí)別出顯著改變時(shí)才捕獲環(huán)境?？赏ㄟ^點(diǎn)云相機(jī)、RGB相機(jī)和熱圖像傳感器中的一個(gè)或多個(gè)檢測(cè)該改變?？苫跉v史、時(shí)間和其他參數(shù)來自動(dòng)調(diào)整改變檢測(cè)閾值。一旦捕獲到點(diǎn)云圖像，就可以將其他設(shè)備(RGB相機(jī)及熱傳感器)的內(nèi)容和相關(guān)信息一起進(jìn)行存儲(chǔ)。

2、圖像分析模塊：該模塊負(fù)責(zé)分析捕獲的信息。在示例性實(shí)施例中，捕獲的信息可包含可選地帶有RGB數(shù)據(jù)和IR數(shù)據(jù)的點(diǎn)云信息。該模塊借助不同的圖像處理技術(shù)使用點(diǎn)云信息并可選地使用IR數(shù)據(jù)或RGB數(shù)據(jù)來識(shí)別在圖像幀中發(fā)生的改變。最基本的技術(shù)之一可為背景減除，其中使用先前圖像作為參考并且減去下一幀緩沖以識(shí)別改變的區(qū)域。該技術(shù)可用于所有三種類型的傳感器，即點(diǎn)云相機(jī)、RGB相機(jī)和熱傳感器。一旦識(shí)別出所述區(qū)域，就可以通過其他模塊進(jìn)一步處理圖像以用于對(duì)象檢測(cè)。

3、對(duì)象識(shí)別模塊：該模塊可從圖像分析模塊得到幀信息并且識(shí)別在其中存在的對(duì)象。對(duì)于檢測(cè)人，熱圖像可被用作線索。如果在熱圖像中存在的溫度不匹配人體的溫度，則可將人計(jì)數(shù)設(shè)置為零。如果某區(qū)域顯示匹配人體溫度的溫度，則可能需要使用點(diǎn)云數(shù)據(jù)和RGB數(shù)據(jù)進(jìn)一步分析以找到存在的人。為了檢測(cè)人的存在，并不強(qiáng)制要求熱傳感器。在沒有熱傳感器的情況下，單單來自點(diǎn)云相機(jī)的數(shù)據(jù)可用于人檢測(cè)。

類似地，可基于對(duì)象的3D形狀來識(shí)別對(duì)象。例如，可使用點(diǎn)云數(shù)據(jù)來識(shí)別立方或球形表面。一旦對(duì)象被識(shí)別為具有立方表面，則RGB數(shù)據(jù)就可以與被識(shí)別的立方表面一起用作查詢以在立方對(duì)象數(shù)據(jù)庫中執(zhí)行搜索。溫度數(shù)據(jù)也可以與形狀數(shù)據(jù)一起使用。例如，溫度數(shù)據(jù)和表面數(shù)據(jù)可融合在一起來形成唯一的設(shè)備簽名。

4、對(duì)象數(shù)據(jù)庫模塊：該模塊可包含可能存在于特定環(huán)境(例如用戶的起居室)中的一般對(duì)象的信息。數(shù)據(jù)庫可包括對(duì)象的2D圖像和3D點(diǎn)云數(shù)據(jù)、溫度簽名中的一個(gè)或多個(gè)。稍后可使用該信息來識(shí)別場(chǎng)景中可得到的對(duì)象。

5、音頻捕獲及分析模塊：該模塊可連續(xù)地監(jiān)測(cè)在環(huán)境中檢測(cè)到的音頻信號(hào)并對(duì)它們進(jìn)行分析以識(shí)別音頻信號(hào)的類型，例如噪聲、音樂、話音等。如果其原來是音樂的話，則可對(duì)其進(jìn)行進(jìn)一步分析以識(shí)別音樂的屬性或流派，例如輕音樂、搖滾、爵士、古典等。該信息可以與其他模塊組合以改進(jìn)簡(jiǎn)檔。在沒有音頻信息的情況下，該模塊可依賴于從點(diǎn)云相機(jī)或其他附加設(shè)備接收的信息。

6、簡(jiǎn)檔生成模塊：該模塊可基于在一時(shí)間段內(nèi)在場(chǎng)景中識(shí)別的對(duì)象來生成環(huán)境簡(jiǎn)檔?？墒褂脤?duì)象屬性(例如名稱、顏色、類型、地點(diǎn)、時(shí)間)來生成簡(jiǎn)檔。例如，可通過分析在一時(shí)間段內(nèi)用戶衣物的圖像來識(shí)別用戶的衣物購買模式?？墒褂迷撃Ｊ絹硗扑]在該特定月份中的衣物。

類似地，如果在場(chǎng)景中識(shí)別出不同種類的電子配件(諸如移動(dòng)設(shè)備、膝上設(shè)備和平板)，則可以確定用戶對(duì)技術(shù)十分感興趣，并且可以生成對(duì)相關(guān)產(chǎn)品的推薦。

簡(jiǎn)檔可反映許多其他信息，諸如睡眠模式、衣物/設(shè)備的顏色模式、光的顏色和模式、對(duì)象擺放、在房間中的對(duì)象編排等。

7、基于簡(jiǎn)檔的推薦模塊：該模塊可基于生成的簡(jiǎn)檔為用戶提供推薦。此處，當(dāng)用戶的簡(jiǎn)檔相似時(shí)，可使用跨用戶的推薦來基于一個(gè)用戶的簡(jiǎn)檔向另一用戶推薦新事物。例如，如果用戶的簡(jiǎn)檔基于在其房間中檢測(cè)到的吉他圖片和吉他聲音反映其對(duì)吉他感興趣，則如果在與用戶的簡(jiǎn)檔相似的其他用戶的簡(jiǎn)檔中檢測(cè)到吉他音樂事件，則可向用戶推薦該吉他音樂事件。

由于對(duì)象是真實(shí)的(不是數(shù)字對(duì)象)，所以由示例性實(shí)施例提供的推薦將給用戶的數(shù)字世界及真實(shí)世界添加價(jià)值。

這樣，示例性實(shí)施例的一個(gè)優(yōu)點(diǎn)是其提供了基于與真實(shí)世界相關(guān)的輸入的在線/離線推薦系統(tǒng)。在示例性實(shí)施例中，可以以高效方式識(shí)別用戶對(duì)各種對(duì)象的密切度和與各種對(duì)象的交互模式?？梢栽谔摂M世界和真實(shí)世界兩者中利用該信息。例如，如果基于在場(chǎng)景中存在昂貴物品而確定用戶的生活方式為奢侈的話，則可向其推薦高級(jí)物品或數(shù)字內(nèi)容。這樣，用戶可得到針對(duì)虛擬世界和真實(shí)世界兩者的推薦。

在示例性實(shí)施例中，環(huán)境簡(jiǎn)檔聚焦于環(huán)境簡(jiǎn)檔而非聚焦于個(gè)人用戶，可提供多用戶推薦。例如，如果環(huán)境涉及多個(gè)用戶，則環(huán)境簡(jiǎn)檔可包括多個(gè)用戶并且基于該簡(jiǎn)檔生成的推薦可以與多個(gè)用戶相關(guān)。另一方面，如果環(huán)境僅涉及一個(gè)用戶，則可僅向該用戶生成推薦。

當(dāng)分析環(huán)境時(shí)，最重要的是監(jiān)測(cè)兩件事物：改變(物理移動(dòng)及狀態(tài)改變)的對(duì)象和改變的時(shí)間。環(huán)境簡(jiǎn)檔可基于該觀察來生成。例如，假設(shè)將在晚上使用吉他并且在中午使用微波爐。在不知道是否有一個(gè)用戶做出這些動(dòng)作的情況下，根據(jù)示例性實(shí)施例的裝置可生成簡(jiǎn)檔和在晚上使用吉他及在白天使用微波爐的推薦。另一方面，如果通過利用用戶標(biāo)識(shí)、面部識(shí)別或任何其他技術(shù)識(shí)別出兩個(gè)動(dòng)作都由相同用戶做出，可生成推薦以向該用戶建議在任意時(shí)間使用吉他或微波爐。

從點(diǎn)云相機(jī)輸出的數(shù)據(jù)可用于不是創(chuàng)建環(huán)境簡(jiǎn)檔的其他目的。例如，點(diǎn)云相機(jī)可用于姿態(tài)檢測(cè)。同樣地，熱傳感器可用于人存在檢測(cè)以及用于環(huán)境簡(jiǎn)檔生成。這樣，包括該設(shè)備的系統(tǒng)可配置為執(zhí)行除了環(huán)境簡(jiǎn)檔生成之外的功能。

由于分析真實(shí)世界對(duì)象相當(dāng)具有挑戰(zhàn)性，所以可基于點(diǎn)云相機(jī)數(shù)據(jù)來對(duì)對(duì)象進(jìn)行分類。特別地，當(dāng)提到檢測(cè)活體時(shí)，可使用低分辨率熱傳感器基于活體對(duì)象的溫度來對(duì)活體對(duì)象進(jìn)行分類。這些技術(shù)在檢測(cè)低光或黑暗環(huán)境中的移動(dòng)時(shí)非常有用。同樣，與使用諸如面部/身體識(shí)別的其他圖像處理技術(shù)相比，使用熱相機(jī)識(shí)別人會(huì)容易得多。例如，具有低分辨率的點(diǎn)云數(shù)據(jù)和低分辨率熱傳感器的溫度數(shù)據(jù)的組合可用于識(shí)別人。

在示例性實(shí)施例中，可連續(xù)地監(jiān)測(cè)對(duì)象以識(shí)別在時(shí)間域中被修改的對(duì)象。這意味著在一時(shí)間段內(nèi)面臨某種改變的對(duì)象是感興趣的對(duì)象。所述改變可為從位置改變到狀態(tài)改變范圍中的任何改變。例如，當(dāng)用戶將手持式設(shè)備從一個(gè)地方移動(dòng)到另一個(gè)地方(物理改變)時(shí)、當(dāng)用戶打開微波爐的門(狀態(tài)改變)時(shí)或當(dāng)數(shù)字照片幀改變其內(nèi)容(狀態(tài)改變)時(shí)可發(fā)生這樣的改變。所有這些改變可被監(jiān)測(cè)并且經(jīng)由連續(xù)監(jiān)測(cè)來容易地檢測(cè)。一旦檢測(cè)到改變，就可以從圖像幀識(shí)別出發(fā)生這樣的改變的區(qū)域并且可使用點(diǎn)云數(shù)據(jù)提取改變的3D對(duì)象結(jié)構(gòu)。

可在數(shù)據(jù)庫中檢查該提取的3D結(jié)構(gòu)以找到相應(yīng)的對(duì)象的屬性，諸如性質(zhì)、類型、名稱和品牌等。一旦可得到關(guān)于改變的對(duì)象的細(xì)節(jié)或知識(shí)，就可以基于隨著時(shí)間推移被記錄的對(duì)象的改變確定其使用模式。對(duì)象的屬性和使用模式可用于創(chuàng)建環(huán)境簡(jiǎn)檔，環(huán)境簡(jiǎn)檔可進(jìn)一步用作推薦系統(tǒng)的輸入。

圖7示意了基于背景減除檢測(cè)改變的構(gòu)思。

來自各種硬件傳感器(例如RGB相機(jī)、點(diǎn)云相機(jī)、熱相機(jī)和麥克風(fēng))的數(shù)據(jù)可用作輸入以通過將其與先前狀態(tài)比較來找到環(huán)境狀態(tài)的改變。在檢測(cè)到一些大的改變之后可觸發(fā)對(duì)象識(shí)別過程。檢測(cè)可通過逐幀的比較或通過利用某種概率模型以分析對(duì)象改變行為來進(jìn)行。一旦檢測(cè)到改變，則改變的對(duì)象被從幀中提取出并且被進(jìn)一步分析。參考圖7，可以觀察到在幀1和幀2之間沒有改變，但是在幀2和幀3之間存在改變。通過應(yīng)用背景減除，產(chǎn)生了被分析的幀3。利用被分析的幀和對(duì)象數(shù)據(jù)庫，可識(shí)別改變了的對(duì)象。

如在前面提及的，對(duì)象的改變可以以各種形式發(fā)生。其可為對(duì)象的物理移動(dòng)或狀態(tài)改變。例如，當(dāng)人穿著不同的衣物時(shí)可發(fā)生狀態(tài)改變。通過利用顏色、溫度和點(diǎn)云屬性，可容易地識(shí)別對(duì)象及其改變。

在示例性實(shí)施例中，當(dāng)對(duì)象頻繁地改變它們的狀態(tài)時(shí)可識(shí)別用戶感興趣的對(duì)象。通過連續(xù)地監(jiān)測(cè)用戶的服裝，可識(shí)別衣物的類型(一般或聚會(huì)穿著)并且可預(yù)測(cè)用戶什么時(shí)候?qū)⒂芯蹠?huì)。

基于對(duì)象的類型及其改變，可針對(duì)用戶生成簡(jiǎn)檔。例如，簡(jiǎn)檔可指示用戶的稟性，例如聚會(huì)愛好者。基于該簡(jiǎn)檔可以進(jìn)行從自動(dòng)警告(對(duì)于可能的未來事件)到產(chǎn)品推薦(與用戶的喜好類似的新產(chǎn)品)范圍中的許多事情。

圖8是示意了根據(jù)示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖。

在操作802中，接收捕獲的圖像。

在操作804中，分析接收的圖像?？梢砸匀缭趫D7中示意的方式來執(zhí)行圖像分析。

在操作806中，確定對(duì)象的類別。

在操作808中，一旦確定了對(duì)象的類別，就在對(duì)象數(shù)據(jù)庫中針對(duì)特定對(duì)象執(zhí)行搜索。

在操作810中，識(shí)別可推薦內(nèi)容。

在操作812中，將推薦提供給用戶。

例如，如果檢測(cè)到存在兒童或與兒童相關(guān)的對(duì)象(諸如玩具、學(xué)步車等)，則可以基于檢測(cè)到的對(duì)象生成環(huán)境簡(jiǎn)檔，并且然后可以基于生成的環(huán)境簡(jiǎn)檔向用戶提供對(duì)兒童相關(guān)電視頻道和類似內(nèi)容的推薦。

圖9是示意了根據(jù)另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖。

在操作902中，接收捕獲的圖像。

在操作904中，分析所述圖像?？梢砸匀缭趫D7中示意的方式來執(zhí)行圖像分析。

在操作906中，可接收來自熱傳感器的數(shù)據(jù)。

在操作908中，利用來自熱傳感器的數(shù)據(jù)連同圖像分析的輸出檢測(cè)用戶的存在。

在操作910中，如果檢測(cè)到用戶的存在，則執(zhí)行人體態(tài)識(shí)別。

在操作912中，人體態(tài)識(shí)別的結(jié)果被用于確定用戶是清醒著還是在睡覺。

在操作914中，在用戶睡著的情況下，可對(duì)TV進(jìn)行控制，例如關(guān)閉。

如上所述，可基于生成的環(huán)境簡(jiǎn)檔提供對(duì)于設(shè)備的控制信號(hào)作為推薦。可通過在一時(shí)間段內(nèi)利用熱傳感器、點(diǎn)云相機(jī)和RGB相機(jī)中的一個(gè)或多個(gè)檢測(cè)人的存在或不存在來實(shí)現(xiàn)這種應(yīng)用。更具體地，可以在一時(shí)間段內(nèi)學(xué)習(xí)用戶的3D身體體態(tài)并且可以確定用戶是否在睡覺。

圖10是示意了根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖。

在操作1002中，接收捕獲的圖像。

在操作1004中，分析所述圖像。可以以如在圖7中示意的方式來執(zhí)行圖像分析。

在操作1006中，基于分析的圖像執(zhí)行姿勢(shì)識(shí)別。

在操作1008中，基于識(shí)別的姿勢(shì)，通過查閱數(shù)據(jù)庫來識(shí)別活動(dòng)。

在操作1010中，基于識(shí)別的活動(dòng)生成簡(jiǎn)檔。

在操作1012中，取回適合于簡(jiǎn)檔的推薦并且將其提供給用戶。

基于對(duì)用戶的身體體態(tài)、食物習(xí)慣和鍛煉習(xí)慣的連續(xù)監(jiān)測(cè)，環(huán)境簡(jiǎn)檔可反映用戶的卡路里/營(yíng)養(yǎng)簡(jiǎn)檔。這樣，基于環(huán)境簡(jiǎn)檔可給用戶提供周期性的健康推薦和針對(duì)性的廣告。

圖11是示意了根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖。

在操作1102中，接收捕獲的圖像。

在操作1104中，分析所述圖像。

在操作1106中，基于分析的圖像執(zhí)行人識(shí)別。

在操作1108中，查詢數(shù)據(jù)庫并且檢索與由被識(shí)別的人執(zhí)行的活動(dòng)有關(guān)的信息。

在操作1110中，針對(duì)所述活動(dòng)對(duì)人進(jìn)行監(jiān)測(cè)。

在操作1112中，報(bào)告由所述人執(zhí)行的活動(dòng)。

示例性實(shí)施例可構(gòu)建專用于用戶的環(huán)境簡(jiǎn)檔。如果用戶每天都在家，則用戶很有可能是主婦、退休專家或病人。相應(yīng)地，基于特定于所述用戶構(gòu)建的簡(jiǎn)檔，可監(jiān)測(cè)存在的小時(shí)數(shù)、干完的工作的類型等。

圖12是示意了根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖。

在操作1202中，接收捕獲的圖像。

在操作1204中，分析所述圖像。

在操作1206中，基于分析的圖像識(shí)別對(duì)象。

在操作1208中，查詢數(shù)據(jù)庫并且檢索與相同類別的對(duì)象有關(guān)的信息。

在操作1210中，基于所述信息生成簡(jiǎn)檔。

在操作1212中，可向用戶提供類似產(chǎn)品的信息。

基于檢測(cè)到的對(duì)象，可向用戶提供關(guān)于切合于對(duì)象的產(chǎn)品的推薦或廣告。例如，如果微波爐放置在房間中，則可向用戶顯示與微波爐有關(guān)的特殊餐具和其他特定器具的廣告。

圖13是示意了根據(jù)再另一示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔提供推薦的方法的流程圖。

在操作1310中，接收捕獲的圖像。

在操作1320中，分析所述圖像。

在操作1330中，基于分析的圖像，以場(chǎng)景或主題的形式生成環(huán)境簡(jiǎn)檔。

在操作1340中，查詢數(shù)據(jù)庫并且檢索與所述場(chǎng)景或主題有關(guān)的信息，例如應(yīng)當(dāng)被通知關(guān)于所述場(chǎng)景或主題的事件的其他用戶的聯(lián)系人信息。

在操作1350中，基于檢索到的信息，可向與環(huán)境簡(jiǎn)檔相關(guān)的人提供通知。

在操作1360中，可基于環(huán)境簡(jiǎn)檔提供切合于所述場(chǎng)景的產(chǎn)品的推薦或信息。

在示例性實(shí)施例中，可基于生成的環(huán)境簡(jiǎn)檔預(yù)測(cè)房間的主題并且可向用戶提供實(shí)時(shí)通知。如果所述主題被識(shí)別為聚會(huì)或慶祝氣氛，則可向列在環(huán)境簡(jiǎn)檔中的用戶的同伴提供實(shí)時(shí)通知。當(dāng)用戶正在進(jìn)行指定任務(wù)(例如鋼琴練習(xí)時(shí))也可以發(fā)送這樣的通知。

圖14是示意了根據(jù)示例性實(shí)施例的用于基于環(huán)境簡(jiǎn)檔觸發(fā)警告的方法的流程圖。

在操作1402中，接收捕獲的圖像。

在操作1404中，分析所述圖像。

在操作1406中，基于分析的圖像識(shí)別一個(gè)或多個(gè)對(duì)象。

在操作1408中，向數(shù)據(jù)庫查詢關(guān)于對(duì)象的信息。

在操作1410中，如果在特定環(huán)境中缺少對(duì)象，則可觸發(fā)警報(bào)。

當(dāng)在一時(shí)間段內(nèi)監(jiān)測(cè)和分析點(diǎn)云數(shù)據(jù)之后，可在環(huán)境中檢測(cè)缺少的對(duì)象并且可觸發(fā)實(shí)時(shí)警告。例如，鎖柜、保險(xiǎn)箱等可被指定為“重要對(duì)象”。在對(duì)象識(shí)別階段之后，可將識(shí)別出的對(duì)象與在對(duì)象數(shù)據(jù)庫中列出的“重要對(duì)象”進(jìn)行比較。如果重要對(duì)象中的一個(gè)或多個(gè)未存在于房間中或已經(jīng)被拆除或損壞，則不管狀態(tài)改變的程度，都可觸發(fā)警報(bào)作為實(shí)時(shí)通知。換言之，當(dāng)對(duì)象被強(qiáng)行地或輕柔地帶出房間時(shí)，可基于生成的環(huán)境簡(jiǎn)檔以警報(bào)的形式向用戶提供實(shí)時(shí)通知。

參考圖8-14示意的情形不應(yīng)當(dāng)被解讀為限制示例性實(shí)施例，并且本公開還可延伸到覆蓋其他可預(yù)見的情形。

就示例性實(shí)施例在上面描述了益處、其他優(yōu)點(diǎn)和對(duì)問題的解決方案。然而，可使得任何益處、優(yōu)點(diǎn)或解決方案發(fā)生或變得更加明顯的益處、優(yōu)點(diǎn)、對(duì)問題的解決方案以及任何(一個(gè)或多個(gè))部件不被解讀為是任意或所有權(quán)利要求的關(guān)鍵、要求或必要的特征或部件。

盡管已經(jīng)使用了特定言語來描述本公開，但是并不打算進(jìn)行歸因于特定言語的任何限制。如本領(lǐng)域人員所明了的，可對(duì)方法進(jìn)行各種工作方式的修改以便實(shí)現(xiàn)本文教導(dǎo)的發(fā)明構(gòu)思。

附圖和前面的描述給出了示例性實(shí)施例。本領(lǐng)域技術(shù)人員將理解所描述的元件中的一個(gè)或多個(gè)也可組合成單個(gè)功能元件。可替換地，某些元件可被分成多個(gè)功能元件?？梢詫碜砸粋€(gè)示例性實(shí)施例的元件添加到另一示例性實(shí)施例。例如，可以改變本文描述的過程的順序并且所述順序不限于本文描述的方式。此外，任何流程圖中的動(dòng)作不必按照示出的順序來實(shí)現(xiàn)；也未必需要執(zhí)行所有動(dòng)作。另外，不依賴于其他動(dòng)作的那些動(dòng)作可以與其他動(dòng)作并行執(zhí)行。本公開的范圍絕不被示例性實(shí)施例限制。不管有沒有在說明書中明確地給出，諸如結(jié)構(gòu)、尺寸和材料的使用上的差異的許多變化都是可能的。本公開的范圍至少與由隨附的權(quán)利要求給出的一樣寬。