使用深度傳感器計(jì)數(shù)人的方法和系統(tǒng)的制作方法
【專利說明】使用深度傳感器計(jì)數(shù)人的方法和系統(tǒng)
[0001] 相關(guān)申請(qǐng)
[0002] 本申請(qǐng)是2012年11月21日提交的美國申請(qǐng)第13/683,886號(hào)的繼續(xù)申請(qǐng)。
[0003] 以上申請(qǐng)的完整教導(dǎo)通過引用合并于本文中。
【背景技術(shù)】
[0004] 許多應(yīng)用受益于場(chǎng)景內(nèi)的人的精確計(jì)數(shù)。這些應(yīng)用中的一些可以與加熱通風(fēng)和空 氣調(diào)節(jié)（HVAC)控制系統(tǒng)、視頻監(jiān)控系統(tǒng)、零售系統(tǒng)和其他領(lǐng)域組合使用。例如，人的精確計(jì) 數(shù)可以為零售商提供統(tǒng)計(jì)信息以判斷他們的廣告效果，并且其他應(yīng)用可以使用計(jì)數(shù)來檢測(cè) 安全檢查點(diǎn)處的尾隨。市政當(dāng)局也可以使用精確的場(chǎng)景人口計(jì)數(shù)來確定特定設(shè)施處的游客 的數(shù)量。通過使用可見光譜和熱感照相機(jī)計(jì)數(shù)人會(huì)導(dǎo)致不精確計(jì)數(shù)。

【發(fā)明內(nèi)容】

[0005] 當(dāng)陰影呈現(xiàn)類似的形狀和尺寸時(shí)，可見光譜照相機(jī)難以檢測(cè)場(chǎng)景中的物體。熱感 照相機(jī)依賴于溫度變化來確定或檢測(cè)場(chǎng)景中的運(yùn)動(dòng)。當(dāng)溫度與移動(dòng)物體的溫度相同或接近 時(shí)，熱感照相機(jī)在檢測(cè)移動(dòng)物體中遇到問題。精確地計(jì)數(shù)人的深度傳感器的應(yīng)用被描述。深 度信息可以用于導(dǎo)出頭部尺寸，并且使用該信息，確定頭部的檢測(cè)窗口的性質(zhì)。其他物體檢 測(cè)方法應(yīng)用（一個(gè)或多個(gè)）多尺度（scale)檢測(cè)器。通過經(jīng)由相對(duì)物體尺寸計(jì)算去除多尺 度檢測(cè)，所述的技術(shù)通過單尺度檢測(cè)明顯地改善檢測(cè)率，提供具有減小計(jì)算復(fù)雜性的增加 精度。
[0006] 本文中所述的實(shí)施例包括一種用于計(jì)數(shù)人的方法，其從深度傳感器獲得深度數(shù) 據(jù)，從深度數(shù)據(jù)內(nèi)從背景物體辨別前景物體，并且基于深度數(shù)據(jù)從前景物體中確定匹配目 標(biāo)物體的參考模型的前景物體。
[0007] 在一個(gè)實(shí)施例中，深度傳感器可以安裝成提供場(chǎng)景的俯視圖。深度傳感器可以與 可見光譜照相機(jī)組合使用以從辨別的前景物體進(jìn)一步確定場(chǎng)景人口計(jì)數(shù)。根據(jù)一個(gè)實(shí)施 例，傳感器（深度或可見光譜）可以在幀之間跟蹤從前景物體中被確定為匹配參考模型的 一個(gè)或多個(gè)前景物體。實(shí)施例也可以包括在場(chǎng)景內(nèi)持續(xù)預(yù)定時(shí)間段沒有運(yùn)動(dòng)的情況下將場(chǎng) 景人口計(jì)數(shù)重置為零。計(jì)數(shù)人的方法也可以包括從可見光譜照相機(jī)獲得可見圖像并且使用 可見光譜照相機(jī)中的信息來檢查計(jì)數(shù)的精度。
[0008] 來自可見光譜照相機(jī)的信息可以包括運(yùn)動(dòng)信息、時(shí)間屬性、位置和特征。在一個(gè)實(shí) 施例中，傳感器可以將元數(shù)據(jù)傳送到數(shù)據(jù)中心。方法還可以包括使用深度傳感器成像場(chǎng)景 并且報(bào)告人的數(shù)量、統(tǒng)計(jì)結(jié)果或補(bǔ)充數(shù)據(jù)。在一個(gè)實(shí)施例中，從前景物體中確定背景物體匹 配人頭部的參考模型。
[0009] 實(shí)施例可以包含或使用具有存儲(chǔ)在其上的程序指令的計(jì)算機(jī)可讀介質(zhì)，所述程序 指令可加載并且由處理器可執(zhí)行，并且當(dāng)由處理器執(zhí)行時(shí)，導(dǎo)致處理器從深度傳感器獲得 深度數(shù)據(jù)，從深度數(shù)據(jù)識(shí)別前景物體，并且應(yīng)用機(jī)器學(xué)習(xí)應(yīng)用程序以生成前景物體的分類 確定，并且保持分類確定計(jì)數(shù)。程序指令還可以導(dǎo)致處理器從深度數(shù)據(jù)減去背景信息以識(shí) 別前景物體，從可見光譜照相機(jī)獲得圖像數(shù)據(jù)，分析圖像數(shù)據(jù)以產(chǎn)生圖像分析結(jié)果，并且組 合來自產(chǎn)生的圖像分析結(jié)果的信息和深度數(shù)據(jù)信息以增加識(shí)別前景物體的精度。在一個(gè)實(shí) 施例中，機(jī)器學(xué)習(xí)應(yīng)用程序的實(shí)施例可以包括神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和/或聚類技術(shù)。程序 指令可以用訓(xùn)練數(shù)據(jù)集訓(xùn)練機(jī)器學(xué)習(xí)應(yīng)用程序并且在機(jī)器學(xué)習(xí)應(yīng)用程序的優(yōu)化中選擇一 個(gè)或多個(gè)特征以產(chǎn)生選擇性特征向量。
[0010] -種用于計(jì)數(shù)人的系統(tǒng)可以包括接收深度數(shù)據(jù)的深度傳感器、與深度傳感器通 信、存儲(chǔ)深度數(shù)據(jù)的存儲(chǔ)器。系統(tǒng)還可以包括與存儲(chǔ)器通信、執(zhí)行程序指令的處理器。程序 指令可以配置成從深度數(shù)據(jù)減去背景信息以辨別前景物體，應(yīng)用機(jī)器學(xué)習(xí)應(yīng)用程序以生成 前景物體的分類確定，并且保持分類確定計(jì)數(shù)。處理器還可以配置成從照相機(jī)接收視頻數(shù) 據(jù)并且在生成分類確定中使用來自照相機(jī)的視頻數(shù)據(jù)增加機(jī)器學(xué)習(xí)應(yīng)用程序的精度。
[0011] 盡管本領(lǐng)域的普通技術(shù)人員將領(lǐng)會(huì)多個(gè)濾波器，但是一個(gè)實(shí)施例可以將高斯濾波 器應(yīng)用于來自深度數(shù)據(jù)的背景信息。系統(tǒng)也可以產(chǎn)生識(shí)別選擇性特征以分析來自深度傳感 器的深度數(shù)據(jù)的深度特征集并且產(chǎn)生識(shí)別選擇性特征以分析來自照相機(jī)的視頻數(shù)據(jù)的視 頻特征集。在一個(gè)實(shí)施例中，處理器可以配置成將特征集應(yīng)用于深度數(shù)據(jù)以確定深度分類 和視頻分類。另外，系統(tǒng)可以用來自深度分類和視頻分類的信息計(jì)算前景物體的分類確定 并且更新分類確定計(jì)數(shù)。
【附圖說明】
[0012] 從附圖中示出的實(shí)施例的以下更特別描述將顯而易見前述內(nèi)容，其中在不同視圖 中相似的附圖標(biāo)記始終表示相同的部分。附圖不一定按比例，而是強(qiáng)調(diào)示出的實(shí)施例。
[0013] 圖1是示意圖，示出用于計(jì)數(shù)人的基于深度傳感器的系統(tǒng)；
[0014] 圖2是方塊圖，示出根據(jù)一個(gè)實(shí)施例的基于深度傳感器計(jì)數(shù)的軟件架構(gòu)的一個(gè)實(shí) 施例；
[0015] 圖3是流程圖，示出根據(jù)一個(gè)實(shí)施例的基于深度傳感器計(jì)數(shù)的方法；
[0016] 圖4是流程圖，示出根據(jù)一個(gè)實(shí)施例的基于深度傳感器和可見光譜照相機(jī)計(jì)數(shù)的 方法；
[0017] 圖5是根據(jù)一個(gè)實(shí)施例的表示從深度傳感器接收的深度數(shù)據(jù)的樣本幀的集合；
[0018] 圖6是方塊圖，示出根據(jù)一個(gè)實(shí)施例的深度傳感器系統(tǒng)；以及
[0019] 圖7是根據(jù)一個(gè)實(shí)施例的深度傳感器系統(tǒng)的示意圖。
【具體實(shí)施方式】
[0020] 下面是實(shí)施例的描述。
[0021] 圖1示出基于深度傳感器110計(jì)數(shù)的系統(tǒng)的一個(gè)實(shí)施例的示意圖。如圖1中所 示，提供基于深度傳感器Iio計(jì)數(shù)的系統(tǒng)100。系統(tǒng)100包括場(chǎng)景105,場(chǎng)景是傳感器/照 相機(jī)可檢測(cè)的視覺的范圍。如場(chǎng)景中所示，一個(gè)或多個(gè)人可以位于諸如深度傳感器110和 (一個(gè)或多個(gè)）可見光譜照相機(jī)115的照相機(jī)或成像設(shè)備的一個(gè)或多個(gè)視場(chǎng)112、117內(nèi)。 可見光譜照相機(jī)115和深度傳感器110可以分別包括關(guān)聯(lián)視場(chǎng)117、112。深度傳感器110 和/或照相機(jī)可以與數(shù)據(jù)存儲(chǔ)裝置131關(guān)聯(lián)，所述數(shù)據(jù)存儲(chǔ)裝置可以是本地的，例如在公共 網(wǎng)絡(luò)上或經(jīng)由廣域網(wǎng)120可訪問。
[0022] 深度傳感器110從一個(gè)或多個(gè)場(chǎng)景采集深度數(shù)據(jù)。深度數(shù)據(jù)可以被處理以去除背 景信息并且提供對(duì)在場(chǎng)景內(nèi)具有運(yùn)動(dòng)的物體的聚焦。在一個(gè)實(shí)施例中，檢測(cè)為在場(chǎng)景內(nèi)具 有運(yùn)動(dòng)的物體被傳送到一個(gè)或多個(gè)部件以便分析。分析的結(jié)果可以包括將被檢測(cè)物體分 類為類別，例如人或非人?；谏疃葦?shù)據(jù)的分析一般不易受到與由于如熱數(shù)據(jù)所示的溫度 變化引起的誤報(bào)關(guān)聯(lián)的誤差或由于如可見光譜圖像所示的陰影引起的誤報(bào)關(guān)聯(lián)的誤差。所 以，深度數(shù)據(jù)可以返回更精確的分類，其中與所述誤報(bào)關(guān)聯(lián)的誤差的易受性是關(guān)注點(diǎn)。此 外，通過將經(jīng)濾波的數(shù)據(jù)集和目標(biāo)物體的選擇性特征提供給用于計(jì)數(shù)人的分類器，深度數(shù) 據(jù)檢測(cè)可以減小計(jì)算復(fù)雜性。
[0023] 繼續(xù)參考圖1，數(shù)據(jù)存儲(chǔ)裝置131可以是任何合適類型的數(shù)據(jù)存儲(chǔ)設(shè)備，例如包括 存儲(chǔ)芯片、硬盤驅(qū)動(dòng)器、USB閃盤驅(qū)動(dòng)器、遠(yuǎn)程可訪問數(shù)據(jù)庫、高速緩沖存儲(chǔ)器和/或類似 物。數(shù)據(jù)存儲(chǔ)裝置可以與深度傳感器110或照相機(jī)115通信或使其與通信網(wǎng)絡(luò)120通信并 且可以包括有線和無線網(wǎng)絡(luò)。
[0024] 通信網(wǎng)絡(luò)可以是以下的任何一種或組合：直接互連；互聯(lián)網(wǎng)；局域網(wǎng)（LAN);城域 網(wǎng)（MAN);互聯(lián)網(wǎng)上的操作任務(wù)節(jié)點(diǎn)（OMNI);安全定制連接；廣域網(wǎng)（WAN);無線網(wǎng)絡(luò)（例 如，使用協(xié)議，例如但不限于無線應(yīng)用協(xié)議，和I模式；和/或類似物）。網(wǎng)絡(luò)接口可以被視 為輸入/輸出接口的特定形式。此外，多個(gè)網(wǎng)絡(luò)接口可以用于與各種通信網(wǎng)絡(luò)類型接合。例 如，多個(gè)網(wǎng)絡(luò)接口可以用于允許在廣播、多播和/或單播網(wǎng)絡(luò)上通信。
[0025] 在圖1中也示出與網(wǎng)絡(luò)可操作通信的數(shù)據(jù)中心125。數(shù)據(jù)中心可以接收來自深度 傳感器和/或可見照相機(jī)的數(shù)據(jù)。在一個(gè)實(shí)施例中，可見照相機(jī)可以將一個(gè)或多個(gè)預(yù)定格 式的圖像數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)120傳輸?shù)綌?shù)據(jù)中心125。類似地，深度傳感器可以將深度數(shù)據(jù)發(fā)送 到數(shù)據(jù)中心125以便處理和/或分析。在一個(gè)實(shí)施例中，數(shù)據(jù)中心125可以包括分布在網(wǎng) 絡(luò)上的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)（客戶端/服務(wù)器）（未顯示）。這些計(jì)算機(jī)系統(tǒng)可以負(fù)責(zé)接 收、處理、分析、傳輸和/或存儲(chǔ)：圖像數(shù)據(jù)、視頻數(shù)據(jù)、深度數(shù)據(jù)和/或類似數(shù)據(jù)。在一個(gè)實(shí) 施例中，數(shù)據(jù)中心125可以包括、存儲(chǔ)、實(shí)例化、運(yùn)行和/或訪問（例如，通過應(yīng)用程序編程 接口（API))下面進(jìn)一步詳細(xì)所述的檢測(cè)引擎。
[0026] 圖2是方塊圖，示出根據(jù)一個(gè)實(shí)施例的軟件架構(gòu)。如圖2