一種人臉抓拍方法及系統(tǒng)的制作方法
【專利摘要】本申請(qǐng)?zhí)峁┝艘环N人臉抓拍方法及系統(tǒng)，包括：利用廣角相機(jī)獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)；根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域；利用長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)；對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。本申請(qǐng)結(jié)合了不同相機(jī)的優(yōu)勢，可以利用廣角相機(jī)獲取大范圍監(jiān)控場景內(nèi)的人體目標(biāo)，然后可以利用長焦相機(jī)獲取遠(yuǎn)距離高清晰人臉，克服了傳統(tǒng)人臉抓拍系統(tǒng)必須依賴于近距離拍攝人臉的缺點(diǎn)，可以適應(yīng)于更加復(fù)雜多變的應(yīng)用場景。
【專利說明】
一種人臉抓拍方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本申請(qǐng)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種人臉抓拍方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著信息時(shí)代的發(fā)展，人們對(duì)監(jiān)控場景下非配合式人臉抓拍的需求越來越強(qiáng)烈。人臉抓拍系統(tǒng)是通過處理高清監(jiān)控?cái)z像頭錄入的數(shù)據(jù)，當(dāng)人進(jìn)入指定監(jiān)視范圍內(nèi)時(shí)，抓錄人臉，用于后臺(tái)結(jié)構(gòu)化記錄以及分析識(shí)別，主要應(yīng)用于記錄出入人員、查找犯罪嫌疑人/特定人員、統(tǒng)計(jì)人群特征等。
[0003]現(xiàn)有的人臉抓拍系統(tǒng)通常包括人臉檢測、跟蹤以及結(jié)構(gòu)化存儲(chǔ)模塊，利用人臉檢測算法和人臉跟蹤算法對(duì)進(jìn)入檢測區(qū)域的人員進(jìn)行人臉檢測和跟蹤，篩選出最佳人臉圖像錄入數(shù)據(jù)庫。由于人臉目標(biāo)相對(duì)較小，而過低的分辨率會(huì)影響抓取的人臉圖片質(zhì)量，很難被進(jìn)一步識(shí)別。
[0004]因此，現(xiàn)有的人臉抓拍系統(tǒng)通常依賴于固定于關(guān)卡的高清攝像頭，近距離拍攝高分辨率人臉圖像，工作范圍通常是幾米，無法實(shí)現(xiàn)遠(yuǎn)距離大覆蓋范圍的應(yīng)用場景下的人臉抓拍，大大制約了人臉抓拍系統(tǒng)的可用范圍。
[0005]現(xiàn)有技術(shù)不足在于:
[0006]現(xiàn)有的人臉抓拍系統(tǒng)可用范圍較小，無法實(shí)現(xiàn)遠(yuǎn)距離大范圍場景的人臉抓拍。

【發(fā)明內(nèi)容】

[0007]本申請(qǐng)實(shí)施例提出了一種人臉抓拍方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中人臉抓拍系統(tǒng)可用范圍較小，無法實(shí)現(xiàn)遠(yuǎn)距離大范圍場景的人臉抓拍的技術(shù)問題。
[0008]第一個(gè)方面，本申請(qǐng)實(shí)施例提供了一種人臉抓拍方法，包括如下步驟:
[0009]利用廣角相機(jī)獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)；
[0010]根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域；
[0011 ]利用長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)；
[0012]對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。
[0013]優(yōu)選地，進(jìn)一步包括:
[0014]將所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較；
[0015]根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過。
[0016]優(yōu)選地，進(jìn)一步包括:
[0017]如果確定所述人臉未被存儲(chǔ)過，存儲(chǔ)所述人臉圖像。
[0018]優(yōu)選地，進(jìn)一步包括:
[0019]如果確定所述人臉已經(jīng)被存儲(chǔ)過，比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量；
[0020]在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。
[0021]優(yōu)選地，所述根據(jù)所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較，具體為:根據(jù)所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當(dāng)前時(shí)間、人臉在所述廣角相機(jī)中的位置、以及根據(jù)所述人臉圖像提取的特征表達(dá);將所述人臉的特征信息與已存儲(chǔ)的人臉圖像的特征信息進(jìn)行相似度比較；
[0022]所述根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過，具體為:如果時(shí)間間隔在預(yù)設(shè)時(shí)間范圍內(nèi)、在所述廣角相機(jī)中的相對(duì)位置在預(yù)設(shè)距離內(nèi)、并且兩張人臉圖像的特征表達(dá)的相似度高于預(yù)設(shè)閾值，則確定所述人臉已經(jīng)被存儲(chǔ)過。
[0023]優(yōu)選地，所述根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域，具體為:
[0024]對(duì)所述廣角相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0025]將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0026]利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人體所在區(qū)域的分值；
[0027]確定所述分值超過預(yù)設(shè)第一閾值且局部得分最高的區(qū)域?yàn)樗鋈梭w所在區(qū)域。
[0028]優(yōu)選地，所述對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，具體為:
[0029]對(duì)所述長焦相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0030]將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0031]利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人臉?biāo)趨^(qū)域的分值；
[0032]確定所述分值超過預(yù)設(shè)第二閾值且局部得分最高的區(qū)域?yàn)樗鋈四標(biāo)趨^(qū)域。
[0033]第二個(gè)方面，本申請(qǐng)實(shí)施例提供了一種人臉抓拍系統(tǒng)，其特征在于，包括:聯(lián)動(dòng)相機(jī)組、第一檢測模塊和第二檢測模塊，所述聯(lián)動(dòng)相機(jī)組包括廣角相機(jī)和長焦相機(jī)，其中，
[0034]所述廣角相機(jī)，用于獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)；
[0035]所述第一檢測模塊，用于根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域；
[0036]所述長焦相機(jī)，用于獲取所述人體所在區(qū)域的視頻數(shù)據(jù)；
[0037]所述第二檢測模塊，用于對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。
[0038]優(yōu)選地，進(jìn)一步包括:
[0039]第一比較模塊，用于將所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較；
[0040]確定模塊，用于根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過。[0041 ] 優(yōu)選地，進(jìn)一步包括:
[0042]添加模塊，用于在確定所述人臉未被存儲(chǔ)過時(shí)，存儲(chǔ)所述人臉圖像。
[0043]優(yōu)選地，進(jìn)一步包括:
[0044]第二比較模塊，用于在確定所述人臉已經(jīng)被存儲(chǔ)過時(shí)，比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量；
[0045]更新模塊，用于在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。
[0046]優(yōu)選地，所述第一比較模塊具體包括:
[0047]特征提取單元，用于根據(jù)所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當(dāng)前時(shí)間、人臉在所述廣角相機(jī)中的位置、以及根據(jù)所述人臉圖像提取的特征表達(dá)；
[0048]比較單元，用于將所述人臉的特征信息與已存儲(chǔ)的人臉圖像的特征信息進(jìn)行相似度比較；
[0049]所述確定模塊具體用于如果時(shí)間間隔在預(yù)設(shè)時(shí)間范圍內(nèi)、在所述廣角相機(jī)中的相對(duì)位置在預(yù)設(shè)距離內(nèi)、并且兩張人臉圖像的特征表達(dá)的相似度高于預(yù)設(shè)閾值，則確定所述人臉已經(jīng)被存儲(chǔ)過。
[0050]優(yōu)選地，所述第一檢測模塊具體包括:
[0051]第一預(yù)處理單元，用于對(duì)所述廣角相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0052]第一卷積單元，用于將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0053]第一輸出單元，用于利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人體所在區(qū)域的分值；
[0054]第一確定單元，用于確定所述分值超過預(yù)設(shè)第一閾值且局部得分最高的區(qū)域?yàn)樗鋈梭w所在區(qū)域。
[0055]優(yōu)選地，所述第二檢測模塊具體包括:
[0056]第二預(yù)處理單元，用于對(duì)所述長焦相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0057]第二卷積單元，用于將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0058]第二輸出單元，用于利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人臉?biāo)趨^(qū)域的分值；
[0059]第二確定單元，用于確定所述分值超過預(yù)設(shè)第二閾值且局部得分最高的區(qū)域?yàn)樗鋈四標(biāo)趨^(qū)域。
[0060]有益效果如下:
[0061]本申請(qǐng)實(shí)施例所提供的人臉抓拍方法及系統(tǒng)，可以利用廣角相機(jī)獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)，根據(jù)所述視頻數(shù)據(jù)檢測到人體所在區(qū)域，然后再利用長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)，最終，對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像，本申請(qǐng)實(shí)施例結(jié)合了不同相機(jī)的優(yōu)勢，可以利用廣角相機(jī)獲取大范圍監(jiān)控場景內(nèi)的人體目標(biāo)，然后可以利用長焦相機(jī)獲取遠(yuǎn)距離高清晰人臉，克服了傳統(tǒng)人臉抓拍系統(tǒng)必須依賴于近距離拍攝人臉的缺點(diǎn)，可以適應(yīng)于更加復(fù)雜多變的應(yīng)用場景。
【附圖說明】
[0062]下面將參照附圖描述本申請(qǐng)的具體實(shí)施例，其中:
[0063]圖1示出了本申請(qǐng)實(shí)施例一中人臉抓拍方法實(shí)施的流程示意圖；
[0064]圖2示出了本申請(qǐng)實(shí)施例二中人臉抓拍過程示意圖；
[0065]圖3示出了本申請(qǐng)實(shí)施例三中人體/或人臉檢測的過程示意圖；
[0066]圖4示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖一；
[0067]圖5示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖二；
[0068]圖6示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖三；
[0069]圖7示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖四；
[0070]圖8示出了本申請(qǐng)實(shí)施例四中第一比較模塊的結(jié)構(gòu)示意圖；
[0071]圖9示出了本申請(qǐng)實(shí)施例四中第一檢測模塊的結(jié)構(gòu)示意圖；
[0072]圖10示出了本申請(qǐng)實(shí)施例四中第二檢測模塊的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0073]為了使本申請(qǐng)的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對(duì)本申請(qǐng)的示例性實(shí)施例進(jìn)行進(jìn)一步詳細(xì)的說明，顯然，所描述的實(shí)施例僅是本申請(qǐng)的一部分實(shí)施例，而不是所有實(shí)施例的窮舉。并且在不沖突的情況下，本說明中的實(shí)施例及實(shí)施例中的特征可以互相結(jié)合。
[0074]發(fā)明人在發(fā)明過程中注意到:
[0075]不同于虹膜驗(yàn)證，指紋驗(yàn)證等傳統(tǒng)身份識(shí)別，人臉抓拍有如下幾個(gè)明顯優(yōu)點(diǎn):
[0076]I)操作距離限制大大放寬，不需要人直接接觸特定設(shè)備采集指紋等信息，只要在攝像頭拍攝范圍內(nèi)即可進(jìn)行處理；
[0077]2)可以在非干預(yù)非配合場景下通過攝像頭自由運(yùn)作，不會(huì)影響人員正常活動(dòng)，也不需要工作人員干預(yù)；
[0078]3)記錄的生物特征友好直觀，通過人臉，普通人即可辨別身份，不需要特定領(lǐng)域?qū)＜遗袆e；
[0079]4)等待時(shí)間短，操作效率高，不需要人員一個(gè)個(gè)通過閘門來采集虹膜/指紋等信息，通過計(jì)算機(jī)視覺等方法即可快速定位，快速處理。
[0080]然而，現(xiàn)有的人臉抓拍系統(tǒng)通常只能處理近距離(例如:3米)范圍內(nèi)的人臉圖像采集，無法實(shí)現(xiàn)遠(yuǎn)距離(例如:50米左右)大覆蓋范圍的應(yīng)用場景(例如:火車站廣場、大型集會(huì)、街道等)下的人員監(jiān)控/記錄，這種距離限制大大制約了人臉抓拍系統(tǒng)的可用范圍，覆蓋面也受制于攝像頭布設(shè)位置，丟失了大量廣闊場地的人員活動(dòng)記錄，只能被動(dòng)期望于被監(jiān)控人員“恰巧”靠近布設(shè)的攝像頭，為安全帶來了嚴(yán)重隱患。
[0081]針對(duì)上述不足，本申請(qǐng)?zhí)岢隽艘环N人臉抓拍系統(tǒng)，巧妙的利用了一個(gè)先驗(yàn)信息:人臉為人身體的一部分，有人臉的區(qū)域必有人，反之則不一定成立。因此，通過檢測人體可以對(duì)人臉檢測進(jìn)行一個(gè)初步判定，并且由于人體比人臉區(qū)域在畫面中所占面積大很多，人體檢測能夠適應(yīng)的距離比人臉檢測能夠遠(yuǎn)很多，利于高效排查。
[0082]為了實(shí)現(xiàn)超遠(yuǎn)距離的人臉抓拍，本申請(qǐng)可以首先利用聯(lián)動(dòng)相機(jī)組的廣角相機(jī)進(jìn)行人體檢測、對(duì)感興趣的人體目標(biāo)所在區(qū)域進(jìn)行初篩，然后再對(duì)所述區(qū)域調(diào)用長焦相機(jī)拍攝超遠(yuǎn)距離視頻，做到高精度的人臉抓拍。
[0083]本申請(qǐng)意在突破現(xiàn)有的距離限制，實(shí)現(xiàn)超遠(yuǎn)距離(例如:50米左右)的人臉抓拍。
[0084]為了便于本申請(qǐng)的實(shí)施，下面結(jié)合具體的實(shí)施例對(duì)本申請(qǐng)所提供的人臉抓拍方法及系統(tǒng)進(jìn)行說明。
[0085]實(shí)施例一、
[0086]圖1示出了本申請(qǐng)實(shí)施例一中人臉抓拍方法實(shí)施的流程示意圖，如圖所示，所述人臉抓拍方法可以包括如下步驟:
[0087]步驟101、利用廣角相機(jī)獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)；
[0088]步驟102、根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域；
[0089]步驟103、利用長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)；
[0090]步驟104、對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。
[0091]具體實(shí)施中，所述廣角相機(jī)可以是相機(jī)鏡頭(廣角鏡頭)有很寬廣的視角，在有限的距離內(nèi)可以容納更多的景物范圍。衡量相機(jī)廣角的參數(shù)通常是最小焦距，一般廣角鏡頭的焦距在24mm?35mm之間，最小焦距越小相機(jī)的廣角越廣，適合拍大場面的風(fēng)景和高達(dá)的建筑物等。而長焦相機(jī)則是擁有長焦鏡頭的相機(jī)，長焦鏡頭的焦距一般在80mm?300mm之間，能夠清晰地拍攝出較遠(yuǎn)的景物。
[0092 ]本申請(qǐng)實(shí)施例中所述聯(lián)動(dòng)相機(jī)組可以由兩個(gè)或兩個(gè)以上的相機(jī)組成，通過機(jī)械及視覺校準(zhǔn)后可以精確計(jì)算出任意兩個(gè)相機(jī)之間的位置和朝向的相對(duì)關(guān)系。通過將相機(jī)固定在由電機(jī)控制的云臺(tái)上，可以實(shí)現(xiàn)在某一相機(jī)畫面上選定某一區(qū)域，旋轉(zhuǎn)其他相機(jī)，使得它們朝向該選定區(qū)域的功能，本申請(qǐng)實(shí)施例中可以將此功能稱為聯(lián)動(dòng)。
[0093]具體實(shí)施時(shí)，首先可以利用廣角相機(jī)拍攝大范圍監(jiān)控場景下的視頻，然后對(duì)所述廣角相機(jī)拍攝到的視頻進(jìn)行人體檢測，得到人體所在區(qū)域;然后利用長焦相機(jī)拍攝所述人體所在區(qū)域的視頻，對(duì)所述長焦相機(jī)拍攝的視頻進(jìn)行人臉檢測，即可得到清晰的人臉圖像。
[0094]其中，人體檢測和人臉檢測均可以采用現(xiàn)有技術(shù)中圖像識(shí)別技術(shù)，例如:對(duì)圖像進(jìn)行分割、邊緣提取、運(yùn)動(dòng)檢測等。以人體檢測為例，可以利用現(xiàn)有的背景建模方法分割出前景、基于統(tǒng)計(jì)學(xué)習(xí)的方法等；以人臉檢測為例，可以利用基于人臉特征點(diǎn)的識(shí)別算法、基于整幅人臉圖像的識(shí)別算法等等。
[0095]本申請(qǐng)實(shí)施例所提供的人臉抓拍方法，可以利用廣角相機(jī)獲取監(jiān)控場景中的視頻數(shù)據(jù)，根據(jù)所述視頻數(shù)據(jù)檢測到人體所在區(qū)域，然后再利用長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)，最終，對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像，本申請(qǐng)實(shí)施例結(jié)合了不同相機(jī)的優(yōu)勢，可以利用廣角相機(jī)獲取大范圍監(jiān)控場景內(nèi)的人體目標(biāo)，然后可以利用長焦相機(jī)獲取遠(yuǎn)距離高清晰人臉，克服了傳統(tǒng)人臉抓拍系統(tǒng)必須依賴于近距離拍攝人臉的缺點(diǎn)，可以適應(yīng)于更加復(fù)雜多變的應(yīng)用場景。
[0096]進(jìn)一步地，為了實(shí)現(xiàn)人臉去重，本申請(qǐng)實(shí)施例還可以采用如下方式實(shí)施。
[0097]實(shí)施中，所述方法可以進(jìn)一步包括:
[0098]將所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較；
[0099]根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過。
[0100]具體實(shí)施時(shí)，本申請(qǐng)實(shí)施例可以將獲取到的人臉圖像與已經(jīng)存儲(chǔ)的人臉圖像進(jìn)行相似度比較。所述已存儲(chǔ)的人臉圖像具體可以為存儲(chǔ)在緩存或者數(shù)據(jù)庫中的人臉圖像，這些人臉圖像可以是已結(jié)構(gòu)化的人臉圖像。其中，視頻結(jié)構(gòu)化可以是按照標(biāo)準(zhǔn)對(duì)視頻中的目標(biāo)和事件進(jìn)行描述并存入數(shù)據(jù)庫中的過程。
[0101]本申請(qǐng)實(shí)施例通過人臉比對(duì)，判斷該人臉是否已經(jīng)出現(xiàn)過(存儲(chǔ)在緩存或數(shù)據(jù)庫中)，從而可以避免同一張人臉的多次重復(fù)存儲(chǔ)、記錄。
[0102]實(shí)施中，所述方法可以進(jìn)一步包括:
[0103]如果確定所述人臉未被存儲(chǔ)過，存儲(chǔ)所述人臉圖像。
[0104]具體實(shí)施時(shí)，如果該人臉圖像在與已存儲(chǔ)的人臉圖像比對(duì)之后，沒有發(fā)現(xiàn)已存儲(chǔ)的人臉圖像中有與所述人臉圖像相似度高于預(yù)設(shè)的相似值，那么可以認(rèn)為該人臉在所述廣角相機(jī)所監(jiān)控的畫面中未出現(xiàn)過，因此，可以將所述人臉圖像存儲(chǔ)至緩存或者數(shù)據(jù)庫中。
[0105]實(shí)施中，所述方法可以進(jìn)一步包括:
[0106]如果確定所述人臉已經(jīng)被存儲(chǔ)過，比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量；
[0107]在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。
[0108]具體實(shí)施時(shí)，如果所述人臉圖像與已存儲(chǔ)的若干人臉圖像中的某張人臉圖像的相似度較高，可以確定所述人臉已經(jīng)被存儲(chǔ)過，因此，本申請(qǐng)實(shí)施例可以進(jìn)一步比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量，在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。
[0109]其中，所述更新該人臉圖像具體可以為將所述已存儲(chǔ)的人臉圖像刪除，存儲(chǔ)本次獲取到的人臉圖像。
[0110]通過上述方式，本申請(qǐng)實(shí)施例可以確保已有記錄的人臉以更加清晰、質(zhì)量更高的人臉圖像保存、記錄，以便后續(xù)進(jìn)行搜索、查詢等其他應(yīng)用時(shí)可以更加精確、準(zhǔn)確。
[0111]實(shí)施中，所述根據(jù)所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較，具體可以為:
[0112]根據(jù)所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當(dāng)前時(shí)間、人臉在所述廣角相機(jī)中的位置、以及根據(jù)所述人臉圖像提取的特征表達(dá)；
[0113]將所述人臉的特征信息與已存儲(chǔ)的人臉圖像的特征信息進(jìn)行相似度比較；
[0114]所述根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過，具體可以為:
[0115]如果時(shí)間間隔在預(yù)設(shè)時(shí)間范圍內(nèi)、在所述廣角相機(jī)中的相對(duì)位置在預(yù)設(shè)距離內(nèi)、并且兩張人臉圖像的特征表達(dá)的相似度高于預(yù)設(shè)閾值，則確定所述人臉已經(jīng)被存儲(chǔ)過。
[0116]本申請(qǐng)實(shí)施例中的相似度的衡量標(biāo)準(zhǔn)可以為:如果時(shí)間間隔(出現(xiàn)幀的時(shí)間間隔)在預(yù)設(shè)時(shí)間閾值T以內(nèi)、相對(duì)距離(人臉區(qū)域在廣角相機(jī)下坐標(biāo)的相對(duì)距離)在預(yù)設(shè)距離閾值D以內(nèi)、兩張人臉圖像的特征表達(dá)相似度高于預(yù)設(shè)相似度閾值S，那么，判定該人臉為已出現(xiàn)過的人臉;否則，該人臉為沒有出現(xiàn)過。
[0117]在進(jìn)行相似度比較時(shí)，可以首先提取相應(yīng)的人臉的特征信息，特征信息可以包括時(shí)間(當(dāng)前時(shí)刻)、人臉出現(xiàn)位置(相對(duì)于廣角相機(jī)所拍攝的視頻中的坐標(biāo))、以及人臉區(qū)域提取的特征(feature)表達(dá)，其中，所述特征表達(dá)可以為尺度不變特征轉(zhuǎn)換(SIFT，Scale-1nvar iant feature transform)、方向梯度直方圖(HOG ,Histogram of OrientedGradient)、局部二值模式(LBP，Local Binary Pattern)等方式表達(dá)的特征。
[0118]本申請(qǐng)實(shí)施例通過上述方法可以將那些在較短時(shí)間、較近距離的相似人臉確定為重復(fù)的人臉，綜合了時(shí)間、空間、人臉相似度的人臉記錄去重，使得人臉去重操作更加精確。
[0119]現(xiàn)有技術(shù)中，人臉抓拍系統(tǒng)均是采用基于Adaboost算法訓(xùn)練的Haar-1ike特征級(jí)聯(lián)分類器或者其變種來進(jìn)行人臉檢測。然而，這種方式對(duì)復(fù)雜場景的支持較差。
[0120]為了得到更好的抓拍效果，本申請(qǐng)實(shí)施例可以采用如下方式實(shí)施。
[0121]實(shí)施中，所述根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域，具體可以為:
[0122]對(duì)所述廣角相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0123]將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0124]利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人體所在區(qū)域的分值；
[0125]確定所述分值超過預(yù)設(shè)第一閾值且局部得分最高的區(qū)域?yàn)樗鋈梭w所在區(qū)域。
[0126]具體實(shí)施中，本申請(qǐng)實(shí)施例可以預(yù)先采集大量人體樣本，經(jīng)過訓(xùn)練得到人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，將處理后的視頻圖像輸入所述人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)即可得到人體特征圖譜。本申請(qǐng)實(shí)施例中所述訓(xùn)練人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)可以采用現(xiàn)有的深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式，本申請(qǐng)?jiān)诖瞬蛔鲑樖觥?br>[0127]本申請(qǐng)實(shí)施例中將特征圖譜整體分值超過一定閾值、且局部得分最高的區(qū)域作為人體所在區(qū)域，從而進(jìn)一步提高人體區(qū)域檢測的精確度，具體實(shí)施時(shí)一幅視頻圖像內(nèi)可以檢測出多個(gè)人體所在區(qū)域，具體根據(jù)監(jiān)控場景內(nèi)人的數(shù)量和位置確定。
[0128]實(shí)施中，所述對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，具體可以為:
[0129]對(duì)所述長焦相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0130]將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0131]利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人臉?biāo)趨^(qū)域的分值；
[0132]確定所述分值超過預(yù)設(shè)第二閾值且局部得分最高的區(qū)域?yàn)樗鋈四標(biāo)趨^(qū)域。
[0133]具體實(shí)施時(shí)，所述對(duì)視頻圖像進(jìn)行預(yù)處理可以為:等比例縮放，將圖像調(diào)整為預(yù)設(shè)尺寸(例如:M*N);或者將圖像調(diào)整為預(yù)設(shè)色彩空間(例如:灰度圖、BGR或者YUV等)；還可以為減去平均人體或人臉的像素值等處理。
[0134]本申請(qǐng)實(shí)施例中所述人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)可以根據(jù)預(yù)先采集得到的大量的人臉樣本進(jìn)行訓(xùn)練得到，具體訓(xùn)練方法可以采用現(xiàn)有技術(shù)，本申請(qǐng)?jiān)诖瞬蛔鲑樖觥?br>[0135]本申請(qǐng)實(shí)施例中將廣角相機(jī)或長焦相機(jī)獲取到的視頻圖像作為輸入圖像，逐層輸入到多次卷積層，可以得到中間層的特征圖譜(feature maps)，圖譜上的每一個(gè)點(diǎn)的作用域(receptive field)對(duì)應(yīng)于原圖中的一個(gè)圖片塊(patch)，圖譜上所有點(diǎn)的作用域?qū)?yīng)于輸入的整張?jiān)瓐D。其中，卷積層可以采用現(xiàn)有的AlexNet的前5層卷積層，也可以由本領(lǐng)域技術(shù)人員自行開發(fā)實(shí)現(xiàn)，本申請(qǐng)對(duì)此不作限制。
[0136]經(jīng)過卷積計(jì)算輸出的特征圖譜，可以再用多個(gè)不同尺度和長寬比的滑動(dòng)窗口進(jìn)行掃描，得到對(duì)應(yīng)于原始視頻圖像中不同尺度和長寬比的圖片塊(patch)的評(píng)分(score)，如果得分越高，則代表該圖片塊更可能為人體或人臉的所在區(qū)域。
[0137]具體實(shí)施時(shí)，所述卷積核、滑動(dòng)窗口等均可以根據(jù)預(yù)先獲取的大量樣本(人體/人臉)進(jìn)行機(jī)器學(xué)習(xí)、訓(xùn)練得到，其具體實(shí)現(xiàn)技術(shù)可以采用現(xiàn)有的訓(xùn)練分類器等，本申請(qǐng)?jiān)诖瞬蛔鲑樖觥?br>[0138]具體實(shí)施時(shí)一幅視頻圖像內(nèi)可以檢測出多個(gè)人臉?biāo)趨^(qū)域，具體根據(jù)監(jiān)控場景內(nèi)人臉的數(shù)量和位置確定。
[0139]本申請(qǐng)實(shí)施例可以采用全卷積深度神經(jīng)網(wǎng)絡(luò)進(jìn)行人體或人臉的檢測，可以適應(yīng)于任意大小的輸入圖像，通過一次運(yùn)算可以得到所有滑動(dòng)窗口的檢測結(jié)果，并且在不增加額外運(yùn)算復(fù)雜的前提下，能夠?qū)崿F(xiàn)多尺度和長寬比的人體/人臉檢測，檢測速度更快、檢測效果更準(zhǔn)。
[0140]本申請(qǐng)實(shí)施例采用更為先進(jìn)的基于深度學(xué)習(xí)的人體/人臉檢測算法，能夠?qū)崿F(xiàn)更精確的人體/人臉檢測，以及適應(yīng)更加復(fù)雜多變的應(yīng)用場景。
[0141]實(shí)施例二、
[0142]為了實(shí)現(xiàn)超遠(yuǎn)距離的人臉抓拍，本申請(qǐng)可以利用聯(lián)動(dòng)相機(jī)組的廣角相機(jī)對(duì)感興趣的區(qū)域進(jìn)行初篩，然后再對(duì)感興趣的區(qū)域調(diào)用長焦相機(jī)拍攝高清超遠(yuǎn)距離的視頻，進(jìn)行高精度的人臉抓拍。
[0143]圖2示出了本申請(qǐng)實(shí)施例二中人臉抓拍過程示意圖，如圖所示，所述人臉抓拍過程可以包括以下步驟:
[0144]步驟201、對(duì)廣角相機(jī)視野做人體檢測；
[0145]從廣角相機(jī)中獲取圖片，利用深度神經(jīng)網(wǎng)絡(luò)做人體檢測，在粗放角度下對(duì)可能出現(xiàn)目標(biāo)(人臉)的區(qū)域(有人體出現(xiàn)的地方)進(jìn)行初篩。
[0146]步驟202、判斷是否找到感興趣區(qū)域；
[0147]如果找到，執(zhí)行步驟203;
[0148]如果沒找到，跳回步驟201。
[0149]所述感興趣區(qū)域可以是人體出現(xiàn)的區(qū)域、人員密集的區(qū)域、視野中的敏感區(qū)域等。
[0150]步驟203、將長焦鏡頭定位到該區(qū)域；
[0151]利用聯(lián)動(dòng)相機(jī)組調(diào)度長焦相機(jī)對(duì)準(zhǔn)該區(qū)域，拍攝遠(yuǎn)距離高清畫面。
[0152]步驟204、對(duì)當(dāng)前視野做人臉檢測；
[0153]對(duì)長焦相機(jī)拍攝區(qū)域，利用深度神經(jīng)網(wǎng)絡(luò)做人臉檢測。
[0154]步驟205、判斷是否檢測到人臉；
[0155]如果檢測到人臉，則執(zhí)行步驟206;
[0156]如果沒有檢測到人臉，跳回步驟201。
[0157]具體實(shí)施時(shí)，如果檢測到多張人臉，假設(shè)為N張人臉，后續(xù)步驟可以循環(huán)執(zhí)行N此，分別對(duì)每張人臉進(jìn)行后續(xù)操作。
[0158]步驟206、提取特征，查找相似人臉。
[0159]提取相應(yīng)人臉特征信息，特征信息包含當(dāng)前時(shí)刻、人臉在廣角相機(jī)中的坐標(biāo)、以及人臉區(qū)域提取的特征表達(dá)。
[0160]步驟207、判斷所述人臉是否之前出現(xiàn)過；
[0161 ]如果出現(xiàn)過，則執(zhí)行步驟208;
[0162]如果沒出現(xiàn)過，則執(zhí)行步驟209。
[0163]根據(jù)提取的人臉特征與緩存/數(shù)據(jù)庫中已結(jié)構(gòu)化的人臉進(jìn)行相似度比較，判斷是否為已出現(xiàn)過的人。
[0164]例如:假設(shè)該人臉與已存儲(chǔ)的人臉出現(xiàn)幀的時(shí)間間隔在3s內(nèi)、在廣角相機(jī)下坐標(biāo)的相對(duì)距離為5個(gè)像素、兩張人臉的特征表達(dá)相似度為90%，則本申請(qǐng)實(shí)施例可以判定該人臉為已出現(xiàn)過的人臉，否則，為沒有出現(xiàn)過的人臉。
[0165]步驟208、判斷是否比之前圖像質(zhì)量好；
[0166]如果該人臉圖像比之前圖像質(zhì)量更高，則執(zhí)行步驟210;
[0167]如果沒有之前圖像質(zhì)量高，則拋棄該人臉圖像，處理下一張人臉，執(zhí)行步驟205。
[0168]步驟209、存儲(chǔ)該人臉圖像；
[0169]步驟210、更新該人臉圖像。
[0170]在緩存或數(shù)據(jù)庫中更新(之前已有記錄)或添加(之前沒有記錄)該人的人臉圖像。
[0171]本申請(qǐng)實(shí)施例采用分級(jí)檢測，結(jié)合廣角相機(jī)下的粗放型人體檢測、以及窄角相機(jī)下的精準(zhǔn)人臉檢測，實(shí)現(xiàn)高效的超遠(yuǎn)距離的高清人臉抓拍，適用于廣場、集市等諸多場景。
[0172]實(shí)施例三、
[0173]下面本申請(qǐng)實(shí)施例對(duì)人體/人臉檢測所涉及的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行說明。
[0174]圖3示出了本申請(qǐng)實(shí)施例三中人體/或人臉檢測的過程示意圖，如圖所示，所述人體或人臉檢測過程可以包括如下步驟:
[0175]步驟301、對(duì)人體或人臉圖像進(jìn)行預(yù)處理。
[0176]將圖片(人體檢測所輸入圖片可以為廣角相機(jī)拍攝，人臉檢測所輸入圖片可以為長焦相機(jī)拍攝)進(jìn)行預(yù)處理:等比例縮放調(diào)整為合理尺寸(假設(shè)為300*500)、調(diào)整為統(tǒng)一色彩空間(例如BGR)、以及減去平均人體/人臉的像素值等。
[0177]步驟302、將圖像進(jìn)行多次卷積計(jì)算，得到特征圖像。
[0178]對(duì)輸入圖片逐層輸入到多次卷積層，得到中間層的特征圖譜(featuremaps)，圖譜上的每一個(gè)點(diǎn)的作用域(receptive field)對(duì)應(yīng)于原圖中的一個(gè)圖片塊(patch)，圖譜上所有點(diǎn)的作用域?qū)?yīng)于I)中輸入的整張?jiān)瓐D。
[0179]步驟303、利用多個(gè)不同尺度和長寬比的滑動(dòng)窗口對(duì)所述特征圖像進(jìn)行掃描。
[0180]對(duì)步驟302中輸出的特征圖譜用多個(gè)不同尺度和長寬比的滑動(dòng)窗口進(jìn)行掃描，其有兩個(gè)輸出:
[ΟΙ81 ]輸出之一為對(duì)應(yīng)于原圖中不同尺度和長寬比的圖片塊(patch)的評(píng)分(score)，如果得分越高，則代表該圖片塊更可能為人體/人臉?biāo)趨^(qū)域。
[0182]另一輸出為對(duì)目標(biāo)人體/人臉區(qū)域圖片塊邊界區(qū)域的進(jìn)行回歸處理后得到的與準(zhǔn)確人體/人臉區(qū)域的偏移量(因?yàn)橐陨显谔卣鲌D譜上的滑動(dòng)窗口和可能并不能完全準(zhǔn)確的恰好框到完整的人體/人臉區(qū)域，所以需要做一個(gè)回歸操作)。
[0183]步驟304、根據(jù)掃描結(jié)果確定人體/人臉的區(qū)域。
[0184]對(duì)以上人體/人臉區(qū)域按照評(píng)分(score)進(jìn)行降序排序，并刪除相鄰區(qū)域下過多的被選框(因?yàn)橥蝗撕芸赡鼙欢鄠€(gè)框框住，只需要保留評(píng)分最高的那個(gè)即可)，得到最終的輸出:人體/人臉檢測的目標(biāo)區(qū)域(bounding box)。
[0185]相比現(xiàn)有基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的系統(tǒng)，本申請(qǐng)實(shí)施例可以利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)人體/人臉檢測，使得算法能夠適應(yīng)復(fù)雜多變場景。
[0186]實(shí)施例四、
[0187]基于同一發(fā)明構(gòu)思，本申請(qǐng)實(shí)施例中還提供了一種人臉抓拍系統(tǒng)，這些設(shè)備的實(shí)施與一種人臉抓拍方法的實(shí)施原理相似，重復(fù)之處不再贅述，下面進(jìn)行說明。
[0188]圖4示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖一，如圖所示，所述人臉抓拍系統(tǒng)可以包括:聯(lián)動(dòng)相機(jī)組、第一檢測模塊402和第二檢測模塊404，所述聯(lián)動(dòng)相機(jī)組包括廣角相機(jī)401和長焦相機(jī)403，其中，
[0189]所述廣角相機(jī)401，用于獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)；
[0190]所述第一檢測模塊402，用于根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域；
[0191]所述長焦相機(jī)403，用于獲取所述人體所在區(qū)域的視頻數(shù)據(jù)；
[0192]所述第二檢測模塊404，用于對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。
[0193]具體實(shí)施時(shí)，廣角相機(jī)可以是采用廣角鏡頭的相機(jī)，長焦相機(jī)可以是采用長焦鏡頭的相機(jī)，這些相機(jī)可以是數(shù)碼相機(jī)。本申請(qǐng)實(shí)施例中的聯(lián)動(dòng)相機(jī)組可以包括一個(gè)廣角相機(jī)和一個(gè)長焦相機(jī)，也可以包括多個(gè)廣角相機(jī)和多個(gè)長焦相機(jī)，在具體實(shí)施時(shí)，可以在檢測到廣角相機(jī)中多個(gè)人體后，由多個(gè)長焦相機(jī)分別對(duì)準(zhǔn)所述多個(gè)人體進(jìn)行拍攝，或一個(gè)長焦相機(jī)每間隔一段時(shí)間對(duì)準(zhǔn)一個(gè)人體，進(jìn)行輪詢，從而獲取同一場景內(nèi)多個(gè)人物的視頻數(shù)據(jù)。
[0194]所述第一檢測模塊和所述第二檢測模塊均可以采用現(xiàn)有的圖像識(shí)別技術(shù)實(shí)現(xiàn)，本領(lǐng)域技術(shù)人員也可以進(jìn)行相應(yīng)的開發(fā)設(shè)計(jì)，只要能夠檢測出人體/人臉即可，本申請(qǐng)對(duì)此不作限制。
[0195]本申請(qǐng)實(shí)施例結(jié)合了不同相機(jī)的優(yōu)勢，可以利用廣角相機(jī)獲取大范圍監(jiān)控場景內(nèi)的人體目標(biāo)，然后可以利用長焦相機(jī)獲取遠(yuǎn)距離高清晰人臉，克服了傳統(tǒng)人臉抓拍系統(tǒng)必須依賴于近距離拍攝人臉的缺點(diǎn)。
[0196]圖5示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖二，如圖所示，所述人臉抓拍系統(tǒng)可以進(jìn)一步包括:
[0197]第一比較模塊405，用于將所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較；
[0198]確定模塊406，用于根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過。
[0199]具體實(shí)施時(shí)，所述第一比較模塊可以用于將所述人臉圖像與已存儲(chǔ)在緩存或數(shù)據(jù)庫中的人臉圖像進(jìn)行比較，所述已存儲(chǔ)在緩存或數(shù)據(jù)庫中的人臉圖像為已結(jié)構(gòu)化的圖像。
[0200 ]圖6示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖三，如圖所示，所述人臉抓拍系統(tǒng)可以進(jìn)一步包括:
[0201]添加模塊407，用于在確定所述人臉未被存儲(chǔ)過時(shí)，存儲(chǔ)所述人臉圖像。
[0202]具體實(shí)施時(shí)，所述添加模塊可以具體用于在確定所述人臉未被存儲(chǔ)過時(shí)，將所述人臉圖像存儲(chǔ)至緩存或數(shù)據(jù)庫中。
[0203]圖7示出了本申請(qǐng)實(shí)施例四中人臉抓拍系統(tǒng)的結(jié)構(gòu)示意圖四，如圖所示，所述人臉抓拍系統(tǒng)可以進(jìn)一步包括:
[0204]第二比較模塊408，用于在確定所述人臉已經(jīng)被存儲(chǔ)過時(shí)，比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量；
[0205]更新模塊409，用于在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。
[0206]具體實(shí)施時(shí)，所述更新模塊可以具體用于在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，將所述已存儲(chǔ)的人臉圖像刪除，存儲(chǔ)本次獲取到的人臉圖像。
[0207]圖8示出了本申請(qǐng)實(shí)施例四中第一比較模塊的結(jié)構(gòu)示意圖，如圖所示，所述第一比較模塊405具體可以包括:
[0208]特征提取單元4051，用于根據(jù)所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當(dāng)前時(shí)間、人臉在所述廣角相機(jī)中的位置、以及根據(jù)所述人臉圖像提取的特征表達(dá)；
[0209]比較單元4052，用于將所述人臉的特征信息與已存儲(chǔ)的人臉圖像的特征信息進(jìn)行相似度比較；
[0210]所述確定模塊具體可以用于如果時(shí)間間隔在預(yù)設(shè)時(shí)間范圍內(nèi)、在所述廣角相機(jī)中的相對(duì)位置在預(yù)設(shè)距離內(nèi)、并且兩張人臉圖像的特征表達(dá)的相似度高于預(yù)設(shè)閾值，則確定所述人臉已經(jīng)被存儲(chǔ)過。
[0211]本申請(qǐng)實(shí)施例將那些在較短時(shí)間、較近距離的相似人臉確定為重復(fù)的人臉，綜合了時(shí)間、空間、人臉相似度的人臉記錄去重，使得人臉去重操作更加精確。
[0212]圖9示出了本申請(qǐng)實(shí)施例四中第一檢測模塊的結(jié)構(gòu)示意圖，如圖所示，所述第一檢測模塊402具體可以包括:
[0213]第一預(yù)處理單元4021，用于對(duì)所述廣角相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0214]第一卷積單元4022，用于將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0215]第一輸出單元4023，用于利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人體所在區(qū)域的分值；
[0216]第一確定單元4024，用于確定所述分值超過預(yù)設(shè)第一閾值且局部得分最高的區(qū)域?yàn)樗鋈梭w所在區(qū)域。
[0217]圖10示出了本申請(qǐng)實(shí)施例四中第二檢測模塊的結(jié)構(gòu)示意圖，如圖所示，所述第二檢測模塊404具體可以包括:
[0218]第二預(yù)處理單元4041，用于對(duì)所述長焦相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理；
[0219]第二卷積單元4042，用于將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像；
[0220]第二輸出單元4043，用于利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人臉?biāo)趨^(qū)域的分值；
[0221]第二確定單元4044，用于確定所述分值超過預(yù)設(shè)第二閾值且局部得分最高的區(qū)域?yàn)樗鋈四標(biāo)趨^(qū)域。
[0222]本申請(qǐng)實(shí)施例所提供的人臉抓拍系統(tǒng)，所述廣角相機(jī)獲取監(jiān)控場景中的視頻數(shù)據(jù)，第一檢測模塊根據(jù)所述視頻數(shù)據(jù)檢測到人體所在區(qū)域，然后所述長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)，最終，第二檢測模塊對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像，本申請(qǐng)實(shí)施例結(jié)合了不同相機(jī)的優(yōu)勢，可以利用廣角相機(jī)獲取大范圍監(jiān)控場景內(nèi)的人體目標(biāo)，然后可以利用長焦相機(jī)獲取遠(yuǎn)距離高清晰人臉，克服了傳統(tǒng)人臉抓拍系統(tǒng)必須依賴于近距離拍攝人臉的缺點(diǎn)，可以適應(yīng)于更加復(fù)雜多變的應(yīng)用場景。
[0223]為了描述的方便，以上所述裝置的各部分以功能分為各種模塊或單元分別描述。當(dāng)然，在實(shí)施本申請(qǐng)時(shí)可以把各模塊或單元的功能在同一個(gè)或多個(gè)軟件或硬件中實(shí)現(xiàn)。
[0224]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0225]本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0226]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
[0227]這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0228]盡管已描述了本申請(qǐng)的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)范圍的所有變更和修改。
【主權(quán)項(xiàng)】
1.一種人臉抓拍方法，其特征在于，包括如下步驟: 利用廣角相機(jī)獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)； 根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域； 利用長焦相機(jī)獲取所述人體所在區(qū)域的視頻數(shù)據(jù)； 對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。2.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括: 將所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較； 根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過。3.如權(quán)利要求2所述的方法，其特征在于，進(jìn)一步包括: 如果確定所述人臉未被存儲(chǔ)過，存儲(chǔ)所述人臉圖像。4.如權(quán)利要求2所述的方法，其特征在于，進(jìn)一步包括: 如果確定所述人臉已經(jīng)被存儲(chǔ)過，比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量； 在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。5.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較，具體為:根據(jù)所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當(dāng)前時(shí)間、人臉在所述廣角相機(jī)中的位置、以及根據(jù)所述人臉圖像提取的特征表達(dá);將所述人臉的特征信息與已存儲(chǔ)的人臉圖像的特征信息進(jìn)行相似度比較； 所述根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過，具體為:如果時(shí)間間隔在預(yù)設(shè)時(shí)間范圍內(nèi)、在所述廣角相機(jī)中的相對(duì)位置在預(yù)設(shè)距離內(nèi)、并且兩張人臉圖像的特征表達(dá)的相似度高于預(yù)設(shè)閾值，則確定所述人臉已經(jīng)被存儲(chǔ)過。6.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域，具體為: 對(duì)所述廣角相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理； 將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像； 利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人體所在區(qū)域的分值； 確定所述分值超過預(yù)設(shè)第一閾值且局部得分最高的區(qū)域?yàn)樗鋈梭w所在區(qū)域。7.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，具體為: 對(duì)所述長焦相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理； 將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像； 利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人臉?biāo)趨^(qū)域的分值； 確定所述分值超過預(yù)設(shè)第二閾值且局部得分最高的區(qū)域?yàn)樗鋈四標(biāo)趨^(qū)域。8.一種人臉抓拍系統(tǒng)，其特征在于，包括:聯(lián)動(dòng)相機(jī)組、第一檢測模塊和第二檢測模塊，所述聯(lián)動(dòng)相機(jī)組包括廣角相機(jī)和長焦相機(jī)，其中， 所述廣角相機(jī)，用于獲取監(jiān)控場景中的廣角視頻數(shù)據(jù)； 所述第一檢測模塊，用于根據(jù)所述視頻數(shù)據(jù)檢測人體所在區(qū)域； 所述長焦相機(jī)，用于獲取所述人體所在區(qū)域的視頻數(shù)據(jù)； 所述第二檢測模塊，用于對(duì)所述長焦相機(jī)獲取到的視頻數(shù)據(jù)進(jìn)行人臉檢測，得到人臉圖像。9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，進(jìn)一步包括: 第一比較模塊，用于將所述人臉圖像與已存儲(chǔ)的人臉圖像進(jìn)行相似度比較； 確定模塊，用于根據(jù)所述相似度比較的結(jié)果，確定所述人臉是否已經(jīng)被存儲(chǔ)過。10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，進(jìn)一步包括: 添加模塊，用于在確定所述人臉未被存儲(chǔ)過時(shí)，存儲(chǔ)所述人臉圖像。11.如權(quán)利要求9所述的系統(tǒng)，其特征在于，進(jìn)一步包括: 第二比較模塊，用于在確定所述人臉已經(jīng)被存儲(chǔ)過時(shí)，比較所述人臉圖像與已存儲(chǔ)的人臉圖像的圖像質(zhì)量； 更新模塊，用于在所述人臉圖像比已存儲(chǔ)的人臉圖像的圖像質(zhì)量高時(shí)，更新所述已存儲(chǔ)的人臉圖像。12.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述第一比較模塊具體包括: 特征提取單元，用于根據(jù)所述人臉圖像提取所述人臉的特征信息，所述特征信息包括當(dāng)前時(shí)間、人臉在所述廣角相機(jī)中的位置、以及根據(jù)所述人臉圖像提取的特征表達(dá)； 比較單元，用于將所述人臉的特征信息與已存儲(chǔ)的人臉圖像的特征信息進(jìn)行相似度比較； 所述確定模塊具體用于如果時(shí)間間隔在預(yù)設(shè)時(shí)間范圍內(nèi)、在所述廣角相機(jī)中的相對(duì)位置在預(yù)設(shè)距離內(nèi)、并且兩張人臉圖像的特征表達(dá)的相似度高于預(yù)設(shè)閾值，則確定所述人臉已經(jīng)被存儲(chǔ)過。13.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述第一檢測模塊具體包括: 第一預(yù)處理單元，用于對(duì)所述廣角相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理； 第一卷積單元，用于將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人體檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像； 第一輸出單元，用于利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人體所在區(qū)域的分值； 第一確定單元，用于確定所述分值超過預(yù)設(shè)第一閾值且局部得分最高的區(qū)域?yàn)樗鋈梭w所在區(qū)域。14.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述第二檢測模塊具體包括: 第二預(yù)處理單元，用于對(duì)所述長焦相機(jī)獲取到的視頻圖像進(jìn)行預(yù)處理； 第二卷積單元，用于將所述視頻圖像輸入預(yù)先訓(xùn)練得到的人臉檢測深度卷積神經(jīng)網(wǎng)絡(luò)，得到特征圖譜;所述特征圖譜上像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像中的圖片塊，所述特征圖譜上所有像素點(diǎn)的作用域?qū)?yīng)于所述視頻圖像； 第二輸出單元，用于利用多個(gè)不同尺度和/或長寬比的預(yù)設(shè)滑動(dòng)窗口對(duì)所述特征圖譜進(jìn)行掃描，得到人臉?biāo)趨^(qū)域的分值； 第二確定單元，用于確定所述分值超過預(yù)設(shè)第二閾值且局部得分最高的區(qū)域?yàn)樗鋈四標(biāo)趨^(qū)域。
【文檔編號(hào)】G06K9/32GK105930822SQ201610308462
【公開日】2016年9月7日
【申請(qǐng)日】2016年5月11日
【發(fā)明人】左珍
【申請(qǐng)人】北京格靈深瞳信息技術(shù)有限公司