0距離為5m-8m范圍內(nèi))獲取多目標(biāo)人臉和步態(tài)的3D圖像，在較遠(yuǎn)區(qū)域(距裝置1000距離為8m-15m范圍內(nèi))獲取多目標(biāo)人臉和步態(tài)的2D圖像。對于本發(fā)明，其以生物特征識別為應(yīng)用背景，面向現(xiàn)實(shí)復(fù)雜場景條件(如室外大范圍且背景復(fù)雜、環(huán)境光照變化、目標(biāo)人群多且存在運(yùn)動(dòng)、姿態(tài)變化及相互遮擋等情況)，通過光電技術(shù)、視覺計(jì)算技術(shù)等領(lǐng)域的技術(shù)融合與創(chuàng)新，對大范圍內(nèi)的虹膜、人臉、步態(tài)多模態(tài)生物特征進(jìn)行有效檢測獲取，并層次化獲取多模態(tài)生物特征的多維圖像信息，在生物識別、視頻監(jiān)控、智能安防等領(lǐng)域具有廣闊的應(yīng)用前景。
[0119]此外，本發(fā)明還可以通過生物特征場景感知與建模系統(tǒng)和多模態(tài)生物特征主動(dòng)感知系統(tǒng)對真實(shí)物理場景進(jìn)行感知建模、對目標(biāo)進(jìn)行檢測定位，為主動(dòng)多元成像系統(tǒng)提供反饋校正，完成室外大范圍且背景復(fù)雜、晝夜和光照變化等條件下場景的目標(biāo)生物特征感知，實(shí)現(xiàn)多場景多模態(tài)生物特征信息的魯棒控制成像，利用成像端與算法端的協(xié)同有效控制來保障高質(zhì)量的多元數(shù)據(jù)獲取。
[0120]另外，本發(fā)明突破了傳統(tǒng)生物特征獲取設(shè)備成像景深有限且目標(biāo)對象單一的局限，利用光場成像等計(jì)算成像技術(shù)，實(shí)現(xiàn)對處于場景不同深度的多目標(biāo)生物特征進(jìn)行選擇性成像，不僅擴(kuò)大場景的成像景深，亦可有選擇性的確定成像平面，提高成像質(zhì)量同時(shí)增強(qiáng)儀器設(shè)備的靈活性;針對復(fù)雜環(huán)境中多目標(biāo)之間產(chǎn)生人群遮擋問題，本發(fā)明以深度信息為先驗(yàn)知識，利用相關(guān)計(jì)算成像技術(shù)，對場景目標(biāo)的遮擋物進(jìn)行識別、分割和剔除，實(shí)現(xiàn)對多人群目標(biāo)環(huán)境下的生物特征信息更為全面精細(xì)的感知。
[0121]綜上所述，與現(xiàn)有技術(shù)相比較，本發(fā)明提供了一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法及其裝置，其可以對現(xiàn)實(shí)復(fù)雜場景條件(如室外大范圍且背景復(fù)雜、環(huán)境光照變化、目標(biāo)人群多且存在運(yùn)動(dòng)、姿態(tài)變化及相互遮擋等情況)下多個(gè)用戶的生物特征進(jìn)行多模態(tài)識別，滿足復(fù)雜成像場景中多用戶的身份識別需求，實(shí)現(xiàn)對大范圍內(nèi)的虹膜、人臉、步態(tài)多豐旲態(tài)生物特征進(jìn)彳丁有效獲取，進(jìn)一步提尚識別的準(zhǔn)確性，實(shí)現(xiàn)遠(yuǎn)距尚、尚分辨、尚速的多模態(tài)生物特征識別，有利于提高用戶的產(chǎn)品使用感受，具有重大的生產(chǎn)實(shí)踐意義。
[0122]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法，其特征在于，包括步驟: 第一步:向用戶需要拍攝的預(yù)設(shè)拍攝場景提供多光譜的補(bǔ)償照明； 第二步:采集所述預(yù)設(shè)拍攝場景的多元圖像，其中，所述預(yù)設(shè)拍攝場景的多元圖像包括多個(gè)用戶的虹膜和人臉圖像、場景高分辨率圖像、場景高動(dòng)態(tài)圖像、多個(gè)用戶的紅外圖像以及多個(gè)用戶的深度圖像； 第三步:對所述預(yù)設(shè)拍攝場景的多元圖像進(jìn)行預(yù)設(shè)數(shù)據(jù)處理操作，獲得初始化的多元圖像數(shù)據(jù)； 第四步:根據(jù)所述初始化的多元圖像數(shù)據(jù)，對所述預(yù)設(shè)拍攝場景進(jìn)行感知建模，獲得所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型，以及檢測獲得所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息； 第五步:判斷所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息是否符合預(yù)設(shè)建模信息條件，以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息是否符合預(yù)設(shè)生物特征條件，當(dāng)所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息符合預(yù)設(shè)建模信息條件，同時(shí)所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息符合預(yù)設(shè)生物特征條件時(shí)，根據(jù)所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型具有的建模信息以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息，執(zhí)行預(yù)設(shè)成像處理操作，獲得最終的多模態(tài)生物特征圖像并進(jìn)行顯示。2.如權(quán)利要求1所述的方法，其特征在于，在所述第一步中，通過由多個(gè)多光譜光源組成的多光譜光源模塊向所述預(yù)設(shè)拍攝場景提供多光譜的補(bǔ)償照明。3.如權(quán)利要求1所述的方法，其特征在于，在所述第二步中，通過由多個(gè)光場成像傳感器組成光場成像模塊來采集所述預(yù)設(shè)拍攝場景中多個(gè)用戶的虹膜和人臉圖像； 通過由多個(gè)面陣圖像傳感器組成的高分辨率成像模塊采集所述預(yù)設(shè)拍攝場景的場景高分辨率；； 通過由多個(gè)高動(dòng)態(tài)圖像傳感器組成的高動(dòng)態(tài)成像模塊采集所述預(yù)設(shè)拍攝場景的場景尚動(dòng)態(tài)圖像； 通過由多個(gè)紅外圖像傳感器組成的紅外成像模塊采集所述預(yù)設(shè)拍攝場景中多個(gè)用戶的紅外圖像； 通過由多個(gè)深度攝像機(jī)組成的深度成像模塊采集所述預(yù)設(shè)拍攝場景中多個(gè)用戶的深度圖像。4.如權(quán)利要求1所述的方法，其特征在于，所述深度攝像機(jī)為飛行時(shí)間法TOF攝像機(jī)。5.一種復(fù)雜場景多模態(tài)生物特征圖像獲取裝置，其特征在于，包括: 主動(dòng)多元成像單元，用于向用戶需要拍攝的預(yù)設(shè)拍攝場景提供多光譜的補(bǔ)償照明，以及采集所述預(yù)設(shè)拍攝場景的多元圖像，其中，所述預(yù)設(shè)拍攝場景的多元圖像包括多個(gè)用戶的虹膜和人臉圖像、場景高分辨率、場景高動(dòng)態(tài)圖像、多個(gè)用戶的紅外圖像以及多個(gè)用戶的深度圖像，然后將所述多元圖像發(fā)送給邏輯控制平臺； 邏輯控制平臺，與主動(dòng)多元成像單元相連接，用于根據(jù)用戶輸入的圖像獲取開始或者停止指令，對應(yīng)控制主動(dòng)多元成像單元的啟動(dòng)或者停止運(yùn)行，并且在接收到主動(dòng)多元成像單元發(fā)來的所述預(yù)設(shè)拍攝場景的多元圖像后，實(shí)時(shí)轉(zhuǎn)發(fā)給并行數(shù)據(jù)計(jì)算平臺，以及判斷所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息是否符合預(yù)設(shè)建模信息條件，以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息是否符合預(yù)設(shè)生物特征條件，當(dāng)所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息符合預(yù)設(shè)建模信息條件且所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息符合預(yù)設(shè)生物特征條件時(shí)，發(fā)送所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型具有的建模信息以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息給并行數(shù)據(jù)計(jì)算平臺中的高級成像算法處理系統(tǒng)； 并行數(shù)據(jù)計(jì)算平臺，具體包括多元傳感數(shù)據(jù)處理系統(tǒng)、生物特征場景感知與建模系統(tǒng)、多模態(tài)生物特征主動(dòng)感知系統(tǒng)和高級成像算法處理系統(tǒng);其中: 多元傳感數(shù)據(jù)處理系統(tǒng)，與邏輯控制平臺相連接，用于對所述預(yù)設(shè)拍攝場景的多元圖像進(jìn)行預(yù)設(shè)數(shù)據(jù)處理操作，獲得初始化的多元圖像數(shù)據(jù)； 生物特征場景感知與建模系統(tǒng)，分別與多元傳感數(shù)據(jù)處理系統(tǒng)和邏輯控制平臺相連接，用于根據(jù)所述初始化的多元圖像數(shù)據(jù)，對所述預(yù)設(shè)拍攝場景進(jìn)行感知建模，獲得所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型，并發(fā)送給邏輯控制平臺； 多模態(tài)生物特征主動(dòng)感知系統(tǒng)，分別與多元傳感數(shù)據(jù)處理系統(tǒng)和邏輯控制平臺相連接，用于檢測獲得所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息，并發(fā)送給邏輯控制平臺； 高級成像算法處理系統(tǒng)，與邏輯控制平臺相連接，用于根據(jù)所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型具有的建模信息以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息，執(zhí)行預(yù)設(shè)成像處理操作，獲得最終的多模態(tài)生物特征圖像并進(jìn)行顯示。6.如權(quán)利要求5所述的裝置，其特征在于，所述主動(dòng)多元成像單元包括多光譜光源模塊、光場成像模塊、高分辨率成像模塊、高動(dòng)態(tài)成像模塊、紅外成像模塊以及深度成像模塊； 所述多光譜光源模塊、光場成像模塊、高分辨率成像模塊、高動(dòng)態(tài)成像模塊、紅外成像模塊以及深度成像模塊分別與所述邏輯控制平臺相連接。7.如權(quán)利要求5所述的裝置，其特征在于，包括裝置外殼(300)，所述裝置外殼的正面中心位置設(shè)置有主成像鏡頭(303); 所述主成像鏡頭(303)的左側(cè)設(shè)置有紅外成像鏡頭(304)，所述主成像鏡頭(303)的右側(cè)設(shè)置有深度成像鏡頭(305); 所述裝置外殼的正面四周分別均勻分布有四個(gè)光場成像鏡頭組(306); 所述光場成像鏡頭組(306)、紅外成像鏡頭(304)和深度成像鏡頭(305)的周圍分別有多個(gè)多光譜光源(302)。8.如權(quán)利要求5所述的裝置，其特征在于，所述邏輯控制平臺包括現(xiàn)場可編程門陣列FPGA和單片機(jī)ARM邏輯控制芯片，其中: 現(xiàn)場可編程門陣列FPGA用于根據(jù)用戶輸入的圖像獲取開始或者停止指令，對主動(dòng)多元成像單元中的多光譜光源模塊、光場成像模塊、高分辨率成像模塊、高動(dòng)態(tài)成像模塊、紅外成像模塊以及深度成像模塊進(jìn)行驅(qū)動(dòng)控制，實(shí)現(xiàn)對應(yīng)控制主動(dòng)多元成像單元的啟動(dòng)或者停止運(yùn)行及控制參數(shù)調(diào)節(jié)，以及數(shù)據(jù)的傳輸緩存;單片機(jī)ARM邏輯控制芯片用于負(fù)責(zé)邏輯控制平臺與并行數(shù)據(jù)計(jì)算平臺之間的數(shù)據(jù)調(diào)度配合。
【專利摘要】本發(fā)明公開了一種復(fù)雜場景多模態(tài)生物特征圖像獲取裝置，包括：主動(dòng)多元成像單元，邏輯控制平臺、并行數(shù)據(jù)計(jì)算平臺，其中，邏輯控制平臺，與主動(dòng)多元成像單元相連接，并行數(shù)據(jù)計(jì)算平臺與邏輯控制平臺相連接，并行數(shù)據(jù)計(jì)算平臺具體包括多元傳感數(shù)據(jù)處理系統(tǒng)、生物特征場景感知與建模系統(tǒng)、多模態(tài)生物特征主動(dòng)感知系統(tǒng)和高級成像算法處理系統(tǒng)。此外，本發(fā)明還公開了一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法。本發(fā)明公開的一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法及其裝置，其可以對現(xiàn)實(shí)復(fù)雜場景條件下多個(gè)用戶的生物特征進(jìn)行多模態(tài)識別，滿足復(fù)雜成像場景中多用戶的身份識別需求，實(shí)現(xiàn)對大范圍內(nèi)的虹膜、人臉、步態(tài)多模態(tài)生物特征進(jìn)行有效獲取。
【IPC分類】G06K9/20
【公開號】CN105574525
【申請?zhí)枴緾N201510967025
【發(fā)明人】孫哲南, 侯廣琦, 譚鐵牛, 秦婭楠
【申請人】天津中科智能識別產(chǎn)業(yè)技術(shù)研究院有限公司
【公開日】2016年5月11日
【申請日】2015年12月18日