一種視頻中人臉檢測(cè)區(qū)域的定位方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種視頻中人臉檢測(cè)區(qū)域的定位方法及裝置，能夠從整幀視頻圖像中有效過(guò)濾掉不包含人臉的區(qū)域，使人臉的檢測(cè)范圍大大縮小，從而有效提升視頻中人臉檢測(cè)的準(zhǔn)確性和效率。視頻中人臉檢測(cè)區(qū)域的定位方法，包括：從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像；針對(duì)每次提取的三幀連續(xù)的視頻圖像，執(zhí)行如下操作：根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，所述歷史運(yùn)動(dòng)圖像是指在一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的軌跡；對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
【專(zhuān)利說(shuō)明】—種視頻中人臉檢測(cè)區(qū)域的定位方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模式識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種視頻中人臉檢測(cè)區(qū)域的定位方法及裝置。
【背景技術(shù)】
[0002]人臉檢測(cè)是指從指定圖像中標(biāo)定出所有人臉的位置和尺寸。作為智能信息處理中的一項(xiàng)關(guān)鍵技術(shù)，人臉檢測(cè)近年來(lái)已成為模式識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)一項(xiàng)受到普遍重視、研究十分活躍的課題。
[0003]人臉檢測(cè)是人臉識(shí)別系統(tǒng)中的一個(gè)重要環(huán)節(jié)，也可以獨(dú)立應(yīng)用于視頻監(jiān)控。隨著視頻監(jiān)控系統(tǒng)的普及化及龐大化，在視頻監(jiān)控中對(duì)人臉檢測(cè)就成為了當(dāng)前研究的一個(gè)熱點(diǎn)問(wèn)題。視頻中人臉檢測(cè)由于需要考慮人臉檢測(cè)的實(shí)時(shí)性問(wèn)題，因此視頻中人臉檢測(cè)的準(zhǔn)確性和效率顯得尤為重要。
[0004]傳統(tǒng)的人臉檢測(cè)方法需要全局掃描整幀視頻圖像，效率低，不能達(dá)到實(shí)時(shí)性的要求。現(xiàn)有技術(shù)中，提供了兩種人臉檢測(cè)效率改進(jìn)方法:基于膚色特征的區(qū)域提取方法和基于幀差法的運(yùn)動(dòng)區(qū)域提取方法。其中:
[0005]基于膚色特征的區(qū)域提取方法，通過(guò)將一幀視頻圖像中所有近膚色的區(qū)域提取出來(lái)實(shí)現(xiàn)人臉檢測(cè)。該方法適應(yīng)性差，受光線、人種、背景等的影響較大，導(dǎo)致人臉檢測(cè)的準(zhǔn)確性較低。
[0006]基于幀差法的運(yùn)動(dòng)區(qū)域提取方法，通過(guò)計(jì)算兩幀視頻圖像之間的像素差值提取出運(yùn)動(dòng)區(qū)域從而實(shí)現(xiàn)人臉檢測(cè)。該方法不能有效提取出完整的區(qū)域，使人臉檢測(cè)的漏檢率和誤檢率大大提聞。
[0007]因此，如何有效提升視頻中人臉檢測(cè)的準(zhǔn)確性和效率成為現(xiàn)有技術(shù)中亟待解決的技術(shù)問(wèn)題之一。

【發(fā)明內(nèi)容】

[0008]本發(fā)明實(shí)施例提供一種視頻中人臉檢測(cè)區(qū)域的定位方法及裝置，能夠從整幀視頻圖像中有效過(guò)濾掉不包含人臉的區(qū)域，使人臉的檢測(cè)范圍大大縮小，從而有效提升視頻中人臉檢測(cè)的準(zhǔn)確性和效率。
[0009]本發(fā)明實(shí)施例提供的視頻中人臉檢測(cè)區(qū)域的定位方法，包括:
[0010]從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像；
[0011]針對(duì)每次提取的三幀連續(xù)的視頻圖像，執(zhí)行如下操作:
[0012]根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，所述歷史運(yùn)動(dòng)圖像是指在一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的軌跡；
[0013]對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
[0014]本發(fā)明實(shí)施例提供的一種視頻中人臉檢測(cè)區(qū)域的定位裝置，包括:[0015]提取模塊，用于從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像；
[0016]構(gòu)建模塊，用于針對(duì)每次提取的三幀連續(xù)的視頻圖像，根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，所述歷史運(yùn)動(dòng)圖像是指在一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的軌跡；
[0017]定位模塊，用于對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
[0018]本發(fā)明實(shí)施例提供的視頻中人臉檢測(cè)區(qū)域的定位方法及裝置，從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像，每次執(zhí)行如下操作:首先構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。能夠?qū)κ芄庹沼绊懙膮^(qū)域進(jìn)行有效去除，使人臉檢測(cè)區(qū)域范圍大幅度縮減，消除了背景干擾，大大降低了人臉誤檢率，并且有效解決因?yàn)檫\(yùn)動(dòng)幅度太小和包含人臉的區(qū)域突然靜止導(dǎo)致的當(dāng)前幀視頻圖像中前景檢測(cè)丟失的問(wèn)題，基于本發(fā)明實(shí)施例提供的視頻中人臉檢測(cè)區(qū)域的定位方法及裝置，使得人臉檢測(cè)的準(zhǔn)確性和效率有了很大的提升。
[0019]本申請(qǐng)的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本申請(qǐng)而了解。本申請(qǐng)的目的和其他優(yōu)點(diǎn)可通過(guò)在所寫(xiě)的說(shuō)明書(shū)、權(quán)利要求書(shū)、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0020]附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本發(fā)明實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
[0021]圖1為本發(fā)明實(shí)施例中視頻中人臉檢測(cè)區(qū)域的定位方法流程圖；
[0022]圖2為本發(fā)明實(shí)施例中針對(duì)任意一次提取的三幀連續(xù)的視頻圖像執(zhí)行人臉檢測(cè)區(qū)域定位的方法流程圖；
[0023]圖3為本發(fā)明實(shí)施例中人臉檢測(cè)區(qū)域的定位裝置框圖；
[0024]圖4為本發(fā)明實(shí)施例中構(gòu)建模塊的一種可能的結(jié)構(gòu)框圖。
[0025]圖5為本發(fā)明實(shí)施例中定位模塊的一種可能的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0026]本發(fā)明實(shí)施例提供一種視頻中人臉檢測(cè)區(qū)域的定位方法及裝置，能夠從整幀視頻圖像中有效過(guò)濾掉不包含人臉的區(qū)域，使人臉的檢測(cè)范圍大大縮小，從而有效提升視頻中人臉檢測(cè)的準(zhǔn)確性和效率。以下結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說(shuō)明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明。并且在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0027]本發(fā)明實(shí)施例提供的視頻中人臉檢測(cè)區(qū)域的定位方法，如圖1所示，包括如下步驟:
[0028]SlOU從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像。
[0029]舉例進(jìn)行說(shuō)明，從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像是指第一次從視頻圖像序列中提取第一幀、第二幀、第三幀視頻圖像，第二次從視頻圖像序列中提取第二幀、第三幀、第四幀視頻圖像，第三次從視頻圖像序列中提取第三幀、第四幀、第五幀視頻圖像，以此類(lèi)推，直至視頻圖像序列中所有幀視頻圖像全部提取完成。
[0030]具體實(shí)施中，為了提高存取效率，可以預(yù)先為buffer (緩沖器)分配大于三幀視頻圖像的存儲(chǔ)空間，例如五幀視頻圖像的存儲(chǔ)空間，從而對(duì)輸入數(shù)據(jù)進(jìn)行buffer輪轉(zhuǎn)，使得數(shù)據(jù)的讀取和寫(xiě)入可以并行處理，提升數(shù)據(jù)處理效率，具體包括如下步驟:
[0031]根據(jù)為buffer分配的大于三幀視頻圖像的存儲(chǔ)空間，從視頻圖像序列中提取相應(yīng)中貞數(shù)的連續(xù)的視頻圖像寫(xiě)入到buffer中；
[0032]每次從buffer中讀取前三幀連續(xù)的視頻圖像；以及
[0033]從buffer中讀取前三幀連續(xù)的視頻圖像后,將buffer中第一幀視頻圖像移除，并從視頻圖像序列中提取下一幀視頻圖像寫(xiě)入到buffer中。
[0034]S102、針對(duì)每次提取的三幀連續(xù)的視頻圖像，通過(guò)執(zhí)行如下操作定位出當(dāng)前幀人臉檢測(cè)區(qū)域:
[0035]步驟a、根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像(MotionHistory Image),構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像,其中，歷史運(yùn)動(dòng)圖像是指在一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的軌跡。
[0036]步驟b、對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
[0037]下面以針對(duì)任意一次提取的三幀連續(xù)的視頻圖像執(zhí)行操作的具體流程為例進(jìn)行詳細(xì)說(shuō)明。如圖2所示，包括如下步驟:
[0038]S201、從視頻圖像序列中提取三幀連續(xù)的視頻圖像。
[0039]具體實(shí)施中，假設(shè)當(dāng)前提取的三幀連續(xù)的視頻圖像分別為:t_l時(shí)刻、t時(shí)刻、t+1時(shí)刻的三幀視頻圖像。
[0040]S202、對(duì)當(dāng)前提取的三幀視頻圖像中，每相鄰兩幀視頻圖像分別進(jìn)行差分運(yùn)算，并對(duì)得到的兩個(gè)差分圖像進(jìn)行邏輯與運(yùn)算，得到當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像。
[0041]具體實(shí)施中，運(yùn)算方法如公式[I]所示:
[0042]St (x, y) = I Ft (x, y) -Ft^1 (x, y) Π Ft+1 (χ, y) -Ft (χ, y) [I]
[0043]其中，(x，y)表示視頻圖像中像素點(diǎn)的坐標(biāo)位置，St (x, y)表示當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像，F(xiàn)t (χ, y)表示t時(shí)刻的一幀視頻圖像，F(xiàn)t^1 (x, y)表示t_l時(shí)刻的一幀視頻圖像，F(xiàn)t+1 (x, y)表示t+1時(shí)刻的一幀視頻圖像， ?表示邏輯與運(yùn)算符。
[0044]S203、對(duì)當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像進(jìn)行二值化處理，得到當(dāng)前幀二值化圖像，其中，二值化圖像中非零像素點(diǎn)為運(yùn)動(dòng)區(qū)域的像素點(diǎn)。
[0045]具體實(shí)施中，運(yùn)算方法如公式[2]所示:
【權(quán)利要求】
1.一種視頻中人臉檢測(cè)區(qū)域的定位方法，其特征在于，包括: 從視頻圖像序列中依次提取二幀連續(xù)的視頻圖像； 針對(duì)每次提取的三幀連續(xù)的視頻圖像，執(zhí)行如下操作: 根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，所述歷史運(yùn)動(dòng)圖像是指在一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的軌跡； 對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，具體包括: 對(duì)當(dāng)前提取的三幀視頻圖像中，每相鄰兩幀視頻圖像分別進(jìn)行差分運(yùn)算，并對(duì)得到的兩個(gè)差分圖像進(jìn)行邏輯與運(yùn)算，得到當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像； 對(duì)當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像進(jìn)行二值化處理，得到當(dāng)前幀二值化圖像，所述二值化圖像中非零像素點(diǎn)為運(yùn)動(dòng)區(qū)域的像素點(diǎn)； 對(duì)當(dāng)前幀二值化圖像進(jìn)行遍歷，并基于上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像。
3.如權(quán)利要求2所 述的方法，其特征在于，所述對(duì)當(dāng)前幀二值化圖像進(jìn)行遍歷，并基于上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，具體包括: 將當(dāng)前幀二值化圖像中的非零像素點(diǎn)的像素值設(shè)置為當(dāng)前系統(tǒng)時(shí)間； 針對(duì)當(dāng)前幀二值化圖像中的零像素點(diǎn): 如果上一幀歷史運(yùn)動(dòng)圖像中同一坐標(biāo)位置上像素點(diǎn)的像素值小于當(dāng)前系統(tǒng)時(shí)間與設(shè)定的歷史持續(xù)時(shí)長(zhǎng)之差，則將像素值設(shè)置為O，所述歷史持續(xù)時(shí)長(zhǎng)根據(jù)視頻的幀率確定； 如果上一幀歷史運(yùn)動(dòng)圖像中同一坐標(biāo)位置上像素點(diǎn)的像素值大于等于當(dāng)前系統(tǒng)時(shí)間與設(shè)定的歷史持續(xù)時(shí)長(zhǎng)之差，則將像素值設(shè)置為上一幀歷史運(yùn)動(dòng)圖像中同一坐標(biāo)位置上像素點(diǎn)的像素值。
4.如權(quán)利要求2所述的方法，其特征在于，所述對(duì)當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像進(jìn)行二值化處理，得到當(dāng)前幀二值化圖像，具體通過(guò)如下公式實(shí)現(xiàn):
5.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，具體通過(guò)如下公式實(shí)現(xiàn):
6.如權(quán)利要求1或5所述的方法，其特征在于，所述將不符合人臉特征的連通區(qū)域去除，具體包括:將不超過(guò)預(yù)設(shè)的人臉閾值的連通區(qū)域、以及嵌套區(qū)域所占比值超過(guò)預(yù)設(shè)的百分比閾值的連通區(qū)域去除。
7.如權(quán)利要求1所述的方法，其特征在于，所述從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像，具體包括: 根據(jù)為緩沖器buffer分配的大于三幀視頻圖像的存儲(chǔ)空間，從視頻圖像序列中提取相應(yīng)幀數(shù)的連續(xù)的視頻圖像寫(xiě)入到buffer中； 每次從所述buffer中讀取前三幀連續(xù)的視頻圖像；以及 從所述buffer中讀取前三幀連續(xù)的視頻圖像后,將所述buffer中第一幀視頻圖像移除，并從視頻圖像序列中提取下一幀視頻圖像寫(xiě)入到buffer中。
8.一種視頻中人臉檢測(cè)區(qū)域的定位裝置，其特征在于，包括: 提取模塊，用于從視頻圖像序列中依次提取三幀連續(xù)的視頻圖像； 構(gòu)建模塊，用于針對(duì)每次提取的三幀連續(xù)的視頻圖像，根據(jù)當(dāng)前提取的三幀視頻圖像、以及上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像，所述歷史運(yùn)動(dòng)圖像是指在一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的軌跡； 定位模塊，用于對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，并將不符合人臉特征的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
9.如權(quán)利要求8所述的 裝置，其特征在于，所述構(gòu)建模塊，具體包括: 差分運(yùn)算子模塊，用于對(duì)當(dāng)前提取的三幀視頻圖像中，每相鄰兩幀視頻圖像分別進(jìn)行差分運(yùn)算，得到兩個(gè)差分圖像； 邏輯與運(yùn)算子模塊，用于對(duì)差分運(yùn)算子模塊得到的兩個(gè)差分圖像進(jìn)行邏輯與運(yùn)算，得到當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像； 二值化子模塊，用于對(duì)當(dāng)前幀運(yùn)動(dòng)目標(biāo)輪廓圖像進(jìn)行二值化處理，得到當(dāng)前幀二值化圖像，所述二值化圖像中非零像素點(diǎn)為運(yùn)動(dòng)區(qū)域的像素點(diǎn)； 構(gòu)建子模塊，用于對(duì)當(dāng)前幀二值化圖像進(jìn)行遍歷，并基于上一幀歷史運(yùn)動(dòng)圖像，構(gòu)建當(dāng)前幀歷史運(yùn)動(dòng)圖像。
10.如權(quán)利要求8所述的裝置，其特征在于，所述定位模塊，具體包括: 漫水填充子模塊，用于所述對(duì)當(dāng)前幀歷史運(yùn)動(dòng)圖像進(jìn)行運(yùn)動(dòng)分割以及區(qū)域連通，得到當(dāng)前幀連通區(qū)域序列，具體通過(guò)如下公式實(shí)現(xiàn):? Co, M,(x1, v') - Lo _ Threshold < M1 (.v, v) < M1 (V, v') + Up _ Threshold= k莫他—.......，其中，Cnt(x, y)表示當(dāng)前幀連通區(qū)域序列，U' ,y')表示坐標(biāo)位置為(x，y)的像素點(diǎn)的鄰域點(diǎn)的坐標(biāo)位置，Mt (X，y)表示當(dāng)前幀歷史運(yùn)動(dòng)圖像，Co表示預(yù)設(shè)的填充顏色值，Lo_Threshold表示預(yù)設(shè)的漫水填充下限值，Up_Threshold表示預(yù)設(shè)的漫水填充上限值； 定位子模塊，用于從漫水填充子模塊得到的當(dāng)前幀連通區(qū)域序列中，將不超過(guò)預(yù)設(shè)的人臉閾值的連通區(qū)域、以及嵌套區(qū)域所占比值超過(guò)預(yù)設(shè)的百分比閾值的連通區(qū)域去除，定位出當(dāng)前幀人臉檢測(cè)區(qū)域。
【文檔編號(hào)】G06K9/00GK103793703SQ201410076946
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2014年3月5日 優(yōu)先權(quán)日:2014年3月5日
【發(fā)明者】于曉靜 申請(qǐng)人:北京君正集成電路股份有限公司