本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域,特別是涉及一種人臉檢測方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。
背景技術(shù):
伴隨著機(jī)器視覺研究的興起,以人臉檢測、標(biāo)記和分析等技術(shù)為基礎(chǔ)的應(yīng)用成為當(dāng)下的熱點(diǎn),包括人臉身份識別,人臉特效,表情分析識別等。所有這些應(yīng)用依賴的基礎(chǔ)就是人臉檢測和標(biāo)記技術(shù)。人臉標(biāo)記就是給定一張人臉圖像,在人臉圖像的人臉區(qū)域找出面部和五官邊緣輪廓的位置,通過找到的位置就可以獲得面部輪廓形狀和五官的位置及形狀,從而可以進(jìn)一步進(jìn)行特征分析、屬性分析等。
進(jìn)行人臉標(biāo)記的算法可主要包括形狀模型算法、級聯(lián)回歸算法及基于神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的算法等。其中,形狀模型算法對人臉特征點(diǎn)構(gòu)成的形狀進(jìn)行建模,假設(shè)前提是任何一張人臉形狀都可以由一個相對穩(wěn)定的平均形狀經(jīng)過旋轉(zhuǎn),平移和尺度縮放來得到;級聯(lián)回歸算法是非參數(shù)的方法,對圖像特征和形狀建模,通過樣本訓(xùn)練過程學(xué)習(xí)圖像特征和形狀之間的映射關(guān)系,并且學(xué)習(xí)這個過程是逐級迭代的過程,逐漸逼近真實(shí)形狀,直到滿足誤差要求;基于神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的算法,則是通過多層神經(jīng)網(wǎng)絡(luò)模型建立起圖像特征和特征點(diǎn)形狀的映射關(guān)系,在訓(xùn)練過程中通過學(xué)習(xí)得到輸入圖像特征和形狀的確定函數(shù)關(guān)系。傳統(tǒng)的人臉標(biāo)記的算法都是基于單幀圖像的,而對于視頻圖像序列而言,由于攝像頭的和外部光照環(huán)境的影響,視頻前后幀的圖像即使沒有運(yùn)動也會有明顯的差異,會導(dǎo)致特征點(diǎn)的抖動,位置不穩(wěn)定,利用傳統(tǒng)的人臉標(biāo)記算法對視頻圖像序列進(jìn)行人臉檢測標(biāo)記準(zhǔn)確性較低。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供一種人臉檢測方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì),可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題,使檢測到的人臉形狀更加穩(wěn)定、準(zhǔn)確。
本發(fā)明實(shí)施例還提供一種用于人臉檢測的模型的構(gòu)建方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì),可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題,使檢測到的人臉形狀更加穩(wěn)定、準(zhǔn)確。
一種人臉檢測方法,包括:
獲取待檢測圖像;
獲取預(yù)先構(gòu)建的概率回歸模型中本次回歸樹的初始形狀;
從所述待檢測圖像提取圖像特征,并根據(jù)所述圖像特征分別計(jì)算所述本次回歸樹各個葉子結(jié)點(diǎn)的概率;
從所述本次回歸樹中提取所述各個葉子結(jié)點(diǎn)的誤差;
根據(jù)所述各個葉子結(jié)點(diǎn)的概率及誤差確定所述本次回歸樹的形狀誤差;
根據(jù)所述初始形狀及所述形狀誤差計(jì)算得到所述本次回歸樹的估計(jì)形狀;
將所述估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,直至所述概率回歸模型中的最后一棵回歸樹,得到所述最后一棵回歸樹的估計(jì)形狀,作為檢測到的人臉形狀。
一種用于人臉檢測的模型的構(gòu)建方法,包括:
根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,所述概率回歸模型包括多級隨機(jī)森林,每級隨機(jī)森林包括多棵回歸樹;
所述根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,包括:
構(gòu)建每級隨機(jī)森林時,從所述樣本圖像集中隨機(jī)選取第一像素對集合;
根據(jù)所述第一像素對集合對所述樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,并根據(jù)分配到所述各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與所述生成的回歸樹的初始預(yù)測形狀確定所述各個葉子結(jié)點(diǎn)的誤差;
根據(jù)所述生成的回歸樹的初始預(yù)測形狀與所述各個葉子結(jié)點(diǎn)的誤差計(jì)算所述生成的回歸樹的預(yù)測形狀,并將所述預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成所述下一棵回歸樹,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。
一種人臉檢測裝置,包括:
圖像獲取模塊,用于獲取待檢測圖像;
初始形狀獲取模塊,用于獲取預(yù)先構(gòu)建的概率回歸模型中本次回歸樹的初始形狀;
概率計(jì)算模塊,用于從所述待檢測圖像提取圖像特征,并根據(jù)所述圖像特征分別計(jì)算所述本次回歸樹各個葉子結(jié)點(diǎn)的概率;
誤差提取模塊,用于從所述本次回歸樹中提取所述各個葉子結(jié)點(diǎn)的誤差;
形狀誤差確定模塊,用于根據(jù)所述各個葉子結(jié)點(diǎn)的概率及誤差確定所述本次回歸樹的形狀誤差;
估計(jì)形狀計(jì)算模塊,用于根據(jù)所述初始形狀及所述形狀誤差計(jì)算得到所述本次回歸樹的估計(jì)形狀;
迭代計(jì)算模塊,用于將所述估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,直至所述概率回歸模型中的最后一棵回歸樹,得到所述最后一棵回歸樹的估計(jì)形狀,作為檢測到的人臉形狀。
一種用于人臉檢測的模型的構(gòu)建裝置,包括:
模型構(gòu)建模塊,用于根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,所述概率回歸模型包括多級隨機(jī)森林,每級隨機(jī)森林包括多棵回歸樹;
所述模型構(gòu)建模塊,包括:
第一選取單元,用于構(gòu)建每級隨機(jī)森林時,從所述樣本圖像集中隨機(jī)選取第一像素對集合;
回歸樹生成單元,用于根據(jù)所述第一像素對集合對所述樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn);
概率配置單元,用于配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率;
誤差確定單元,用于根據(jù)生成的回歸樹中分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與所述生成的回歸樹的初始預(yù)測形狀確定所述各個葉子結(jié)點(diǎn)的誤差;
迭代生成單元,用于根據(jù)所述生成的回歸樹的初始預(yù)測形狀與所述各個葉子結(jié)點(diǎn)的誤差計(jì)算所述生成的回歸樹的預(yù)測形狀,并將所述預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成所述下一棵回歸樹,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。
一種計(jì)算機(jī)設(shè)備,包括存儲器,處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如上所述的人臉檢測方法。
一種計(jì)算機(jī)設(shè)備,包括存儲器,處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如上所述的用于人臉檢測的模型的構(gòu)建方法。
一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上所述的人臉檢測方法。
一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上所述的用于人臉檢測的模型的構(gòu)建方法。
上述人臉檢測方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì),從待檢測圖像提取圖像特征,并計(jì)算在概率回歸模型的本次回歸樹各個葉子結(jié)點(diǎn)的概率,根據(jù)各個葉子結(jié)點(diǎn)的概率及誤差確定本次回歸樹的形狀誤差,從而計(jì)算得到本次回歸樹的估計(jì)形狀,將該估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,從而逐步逼近真實(shí)誤差,得到準(zhǔn)確的人臉形狀,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
上述用于人臉檢測的模型的構(gòu)建方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì),根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,通過隨機(jī)選取的第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,并確定各個葉子結(jié)點(diǎn)的誤差,得到生成的回歸樹的預(yù)測形狀,從而將該預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,概率回歸模型中的每一級隨機(jī)森林及每級隨機(jī)森林下的每一棵回歸樹都是對真實(shí)誤差的進(jìn)一步預(yù)測,通過該概率回歸模型進(jìn)行人臉檢測時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
附圖說明
圖1為一個實(shí)施例中計(jì)算機(jī)設(shè)備的框圖;
圖2為一個實(shí)施例中人臉檢測方法的流程示意圖;
圖3為一個實(shí)施例中用特征點(diǎn)組成的人臉形狀示意圖;
圖4(a)為一個實(shí)施例中概率回歸模型的示意圖;
圖4(b)為一個實(shí)施例中回歸樹的示意圖;
圖5為一個實(shí)施例中計(jì)算本次回歸樹各個葉子結(jié)點(diǎn)的概率的流程示意圖;
圖6為另一個實(shí)施例中回歸樹的示意圖;
圖7為一個實(shí)施例中對待檢測圖像進(jìn)行中值濾波處理的流程示意圖;
圖8為一個實(shí)施例中構(gòu)建級聯(lián)回歸的概率回歸模型的流程示意圖;
圖9為一個實(shí)施例中對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn)的流程示意圖;
圖10為一個實(shí)施例中確定各個結(jié)點(diǎn)的劃分像素對的流程示意圖;
圖11為一個實(shí)施例中計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差的流程示意圖;
圖12為一個實(shí)施例中人臉檢測裝置的框圖;
圖13為一個實(shí)施例中概率計(jì)算模塊的框圖;
圖14為一個實(shí)施例中濾波模塊的框圖;
圖15為一個實(shí)施例中模型構(gòu)建模塊的框圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
圖1為一個實(shí)施例中計(jì)算機(jī)設(shè)備的框圖。如圖1所示,該計(jì)算機(jī)設(shè)備包括通過系統(tǒng)總線連接的處理器、非易失性存儲介質(zhì)、內(nèi)存儲器及網(wǎng)絡(luò)接口。其中,計(jì)算機(jī)設(shè)備的非易失性存儲介質(zhì)存儲有操作系統(tǒng)及計(jì)算機(jī)可執(zhí)行指令,該計(jì)算機(jī)可執(zhí)行指令用于實(shí)現(xiàn)本發(fā)明實(shí)施例中提供的適用于計(jì)算機(jī)設(shè)備的一種人臉檢測方法。該處理器用于提供計(jì)算和控制能力,支撐整個計(jì)算機(jī)設(shè)備的運(yùn)行。計(jì)算機(jī)設(shè)備中的內(nèi)存儲器為非易失性存儲介質(zhì)中的操作系統(tǒng)及計(jì)算機(jī)可執(zhí)行指令的運(yùn)行提供環(huán)境,網(wǎng)絡(luò)接口用于與其它的計(jì)算機(jī)設(shè)備進(jìn)行網(wǎng)絡(luò)通信。該計(jì)算機(jī)設(shè)備可以是手機(jī)、平板電腦、pc(personalcomputer)等終端,也可以是服務(wù)器等。本領(lǐng)域技術(shù)人員可以理解,圖1中示出的結(jié)構(gòu),僅僅是與本申請方案相關(guān)的部分結(jié)構(gòu)的框圖,并不構(gòu)成對本申請方案所應(yīng)用于其上的計(jì)算機(jī)設(shè)備的限定,具體地計(jì)算機(jī)設(shè)備可以包括比圖中所示更多或更少的部件,或者組合某些部件,或者具有不同的部件布置。
在另一個實(shí)施例中,圖1所示的計(jì)算機(jī)設(shè)備的非易失性存儲介質(zhì)存儲有操作系統(tǒng)及計(jì)算機(jī)可執(zhí)行指令,該計(jì)算機(jī)可執(zhí)行指令還用于實(shí)現(xiàn)本發(fā)明實(shí)施例中提供的適用于計(jì)算機(jī)設(shè)備的一種用于人臉檢測的模型的構(gòu)建方法。
如圖2所示,在一個實(shí)施例中,提供一種人臉檢測方法,包括以下步驟:
步驟s210,獲取待檢測圖像。
待檢測圖像指的是需要檢測人臉形狀的圖像,其中,人臉形狀可包括面部輪廓形狀和五官的位置及形狀等。人臉形狀可由在人臉標(biāo)記的各個特征點(diǎn)所在的位置進(jìn)行表示,如圖3所示,圖3為一個實(shí)施例中用特征點(diǎn)組成的人臉形狀示意圖,圖3中各個帶有標(biāo)號的點(diǎn)即為特征點(diǎn),根據(jù)各個特征點(diǎn)的位置即可組成人臉形狀,其中,標(biāo)號1至17的特征點(diǎn)表示面部輪廓形狀,標(biāo)號18至27的特征點(diǎn)表示眉毛位置及形狀,標(biāo)號28至37的特征點(diǎn)表示鼻子位置及形狀,標(biāo)號37至46的特征點(diǎn)表示眼睛位置及形狀,標(biāo)號49至68的特征點(diǎn)表示嘴巴位置及形狀。
在一個實(shí)施例中,計(jì)算機(jī)設(shè)備獲取待檢測圖像,若該待檢測圖像為彩色圖像,可將彩色圖像按照對應(yīng)的轉(zhuǎn)化矩陣轉(zhuǎn)化為灰度圖像,其中,灰度圖像指的是每個像素只有一個采樣顏色的圖像。計(jì)算機(jī)設(shè)備可先根據(jù)灰度圖像的圖像特征粗略檢測待檢測圖像中是否包含人臉,若包含,可從灰度圖像中提取檢測到的人臉,并將提取的人臉放入預(yù)設(shè)的單位矩形區(qū)域內(nèi)。若待檢測圖像中包含多個人臉,可分別將人臉提取放入預(yù)設(shè)的單位矩形區(qū)域內(nèi),再逐一進(jìn)行檢測人臉形狀。
進(jìn)一步地,計(jì)算機(jī)設(shè)備可通過攝像頭等實(shí)時采集待檢測圖像,也可以獲取預(yù)先存儲的待檢測圖像,待檢測圖像可以是視頻流中的幀圖像,也可以是靜態(tài)圖像等。
步驟s220,獲取預(yù)先構(gòu)建的概率回歸模型中本次回歸樹的初始形狀。
概率回歸模型包含級聯(lián)的隨機(jī)森林,概率回歸模型中可包括多級隨機(jī)森林,每級隨機(jī)森林下可包括多棵回歸樹,每級隨機(jī)森林及每級隨機(jī)森林下的每棵回歸樹具備級聯(lián)關(guān)系,上一級隨機(jī)森林輸出的估計(jì)形狀是相鄰的下一級隨機(jī)森林的初始形狀,同級隨機(jī)森林中上一棵回歸樹輸出的估計(jì)形狀是相鄰的下一棵回歸樹的初始形狀?;貧w樹使用了二叉樹將預(yù)測空間劃分為若干子集,回歸樹中的每個葉子結(jié)點(diǎn)對應(yīng)劃分的不同區(qū)域,每個進(jìn)入回歸樹的圖像最終均會被分配到唯一的葉子結(jié)點(diǎn)上。
計(jì)算機(jī)設(shè)備可獲取預(yù)先生成的模型文件,并對模型文件進(jìn)行解析,根據(jù)模型文件中包含的信息重新構(gòu)建級聯(lián)的概率回歸模型,并根據(jù)該概率回歸模型檢測待檢測人臉圖像中的人臉形狀,其中,模型文件包含的信息可包括隨機(jī)森林的級數(shù)、每級隨機(jī)森林的回歸樹數(shù)量、每棵回歸樹的深度、回歸樹中每個結(jié)點(diǎn)的結(jié)點(diǎn)信息等。
針對于概率回歸模型中的每一級隨機(jī)森林,每級隨機(jī)森林下的每棵回歸樹進(jìn)行迭代計(jì)算,最后得到檢測到的人臉形狀。計(jì)算機(jī)設(shè)備進(jìn)行迭代計(jì)算時,需獲取概率回歸模型中本次回歸樹的初始形狀,其中,本次回歸樹指的是正在進(jìn)行估計(jì)形狀計(jì)算的回歸樹。進(jìn)一步地,計(jì)算機(jī)設(shè)備解析模型文件,還可獲取在根據(jù)樣本圖像集構(gòu)建概率回歸模型時,該樣本圖像集中各個樣本圖像的平均形狀,并將樣本圖像集中各個樣本圖像的平均形狀作為概率回歸模型第一級隨機(jī)森林的第一棵回歸樹的初始形狀。
步驟s230,從待檢測圖像提取圖像特征,并根據(jù)圖像特征分別計(jì)算本次回歸樹各個葉子結(jié)點(diǎn)的概率。
計(jì)算機(jī)設(shè)備可根據(jù)本次回歸樹中各個結(jié)點(diǎn)包含的對應(yīng)的結(jié)點(diǎn)信息,從待檢測圖像中提取圖像特征,其中,結(jié)點(diǎn)信息用于表示對應(yīng)結(jié)點(diǎn)的劃分規(guī)則。進(jìn)一步地,結(jié)點(diǎn)信息可包括劃分像素對的坐標(biāo)信息,計(jì)算機(jī)設(shè)備可根據(jù)劃分像素對的坐標(biāo)信息,從放有提取的人臉的預(yù)設(shè)單位矩形區(qū)域內(nèi)對應(yīng)的位置處提取圖像特征。計(jì)算機(jī)設(shè)備可根據(jù)從待檢測圖像提取的與本次回歸樹各個結(jié)點(diǎn)對應(yīng)的圖像特征,分別計(jì)算各個葉子結(jié)點(diǎn)的概率,其中,葉子結(jié)點(diǎn)指的是度為0的結(jié)點(diǎn),葉子結(jié)點(diǎn)沒有子結(jié)點(diǎn),也可稱為終端結(jié)點(diǎn)。
步驟s240,從本次回歸樹中提取各個葉子結(jié)點(diǎn)的誤差。
計(jì)算機(jī)設(shè)備可從模型文件中讀取本次回歸樹中各個葉子結(jié)點(diǎn)的誤差,其中,各個葉子結(jié)點(diǎn)的誤差指的是對應(yīng)葉子結(jié)點(diǎn)計(jì)算得到的估計(jì)形狀與待檢測圖像的真實(shí)形狀之間的差異值,各個葉子結(jié)點(diǎn)的誤差可為建立概率回歸模型時根據(jù)樣本圖像集中大量的樣本圖像計(jì)算得到。
步驟s250,根據(jù)各個葉子結(jié)點(diǎn)的概率及誤差確定本次回歸樹的形狀誤差。
計(jì)算機(jī)設(shè)備可根據(jù)本次回歸樹各個葉子結(jié)點(diǎn)的概率及對應(yīng)的誤差進(jìn)行加權(quán)和計(jì)算,分別計(jì)算各個葉子結(jié)點(diǎn)的概率及對應(yīng)的誤差的乘積,并將計(jì)算得到的乘積進(jìn)行累加,得到本次回歸樹的形狀誤差。本次回歸樹的形狀誤差即為本次回歸樹計(jì)算的估計(jì)形狀與待檢測圖像的真實(shí)形狀之間的差異值。
步驟s260,根據(jù)初始形狀及形狀誤差計(jì)算得到本次回歸樹的估計(jì)形狀。
計(jì)算機(jī)設(shè)備可將本次回歸樹的初始形狀與形狀誤差進(jìn)行累加,即可得到本次回歸樹的估計(jì)形狀,假設(shè)本次回歸樹的估計(jì)形狀為sk,初始形狀為sk-1,計(jì)算得到的形狀誤差為△sk,則sk=sk-1+△sk,其中,sk-1可為本次回歸樹相鄰的上一棵回歸樹計(jì)算得到的估計(jì)形狀。
步驟s270,將估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,直至概率回歸模型中的最后一棵回歸樹,得到最后一棵回歸樹的估計(jì)形狀,作為檢測到的人臉形狀。
計(jì)算得到本次回歸樹的估計(jì)形狀后,可將本次回歸樹的估計(jì)形狀作為相鄰的下一回歸樹的初始形狀,并重復(fù)執(zhí)行步驟s320至步驟s360,得到該下一回歸樹的估計(jì)形狀,再將該下一回歸樹的估計(jì)形狀作為相鄰的再下一棵回歸樹的初始形狀……以此類推,在概率回歸模型中進(jìn)行迭代計(jì)算,直至概率回歸模型的最后一級隨機(jī)森林的最后一棵回歸樹,計(jì)算得到最后一級隨機(jī)森林的最后一棵回歸樹的估計(jì)形狀,即為檢測到的人臉形狀。概率回歸模型中的每級隨機(jī)森林,每級隨機(jī)森林下的每棵回歸樹,均是對待檢測圖像的真實(shí)形狀的逼近。在概率模型中按照上述方式進(jìn)行迭代計(jì)算,可逐步從最初樣本圖像集中各個樣本圖像的平均形狀逐步逼近待檢測圖像的真實(shí)形狀,從而得到檢測到的人臉形狀。
圖4(a)為一個實(shí)施例中概率回歸模型的示意圖。如圖4(a)所示,該概率回歸模型中包括t級隨機(jī)森林410,上一級隨機(jī)森林rt-1輸出的估計(jì)形狀為st-1,作為相鄰的下一級隨機(jī)森林rt輸入的初始形狀。每一級隨機(jī)森林410下還包括k棵回歸樹420,上一棵回歸樹rk-1輸出的估計(jì)形狀為sk-1,作為相鄰的下一棵回歸樹rk輸入的初始形狀。其中,s0表示從模型文件中獲取的樣本圖像集中各個樣本圖像的平均形狀,通過多次的迭代計(jì)算,逐步逼近待檢測圖像的真實(shí)形狀,最后一級隨機(jī)森林rt計(jì)算得到的估計(jì)形狀st,作為檢測到的人臉形狀。
圖4(b)為一個實(shí)施例中回歸樹的示意圖。如圖4(b)所示,回歸樹rk包括多個結(jié)點(diǎn)422,可根據(jù)各個結(jié)點(diǎn)422包含的對應(yīng)的結(jié)點(diǎn)信息從待檢測圖像中提取圖像特征,并根據(jù)提取的圖像特征分別計(jì)算回歸樹rk各個葉子結(jié)點(diǎn)424的概率,從回歸樹rk中提取各個葉子結(jié)點(diǎn)424的誤差,根據(jù)各個葉子結(jié)點(diǎn)424的概率及對應(yīng)的誤差計(jì)算回歸樹rk的形狀誤差,再根據(jù)回歸樹rk的初始形狀sk-1及計(jì)算得到的形狀誤差得到回歸樹rk的估計(jì)形狀sk。
上述人臉檢測方法,從待檢測圖像提取圖像特征,并計(jì)算在概率回歸模型的本次回歸樹各個葉子結(jié)點(diǎn)的概率,根據(jù)各個葉子結(jié)點(diǎn)的概率及誤差確定本次回歸樹的形狀誤差,從而計(jì)算得到本次回歸樹的估計(jì)形狀,將該估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,從而逐步逼近真實(shí)誤差,得到準(zhǔn)確的人臉形狀,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
如圖5所示,在一個實(shí)施例中,步驟s330從待檢測圖像提取圖像特征,并根據(jù)圖像特征分別計(jì)算本次回歸樹各個葉子結(jié)點(diǎn)的概率,包括以下步驟:
步驟s502,從本次回歸樹的根結(jié)點(diǎn)開始,根據(jù)各個結(jié)點(diǎn)的結(jié)點(diǎn)信息從待檢測圖像提取圖像特征。
回歸樹中可包括有多個結(jié)點(diǎn),各個結(jié)點(diǎn)包含有對應(yīng)的結(jié)點(diǎn)信息,其中,結(jié)點(diǎn)信息可包括劃分像素對的坐標(biāo)信息,其中,劃分像素對指的是結(jié)點(diǎn)用于劃分樣本圖像的像素對,劃分像素對的坐標(biāo)信息包括有像素對的第一像素坐標(biāo)及第二像素坐標(biāo)。計(jì)算機(jī)設(shè)備可從本次回歸樹的根結(jié)點(diǎn)開始,根據(jù)各個結(jié)點(diǎn)包含的劃分像素對的坐標(biāo)信息從待檢測圖像中提取對應(yīng)位置的第一灰度值及第二灰度值,并根據(jù)第一灰度值及第二灰度值計(jì)算灰度差值,作為待檢測圖像與對應(yīng)結(jié)點(diǎn)匹配的圖像特征。
進(jìn)一步地,計(jì)算機(jī)設(shè)備可根據(jù)各個結(jié)點(diǎn)包含的劃分像素對的坐標(biāo)信息,從放有提取的人臉的預(yù)設(shè)單位矩形區(qū)域內(nèi),提取對應(yīng)位置的第一灰度值及第二灰度值,根據(jù)第一灰度值及第二灰度值計(jì)算灰度差值,作為待檢測圖像與對應(yīng)結(jié)點(diǎn)匹配的圖像特征??梢岳斫獾兀瑘D像特征也可以是其它的特征信息,例如像素的梯度特征、紋理特征等,并不僅限于灰度差值。
步驟s504,根據(jù)各個結(jié)點(diǎn)提取的圖像特征計(jì)算對應(yīng)結(jié)點(diǎn)的分支概率,分支概率包括左分支概率及右分支概率,右分支概率與對應(yīng)結(jié)點(diǎn)提取的圖像特征成正相關(guān)關(guān)系,左分支概率與右分支概率之和為1。
各個結(jié)點(diǎn)包含的結(jié)點(diǎn)信息還可包括對應(yīng)的劃分閾值及分支概率,其中,劃分閾值指的是結(jié)點(diǎn)用于劃分樣本圖像的圖像特征閾值;回歸樹除葉子結(jié)點(diǎn)外的各個結(jié)點(diǎn),均可分裂生成左分支結(jié)點(diǎn)及右分支結(jié)點(diǎn),分支概率指的是結(jié)點(diǎn)上樣本圖像被分配到該結(jié)點(diǎn)的左分支結(jié)點(diǎn)及右分支結(jié)點(diǎn)的概率,分支概率可包括左分支概率及右分支概率,左分支概率用于表示分配到結(jié)點(diǎn)的樣本圖像被劃分到該結(jié)點(diǎn)的左分支結(jié)點(diǎn)的概率,右分支概率用于表示分配到結(jié)點(diǎn)的樣本圖像被劃分到該結(jié)點(diǎn)的右分支結(jié)點(diǎn)的概率。
在本實(shí)施例中,可根據(jù)下列公式(1)計(jì)算得到各個結(jié)點(diǎn)的右分支概率:
其中,pr表示結(jié)點(diǎn)的右分支概率,α為常量,取值一般可在(0.05,0.3]之間,g為待檢測圖像中與該結(jié)點(diǎn)對應(yīng)的灰度差值,th為與該結(jié)點(diǎn)對應(yīng)的劃分閾值。結(jié)點(diǎn)的右分支概率pr與提取的與該結(jié)點(diǎn)對應(yīng)灰度差值g成正相關(guān)關(guān)系。結(jié)點(diǎn)的左分支概率與右分支概率之和為1,左分支概率pl=1-pr。
計(jì)算機(jī)設(shè)備可計(jì)算本次回歸樹中除葉子結(jié)點(diǎn)外的各個結(jié)點(diǎn)的右分支概率及左分支概率,從根結(jié)點(diǎn)開始,先計(jì)算根結(jié)點(diǎn)的左分支概率及右分支概率,然后計(jì)算由根結(jié)點(diǎn)分裂生成的左分支結(jié)點(diǎn)的左分支概率及右分支概率,計(jì)算由根結(jié)點(diǎn)分裂生成的右分支結(jié)點(diǎn)的左分支概率及右分支概率……以此類推,按順序逐級計(jì)算回歸樹每個層級上各個結(jié)點(diǎn)的分支概率,直至最后一級深度則停止計(jì)算。
步驟s506,確定各個葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率,并確定對應(yīng)的分支概率計(jì)算得到各個葉子結(jié)點(diǎn)的概率。
可分別確定本次回歸樹中各個葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率,并將葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率進(jìn)行相乘,得到對應(yīng)葉子結(jié)點(diǎn)的概率。
舉例對上述計(jì)算回歸樹各個葉子結(jié)點(diǎn)的步驟進(jìn)行說明。圖6為另一個實(shí)施例中回歸樹的示意圖。如圖6所示,回歸樹rk包括7個結(jié)點(diǎn),其中,結(jié)點(diǎn)1為根結(jié)點(diǎn),結(jié)點(diǎn)1分裂生成結(jié)點(diǎn)2及結(jié)點(diǎn)3,結(jié)點(diǎn)2又分裂生成結(jié)點(diǎn)4與結(jié)點(diǎn)5,結(jié)點(diǎn)3分裂生成結(jié)點(diǎn)6與結(jié)點(diǎn)7,結(jié)點(diǎn)4至結(jié)點(diǎn)7為葉子結(jié)點(diǎn)。計(jì)算機(jī)設(shè)備可根據(jù)公式(1)分別計(jì)算回歸樹rk除葉子結(jié)點(diǎn)外各個結(jié)點(diǎn)的分支概率,從根結(jié)點(diǎn)1開始,計(jì)算根結(jié)點(diǎn)1的右分支概率pr1及左分支概率pl1=1-pr1,再計(jì)算由根結(jié)點(diǎn)1分裂生成的左分支結(jié)點(diǎn)2的右分支概率pr2及左分支概率pl2=1-pr2,計(jì)算由根結(jié)點(diǎn)1分裂生成的分支結(jié)點(diǎn)3的右分支概率pr3及左分支概率pl3=1-pr3。葉子結(jié)點(diǎn)4所經(jīng)歷過的分支對應(yīng)的分支概率包括結(jié)點(diǎn)1的左分支概率pl1及結(jié)點(diǎn)2的左分支概率pl2,因此葉子結(jié)點(diǎn)4的概率為pl1*pl2;葉子結(jié)點(diǎn)5所經(jīng)歷過的分支對應(yīng)的分支概率包括結(jié)點(diǎn)1的左分支概率pl1及結(jié)點(diǎn)2的右分支概率pr2,因此葉子結(jié)點(diǎn)5的概率為pl1*pr2;葉子結(jié)點(diǎn)6所經(jīng)歷過的分支對應(yīng)的分支概率包括結(jié)點(diǎn)1的右分支概率pr1及結(jié)點(diǎn)3的左分支概率pl3,因此葉子結(jié)點(diǎn)6的概率為pr1*pl3;葉子結(jié)點(diǎn)7所經(jīng)歷過的分支對應(yīng)的分支概率包括結(jié)點(diǎn)1的右分支概率pr1及結(jié)點(diǎn)3的右分支概率pr3,因此葉子結(jié)點(diǎn)7的概率為pr1*pr3。
在本實(shí)施例中,可根據(jù)待檢測圖像的圖像特征計(jì)算回歸樹各個葉子結(jié)點(diǎn)的概率,使得根據(jù)概率回歸模型檢測待檢測圖像的人臉形狀時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
在一個實(shí)施例中,在步驟s310獲取待檢測圖像之后,還包括:對待檢測圖像進(jìn)行中值濾波處理。
計(jì)算機(jī)設(shè)備獲取待檢測圖像,可對待檢測圖像進(jìn)行去噪濾波處理。在本實(shí)施例中,計(jì)算機(jī)設(shè)備將待檢測圖像轉(zhuǎn)化為灰度圖像,可對該灰度圖像進(jìn)行中值濾波處理,中值濾波是一種非線性平滑技術(shù),可將該灰度圖像中任意一點(diǎn)的像素值用該點(diǎn)的一個區(qū)域內(nèi)各點(diǎn)的像素值的中值代替,讓該點(diǎn)周圍的像素值接近真實(shí)值,從而可消除待檢測圖像中孤立的噪聲點(diǎn)??梢岳斫獾?,除了采用中值濾波對待檢測圖像進(jìn)行去噪外,還可采用均值濾波、小波變換濾波等其它濾波方法進(jìn)行降噪處理。
如圖7所示,在一個實(shí)施例中,對待檢測圖像進(jìn)行中值濾波處理,包括以下步驟:
步驟s702,在待檢測圖像中定義預(yù)設(shè)大小的窗口。
計(jì)算機(jī)設(shè)備可在待檢測圖像轉(zhuǎn)化的灰度圖像中定義預(yù)設(shè)大小的窗口,預(yù)設(shè)大小可為n*n大小,其中,n為奇數(shù),例如,n可為5、7等,n不宜過大或過小,當(dāng)n太大時,會導(dǎo)致灰度圖像中丟失一些細(xì)節(jié),造成圖像失真,當(dāng)n太小時,會導(dǎo)致去噪效果不明顯。
步驟s704,計(jì)算窗口包含的各個像素點(diǎn)的灰度值的中值。
可提取灰度圖像中定義的預(yù)設(shè)大小的窗口中的各個像素點(diǎn)的灰度值,并將各個像素點(diǎn)的灰度值按大小順序進(jìn)行排列,生成一個數(shù)列,并獲取位于該數(shù)列中間位置的灰度值,即為窗口包含的各個像素點(diǎn)的灰度值的中值。
步驟s706,將位于窗口中心的像素點(diǎn)的灰度值替換為中值。
計(jì)算機(jī)設(shè)備可將灰度圖像中,位于定義的預(yù)設(shè)大小的窗口中心的像素點(diǎn)的灰度值替換為計(jì)算得到的該窗口的中值,完成中值濾波??芍貜?fù)多次在灰度圖像中定義不同位置的窗口進(jìn)行中值濾波處理。進(jìn)一步地,可對包含有提取的人臉的預(yù)設(shè)的單位矩形區(qū)域進(jìn)行中值濾值處理,在該單位矩形區(qū)域內(nèi)定義預(yù)設(shè)大小的窗口,并將位于該窗口中心的像素點(diǎn)的灰度值替換為該窗口包含的各個像素點(diǎn)的灰度值的中值。
在本實(shí)施例中,獲取待檢測圖像后,可對待檢測圖像進(jìn)行濾波處理,降低待檢測圖像中的噪聲,減弱視頻圖像序列中由于硬件和環(huán)境光照的變化導(dǎo)致的前后幀圖像的噪聲影響,使最終檢測到的人臉形狀更為穩(wěn)定、準(zhǔn)確。
在一個實(shí)施例中,在步驟s310獲取待檢測圖像之前,還包括:根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型。
樣本圖像集中包含大量的樣本圖像,每個樣本圖像均是對人臉區(qū)域進(jìn)行過特征點(diǎn)標(biāo)記的圖像,樣本圖像的人臉形狀用對應(yīng)特征點(diǎn)的坐標(biāo)信息進(jìn)行表示。由于不同的樣本圖像的分辨率及姿態(tài)等存在差異,需對樣本圖像集中的各個樣本圖像進(jìn)行歸一化處理,通過將各個樣本圖像的特征點(diǎn)進(jìn)行同構(gòu)尺度的縮放、平移等操作,將各個樣本圖像的人臉形狀都映射到統(tǒng)一的標(biāo)準(zhǔn)矩陣內(nèi),并得到各個樣本圖像在標(biāo)準(zhǔn)矩陣內(nèi)對應(yīng)的形狀信息,包括對應(yīng)各個特征點(diǎn)的坐標(biāo)信息等。統(tǒng)一的標(biāo)準(zhǔn)矩陣可以為1*1的單位矩陣,也可為其它大小的矩陣。對樣本圖像集中各個樣本圖像進(jìn)行歸一化處理,可保證各個樣本圖像上的特征點(diǎn)所在的矩陣是一致的,方便進(jìn)行訓(xùn)練,構(gòu)建得到概率回歸模型。
在一個實(shí)施例中,為了防止樣本圖像集中的樣本圖像過擬合,可重新計(jì)算樣本圖像集中各個樣本圖像的人臉形狀,其中,為了得到一致假設(shè)而使假設(shè)變得過度嚴(yán)格稱為過擬合,當(dāng)樣本圖像過擬合時,將導(dǎo)致構(gòu)建的概率回歸模型檢測人臉形狀的準(zhǔn)確性差。計(jì)算機(jī)設(shè)備可將樣本圖像集中的樣本圖像進(jìn)行分組,例如,將所有樣本圖像分成多個組,每個組中包含的m個樣本圖像,其中,m可為大于2的整數(shù)。
計(jì)算機(jī)設(shè)備可對分組后的樣本圖像循環(huán)進(jìn)行如下處理:選取任一樣本圖像,從選取的樣本圖像所屬的組別中隨機(jī)選擇預(yù)設(shè)數(shù)量的樣本圖像,將預(yù)設(shè)數(shù)量的樣本圖像進(jìn)行加權(quán)和計(jì)算得到新樣本圖像,并將選取的樣本圖像替換為該新樣本圖像。例如,選取任一樣本圖像ii,該樣本圖像ii屬于第3組別,則從第3組別中隨機(jī)選取2個樣本圖像ik及ij,按照預(yù)設(shè)的權(quán)值,對樣本圖像ik及ij的人臉形狀進(jìn)行加權(quán)和計(jì)算,得到新的人臉形狀,并將樣本圖像ii的人臉形狀替換為新的人臉形狀。可以理解地,預(yù)設(shè)數(shù)量還可以是3、4等,并不限于此,預(yù)設(shè)的權(quán)值也可根據(jù)實(shí)際需求進(jìn)行計(jì)算,也可對預(yù)設(shè)數(shù)量的樣本圖像進(jìn)行均值計(jì)算得到新樣本圖像的人臉形狀,并進(jìn)行替換。計(jì)算機(jī)設(shè)備可進(jìn)行第二預(yù)設(shè)次數(shù)的樣本替換,其中,第二預(yù)設(shè)次數(shù)可根據(jù)實(shí)際需求及樣本圖像的數(shù)量進(jìn)行設(shè)定,例如,計(jì)算機(jī)設(shè)備對分組后的樣本圖像循環(huán)進(jìn)行100次、150次的樣本替換等。
如圖8所示,在一個實(shí)施例中,根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,包括以下步驟:
步驟s802,構(gòu)建每級隨機(jī)森林時,從樣本圖像集中隨機(jī)選取第一像素對集合。
概率回歸模型中包含級聯(lián)的隨機(jī)森林,概率回歸模型中可包括多級隨機(jī)森林,每級隨機(jī)森林下可包括多棵回歸樹。生成概率回歸模型是一個迭代生成的過程,逐級生成隨機(jī)森林,并逐棵生成每級隨機(jī)森林下的回歸樹。當(dāng)構(gòu)建每級隨機(jī)森林時,計(jì)算機(jī)設(shè)備均需從樣本圖像集隨機(jī)選取第一像素對集合,第一像素對集合中可包含n對像素點(diǎn),每對像素對中包括隨機(jī)選取的兩個像素點(diǎn)的坐標(biāo)信息,其中,n可為較大的整數(shù),例如300、400、500等。
進(jìn)一步地,計(jì)算機(jī)設(shè)備可按照下述公式(2)從樣本圖像集中隨機(jī)選取第一像素對集合。
p=e-λ||u-v||(2);
其中,p為獲取分布在人臉五官邊緣或人臉輪廓附近的像素點(diǎn)的因子,λ為通用系數(shù),u和v分別表示隨機(jī)選取的兩個像素點(diǎn)的坐標(biāo)信息,可通過公式(2)對從樣本圖像集中隨機(jī)選取的像素對進(jìn)行篩選,當(dāng)根據(jù)隨機(jī)選取的像素對計(jì)算得到的p小于預(yù)設(shè)閾值tp時,則將該像素對放在第一像素對集合中。通過公式(2)隨機(jī)選取第一像素對,無須計(jì)算選取的像素對的梯度差值,即可選擇分布在人臉五官邊緣或人臉輪廓附近的像素點(diǎn),計(jì)算方式簡單快速,且構(gòu)建的概率回歸模型更加準(zhǔn)確。
步驟s804,根據(jù)第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,并根據(jù)分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與生成的回歸樹的初始預(yù)測形狀確定各個葉子結(jié)點(diǎn)的誤差。
計(jì)算機(jī)設(shè)備構(gòu)建每級隨機(jī)森林時,可根據(jù)隨機(jī)選取的第一像素對集合構(gòu)建生成對應(yīng)隨機(jī)森林下的多棵回歸樹。構(gòu)建生成每棵回歸樹時,從回歸樹的根結(jié)點(diǎn)開始,對樣本圖像集中的樣本圖像進(jìn)行劃分,分裂生成該回歸樹的各個結(jié)點(diǎn),樣本圖像集中的每個樣本圖像最終均會被劃分到唯一的葉子結(jié)點(diǎn)上。
對樣本圖像集的樣本圖像進(jìn)行劃分,生成回歸樹時,可對生成的回歸樹的葉子結(jié)點(diǎn)的概率進(jìn)行配置。在分裂生成回歸樹的各個結(jié)點(diǎn)時,對進(jìn)行樣本圖像劃分的結(jié)點(diǎn)配置對應(yīng)的分支概率,進(jìn)行樣本圖像劃分的結(jié)點(diǎn)可分裂生成左分支結(jié)點(diǎn)及右分結(jié)點(diǎn),分支概率可包括左分支概率及右分支概率,分別對應(yīng)進(jìn)行樣本圖像劃分的結(jié)點(diǎn)的左分支及右分支??砂凑展?1)配置各個進(jìn)行樣本圖像劃分的結(jié)點(diǎn)的右分支概率pr,右分支概率與樣本圖像在對應(yīng)結(jié)點(diǎn)提取的圖像特征成正相關(guān)關(guān)系,并配置各個結(jié)點(diǎn)的左分支概率pl=1-pr,進(jìn)行樣本圖像劃分的結(jié)點(diǎn)的左分支概率與右分支概率之和為1。計(jì)算機(jī)設(shè)備對生成的回歸樹除葉子結(jié)點(diǎn)外的各個結(jié)點(diǎn)配置對應(yīng)的分支概率后,可配置各個葉子結(jié)點(diǎn)的概率為葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率的乘積。
計(jì)算機(jī)設(shè)備可迭代生成每級隨機(jī)森林,以及每級隨機(jī)森林下的每棵回歸樹,最終構(gòu)建得到級聯(lián)的概率回歸模型。進(jìn)行迭代生成回歸樹時,需獲取生成的回歸樹的初始預(yù)測形狀,計(jì)算機(jī)設(shè)備可求取樣本圖像集中所有樣本圖像的平均形狀,并將平均形狀作為生成的第一級隨機(jī)森林中的第一棵回歸樹的初始預(yù)測形狀。樣本圖像集中的每個樣本圖像最終均會被分配到生成的回歸樹上唯一的葉子結(jié)點(diǎn),可根據(jù)分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與生成的回歸樹的初始預(yù)測形狀確定對應(yīng)葉子結(jié)點(diǎn)的誤差,其中,樣本圖像的真實(shí)形狀即為樣本圖像通過特征點(diǎn)表示的人臉形狀。
進(jìn)一步地,分別計(jì)算分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與初始預(yù)測形狀的差值,并求取對應(yīng)葉子結(jié)點(diǎn)上樣本圖像的真實(shí)形狀與初始預(yù)測形狀的差值的均值,即為該葉子結(jié)點(diǎn)的誤差。例如,回歸樹的葉子結(jié)點(diǎn)4中分配有2個樣本圖像,分別計(jì)算2個樣本圖像與該回歸樹的初始預(yù)測形狀的差值為x1及x2,則葉子結(jié)點(diǎn)4的誤差為(x1+x2)/2。
步驟s806,根據(jù)生成的回歸樹的初始預(yù)測形狀與各個葉子結(jié)點(diǎn)的誤差計(jì)算生成的回歸樹的預(yù)測形狀,并將預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。
生成的回歸樹的各個葉子結(jié)點(diǎn)的誤差的累加,即為該生成的回歸樹的誤差,將該生成的回歸樹的誤差與初始預(yù)測形狀進(jìn)行累加,即可得到該生成的回歸樹的預(yù)測形狀,并將該預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀,重復(fù)執(zhí)行步驟s804生成下一棵回歸樹,并重復(fù)執(zhí)行步驟s802及步驟s804生成下一級隨機(jī)森林,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。生成的概率模型中的每級隨機(jī)森林下的每棵回歸樹的誤差的累加逼近樣本圖像集中各個樣本圖像的真實(shí)形狀與平均形狀的真實(shí)誤差,每級隨機(jī)森林,以及每級隨機(jī)森林下的每棵樹都是對各個樣本圖像的真實(shí)形狀與平均形狀的真實(shí)誤差的進(jìn)一步預(yù)測。
在本實(shí)施例中,根據(jù)樣本圖像集的各個樣本圖像構(gòu)建生成級聯(lián)的概率回歸模型,概率回歸模型中的每一級隨機(jī)森林及每級隨機(jī)森林下的每一棵回歸樹都是對真實(shí)誤差的進(jìn)一步預(yù)測,通過該概率回歸模型進(jìn)行人臉檢測時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
如圖9所示,在一個實(shí)施例中,根據(jù)所述第一像素對集合對所述樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),包括:
從回歸樹的根結(jié)點(diǎn)開始,對根結(jié)點(diǎn)及分裂生成的各個結(jié)點(diǎn)進(jìn)行如下處理:
步驟s902,從第一像素對集合中隨機(jī)選取第二像素對集合。
從回歸樹的根結(jié)點(diǎn)開始,對每個結(jié)點(diǎn)進(jìn)行分裂時,均需從第一像素對集合中隨機(jī)選取k對像素對,生成第二像素對集合,其中,k為整數(shù),k是相對第一像素對集合的數(shù)量n較小的值,例如n為400時,k可為15、20、30等。
步驟s904,根據(jù)第二像素對集合對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定結(jié)點(diǎn)的劃分像素對,直至生成的回歸樹的深度滿足預(yù)設(shè)深度則停止分裂生成新的分支結(jié)點(diǎn)。
計(jì)算機(jī)設(shè)備每一次將回歸數(shù)據(jù)結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),均是對分配到進(jìn)行分裂的結(jié)點(diǎn)的樣本圖像的再次劃分??筛鶕?jù)實(shí)際需求預(yù)先設(shè)定回歸樹的深度,回歸樹的深度指的是回歸樹中最深結(jié)點(diǎn)所在的層數(shù),例如,根結(jié)點(diǎn)所在的層數(shù)為1,根結(jié)點(diǎn)分裂生成的分支結(jié)點(diǎn)所在的層數(shù)為2,根結(jié)點(diǎn)分裂生成的分支結(jié)點(diǎn)再分裂生成的分支結(jié)點(diǎn)所在的層數(shù)為3等,依此類推。
計(jì)算機(jī)設(shè)備可根據(jù)從第一像素對集合中隨機(jī)選取的第二像素對集合,對分配到各個結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將對應(yīng)結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),同時,確定結(jié)點(diǎn)的劃分像素對,直至生成的回歸樹的深度滿足預(yù)設(shè)深度則停止分裂生成新的分支結(jié)點(diǎn)。
如圖10所示,在一個實(shí)施例中,步驟s904包括以下步驟:
步驟s1002,循環(huán)第一預(yù)設(shè)次數(shù)從第二像素對集合中隨機(jī)選取一對像素對對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定劃分后的樣本圖像所處的分支結(jié)點(diǎn),計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差。
結(jié)點(diǎn)的劃分像素對,指的是根據(jù)該劃分像素對對分配到該結(jié)點(diǎn)的樣本圖像進(jìn)行劃分后,樣本圖像在該結(jié)點(diǎn)的誤差最小。計(jì)算機(jī)設(shè)備可從第二像素對集合中隨機(jī)選取一對像素對,并根據(jù)該像素對從各個樣本圖像對應(yīng)的位置提取圖像特征,將提取的圖像特征與預(yù)設(shè)閾值進(jìn)行比對,并根據(jù)比對結(jié)果將樣本圖像分配到該結(jié)點(diǎn)的左分支結(jié)點(diǎn)或右分支結(jié)點(diǎn)。樣本劃分完成后,可根據(jù)分配到左分支結(jié)點(diǎn)的樣本圖像計(jì)算左分支誤差,根據(jù)分配到右分支結(jié)點(diǎn)的樣本圖像計(jì)算右分支誤差,從而確定該結(jié)點(diǎn)在選取的像素對下的誤差。計(jì)算機(jī)設(shè)備可循環(huán)第一預(yù)設(shè)次數(shù),例如10次、15次或20次等從第二像素對集合中隨機(jī)選取像素對進(jìn)行劃分,第一預(yù)設(shè)次數(shù)可根據(jù)第二像素對集合中包含的像素對數(shù)量。
步驟s1004,從第二像素對集合中選取劃分后的樣本圖像在結(jié)點(diǎn)的誤差最小的像素對作為結(jié)點(diǎn)的劃分像素對。
計(jì)算機(jī)設(shè)備可循環(huán)多次從第二像素對集合中隨機(jī)選取像素對,對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,并計(jì)算結(jié)點(diǎn)在該選取的像素對下的誤差,從而可從中選取劃分后的樣本圖像在該結(jié)點(diǎn)的誤差最小的像素對作為該結(jié)點(diǎn)的劃分像素對。
現(xiàn)根據(jù)圖6對上述生成回歸樹的過程進(jìn)行說明。如圖6所示,假設(shè)樣本圖像集中共有1000個樣本圖像,從根結(jié)點(diǎn)1開始,從第一像素對集合中隨機(jī)選取20個像素對生成第二像素對集合,循環(huán)多次從該20對像素對中隨機(jī)選取一對像素對,對1000個樣本圖像進(jìn)行劃分,并計(jì)算劃分后的樣本圖像在根結(jié)點(diǎn)1的誤差,從中選取誤差最小的像素對作為根結(jié)點(diǎn)1的劃分像素對(u1,v1)。根據(jù)該劃分像素對(u1,v1)將第1-500個樣本圖像分配至根結(jié)點(diǎn)1的左分支結(jié)點(diǎn)2,將第501-1000個樣本圖像分配至根結(jié)點(diǎn)1的右分支結(jié)點(diǎn)3。再對分配到結(jié)點(diǎn)2的第1-500個樣本圖像進(jìn)行劃分,確定結(jié)點(diǎn)2的劃分像素對(u2,v2),并將第1-250個樣本圖像分配到結(jié)點(diǎn)2的左分支結(jié)點(diǎn)4,將第251-500個樣本圖像分配到結(jié)點(diǎn)2的右分支結(jié)點(diǎn)5。對分配到結(jié)點(diǎn)3的第501-1000個樣本圖像進(jìn)行劃分,確定結(jié)點(diǎn)3的劃分像素對(u3,v3),并將第501-750個樣本圖像分配到結(jié)點(diǎn)3的左分支結(jié)點(diǎn)6,將第751-1000個樣本圖像分配到結(jié)點(diǎn)3的右分支結(jié)點(diǎn)7,到達(dá)預(yù)設(shè)深度3,則不進(jìn)行再次劃分??梢岳斫獾?,本實(shí)施例僅是用于對生成回歸樹的過程的說明,實(shí)際生成回歸樹時,對樣本圖像進(jìn)行劃分時,落在結(jié)點(diǎn)的左分支結(jié)點(diǎn)與右分支結(jié)點(diǎn)的樣本圖像數(shù)量不一定相等,劃分到左、右分支結(jié)點(diǎn)的樣本圖像也不具備任何順序關(guān)系,完全由該結(jié)點(diǎn)的劃分像素對決定各樣本圖像的劃分。
在本實(shí)施例中,確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
如圖11所示,在一個實(shí)施例中,步驟s1002循環(huán)第一預(yù)設(shè)次數(shù)從第二像素對集合中隨機(jī)選取一對像素對對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定劃分后的樣本圖像所處的分支結(jié)點(diǎn),計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差,包括以下步驟:
步驟s1102,獲取從第二像素對集合中隨機(jī)選取的一對像素對的坐標(biāo)信息。
步驟s1104,根據(jù)坐標(biāo)信息從分配到結(jié)點(diǎn)的樣本圖像的對應(yīng)位置提取圖像特征。
計(jì)算機(jī)設(shè)備從回歸樹的根結(jié)點(diǎn)開始,當(dāng)對各個結(jié)點(diǎn)進(jìn)行分裂時,可從第二像素對中隨機(jī)選取一對像素對,并獲取選取的像素對包含的兩個像素點(diǎn)的坐標(biāo)信息,根據(jù)該坐標(biāo)信息從分配到進(jìn)行分裂的結(jié)點(diǎn)的各個樣本圖像的對應(yīng)位置,提取對應(yīng)的圖像特征。在本實(shí)施例中,可分別在分配到結(jié)點(diǎn)的樣本圖像的對應(yīng)位置提取第三灰度值及第四灰度值,并計(jì)算第三灰度值及第四灰度值的灰度差值,作為樣本圖像在該結(jié)點(diǎn)的圖像特征。
步驟s1106,將從樣本圖像中提取的圖像特征與預(yù)設(shè)的劃分閾值進(jìn)行比較,并將圖像特征小于劃分閾值的樣本圖像劃分至左分支結(jié)點(diǎn),將圖像特征大于或等于劃分閾值的樣本圖像劃分至右分支結(jié)點(diǎn)。
劃分閾值可為預(yù)先設(shè)定好的固定的圖像特征閾值,也可是從預(yù)設(shè)的圖像特征數(shù)值范圍內(nèi)隨機(jī)選取的劃分閾值。計(jì)算機(jī)設(shè)備可將分配到結(jié)點(diǎn)的樣本圖像的對應(yīng)圖像特征與劃分閾值進(jìn)行比較,并將圖像特征小于劃分閾值的樣本圖像劃分至左分支結(jié)點(diǎn),將圖像特征大于或等于劃分閾值的樣本圖像劃分至右分支結(jié)點(diǎn)??梢岳斫獾?,也可將圖像特征小于劃分閾值的樣本圖像劃分至右分支結(jié)點(diǎn),將圖像特征大于或等于劃分閾值的樣本圖像劃分至左分支結(jié)點(diǎn)。
步驟s1108,計(jì)算處于左分支結(jié)點(diǎn)的樣本圖像的第一平均形狀,并根據(jù)處于左分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第一平均形狀確定左分支誤差。
根據(jù)分配到結(jié)點(diǎn)的左分支結(jié)點(diǎn)的各個樣本圖像的真實(shí)形狀求取均值,得到第一平均形狀,并分別計(jì)算分配到左分支結(jié)點(diǎn)的各個樣本圖像的真實(shí)形狀與第一平均形狀的差值,將分配到左分支結(jié)點(diǎn)的各個樣本圖像的真實(shí)形狀與第一平均形狀的差值進(jìn)行累加,即可得到結(jié)點(diǎn)的左分支誤差。
步驟s1110,計(jì)算處于所述右分支結(jié)點(diǎn)的樣本圖像的第二平均形狀,并根據(jù)所述處于右分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第二平均形狀確定右分支誤差。
根據(jù)分配到結(jié)點(diǎn)的右分支結(jié)點(diǎn)的各個樣本圖像的真實(shí)形狀求取均值,得到第二平均形狀,并分別計(jì)算分配到右分支結(jié)點(diǎn)的各個樣本圖像的真實(shí)形狀與第二平均形狀的差值,將分配到右分支結(jié)點(diǎn)的各個樣本圖像的真實(shí)形狀與第二平均形狀的差值進(jìn)行累加,即可得到結(jié)點(diǎn)的右分支誤差。
步驟s1112,根據(jù)左分支誤差與右分支誤差之和及分配到結(jié)點(diǎn)的樣本圖像的數(shù)量求取均值,得到結(jié)點(diǎn)的誤差。
計(jì)算機(jī)設(shè)備可計(jì)算隨機(jī)選取的像素對下,正在進(jìn)行分裂的結(jié)點(diǎn)的左分支誤差及右分支誤差,并求取左分支誤差及右分支誤差之和,將該左分支誤差及右分支誤差之和除以分配到該結(jié)點(diǎn)樣本圖像的數(shù)量,得到該結(jié)點(diǎn)的誤差。針對回歸樹的各個結(jié)點(diǎn),從第一像素對集合中隨機(jī)選取第二像素對集合,循環(huán)多次從第二像素對集合中隨機(jī)選取一對像素對,并按照步驟s1102至步驟s1112計(jì)算該選取的像素對下,對應(yīng)結(jié)點(diǎn)的誤差,再從中選取誤差最小的像素對作為該結(jié)點(diǎn)的劃分像素對。
在一個實(shí)施例中,根據(jù)樣本圖像集中的樣本圖像構(gòu)建生成級聯(lián)的概率回歸模型后,可生成對應(yīng)的模型文件,模型文件中存儲有概率回歸模型包含的隨機(jī)森林級數(shù),每級隨機(jī)森林下的回歸樹數(shù)量,每棵回歸樹的深度,每棵回歸樹中各個結(jié)點(diǎn)的劃分像素對、劃分閾值及配置的分支概率,以及各個葉子結(jié)點(diǎn)配置的概率、誤差等信息。
在本實(shí)施例中,可計(jì)算隨機(jī)選取的像素對下結(jié)點(diǎn)的誤差,從而確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
在一個實(shí)施例中,提供一種用于人臉檢測的模型的構(gòu)建方法,該方法包括:
根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,概率回歸模型包括多級隨機(jī)森林,每級隨機(jī)森林包括多棵回歸樹。
在一個實(shí)施例中,根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,包括以下步驟:
構(gòu)建每級隨機(jī)森林時,從樣本圖像集中隨機(jī)選取第一像素對集合。
根據(jù)第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,并根據(jù)分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與生成的回歸樹的初始預(yù)測形狀確定各個葉子結(jié)點(diǎn)的誤差。
根據(jù)生成的回歸樹的初始預(yù)測形狀與各個葉子結(jié)點(diǎn)的誤差計(jì)算生成的回歸樹的預(yù)測形狀,并將預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。
在一個實(shí)施例中,配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,包括以下步驟:
在分裂生成回歸樹的各個結(jié)點(diǎn)時,對進(jìn)行樣本圖像劃分的結(jié)點(diǎn)配置對應(yīng)的分支概率,分支概率包括左分支概率及右分支概率,右分支概率與樣本圖像的圖像特征成正相關(guān)關(guān)系,左分支概率與右分支概率之和為1。
配置生成的回歸樹的各個葉子結(jié)點(diǎn)的概率為葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率的乘積。
上述用于人臉檢測的模型的構(gòu)建方法,根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,通過隨機(jī)選取的第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,并確定各個葉子結(jié)點(diǎn)的誤差,得到生成的回歸樹的預(yù)測形狀,從而將該預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,概率回歸模型中的每一級隨機(jī)森林及每級隨機(jī)森林下的每一棵回歸樹都是對真實(shí)誤差的進(jìn)一步預(yù)測,通過該概率回歸模型進(jìn)行人臉檢測時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
在一個實(shí)施例中,根據(jù)第一像素對集合對所述樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),包括:
從回歸樹的根結(jié)點(diǎn)開始,對根結(jié)點(diǎn)及分裂生成的各個結(jié)點(diǎn)進(jìn)行如下處理:
從第一像素對集合中隨機(jī)選取第二像素對集合;
根據(jù)第二像素對集合對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定結(jié)點(diǎn)的劃分像素對,直至生成的回歸樹的深度滿足預(yù)設(shè)深度則停止分裂生成新的分支結(jié)點(diǎn)。
在一個實(shí)施例中,根據(jù)第二像素對集合對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定結(jié)點(diǎn)的劃分像素對,直至生成的回歸樹的深度滿足預(yù)設(shè)深度則停止分裂生成新的分支結(jié)點(diǎn),包括以下步驟:
循環(huán)第一預(yù)設(shè)次數(shù)從第二像素對集合中隨機(jī)選取一對像素對對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定劃分后的樣本圖像所處的分支結(jié)點(diǎn),計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差。
從第二像素對集合中選取劃分后的樣本圖像在結(jié)點(diǎn)的誤差最小的像素對作為結(jié)點(diǎn)的劃分像素對。
在本實(shí)施例中,確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
在一個實(shí)施例中,循環(huán)第一預(yù)設(shè)次數(shù)從第二像素對集合中隨機(jī)選取一對像素對對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定劃分后的樣本圖像所處的分支結(jié)點(diǎn),計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差,包括以下步驟:
獲取從第二像素對集合中隨機(jī)選取的一對像素對的坐標(biāo)信息。
根據(jù)坐標(biāo)信息從分配到結(jié)點(diǎn)的樣本圖像的對應(yīng)位置提取圖像特征。
將從樣本圖像中提取的圖像特征與預(yù)設(shè)的劃分閾值進(jìn)行比較,并將圖像特征小于劃分閾值的樣本圖像劃分至左分支結(jié)點(diǎn),將圖像特征大于或等于劃分閾值的樣本圖像劃分至右分支結(jié)點(diǎn)。
計(jì)算處于左分支結(jié)點(diǎn)的樣本圖像的第一平均形狀,并根據(jù)處于左分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第一平均形狀確定左分支誤差。
計(jì)算處于右分支結(jié)點(diǎn)的樣本圖像的第二平均形狀,并根據(jù)處于右分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第二平均形狀確定右分支誤差。
根據(jù)左分支誤差與右分支誤差之和及分配到結(jié)點(diǎn)的樣本圖像的數(shù)量求取均值,得到結(jié)點(diǎn)的誤差。
在本實(shí)施例中,可計(jì)算隨機(jī)選取的像素對下結(jié)點(diǎn)的誤差,從而確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
如圖12所示,在一個實(shí)施例中,提供一種人臉檢測裝置1200,包括圖像獲取模塊1210、初始形狀獲取模塊1220、概率計(jì)算模塊1230、誤差提取模塊1240、形狀誤差確定模塊1250、估計(jì)形狀計(jì)算模塊1260及迭代計(jì)算模塊1270。
圖像獲取模塊1210,用于獲取待檢測圖像。
初始形狀獲取模塊1220,用于獲取預(yù)先構(gòu)建的概率回歸模型中本次回歸樹的初始形狀。
概率計(jì)算模塊1230,用于從待檢測圖像提取圖像特征,并根據(jù)圖像特征分別計(jì)算本次回歸樹各個葉子結(jié)點(diǎn)的概率。
誤差提取模塊1240,用于從本次回歸樹中提取各個葉子結(jié)點(diǎn)的誤差。
形狀誤差確定模塊1250,用于根據(jù)各個葉子結(jié)點(diǎn)的概率及誤差確定本次回歸樹的形狀誤差。
在一個實(shí)施例中,形狀誤差確定模塊1250還用于分別計(jì)算各個葉子結(jié)點(diǎn)的概率及對應(yīng)的誤差的乘積,并將計(jì)算得到的乘積進(jìn)行累加,得到本次回歸樹的形狀誤差。
估計(jì)形狀計(jì)算模塊1260,用于根據(jù)初始形狀及形狀誤差計(jì)算得到本次回歸樹的估計(jì)形狀。
迭代計(jì)算模塊1270,用于將估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,直至概率回歸模型中的最后一棵回歸樹,得到最后一棵回歸樹的估計(jì)形狀,作為檢測到的人臉形狀。
上述人臉檢測裝置,從待檢測圖像提取圖像特征,并計(jì)算在概率回歸模型的本次回歸樹各個葉子結(jié)點(diǎn)的概率,根據(jù)各個葉子結(jié)點(diǎn)的概率及誤差確定本次回歸樹的形狀誤差,從而計(jì)算得到本次回歸樹的估計(jì)形狀,將該估計(jì)形狀作為相鄰的下一回歸樹的初始形狀進(jìn)行迭代計(jì)算,從而逐步逼近真實(shí)誤差,得到準(zhǔn)確的人臉形狀,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
如圖13所示,在一個實(shí)施例中,概率計(jì)算模塊1230,包括提取單元1232、第一計(jì)算單元1234及第二計(jì)算單元1236。
提取單元1232,用于從本次回歸樹的根結(jié)點(diǎn)開始,根據(jù)各個結(jié)點(diǎn)的結(jié)點(diǎn)信息從待檢測圖像提取圖像特征。
第一計(jì)算單元1234,用于根據(jù)各個結(jié)點(diǎn)提取的圖像特征計(jì)算對應(yīng)結(jié)點(diǎn)的分支概率,分支概率包括左分支概率及右分支概率,右分支概率與對應(yīng)結(jié)點(diǎn)提取的圖像特征成正相關(guān)關(guān)系,左分支概率與右分支概率之和為1。
第二計(jì)算單元1236,用于確定各個葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率,并根據(jù)對應(yīng)的分支概率計(jì)算得到各個葉子結(jié)點(diǎn)的概率。
在本實(shí)施例中,可根據(jù)待檢測圖像的圖像特征計(jì)算回歸樹各個葉子結(jié)點(diǎn)的概率,使得根據(jù)概率回歸模型檢測待檢測圖像的人臉形狀時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
在一個實(shí)施例中,上述人臉檢測裝置1200,除了包括圖像獲取模塊1210、初始形狀獲取模塊1220、概率計(jì)算模塊1230、誤差提取模塊1240、形狀誤差確定模塊1250、估計(jì)形狀計(jì)算模塊1260及迭代計(jì)算模塊1270,還包括濾波模塊。
濾波模塊,用于對待檢測圖像進(jìn)行中值濾波處理。
如圖14所示,濾波模塊,包括定義單元1402、中值計(jì)算單元1404及替換單元1406。
定義單元1402,用于在待檢測圖像中定義預(yù)設(shè)大小的窗口。
中值計(jì)算單元1404,用于計(jì)算窗口包含的各個像素點(diǎn)的灰度值的中值。
替換單元1406,用于將位于窗口中心的像素點(diǎn)的灰度值替換為中值。
在本實(shí)施例中,獲取待檢測圖像后,可對待檢測圖像進(jìn)行濾波處理,降低待檢測圖像中的噪聲,減弱視頻圖像序列中由于硬件和環(huán)境光照的變化導(dǎo)致的前后幀圖像的噪聲影響,使最終檢測到的人臉形狀更為穩(wěn)定、準(zhǔn)確。
在一個實(shí)施例中,上述人臉檢測裝置1200,還包括模型構(gòu)建模塊。
模型構(gòu)建模塊,用于根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,概率回歸模型包括多級隨機(jī)森林,每級隨機(jī)森林包括多棵回歸樹。
如圖15所示,模型構(gòu)建模塊,包括第一選取單元1502、回歸樹生成單元1504、概率配置單元1506、誤差確定單元1508及迭代生成單元1510。
第一選取單元1502,用于構(gòu)建每級隨機(jī)森林時,從樣本圖像集中隨機(jī)選取第一像素對集合。
回歸樹生成單元1504,用于根據(jù)第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn)。
概率配置單元1506,用于配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率。
在一個實(shí)施例中,概率配置單元1506包括第一配置子單元及第二配置子單元。
第一配置子單元,用于在分裂生成回歸樹的各個結(jié)點(diǎn)時,對進(jìn)行樣本圖像劃分的結(jié)點(diǎn)配置對應(yīng)的分支概率,分支概率包括左分支概率及右分支概率,右分支概率與樣本圖像的圖像特征成正相關(guān)關(guān)系,左分支概率與右分支概率之和為1。
第二配置子單元,用于配置生成的回歸樹的各個葉子結(jié)點(diǎn)的概率為葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率的乘積。
誤差確定單元1508,用于根據(jù)生成的回歸樹中分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與生成的回歸樹的初始預(yù)測形狀確定各個葉子結(jié)點(diǎn)的誤差。
迭代生成單元1510,用于根據(jù)生成的回歸樹的初始預(yù)測形狀與各個葉子結(jié)點(diǎn)的誤差計(jì)算生成的回歸樹的預(yù)測形狀,并將預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。
在一個實(shí)施例中,上述模型構(gòu)建模塊,還包括分組單元,用于將樣本圖像集中的樣本圖像進(jìn)行分組,并對分組后的樣本圖像循環(huán)第二預(yù)設(shè)次數(shù)進(jìn)行如下處理:選取任一樣本圖像,從選取的樣本圖像所屬的組別中隨機(jī)選擇預(yù)設(shè)數(shù)量的樣本圖像,將預(yù)設(shè)數(shù)量的樣本圖像進(jìn)行加權(quán)和計(jì)算得到新樣本圖像,并將選取的樣本圖像替換為新樣本圖像。
在本實(shí)施例中,根據(jù)樣本圖像集的各個樣本圖像構(gòu)建生成級聯(lián)的概率回歸模型,概率回歸模型中的每一級隨機(jī)森林及每級隨機(jī)森林下的每一棵回歸樹都是對真實(shí)誤差的進(jìn)一步預(yù)測,通過該概率回歸模型進(jìn)行人臉檢測時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
在一個實(shí)施例中,回歸樹生成單元1504,還用于從回歸樹的根結(jié)點(diǎn)開始,對根結(jié)點(diǎn)及分裂生成的各個結(jié)點(diǎn)進(jìn)行如下處理:從第一像素對集合中隨機(jī)選取第二像素對集合;根據(jù)第二像素對集合對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定結(jié)點(diǎn)的劃分像素對,直至生成的回歸樹的深度滿足預(yù)設(shè)深度則停止分裂生成新的分支結(jié)點(diǎn)。
在一個實(shí)施例中,回歸樹生成單元1504,包括計(jì)算子單元及選取子單元。
計(jì)算子單元,用于循環(huán)第一預(yù)設(shè)次數(shù)從第二像素對集合中隨機(jī)選取一對像素對對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定劃分后的樣本圖像所處的分支結(jié)點(diǎn),計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差。
選取子單元,用于從第二像素對集合中選取劃分后的樣本圖像在結(jié)點(diǎn)的誤差最小的像素對作為結(jié)點(diǎn)的劃分像素對。
在本實(shí)施例中,確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
在一個實(shí)施例中,計(jì)算子單元還用于獲取從第二像素對集合中隨機(jī)選取的一對像素對的坐標(biāo)信息;根據(jù)坐標(biāo)信息從分配到結(jié)點(diǎn)的樣本圖像的對應(yīng)位置提取圖像特征;將從樣本圖像中提取的圖像特征與預(yù)設(shè)的劃分閾值進(jìn)行比較,并將圖像特征小于劃分閾值的樣本圖像劃分至左分支結(jié)點(diǎn),將圖像特征大于或等于劃分閾值的樣本圖像劃分至右分支結(jié)點(diǎn);計(jì)算處于左分支結(jié)點(diǎn)的樣本圖像的第一平均形狀,并根據(jù)處于左分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第一平均形狀確定左分支誤差;計(jì)算處于右分支結(jié)點(diǎn)的樣本圖像的第二平均形狀,并根據(jù)處于右分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第二平均形狀確定右分支誤差;根據(jù)左分支誤差與右分支誤差之和及分配到結(jié)點(diǎn)的樣本圖像的數(shù)量求取均值,得到結(jié)點(diǎn)的誤差。
在本實(shí)施例中,可計(jì)算隨機(jī)選取的像素對下結(jié)點(diǎn)的誤差,從而確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
在一個實(shí)施例中,提供一種用于人臉檢測的模型的構(gòu)建裝置,包括模型構(gòu)建模塊,用于根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,概率回歸模型包括多級隨機(jī)森林,每級隨機(jī)森林包括多棵回歸樹。
模型構(gòu)建模塊,包括第一選取單元、回歸樹生成單元、概率配置單元、誤差確定單元及迭代生成單元。
第一選取單元,用于構(gòu)建每級隨機(jī)森林時,從樣本圖像集中隨機(jī)選取第一像素對集合。
回歸樹生成單元,用于根據(jù)第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn)。
概率配置單元,用于配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率。
在一個實(shí)施例中,概率配置單元包括第一配置子單元及第二配置子單元。
第一配置子單元,用于在分裂生成回歸樹的各個結(jié)點(diǎn)時,對進(jìn)行樣本圖像劃分的結(jié)點(diǎn)配置對應(yīng)的分支概率,分支概率包括左分支概率及右分支概率,右分支概率與樣本圖像的圖像特征成正相關(guān)關(guān)系,左分支概率與右分支概率之和為1。
第二配置子單元,用于配置生成的回歸樹的各個葉子結(jié)點(diǎn)的概率為葉子結(jié)點(diǎn)所經(jīng)歷過的分支對應(yīng)的分支概率的乘積。
誤差確定單元,用于根據(jù)生成的回歸樹中分配到各個葉子結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與生成的回歸樹的初始預(yù)測形狀確定各個葉子結(jié)點(diǎn)的誤差。
迭代生成單元,用于根據(jù)生成的回歸樹的初始預(yù)測形狀與各個葉子結(jié)點(diǎn)的誤差計(jì)算生成的回歸樹的預(yù)測形狀,并將預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,直至完成概率回歸模型最后一級隨機(jī)森林的回歸樹生成。
在一個實(shí)施例中,上述模型構(gòu)建模塊,還包括分組單元,用于將樣本圖像集中的樣本圖像進(jìn)行分組,并對分組后的樣本圖像循環(huán)第二預(yù)設(shè)次數(shù)進(jìn)行如下處理:選取任一樣本圖像,從選取的樣本圖像所屬的組別中隨機(jī)選擇預(yù)設(shè)數(shù)量的樣本圖像,將預(yù)設(shè)數(shù)量的樣本圖像進(jìn)行加權(quán)和計(jì)算得到新樣本圖像,并將選取的樣本圖像替換為新樣本圖像。
上述用于人臉檢測的模型的構(gòu)建裝置,根據(jù)樣本圖像集構(gòu)建級聯(lián)回歸的概率回歸模型,通過隨機(jī)選取的第一像素對集合對樣本圖像集的樣本圖像進(jìn)行劃分,分裂生成回歸樹的各個結(jié)點(diǎn),配置生成的回歸樹各個葉子結(jié)點(diǎn)的概率,并確定各個葉子結(jié)點(diǎn)的誤差,得到生成的回歸樹的預(yù)測形狀,從而將該預(yù)測形狀作為相鄰的下一棵回歸樹的初始預(yù)測形狀迭代生成下一棵回歸樹,概率回歸模型中的每一級隨機(jī)森林及每級隨機(jī)森林下的每一棵回歸樹都是對真實(shí)誤差的進(jìn)一步預(yù)測,通過該概率回歸模型進(jìn)行人臉檢測時,每棵回歸樹的形狀誤差由該回歸樹所有葉子結(jié)點(diǎn)的誤差及概率來確定,可使得估計(jì)形狀更為穩(wěn)定、準(zhǔn)確,可以有效解決視頻圖像序列出現(xiàn)的人臉特征點(diǎn)抖動問題。
在一個實(shí)施例中,回歸樹生成單元,還用于從回歸樹的根結(jié)點(diǎn)開始,對根結(jié)點(diǎn)及分裂生成的各個結(jié)點(diǎn)進(jìn)行如下處理:從第一像素對集合中隨機(jī)選取第二像素對集合;根據(jù)第二像素對集合對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定結(jié)點(diǎn)的劃分像素對,直至生成的回歸樹的深度滿足預(yù)設(shè)深度則停止分裂生成新的分支結(jié)點(diǎn)。
在一個實(shí)施例中,回歸樹生成單元,包括計(jì)算子單元及選取子單元。
計(jì)算子單元,用于循環(huán)第一預(yù)設(shè)次數(shù)從第二像素對集合中隨機(jī)選取一對像素對對分配到結(jié)點(diǎn)的樣本圖像進(jìn)行劃分,將結(jié)點(diǎn)分裂生成新的分支結(jié)點(diǎn),并確定劃分后的樣本圖像所處的分支結(jié)點(diǎn),計(jì)算劃分后的樣本圖像在結(jié)點(diǎn)的誤差。
選取子單元,用于從第二像素對集合中選取劃分后的樣本圖像在結(jié)點(diǎn)的誤差最小的像素對作為結(jié)點(diǎn)的劃分像素對。
在本實(shí)施例中,確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
在一個實(shí)施例中,計(jì)算子單元還用于獲取從第二像素對集合中隨機(jī)選取的一對像素對的坐標(biāo)信息;根據(jù)坐標(biāo)信息從分配到結(jié)點(diǎn)的樣本圖像的對應(yīng)位置提取圖像特征;將從樣本圖像中提取的圖像特征與預(yù)設(shè)的劃分閾值進(jìn)行比較,并將圖像特征小于劃分閾值的樣本圖像劃分至左分支結(jié)點(diǎn),將圖像特征大于或等于劃分閾值的樣本圖像劃分至右分支結(jié)點(diǎn);計(jì)算處于左分支結(jié)點(diǎn)的樣本圖像的第一平均形狀,并根據(jù)處于左分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第一平均形狀確定左分支誤差;計(jì)算處于右分支結(jié)點(diǎn)的樣本圖像的第二平均形狀,并根據(jù)處于右分支結(jié)點(diǎn)的樣本圖像的真實(shí)形狀與第二平均形狀確定右分支誤差;根據(jù)左分支誤差與右分支誤差之和及分配到結(jié)點(diǎn)的樣本圖像的數(shù)量求取均值,得到結(jié)點(diǎn)的誤差。
在本實(shí)施例中,可計(jì)算隨機(jī)選取的像素對下結(jié)點(diǎn)的誤差,從而確定回歸樹中每個結(jié)點(diǎn)的劃分像素對,并根據(jù)劃分像素對對樣本圖像進(jìn)行劃分,可保證每個結(jié)點(diǎn)的誤差均為最小,使構(gòu)建的概率回歸模型更加準(zhǔn)確。
本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備。一種計(jì)算機(jī)設(shè)備,包括存儲器,處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,處理器執(zhí)行該程序時實(shí)現(xiàn)如上所述的人臉檢測方法。
本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備。一種計(jì)算機(jī)設(shè)備,包括存儲器,處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,處理器執(zhí)行該程序時實(shí)現(xiàn)如上所述的用于人臉檢測的模型的構(gòu)建方法。
本發(fā)明實(shí)施例還提供了一種可讀存儲介質(zhì)。一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上所述的人臉檢測方法。
本發(fā)明實(shí)施例還提供了一種可讀存儲介質(zhì)。一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上所述的用于人臉檢測的模型的構(gòu)建方法。
以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合,為使描述簡潔,未對上述實(shí)施例中的各個技術(shù)特征所有可能的組合都進(jìn)行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對于本領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。