專利名稱：Flash在線視頻的人臉識別方法及人臉識別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉識別技術(shù)，尤其涉及Flash在線視頻的人臉識別方法及人臉識別
直ο
背景技術(shù)：
隨著互聯(lián)網(wǎng)在線視頻的發(fā)展，越來越多的互聯(lián)網(wǎng)公司采用了 Flash在線視頻格式。例如國外的^utube，國內(nèi)的56，優(yōu)酷，土豆等，均采用了這種視頻格式，目前，在互聯(lián)網(wǎng)上看到的絕大多數(shù)的視頻都是基于這種視頻格式。在此基礎(chǔ)上，也有多種多樣的視頻交互方式出現(xiàn)，比如在線直播，在線錄像，視頻監(jiān)控等。人臉識別模塊是計算機(jī)圖形學(xué)中，對圖像或視頻中的人臉區(qū)域進(jìn)行識別、判定的一種技術(shù)。該人臉識別模塊主要依賴與現(xiàn)有技術(shù)中仍在不斷被完善的人臉識別信息庫，英文名稱0penCV (Open Source Computer Vision Library，計算機(jī)圖像開源框架)。各種編程語言利用該套識別信息庫實現(xiàn)人臉識別模塊的功能，完成對人臉的識別過程。由于對人臉識別的數(shù)據(jù)計算量非常大，市場上并沒有對在線視頻數(shù)據(jù)進(jìn)行運(yùn)算的人臉識別應(yīng)用。而目前存在的人臉識別，多數(shù)是對單純圖像數(shù)據(jù)的識別。例如56. com的趣圖產(chǎn)品就是一個典型應(yīng)用范例，該產(chǎn)品的運(yùn)作過程是用戶首先上傳一張帶人臉的圖片； 后臺處理程序在接收到該圖片之后，利用上面所說的相應(yīng)計算機(jī)開發(fā)語言的OpenCV人臉視頻庫，對圖像進(jìn)行人臉區(qū)域進(jìn)行識別，隨之將識別到的區(qū)域傳遞給圖像處理程序；圖像處理程序?qū)D片進(jìn)行裁切，將人臉圖片數(shù)據(jù)返回給前端頁面，也就是用戶能瀏覽到的網(wǎng)頁端， 實現(xiàn)對人臉的獲取。目前對視頻的人臉識別技術(shù)存在以下缺點(diǎn)1.處理流程繁瑣。用戶每上傳一張圖片，都需要經(jīng)過上傳，壓縮，服務(wù)器上的人臉識別判斷，傳回圖片，展示這些步驟。2.運(yùn)行效率低下，應(yīng)用范圍狹窄。由于效率問題無法解決，該類識別應(yīng)用，只能被使用于圖片處理上，同時，與用戶的交互是一個非實時的過程，用戶體驗到的也只是靜態(tài)的圖片生成感受。

發(fā)明內(nèi)容
本發(fā)明提供一種Flash在線視頻的人臉識別方法及人臉識別裝置，能夠?qū)崿F(xiàn)對在線視頻數(shù)據(jù)的人臉識別。本發(fā)明提供的Flash在線視頻的人臉識別方法，首先計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)，根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；通過人臉識別模塊對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。本發(fā)明提供的Flash在線視頻的人臉識別裝置，包括處理模塊，用于計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)；系統(tǒng)接口，用于根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；人臉識別模塊，對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。
本發(fā)明將人臉識別技術(shù)應(yīng)用到了 Flash在線視頻領(lǐng)域中，解決了以往只能對靜態(tài)圖片匹配人臉的問題，讓用戶能夠在看視頻、直播或錄像等任何與視頻相關(guān)的交互行為中實時匹配人臉，豐富了用戶體驗。在最大程度上改善了人臉識別的大運(yùn)算量對低配置用戶系統(tǒng)資源的占用，通過計算用戶客戶端的資源占用率，動態(tài)調(diào)整識別參數(shù)，從而調(diào)整人臉匹配的精度，降低人臉識別數(shù)據(jù)計算給視頻播放所帶來的額外壓力，使用戶能夠流暢體驗到該技術(shù)應(yīng)用。本發(fā)明使得在線視頻網(wǎng)站可以發(fā)展出更多的增值應(yīng)用體驗，為互聯(lián)網(wǎng)的發(fā)展創(chuàng)造了更大的新鮮感與價值。


圖1為實施例1的流程圖；圖2為實施例4中步驟2和步驟3的流程圖；圖3為實施例5中獲得保存在線視頻數(shù)據(jù)到內(nèi)存的權(quán)限的流程圖；圖4為實施例7中人臉識別裝置的原理框圖。
具體實施例方式實施例1 由于本發(fā)明希望實現(xiàn)識別動態(tài)視頻中的人臉識別，因此需要對畫面進(jìn)行及時的實時動態(tài)計算，假設(shè)目前的目標(biāo)視頻尺寸是640x480，幀頻是30幀/秒，就意味著需要在一秒內(nèi)進(jìn)行30次識別流程。這樣無疑會消耗大量的cpu來進(jìn)行計算。為了解決這一問題，本發(fā)明實現(xiàn)了在識別的基礎(chǔ)上，根據(jù)用戶當(dāng)前的客戶端資源占用情況，或者一些特定應(yīng)用的需求，動態(tài)調(diào)節(jié)識別參數(shù)，保證該功能不會影響到用戶的視頻播放效率。本發(fā)明通過以下步驟實現(xiàn)Flash播放程序會有一個進(jìn)程獲得當(dāng)前客戶端實時數(shù)據(jù)，包括cpu使用率、實際運(yùn)行幀頻等，本發(fā)明首先根據(jù)這些實時數(shù)據(jù)計算客戶端當(dāng)前的實際源使用率(步驟1)；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)(步驟2)，根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣(步驟幻；通過人臉識別模塊對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別 (步驟4)。作為一個實施例，步驟4中使用的人臉識別模塊可以利用現(xiàn)有技術(shù)中已有的開源的框架，例如，http://www. libspark. org/browser/as3/Marilena 中揭示了將 OpenCV 人臉識別信息庫的數(shù)據(jù)移植到Flash Actionscript開發(fā)語言上的方法。作為一個實施例，通過步驟3將視頻的單幀數(shù)據(jù)捕獲后，可以臨時存放于內(nèi)存中當(dāng)然也可以存儲于其他位置。此時就可以將單幀的圖片數(shù)據(jù)通過接口傳遞到Flash的人臉識別模塊進(jìn)行處理了。作為一個實施例，通過人臉識別模塊的實時運(yùn)算處理后，可以將被識別到的人臉位置等具體數(shù)據(jù)以事件冒泡的機(jī)制返回。如果在傳入的圖像數(shù)據(jù)里沒有識別到人臉，也會派發(fā)相應(yīng)的事件。實施例2 在本實施例中，步驟2中的識別參數(shù)為在線視頻數(shù)據(jù)的圖像采樣尺寸。 步驟2中根據(jù)當(dāng)前的實際資源使用率，動態(tài)調(diào)節(jié)傳入人臉識別模塊的圖像矩陣，調(diào)整所采樣的圖像數(shù)據(jù)的尺寸。在步驟3中，傳入的圖像尺寸越大，匹配的精度越高，但消耗的CPU 就越高，匹配所用的時間就越長。在客戶端的配置較為低端時，可以實現(xiàn)降低精度來保證視頻的正常播放渲染。實施例3 在本實施例中，步驟2中的識別參數(shù)為在線視頻數(shù)據(jù)的圖像采樣頻率。步驟2中根據(jù)當(dāng)前的實際資源使用率，動態(tài)調(diào)節(jié)傳入人臉識別模塊的采樣頻率。在步驟3 中，采樣的頻率越高，匹配的平滑度就越高，但消耗的CPU就越大。在客戶端的配置較為低端時，可以實現(xiàn)降低匹配平滑度來保證視頻的正常播放渲染。實施例4 作為對上述實施例2和實施例3的進(jìn)一步改進(jìn)，本實施例中步驟2的識別參數(shù)同時包括圖像采樣尺寸和圖像采樣頻率，步驟二中對這兩種識別參數(shù)均進(jìn)行動態(tài)調(diào)節(jié)，圖2為本實施例的流程圖，當(dāng)根據(jù)計算出的實際資源占用率判斷目前處于過多的CPU消耗時，降低圖像采樣的圖像尺寸和采樣頻率，按照降低后的圖像采樣尺寸和采樣頻率進(jìn)行采樣和人臉識別。否則，以正常參數(shù)采樣圖像并進(jìn)行人臉識別。實施例5 本實施例中，步驟3為了對在線視頻數(shù)據(jù)進(jìn)行采樣，就需要通過Flash Actionscript的系統(tǒng)接口獲得Flash在線視頻每一幀的視頻數(shù)據(jù)。Flash API提供了一種方法可以將屏幕內(nèi)的屏幕畫面數(shù)據(jù)保存到內(nèi)存中，代碼如下bitmapData. draw(保存的屏幕內(nèi)容)；在該過程中存在一個問題，由于視頻通常不是在用戶本地的資源，F(xiàn)lash在安全性方面有所限制，需要順利保存屏幕畫面數(shù)據(jù)到內(nèi)存中，因此在執(zhí)行步驟3之前就需要首先做一些權(quán)限的操作，使得被加載的視頻可以被捕獲。通常會有兩類不同的Flash在線視頻協(xié)議1. Ihttp類型視頻流數(shù)據(jù)通常我們在視頻網(wǎng)站上看到的視頻都是通過該協(xié)議傳遞到客戶端的。對于這種視頻，需要加載視頻文件所對應(yīng)的服務(wù)器下的跨域策略文件，獲得保存該服務(wù)器下視頻文件內(nèi)容到內(nèi)存的權(quán)限。具體代碼如下Security. IoadPolicyFileC' http://127. 0. 0. 1/crossdomain. xml")；1. 2rmpt類型視頻流數(shù)據(jù)該類視頻協(xié)議對應(yīng)的會有一個媒體服務(wù)器，比如Adobe公司的Flash Media Server ；簡稱FMS ；開源的Red5服務(wù)器等，主要被應(yīng)用于在線直播、錄制視頻方面。對于該協(xié)議，需要修改某一個應(yīng)用連接所對應(yīng)的服務(wù)器端ASC角本開放客戶端權(quán)限，允許客戶端的Flash播放程序可以保存數(shù)據(jù)到內(nèi)存。具體代碼如下client. videoSampleAccess = “ /"；當(dāng)然，也可以通過直接在服務(wù)器的配置文件XML里設(shè)置全局權(quán)限，配置如下〈VideoSampleAccess enabled = “ true“ >/</VideoSampleAccess>上述獲得保存在線視頻數(shù)據(jù)到內(nèi)存的權(quán)限的流程圖如圖3所示。實施例6 作為對上述各實施例的一個應(yīng)用，在本實施例中對人臉識別后的單幀數(shù)據(jù)進(jìn)行應(yīng)用處理，例如，根據(jù)人臉識別結(jié)果就可以提取人臉?biāo)诘奈恢米鴺?biāo)、尺寸，在其基礎(chǔ)上實現(xiàn)各類針對動態(tài)視頻畫面的應(yīng)用。包括，各類元素的人臉跟隨效果、人臉區(qū)域特效寸。實施例7 與上述實施例1至實施例6相對應(yīng)，本實施例中提供了相應(yīng)的人臉識別裝置，如圖4所示，包括處理模塊、系統(tǒng)接口和人臉識別模塊，工作原理如下處理模塊計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)；系統(tǒng)接口根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；人臉識別模塊對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。另外，針對實施例7，人臉識別裝置還可以包括主控制器，人臉識別模塊將識別結(jié)果返回給主控制器，主控制器對單幀圖片進(jìn)行應(yīng)用處理。
上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他任何未背離本發(fā)明的精神實質(zhì)和原理下所作的修改、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種Flash在線視頻的人臉識別方法，其特征在于，包括步驟計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)，根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；通過人臉識別模塊對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。
2.根據(jù)權(quán)利要求1所述的人臉識別方法，其特征在于，所述識別參數(shù)包括所述在線視頻數(shù)據(jù)的圖像采樣尺寸。
3.根據(jù)權(quán)利要求1或2所述的人臉識別方法，其特征在于，所述識別參數(shù)包括所述在線視頻數(shù)據(jù)的圖像采樣頻率。
4.根據(jù)權(quán)利要求3所述的人臉識別方法，其特征在于，對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別之后還包括步驟提取人臉?biāo)诘奈恢米鴺?biāo)和尺寸，并進(jìn)行應(yīng)用處理，所述應(yīng)用處理包括以下一種或多種人臉區(qū)域特效、各類元素的人臉跟隨效果。
5.根據(jù)權(quán)利要求1的人臉識別方法，其特征在于，對所述在線視頻數(shù)據(jù)進(jìn)行采樣的步驟之前還包括如果所述在線視頻數(shù)據(jù)通過http協(xié)議傳輸，則加載所述在線視頻數(shù)據(jù)所對應(yīng)的服務(wù)器中的跨域策略文件，以獲得保存該視頻數(shù)據(jù)的權(quán)限；如果所述在線視頻數(shù)據(jù)通過rmpt協(xié)議傳輸，通過以下步驟獲得保存該視頻數(shù)據(jù)的權(quán)限client. videoSampleAccess =〃 /〃 或在所述在線視頻數(shù)據(jù)所對應(yīng)的服務(wù)器中的配置文件設(shè)置全局權(quán)限，以獲得保存該視頻數(shù)據(jù)的權(quán)限。
6.一種Flash在線視頻的人臉識別裝置，其特征在于，包括處理模塊，用于計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)；系統(tǒng)接口，用于根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；人臉識別模塊，對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。
7.根據(jù)權(quán)利要求6所述的人臉識別裝置，其特征在于，所述識別參數(shù)包括所述在線視頻數(shù)據(jù)的圖像采樣尺寸。
8.根據(jù)權(quán)利要求6或7所述的人臉識別裝置，其特征在于，所述識別參數(shù)包括所述在線視頻數(shù)據(jù)的圖像采樣頻率。
9.根據(jù)權(quán)利要求8所述的人臉識別裝置，其特征在于，還包括主控制器，用于提取人臉?biāo)诘奈恢米鴺?biāo)和尺寸，對當(dāng)前所傳入的圖像進(jìn)行應(yīng)用處理，所述應(yīng)用處理包括以下一種或多種人臉區(qū)域特效、各類元素的人臉跟隨效果。
10.根據(jù)權(quán)利要求6的人臉識別裝置，其特征在于，如果所述在線視頻數(shù)據(jù)通過http協(xié)議傳輸，系統(tǒng)接口加載所述在線視頻數(shù)據(jù)所對應(yīng)的服務(wù)器中的策略文件，以獲得保存該視頻數(shù)據(jù)的權(quán)限。如果所述在線視頻數(shù)據(jù)通過rmpt協(xié)議傳輸，系統(tǒng)接口通過以下步驟獲得保存該視頻數(shù)據(jù)的權(quán)限client. videoSampleAccess =〃 /"。
全文摘要
本發(fā)明提供的Flash在線視頻的人臉識別方法，首先計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)，根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；通過人臉識別模塊對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。本發(fā)明提供的Flash在線視頻的人臉識別裝置，包括處理模塊，用于計算客戶端當(dāng)前的實際資源使用率；根據(jù)所述當(dāng)前的實際資源使用率調(diào)節(jié)識別參數(shù)；系統(tǒng)接口，用于根據(jù)調(diào)節(jié)后的識別參數(shù)對所述在線視頻數(shù)據(jù)進(jìn)行采樣；人臉識別模塊，對當(dāng)前所采樣的在線視頻數(shù)據(jù)進(jìn)行人臉識別。本發(fā)明能夠?qū)崿F(xiàn)對在線視頻數(shù)據(jù)的人臉識別。
文檔編號G06K9/00GK102567720SQ20111044472
公開日2012年7月11日 申請日期2011年12月26日 優(yōu)先權(quán)日2011年12月26日
發(fā)明者黃一昕 申請人:廣州市千鈞網(wǎng)絡(luò)科技有限公司