一種基于監(jiān)控視頻的實時摔倒事件檢測方法
【專利摘要】本申請公開了一種基于監(jiān)控視頻的實時摔倒事件檢測方法，在檢測場景中安裝有朝向同一目標區(qū)域、拍攝角度不同的多個攝像機，多個攝像機連續(xù)拍攝目標區(qū)域，包括以下步驟：多個攝像機同時拍攝目標區(qū)域的一段視頻；從多個攝像機各自拍攝的同一時段的多個視頻中，分別提取出每一幀畫面的代表目標的前景圖像；提取同一時刻同一目標的前景圖像在由多個攝像機拍攝的畫面中的各自的形狀和位置特征，并使用RVM分類器，確定每一幀畫面對應(yīng)的時刻的目標姿態(tài)類別；將所得到的每一幀畫面的目標姿態(tài)類別作為目標姿態(tài)值序列輸入到HMM評估器，得到目標姿態(tài)類別變化的后驗概率，目標姿態(tài)類別變化代表目標摔倒事件發(fā)生；如果后驗概率大于預(yù)定閾值，則確定摔倒發(fā)生。
【專利說明】一種基于監(jiān)控視頻的實時摔倒事件檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像模式識別領(lǐng)域，更具體地，涉及基于RVM和HMM的實時摔倒檢測方法。
【背景技術(shù)】
[0002]由于摔倒檢測的研究具有較高的理論意義和實用價值，國內(nèi)外已有相關(guān)的研究成果和產(chǎn)品問世。根據(jù)摔倒檢測所采用的方法，檢測技術(shù)可以分為三類:佩戴式儀器檢測方法、環(huán)境裝置檢測方法、監(jiān)控視頻檢測方法，其中前兩種技術(shù)為基于傳感器的方法，后一種技術(shù)為基于圖像處理的方法。
[0003]在佩戴儀器式檢測中，使用者需要隨身佩戴一些裝有傳感器或其他設(shè)備裝置的儀器來幫助系統(tǒng)獲取使用者的動作信息及身體的運動信息，系統(tǒng)通過對采集信息分類來檢測摔倒事件，文獻[I]中通過使用速度和加速度傳感器來判斷人體動作的突然靜止以達到檢測摔倒的目的。
[0004]佩戴式儀器檢測方法簡單易施，但存在的主要問題是:由于傳感器相關(guān)參數(shù)閾值是根據(jù)儀器與佩戴者之間的精確相對位置關(guān)系設(shè)定的，一旦這種關(guān)系被破壞(事實上經(jīng)常發(fā)生)，如劇烈運動或穿脫衣服，則會產(chǎn)生大量的誤檢；此外，由于需要使用者佩戴儀器，將會為使用者帶來較大的不適和不便。
[0005]環(huán)境監(jiān)測儀器方法主要通過多種安置在環(huán)境中的傳感器來采集與使用者相關(guān)的人體各項數(shù)據(jù)，通過數(shù)據(jù)分析來判斷是否有摔倒事件發(fā)生。Alwan等人在文獻[2]中使用裝置在地板上的震動感受器來判斷摔倒！Technical Solutions Australia系統(tǒng)[3]通過“下床”報警器、地板腳墊報警器等來收集使用者施加的壓力信息，并通過分析采集的數(shù)據(jù)對使用者的姿態(tài)進行判別。
[0006]與佩戴式儀器檢測方法相同，此種方法也容易受到環(huán)境中的其他干擾而產(chǎn)生誤檢；雖然免除了使用者佩戴儀器的麻煩，但由于增加了大量的傳感器，系統(tǒng)的復(fù)雜性有所上升。
[0007]監(jiān)控視頻檢測，即計算機視覺檢測，通過實時分析監(jiān)控環(huán)境內(nèi)的視頻數(shù)據(jù)以判斷是否有摔倒事件發(fā)生。此種方法又可進一步細分為三種:(I)靜止檢測。通常摔倒后的人會靜止地躺在地面上一段時間，基于這一假設(shè)，Nait-Charif和McKenna[4]使用架設(shè)在使用者頭頂上方的廣角鏡頭來獲取使用者的運動軌跡，以檢測摔倒時軌跡的突然終止。(2)身體形狀變化檢測。在摔倒過程中，摔倒者的人體形狀通常會發(fā)生明顯的變化，如從站立轉(zhuǎn)變?yōu)槠教??；谶@一原理，Ganapathy等人[5]使用人體外接矩形寬高比、外接矩形傾角作為姿態(tài)特征，并通過分析特征值的變化來判斷人體形狀的變化，繼而檢測是否有摔倒事件發(fā)生。
(3)頭部運動/位置檢測。在此方法中，研究者通過檢測人體頭部，并跟蹤頭部的運動軌跡或定位頭部與地面的相對距離來檢測摔倒事件的發(fā)生。Shoaib等人[6]則通過橢圓擬合來檢測人體頭部，并利用模擬高斯分布的場景地面信息來計算頭部相對于地面的距離并判斷是否發(fā)生摔倒。[0008]在監(jiān)控視頻檢測方法中，大部分的研究僅采用單一的運動特征或姿態(tài)特征，因此容易造成大量誤檢。另一方面，相關(guān)文獻沒有考慮處理沿著攝像機照射方向的摔倒事件，此類情況中，摔倒者的形狀與站立者的形狀類似，緊靠單純的外觀特征很難將兩種姿態(tài)相區(qū)分。
[0009]上面提及的參考文獻列表
[0010][I]Almeida, 0.，M.Zhang, and J.C.Liu.Dynamic fall detection and pacemeasurement in walking sticks.1EEE Joint Workshop on High ConfidenceMedical Devices,Software, and Systems and Medical Device Plug-and-PlayInteroperability，2007.[0011][2] Alwanj M., et al.A smart and passive f loor-vibrat ion basedfall detector for elderly.1EEE2nd Conf.0n Information and CommunicationTechnologies, 2006.[0012][3]http://www.tecsol.com.au/
[0013][4]Nait-Charif, H.and S.J.McKenna.Activity summarisation and falldetection in a supportive home environment.1EEE17th Conf.0n PatternRecognition, 2004.[0014][5] V.Vaidehi et al.Video based automatic fall detection in indoorenvironment.1EEE International Conference on Recent Trends in InformationTechnology, 2011.[0015][6] Shoaibj Muhammad, Dragon, R., Ostermannj J.View-1nvariant fall detectionfor elderly in real home environment.4th Pacific-Rim Symposium on Image andVideo Technology,2010.
【發(fā)明內(nèi)容】

[0016]本申請的發(fā)明人考慮到現(xiàn)有技術(shù)的上述情況而作出了本發(fā)明。本發(fā)明提出了一種基于多角度攝像頭的摔倒檢測方法，能夠檢測出不同空間方向的摔倒事件，并具有實時處理能力，具備較高實用性。例如，在室內(nèi)居家環(huán)境中，能夠及時檢測出獨處老人、病人等(觀察對象)可能發(fā)生的摔倒事件，在很大程度上減輕摔倒事件帶來的傷害。
[0017]通常，在摔倒時，摔倒者的姿態(tài)會發(fā)生較大幅度的變化，基于此原理，本發(fā)明將摔倒過程中的不同姿態(tài)劃分為四類，通過兩個不同角度的攝像機視頻圖像提取目標的外觀、場景特征并利用相關(guān)向量機(RVM)來對運動目標進行快速姿態(tài)識別。利用隱馬爾科夫模型(HMM)來對摔倒過程中的姿態(tài)變化進行建模，并用該模型去評估監(jiān)控視頻中的每一段運動過程，從而判斷是否有摔倒事件發(fā)生。
[0018]根據(jù)本發(fā)明的實施例，提供了一種基于監(jiān)控視頻的實時摔倒事件檢測方法，其中，在檢測場景中安裝有朝向同一目標區(qū)域、拍攝角度不同的多個攝像機，所述多個攝像機連續(xù)拍攝目標區(qū)域，所述方法包括以下步驟:步驟1、所述多個攝像機同時拍攝目標區(qū)域的一段視頻；步驟2、從所述多個攝像機各自拍攝的同一時段的多個視頻中，分別提取出視頻的每一幀畫面的代表目標的前景區(qū)域；步驟3、提取同一時刻同一目標的所述前景區(qū)域在由所述多個攝像機拍攝的畫面中的各自的形狀和位置特征，并使用RVM分類器，確定每一幀畫面對應(yīng)的時刻的目標姿態(tài)類別；步驟4、將所得到的每一幀畫面的目標姿態(tài)類別作為目標姿態(tài)值序列輸入到HMM評估-，得到目標姿態(tài)類別變化的后驗概率，其中，所述目標姿態(tài)類別變化過程指示目標摔倒事件的發(fā)生；以及步驟5、如果所述后驗概率大于預(yù)定閾值，則確定目標摔倒事件的發(fā)生。
[0019]本發(fā)明創(chuàng)新性地采用了 RVM和HMM結(jié)合的方式來進行視頻畫面模式識別，不但能夠從視頻中識別出任意時刻的觀測對象姿態(tài)，還能夠識別任一段時間內(nèi)的姿態(tài)變化過程，這樣，對于像摔倒這樣的在一段時間內(nèi)發(fā)生姿態(tài)變化的情況，能夠?qū)崟r檢測出來。
[0020]本發(fā)明主要應(yīng)用于居家監(jiān)控視頻場景中，用于對監(jiān)控視頻中可能出現(xiàn)的摔倒(非正常臥倒)事件進行監(jiān)測并及時報警，從而有效地保障被監(jiān)控者的人身安全。有益效果主要有:(1)對獨居的空巢老人進行全天候?qū)崟r監(jiān)測，對老年人的行為和狀態(tài)進行分析，自動濾除掉無用信息，并對可能出現(xiàn)的老人摔倒事件做出快速判斷并報警，以進行及時救助，從根本上保障獨居老人安全。(2)對需要監(jiān)管的病人進行身體狀態(tài)的分析，在發(fā)生摔倒時，可以自動向值班人員報警，提示醫(yī)護人員及時處理。一方面可以降低醫(yī)護人員的工作負擔(dān)，另一方面也為病人的及時救護提供了寶貴的時間。
【專利附圖】

【附圖說明】
[0021]圖1是示出根據(jù)本發(fā)明的實施例的兩個相互垂直的攝像方向上的人體外接橢圓偏角的夾角差的示意圖；
[0022]圖2是示出根據(jù)本發(fā)明的實施例的人體所在背景的場景信息的示意圖；
[0023]圖3是示出根據(jù)本發(fā)明的實施例的訓(xùn)練出的3個RVM分類器的結(jié)構(gòu)示意圖；
[0024]圖4為示出根據(jù)本發(fā)明的實施例的一段視頻中訓(xùn)練模型下姿態(tài)序列的對數(shù)后驗概率log (P (O I λ))隨幀數(shù)變化的圖。
【具體實施方式】
[0025]下面，結(jié)合附圖對技術(shù)方案的實施作進一步的詳細描述。
[0026]首先，簡述本發(fā)明的原理。
[0027]根據(jù)本發(fā)明的實施例，基于HMM和RVM的實時摔倒檢測方法在模型訓(xùn)練階段主要包括以下步驟:1)特征提取，用來在兩個不同角度的攝像機的訓(xùn)練視頻幀中提取反映人體的姿態(tài)變化的多個特征；2)姿態(tài)分類，利用提取的上述特征訓(xùn)練出分類器，并通過分類器得到每個訓(xùn)練視頻幀的姿態(tài)類別；3)利用隱馬爾科夫模型(HMM)來對摔倒過程中的姿態(tài)變化進行建模(生成HMM模型)。
[0028]根據(jù)本發(fā)明的實施例，基于RVM和HMM的實時摔倒檢測方法在事件檢測階段主要包括以下步驟:1)特征提取，用來在兩個不同角度的攝像機的測試視頻幀中提取反映人體的姿態(tài)變化的多個特征；2)姿態(tài)分類，利用所訓(xùn)練出的分類器得到每個測試視頻幀的姿態(tài)類別；3)利用在上述訓(xùn)練階段生成的HMM模型，評估監(jiān)控視頻中的每一段運動過程(姿態(tài)類別發(fā)生變化的過程)，從而判斷是否有摔倒事件發(fā)生。
[0029]下面，按照上面的順序分別說明本發(fā)明的基于RVM和HMM的實時摔倒檢測方法的具體實現(xiàn)過程。本領(lǐng)域的技術(shù)人員能夠理解，以下有些步驟/操作同時存在于訓(xùn)練階段和測試階段，為了簡明起見，不進行重復(fù)說明。[0030]1.特征提取
[0031]將摔倒的過程進行分解，人體的姿態(tài)變化過程可歸結(jié)為站立-傾斜-躺(到地面)?；诖?，采用人體幾何外觀、場景信息組成的特征作為RVM分類器的輸入，進行姿態(tài)的判斷，可將居家視頻中人體的姿態(tài)大致分為4類:
[0032]I)站立；
[0033]2)傾斜；
[0034]3)躺(僅限地面)；
[0035]4)其他，包括坐、蹲、躺床上等。
[0036]上述分類僅為示例，本領(lǐng)域的技術(shù)人員能夠理解，還可根據(jù)實際需要，將人體姿態(tài)分為與上述4類不同的任意數(shù)目的類別。
[0037]采用的人體幾何外觀特征有:
[0038]I)人體外接矩形的寬高比。針對站姿，這一比值較小，針對傾斜姿態(tài)，其外接矩形形狀接近正方形，寬高比接近于I ;
[0039]2)兩個攝像方向上的人體外接橢圓偏角的夾角差。為了從多個攝像角度分析人體姿態(tài)，需要考慮橢圓擬合的夾角。由于攝像機的透視變換，當三維場景映射到二維圖像中存在一定的信息丟失，使得許多姿態(tài)不易區(qū)分，如站立、順著攝像機方向的躺等?？刹捎脙蓚€視線等高且相互垂直的攝像機，能夠有效地進行信息互補。針對站立姿勢，由于目標垂直于地平面，故在兩個攝像機畫面中，人體外接橢圓的長軸與水平軸夾角均約為90°，因此兩個角度的差約為0° ;對于傾斜姿態(tài)，目標與地平面呈一定夾角，兩個攝像方向上的夾角角度的差(絕對值)約在0°?90°范圍內(nèi)，一般顯著高于站姿下的該角度差(約0° );對于躺姿(僅限地面)，由于目標平行于地平面，故兩個垂直攝像方向上的夾角(考慮正負)的角度差(絕對值)約為90°。上述原理可通過圖1解釋(從上至下依次為站立、傾斜、躺；第一列為實際場景示意圖，第二三列分別為兩個攝像機拍攝畫面)。上述兩個視線等高且垂直的攝像機擺位僅為示例，本領(lǐng)域的技術(shù)人員能夠理解，實際上兩個攝像機的擺位還可以有其它方式，只要上述夾角在不同姿態(tài)下的變化能夠呈現(xiàn)某種規(guī)律即可。當然，也可以使用更多的攝像機，從而得到更準確、精細的分類結(jié)果。
[0040]采用的場景信息特征有:
[0041]I)人體所在背景的場景信息直方圖。根據(jù)居家視頻特性，預(yù)先人工將場景區(qū)域進行人為標記，主要標記為床/沙發(fā)/椅子區(qū)域、墻、地面，如圖2所示(其中灰色代表墻，黑色代表床/沙發(fā)/椅子，白色代表地面)。將三個區(qū)域以不同的值表示，統(tǒng)計人體所在區(qū)域的場景信息，計算三種灰度值所占比例，組成一個3bin的場景信息直方圖。
[0042]針對原始視頻，利用前景分割算法提取出運動區(qū)域(可參見文獻[7])，對于以上三種特征，均從上述兩個攝像畫面中同時提取，這樣共組成了一個2X1+1+3X2=9維特征向量。即，對于監(jiān)控視頻的每個視頻幀對應(yīng)的時刻，都提取出上述9維特征向量。
[0043]2.姿態(tài)分類
[0044]接下來，可進行姿態(tài)分類。姿態(tài)分類器采用RVM (例如，可使用在文獻[8]中公開的RVM，因其測試速度較快)。由于RVM主要用于2分類的情況，因此需要訓(xùn)練多個2分類器，以便進行逐層分類。分析所提取的上述場景信息特征和人體外觀特征，由于此兩類特征不同，故采用決策樹的分類結(jié)構(gòu)將這兩類特征分開考慮，每次選取部分特征作分類，逐層判斷。依次選取場景直方圖、外接矩形寬高比和外接橢圓角度差三種特征，訓(xùn)練出3個2分類器，得到的分類結(jié)構(gòu)如下圖3所示。具體地，例如，第一個分類器RVMl可用來區(qū)分上述第4類姿態(tài)與其它3類姿態(tài)，第二個分類器RVM2用來區(qū)分上述第3類姿態(tài)與第1、2類姿態(tài)，第三個分類器RVM3用來區(qū)分上述第2類姿態(tài)與第I類姿態(tài)。
[0045]這樣，對于兩個攝像機各自拍攝的每一幀中提取的上述9維特征，均依次送入這3個分類器中，得到姿態(tài)分類的結(jié)果。根據(jù)每幀中人員的姿態(tài)，得到相應(yīng)的姿態(tài)類型編號，從而產(chǎn)生姿態(tài)序列,此即為下面的HMM評估中用到的HMM模型中的觀測序列，其中狀態(tài)數(shù)N即為4，即有上述4種可能的輸出狀態(tài)。
[0046]RVM分類器的預(yù)測分類過程可以概述如下(具體可參考文獻[8]):
[0047]I)已知參與訓(xùn)練的特征矩陣X e Rnxm、測試樣本中得到的新特征向量X* e Rixn以及訓(xùn)練得到的RVM模型向量P e RmX1，其中η是特征維數(shù)，m為參與訓(xùn)練的樣本個數(shù)；
[0048]2)利用x*和X計算基向量b e Rixm;
[0049]3)將基向量與模型相乘得到數(shù)值y = b*p，gy > 0.5，則預(yù)測為正類，反之預(yù)測為負類。
[0050]所述RVM分類器的訓(xùn)練過程包括:
[0051]I)選擇適當?shù)暮撕瘮?shù)，將特征向量映射到高維空間。常用的幾種核函數(shù)包括RBF核函數(shù)，Laplace核函數(shù)，多項式核函數(shù)等，在本發(fā)明中采用RBF核；
[0052]2 )初始化RVM參數(shù)；
[0053]3)從四種姿態(tài)(站、躺地、傾斜、其他)的訓(xùn)練樣本提取姿態(tài)特征，所有樣本的特征組成特征矩陣X，所有樣本對應(yīng)的姿態(tài)標號組成向量Y ;
[0054]4)根據(jù)貝葉斯準則，用訓(xùn)練特征和標號迭代求解訓(xùn)練樣本最優(yōu)的權(quán)重分布和分布參數(shù)；
[0055]5)輸出RVM參數(shù)，即訓(xùn)練得到的模型。
[0056]3.HMM 評估
[0057]在每一幀中，記錄目標的姿態(tài)類別，為了利用HMM，將目標姿態(tài)用離散值表示，即(0、1、2、3)，這樣在連續(xù)的一段時間中，得到一組長度為T (對應(yīng)于視頻的幀數(shù))的目標姿態(tài)值序列，即觀測序列O1O2...0T。在訓(xùn)練階段，根據(jù)HMM學(xué)習(xí)問題，利用摔倒過程中提取到的觀測序列O1O2...0t進行學(xué)習(xí)，找到一組模型參數(shù)λ = {>，Α，Β}使得Ρ(0| λ)最大，此即HMM摔倒模型的參數(shù)。
[0058]所述HMM模型的訓(xùn)練過程包括:
[0059]I)收集多段不同摔倒者不同方向的摔倒視頻；
[0060]2)提取每段摔倒視頻中的特征，并利用RVM進行姿態(tài)分類，在一個時間滑窗內(nèi)，將每一巾貞輸出的姿態(tài)編號作為HMM觀測序列；
[0061 ] 3 )利用基于多觀測序列的Baum-Welch訓(xùn)練算法訓(xùn)練HMM模型λ，傳統(tǒng)的Baum-Welch算法步驟如下(可參見文獻[9]):
[0062]3-1為模型參數(shù)賦一個初值入。；
[0063]3-2利用前向后向方法(可參見文獻[10])，計算在該模型下觀測序列O的后驗概率，即ρ(0入。)；
[0064]3-3基于觀測序列O和當前模型參數(shù)，更新模型參數(shù)λ，其更新公式為:
【權(quán)利要求】
1.一種基于監(jiān)控視頻的實時摔倒事件檢測方法，其中，在檢測場景中安裝有朝向同一目標區(qū)域、拍攝角度不同的多個攝像機，所述多個攝像機連續(xù)拍攝目標區(qū)域，所述方法包括以下步驟: 步驟1、所述多個攝像機同時拍攝目標區(qū)域的一段視頻； 步驟2、從所述多個攝像機各自拍攝的同一時段的多個視頻中，分別提取出視頻的每一幀畫面的代表目標的前景區(qū)域；步驟3、提取同一時刻同一目標的所述前景區(qū)域在由所述多個攝像機拍攝的畫面中的各自的形狀和位置特征，并使用RVM分類器，確定每一幀畫面對應(yīng)的時刻的目標姿態(tài)類別；步驟4、將所得到的每一幀畫面的目標姿態(tài)類別作為目標姿態(tài)值序列輸入到HMM評估_，得到目標姿態(tài)類別變化的后驗概率，其中，所述目標姿態(tài)類別變化過程指示目標摔倒事件的發(fā)生；以及 步驟5、如果所述后驗概率大于預(yù)定閾值，則確定目標摔倒事件的發(fā)生。
2.根據(jù)權(quán)利要求1所述的實時摔倒事件檢測方法，其中， 所述目標姿態(tài)類別包括以下四個類別:1)站立；2)傾斜；3)躺在地面；4)其他， 所述目標姿態(tài)類別變化表示以下變化:站立一傾斜一躺在地面， 其中，所述多個攝像機為拍攝視角相互垂直的兩個攝像機，并且，事先在每個攝像機拍攝的目標區(qū)域中標記出多類子區(qū)域， 所述形狀和位置特征包括以下3個特征:1)目標的外接矩形的寬高比；2)兩個攝像機各自的拍攝方向上的目標的外接橢圓的長軸與水平線之間的夾角之差；3)目標的位置處于哪類子區(qū)域。
3.根據(jù)權(quán)利要求2所述的實時摔倒事件檢測方法，其中，所述RVM分類器包括3個2分類器，其中，第一個2分類器區(qū)分所述四個類別中的前三個類別與第四個類別，第二個2分類器區(qū)分所述四個類別中的前二個類別與第三個類別，第三個2分類器區(qū)分所述四個類別中的第二個類別與第一個類別。
4.根據(jù)權(quán)利要求3所述的實時摔倒事件檢測方法，其中，所述RVM分類器的訓(xùn)練過程包括以下步驟: 步驟11、從分別屬于所述四個類別的訓(xùn)練樣本視頻中提取所述形狀和位置特征，組成特征矩陣X，所有訓(xùn)練樣本視頻對應(yīng)的所述目標姿態(tài)類別組成向量Y ； 步驟12、采用RBF核函數(shù)，將所述特征矩陣X映射到高維空間； 步驟13、根據(jù)貝葉斯準則，求解最優(yōu)的權(quán)重分布和分布參數(shù)，作為RVM參數(shù)。
5.根據(jù)權(quán)利要求4所述的實時摔倒事件檢測方法，其中，所述HMM模型的訓(xùn)練過程包括以下步驟: 步驟21、輸入K段包含摔倒事件的摔倒樣本視頻； 步驟22、從每段摔倒樣本視頻的每一幀畫面提取所述形狀和位置特征，并使用RVM分類器，確定每一幀畫面對應(yīng)的時刻的目標姿態(tài)類別，將目標姿態(tài)類別編號組成HMM觀測序列集合 O = {0(1),0(2),…O?}； 步驟23、利用基于多觀測序列的Baum-Welch訓(xùn)練算法訓(xùn)練得到HMM模型。
6.根據(jù)權(quán)利要求5所述的實時摔倒事件檢測方法，其中，所述步驟23包括以下步驟: 步驟23-1、為當前模型參數(shù)λ賦予初值λ ^，其中λ = {Ji, A, B}；步驟23-2、利用前向后向方法，計算在當前模型參數(shù)的初值λ 0下的觀測序列集合O的后驗概率Ρ(0| λ0)； 步驟23-3、基于以下公式，更新模型參數(shù)λ:
【文檔編號】G06K9/66GK103955699SQ201410125985
【公開日】2014年7月30日 申請日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】趙衍運, 姜媚, 莊伯金, 蘇菲, 趙志誠 申請人:北京郵電大學(xué)