本發(fā)明涉及一種計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其是一種基于深度神經(jīng)網(wǎng)絡(luò)的人群情緒異常檢測(cè)和定位方法。

背景技術(shù)：

隨著社會(huì)的持續(xù)穩(wěn)定發(fā)展和人民群眾物質(zhì)文化生活水平的不斷提高，城市人群聚集區(qū)域的娛樂活動(dòng)、商業(yè)活動(dòng)等越來(lái)越被公眾關(guān)注，這些活動(dòng)往往場(chǎng)地空間有限且參與人數(shù)眾多，一旦發(fā)生異常情況，極易對(duì)廣大人民群眾的生命和財(cái)產(chǎn)安全產(chǎn)生嚴(yán)重危害，為了盡早的發(fā)現(xiàn)異常情況，及時(shí)采取措施，主要借助城市中廣泛存在的監(jiān)控設(shè)備，通過監(jiān)控設(shè)備進(jìn)行異常情況的檢測(cè)和定位；

異常檢測(cè)主要分為兩類：整體異常檢測(cè)和局部異常檢測(cè)，整體異常指的是由場(chǎng)景中的所有個(gè)體引發(fā)的異常，整體異常檢測(cè)的任務(wù)是檢測(cè)異常事件，并確定異常事件的起始和終止位置，以及它們之間的過渡；

局部異常是指由某個(gè)個(gè)體引發(fā)的異常，這個(gè)個(gè)體可能有別于其他正常的個(gè)體，局部異常檢測(cè)的任務(wù)是檢測(cè)異常事件，并定位異常發(fā)生的位置。

異常檢測(cè)根據(jù)對(duì)異常的不同定義而有所區(qū)別，通常對(duì)于異常的定義會(huì)與具體發(fā)生的事件關(guān)聯(lián)起來(lái)，而人群情緒異常的定義是指人群中整體或個(gè)體出現(xiàn)的不正常情緒變化，即對(duì)于異常的檢測(cè)并不與具體的異常事件直接關(guān)聯(lián)。例如，當(dāng)人群恐慌事件發(fā)生時(shí)，人群整體上從中性情緒到恐慌情緒的變化，就是一種人群情緒異常情況，需要關(guān)注的是情緒的異常變化情況，而不需要知道具體的異常事件；

對(duì)于情緒的定義，在研究中普遍采用ekman的離散情緒模型，它將情緒分為高興、憤怒、厭惡、恐懼、悲傷、驚奇六類，為了更有效地刻畫情緒的變化，在這基礎(chǔ)上我們?cè)黾恿私箲]情緒及中性情緒，

而對(duì)于目前來(lái)說(shuō)，監(jiān)控設(shè)備遠(yuǎn)沒有達(dá)到智能監(jiān)控的程度，仍需要大量的工作人員來(lái)監(jiān)測(cè)異常情況，對(duì)異常情況進(jìn)行反饋，通過對(duì)監(jiān)控視頻異常情況的分析，不僅需要大量工作人員，而且分析結(jié)果也不準(zhǔn)確，而且反饋具有遲延性，往往在異常情況出現(xiàn)時(shí)，才能發(fā)現(xiàn)異常情況，極其不利于工作人的監(jiān)控以及對(duì)異常情況的處理。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于深度神經(jīng)網(wǎng)絡(luò)的人群情緒異常檢測(cè)和定位方法，從而解決現(xiàn)有人群異常檢測(cè)技術(shù)中存在的異常定義與具體異常事件直接關(guān)聯(lián)而導(dǎo)致的檢測(cè)局限性問題。

本發(fā)明的技術(shù)方案為：一種基于深度神經(jīng)網(wǎng)絡(luò)的人群情緒異常檢測(cè)和定位方法，其特征在于，包括以下步驟：

s1)、數(shù)據(jù)獲?。和ㄟ^監(jiān)控設(shè)備獲取視頻數(shù)據(jù)作為訓(xùn)練視頻數(shù)據(jù)；

s2、利用視頻關(guān)鍵幀提取技術(shù)從訓(xùn)練視頻數(shù)據(jù)中提取視頻關(guān)鍵幀數(shù)據(jù)；

s3)、數(shù)據(jù)處理：利用人臉檢測(cè)技術(shù)從視頻關(guān)鍵幀數(shù)據(jù)中獲取每一幀的人臉圖像數(shù)據(jù)，并檢測(cè)人臉圖像中的人臉特征點(diǎn)，根據(jù)人臉特征點(diǎn)對(duì)齊人臉圖像后，按照不同個(gè)體對(duì)人臉圖像進(jìn)行分組，對(duì)分組后的人臉圖像數(shù)據(jù)按視頻關(guān)鍵幀順序排序；

s4)、人臉情緒識(shí)別模型的構(gòu)建：對(duì)對(duì)齊、分組、排序處理后的人臉圖像數(shù)據(jù)進(jìn)行情緒標(biāo)記，并將情緒標(biāo)注后的人臉圖像數(shù)據(jù)輸入到訓(xùn)練好的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別模型中，并根據(jù)人臉圖像數(shù)據(jù)調(diào)整模型全連接層權(quán)重，從而得到訓(xùn)練好的基于監(jiān)控視頻數(shù)據(jù)的人臉情緒識(shí)別模型

s5)、構(gòu)建人群情緒檢測(cè)和定位模型：將人臉情緒識(shí)別模型的全連接層輸出的特征按時(shí)間維度組合成時(shí)序特征，并將時(shí)序特征輸入長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)模型中，構(gòu)建并訓(xùn)練得到整體的人群情緒檢測(cè)和定位模型；

s6)、異常情緒檢測(cè)和定位：重新從監(jiān)控設(shè)備中獲取視頻數(shù)據(jù)作為監(jiān)測(cè)視頻數(shù)據(jù)，按照步驟s2、s3對(duì)監(jiān)測(cè)視頻數(shù)據(jù)進(jìn)行預(yù)處理，利用訓(xùn)練好的人群情緒檢測(cè)和定位模型，獲取監(jiān)測(cè)視頻數(shù)據(jù)中人群情緒異常檢測(cè)和定位結(jié)果并反饋給監(jiān)控設(shè)備工作人員。

上述技術(shù)方案中，步驟s4)中，所述的情緒標(biāo)記包括高興、憤怒、厭惡、恐懼、悲傷、驚奇、焦慮、中性。

上述技術(shù)方案中，步驟s4)中，所述的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別模型的構(gòu)建包括以下步驟:

s401)、獲取公開的人臉圖像數(shù)據(jù)集作為訓(xùn)練樣本集，并對(duì)人臉表情數(shù)據(jù)集進(jìn)行人臉對(duì)齊，以及進(jìn)行人臉圖像情緒標(biāo)記；

s402)、將預(yù)處理后的訓(xùn)練樣本集中的每一張人臉圖像轉(zhuǎn)換為灰度圖像，由灰度圖像轉(zhuǎn)換為像素矩陣x＝[xij]m×n，其中，xij表示圖像的第i行第j列的像素值，m為圖像的高(以像素為單位)，n為圖像的寬(以像素為單位)；

s403)、對(duì)所有灰度圖像的像素矩陣進(jìn)行去均值處理，其計(jì)算式為：

s404)、將去均值處理后的像素矩陣x輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中；

s405)、對(duì)輸入卷積層的灰度圖像的像素矩陣進(jìn)行卷積計(jì)算，計(jì)算式為：

其中，i為輸入特征圖的索引，j為輸出特征圖的索引，nin為輸入特征圖個(gè)數(shù)，l為網(wǎng)絡(luò)層的索引，表示第l層網(wǎng)絡(luò)的第j個(gè)輸出特征圖，表示第l層網(wǎng)絡(luò)的第i個(gè)輸入特征圖對(duì)應(yīng)的卷積核，為偏置；

使用下采樣函數(shù)down對(duì)上一層輸出的特征圖進(jìn)行下采樣，計(jì)算式為：

其中，為偏置；

獲取網(wǎng)絡(luò)結(jié)構(gòu)中最后的下采樣層輸出的一系列特征圖將每一個(gè)特征圖中的像素依次取出，拼接成一個(gè)向量，向量形式為：

s406)、將拼接后的向量r^l作為全連接層的輸入，其計(jì)算式為：x^l＝f(w^lr^l+b^l)，

其中，w^l表示第l層的權(quán)重矩陣，b^l表示第l層的偏置；

s407)、將全連接層輸出的向量x^l，經(jīng)激活函數(shù)計(jì)算得到最后的預(yù)測(cè)值yi，其計(jì)算式為：

yi＝g(ux^l+c)，

其中，u為權(quán)重矩陣，c為偏置；

s408)、使用交叉熵?fù)p失函數(shù)，計(jì)算預(yù)測(cè)值yi與真實(shí)值的損失函數(shù)值，并最小化損失函數(shù)值，其計(jì)算式為：

其中，i為人臉圖像數(shù)據(jù)的索引，j為人臉圖像數(shù)據(jù)所屬8類情緒標(biāo)識(shí)的索引；

s408)、通過隨機(jī)梯度下降法，調(diào)整網(wǎng)絡(luò)權(quán)重k、w、u和偏置a、β、b、c，根據(jù)更新后的網(wǎng)絡(luò)權(quán)重k、w、u和偏置a、β、b、c，重新計(jì)算上述損失函數(shù)值，不斷迭代直至損失函數(shù)值不再減小或到達(dá)設(shè)定的迭代次數(shù)，得到訓(xùn)練好的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別模型；

上述技術(shù)方案中，步驟s6)中，異常情緒檢測(cè)和定位還包括以下步驟：

s601)、通過情緒異常檢測(cè)和定位模型，獲取人群情緒的預(yù)測(cè)結(jié)果是否異常；

s602)、若預(yù)測(cè)結(jié)果標(biāo)識(shí)為異常，利用人臉情緒識(shí)別模型，輸出監(jiān)測(cè)視頻數(shù)據(jù)中存在異常的個(gè)體對(duì)應(yīng)的情緒變化情況；

s603)、根據(jù)監(jiān)測(cè)視頻數(shù)據(jù)中具體人群中個(gè)體情緒異常情況，根據(jù)出現(xiàn)異常的個(gè)體數(shù)，從而判定當(dāng)前視頻人群異常檢測(cè)結(jié)果屬于整體異常還是局部異常情況。

本發(fā)明的有益效果為：設(shè)計(jì)合理，通過模型能夠得到人群情緒異常與人群異常之間的關(guān)系，避免了人群異常與具體異常事件相關(guān)聯(lián)而導(dǎo)致的檢測(cè)局限性問題，另外，模型采用了混合的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型，避免了視頻數(shù)據(jù)特征提取與異常檢測(cè)和定位任務(wù)分開執(zhí)行的情況，從而進(jìn)一步提高了視頻人群情緒異常檢測(cè)和定位的效率；并且能夠通過以人群情緒異常的檢測(cè)和定位以個(gè)體情緒作為基礎(chǔ)，實(shí)現(xiàn)整體異常和局部異常的統(tǒng)一處理，從而進(jìn)一步提高了檢測(cè)的準(zhǔn)確性。

附圖說(shuō)明

圖1為本發(fā)明的流程示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步說(shuō)明：

如圖1所示，一種基于深度神經(jīng)網(wǎng)絡(luò)的人群情緒異常檢測(cè)和定位方法，其特征在于，包括以下步驟：

s1)、數(shù)據(jù)獲取：通過監(jiān)控設(shè)備獲取視頻數(shù)據(jù)作為訓(xùn)練視頻數(shù)據(jù)；

s2、利用視頻關(guān)鍵幀提取技術(shù)從訓(xùn)練視頻數(shù)據(jù)中提取視頻關(guān)鍵幀數(shù)據(jù)；

s3)、數(shù)據(jù)處理：利用人臉檢測(cè)技術(shù)從視頻關(guān)鍵幀數(shù)據(jù)中獲取每一幀的人臉圖像數(shù)據(jù)，并檢測(cè)人臉圖像中的人臉特征點(diǎn)，根據(jù)人臉特征點(diǎn)對(duì)齊人臉圖像后，按照不同個(gè)體對(duì)人臉圖像進(jìn)行分組，對(duì)分組后的人臉圖像數(shù)據(jù)按視頻關(guān)鍵幀順序排序；

s4)、人臉情緒識(shí)別模型的構(gòu)建：對(duì)對(duì)齊、分組、排序處理后的人臉圖像數(shù)據(jù)進(jìn)行情緒標(biāo)記，并將情緒標(biāo)注后的人臉圖像數(shù)據(jù)輸入到訓(xùn)練好的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別模型中，并根據(jù)人臉圖像數(shù)據(jù)調(diào)整模型全連接層權(quán)重，從而得到訓(xùn)練好的基于監(jiān)控視頻數(shù)據(jù)的人臉情緒識(shí)別模型；

s5)、構(gòu)建人群情緒檢測(cè)和定位模型：將人臉情緒識(shí)別模型的全連接層輸出的特征按時(shí)間維度組合成時(shí)序特征，并將時(shí)序特征輸入長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)模型中，構(gòu)建并訓(xùn)練得到整體的人群情緒檢測(cè)和定位模型；

s6)、異常情緒檢測(cè)和定位：重新從監(jiān)控設(shè)備中獲取視頻數(shù)據(jù)作為監(jiān)測(cè)視頻數(shù)據(jù)，按照步驟s2、s3對(duì)監(jiān)測(cè)視頻數(shù)據(jù)進(jìn)行預(yù)處理，利用訓(xùn)練好的人群情緒檢測(cè)和定位模型，獲取監(jiān)測(cè)視頻數(shù)據(jù)中人群情緒異常檢測(cè)和定位結(jié)果并反饋給監(jiān)控設(shè)備工作人員。

上述技術(shù)方案中，步驟s4)中，所述的情緒標(biāo)記包括高興、憤怒、厭惡、恐懼、悲傷、驚奇、焦慮、中性。

上述技術(shù)方案中，步驟s4)中，所述的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別模型包括以下步驟:

s401)、獲取公開的人臉圖像數(shù)據(jù)集作為訓(xùn)練樣本集，并對(duì)人臉表情數(shù)據(jù)集進(jìn)行人臉對(duì)齊，以及進(jìn)行人臉圖像情緒標(biāo)記；

s402)、將預(yù)處理后的訓(xùn)練樣本集中的每一張人臉圖像轉(zhuǎn)換為灰度圖像，由灰度圖像轉(zhuǎn)換為像素矩陣x＝[xij]m×n，其中，xij表示圖像的第i行第j列的像素值，m為圖像的高(以像素為單位)，n為圖像的寬(以像素為單位)；

s403)、對(duì)所有灰度圖像的像素矩陣進(jìn)行去均值處理，其計(jì)算式為：

s404)、將去均值處理后的像素矩陣x輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中；

s405)、對(duì)輸入卷積層的灰度圖像的像素矩陣進(jìn)行卷積計(jì)算，計(jì)算式為：

其中，i為輸入特征圖的索引，j為輸出特征圖的索引，nin為輸入特征圖個(gè)數(shù)，l為網(wǎng)絡(luò)層的索引，表示第l層網(wǎng)絡(luò)的第j個(gè)輸出特征圖，表示第l層網(wǎng)絡(luò)的第i個(gè)輸入特征圖對(duì)應(yīng)的卷積核，為偏置；

使用下采樣函數(shù)down對(duì)上一層輸出的特征圖進(jìn)行下采樣，計(jì)算式為：

其中，為偏置；

獲取網(wǎng)絡(luò)結(jié)構(gòu)中最后的下采樣層輸出的一系列特征圖將每一個(gè)特征圖中的像素依次取出，拼接成一個(gè)向量，向量形式為：

s406)、將拼接后的向量r^l作為全連接層的輸入，其計(jì)算式為：x^l＝f(w^lr^l+b^l)，

其中，w^l表示第l層的權(quán)重矩陣，b^l表示第l層的偏置；

s407)、將全連接層輸出的向量x^l，經(jīng)激活函數(shù)計(jì)算得到最后的預(yù)測(cè)值yi，其計(jì)算式為：

yi＝g(ux^l+c)，

其中，u為權(quán)重矩陣，c為偏置；

s408)、使用交叉熵?fù)p失函數(shù)，計(jì)算預(yù)測(cè)值yi與真實(shí)值的損失函數(shù)值，并最小化損失函數(shù)值，其計(jì)算式為：

其中，i為人臉圖像數(shù)據(jù)的索引，j為人臉圖像數(shù)據(jù)所屬8類情緒標(biāo)識(shí)的索引；

s408)、通過隨機(jī)梯度下降法，調(diào)整網(wǎng)絡(luò)權(quán)重k、w、u和偏置a、β、b、c，根據(jù)更新后的網(wǎng)絡(luò)權(quán)重k、w、u和偏置a、β、b、c，重新計(jì)算上述損失函數(shù)值，不斷迭代直至損失函數(shù)值不再減小或到達(dá)設(shè)定的迭代次數(shù)，得到訓(xùn)練好的基于卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別模型；

上述技術(shù)方案中，步驟s6)中，異常情緒檢測(cè)和定位還包括以下步驟：

s601)、通過情緒異常檢測(cè)和定位模型，獲取人群情緒的預(yù)測(cè)結(jié)果是否異常；

s602)、若預(yù)測(cè)結(jié)果標(biāo)識(shí)為異常，利用人臉情緒識(shí)別模型，輸出監(jiān)測(cè)視頻數(shù)據(jù)中存在異常的個(gè)體對(duì)應(yīng)的情緒變化情況；

s603)、根據(jù)監(jiān)測(cè)視頻數(shù)據(jù)中具體人群中個(gè)體情緒異常情況，根據(jù)出現(xiàn)異常的個(gè)體數(shù)情況從而判定當(dāng)前視頻人群異常檢測(cè)結(jié)果屬于整體異常還是局部異常情況，若出現(xiàn)異常的個(gè)體數(shù)超過檢測(cè)到的個(gè)體數(shù)的50％，則判定當(dāng)前視頻人群異常檢測(cè)結(jié)果屬于整體異常。

上述實(shí)施例和說(shuō)明書中描述的只是說(shuō)明本發(fā)明的原理和最佳實(shí)施例，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。