基于人臉識(shí)別的人臉摘要方法、視頻摘要方法及其裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種自動(dòng)化信息提供技術(shù)，尤其涉及一種借助于通信技術(shù)進(jìn)行信息查詢、匹配和反饋的方法，以及實(shí)現(xiàn)該方法的裝置，實(shí)現(xiàn)臍帶血干細(xì)胞供需及時(shí)地自助配型，以有利于病患及時(shí)獲得醫(yī)治。
【背景技術(shù)】
[0002]視頻采集終端作為平安城市和智慧城市等建設(shè)中的最重要的一個(gè)方面得到了廣泛的部署。然而海量的視頻數(shù)據(jù)在存儲(chǔ)、查看和檢索等方面產(chǎn)生了各種問題，在諸如視頻偵查過程中，需要在有限的時(shí)間內(nèi)查看大量的視頻并找到目標(biāo)，這是一項(xiàng)很困難的任務(wù)。一方面大量的視頻數(shù)據(jù)需要大量的人工來查看，另一方面，人工查看可能會(huì)遺漏潛在的目標(biāo)。海量的視頻數(shù)據(jù)只有在被有效的利用的情況下才能產(chǎn)生更大價(jià)值，隨著計(jì)算機(jī)、數(shù)據(jù)分析與挖掘技術(shù)的發(fā)展，通過計(jì)算機(jī)來輔助甚至代替人去對(duì)海量視頻進(jìn)行分析處理，提取結(jié)構(gòu)化的信息數(shù)據(jù)，必然是將來的發(fā)展趨勢(shì)。
[0003]近年來，出現(xiàn)了很多對(duì)視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理的方法和系統(tǒng)，典型的代表是視頻摘要技術(shù)(如:CN10439448和CN103092930)與人臉識(shí)別技術(shù)(如:CN104050449、CN103279740和CN104239862等)。視頻摘要技術(shù)可將冗長(zhǎng)的視頻濃縮生成簡(jiǎn)短的視頻摘要供用戶快速查看，并可以根據(jù)指定的特征檢索潛在的目標(biāo)，可有效的提高用戶查看和檢索視頻的效率。人臉識(shí)別技術(shù)是在給定的人臉數(shù)據(jù)庫(kù)上將圖像中的人臉進(jìn)行識(shí)別。
[0004]然而，視頻摘要與檢索技術(shù)往往只適合應(yīng)用于目標(biāo)稀疏的視頻場(chǎng)景，主要包括兩方面原因，一是由于計(jì)算機(jī)視覺技術(shù)本身的限制，對(duì)于目標(biāo)密集疊加的場(chǎng)景，很難在有限的計(jì)算資源情況下做到精確的目標(biāo)分割和特征提取，另一方面，對(duì)于目標(biāo)密集的場(chǎng)景，視頻摘要的結(jié)果視頻與原視頻比較，對(duì)查看效率沒有明顯的提升。因此，對(duì)于目標(biāo)密集場(chǎng)景的情況，視頻摘要與檢索技術(shù)往往難以實(shí)際應(yīng)用。人臉識(shí)別技術(shù)雖然目前已經(jīng)取得了很大的進(jìn)步，在一些定義的標(biāo)準(zhǔn)數(shù)據(jù)集上雖然通過深度學(xué)習(xí)的方法已經(jīng)達(dá)到甚至超過了人的識(shí)別能力，可以實(shí)際應(yīng)用于一些證件照片等的識(shí)別和驗(yàn)證，然而在實(shí)際的監(jiān)控視頻中，由于角度、光照和距離等各種難以控制的因素的影響，精確的人臉識(shí)別還遠(yuǎn)遠(yuǎn)未達(dá)到人們的期望。
[0005]視頻中“人”的信息往往是查看視頻所尋找的主體目標(biāo)，其他類別的目標(biāo)包含較少的信息量，但卻在視頻結(jié)構(gòu)化處理中消耗大量的計(jì)算資源和時(shí)間。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的一個(gè)目的在于提出了一種基于人臉識(shí)別的視頻摘要方法，主要關(guān)注視頻中的“人”這類目標(biāo)類型，基于人臉識(shí)別，對(duì)視頻進(jìn)行摘要，生成包含人臉的摘要視頻。
[0007]本發(fā)明的另一個(gè)目的在于提出了一種裝置，以完成基于人臉識(shí)別的視頻摘要方法，獲得視頻摘要。
[0008]本發(fā)明的再一個(gè)目的在于提出了一種基于人臉識(shí)別的人臉摘要方法，主要關(guān)注視頻中的“人”這類目標(biāo)類型，基于人臉識(shí)別，對(duì)視頻進(jìn)行摘要，生成出現(xiàn)在視頻中的每個(gè)人的人臉圖像。
[0009]本發(fā)明的另一個(gè)目的在于提出了一種裝置，以完成基于人臉識(shí)別的人臉摘要方法，獲得人臉圖像。
[0010]一種基于人臉識(shí)別的視頻摘要方法，包括
[0011]步驟一，人臉檢測(cè)
[0012]是對(duì)原始視頻中的圖像幀進(jìn)行掃描，獲得視頻幀中是否存在人臉區(qū)域，如果存在人臉區(qū)域，獲取人臉?biāo)趨^(qū)域，這些區(qū)域作為人臉跟蹤的輸入數(shù)據(jù)；
[0013]步驟二，人臉跟蹤
[0014]人臉跟蹤一方面是對(duì)人臉檢測(cè)的結(jié)果進(jìn)行平滑濾波，并作為軌跡生成提供輸入數(shù)據(jù)；
[0015]步驟三，人臉軌跡生成
[0016]軌跡生成是對(duì)人臉跟蹤的結(jié)果進(jìn)行整理和索引，通過索引和記錄每個(gè)跟蹤得到的單個(gè)人臉的區(qū)域軌跡，得到一個(gè)個(gè)人臉目標(biāo)的運(yùn)動(dòng)軌跡，這里稱為人臉軌跡。人臉軌跡包含了該人臉運(yùn)動(dòng)的坐標(biāo)位置、人臉區(qū)域和人臉出現(xiàn)的時(shí)間段信息。
[0017]步驟四，摘要合成
[0018]對(duì)人臉軌跡所在的視頻片段進(jìn)行合成，即將不同的軌跡中的目標(biāo)進(jìn)行前景疊加，生成摘要視頻。
[0019]一種應(yīng)用于基于人臉識(shí)別的視頻摘要方法的裝置，包括
[0020]視頻數(shù)據(jù)庫(kù)、視頻數(shù)據(jù)接口模塊、人臉檢測(cè)與跟蹤模塊、軌跡生成與存儲(chǔ)模塊、摘要合成模塊和用戶接口模塊。視頻數(shù)據(jù)接口模塊對(duì)視頻數(shù)據(jù)庫(kù)進(jìn)行讀取和解碼，為人臉檢測(cè)與跟蹤模塊提供一幀幀的圖像數(shù)據(jù)，人臉檢測(cè)與跟蹤模塊獲取每幀圖像中的人臉區(qū)域，輸入到軌跡生成與存儲(chǔ)模塊，軌跡生成與存儲(chǔ)模塊根據(jù)人臉檢測(cè)與跟蹤模塊提供的人臉跟蹤信息，生成一個(gè)個(gè)的人臉目標(biāo)軌跡，并對(duì)其進(jìn)行索引和存儲(chǔ)，摘要合成模塊根據(jù)用戶接口模塊的輸入條件，生成滿足輸入條件的索引合成的摘要視頻。
[0021]一種基于人臉識(shí)別的人臉摘要方法，生成出現(xiàn)在原始視頻中的不同人的人臉圖像，并形成出現(xiàn)的人臉圖像列表，包括
[0022]步驟一，人臉檢測(cè)
[0023]人臉檢測(cè)是對(duì)原始視頻中的圖像幀進(jìn)行掃描，獲得視頻幀中是否存在人臉區(qū)域，如果存在人臉區(qū)域，獲取人臉?biāo)趨^(qū)域，這些區(qū)域作為人臉特征提取的輸入數(shù)據(jù)；
[0024]步驟二，人臉特征提取
[0025]人臉特征提取是對(duì)人臉圖像進(jìn)行圖像特征提取，提取人臉特征首先需要對(duì)圖像中的人臉的特征點(diǎn)進(jìn)行對(duì)齊，對(duì)齊后的人臉圖像再進(jìn)行特征提??；
[0026]步驟三，人臉特征聚類
[0027]對(duì)檢測(cè)到的視頻幀中的人臉圖像進(jìn)行人臉特征聚類，使每個(gè)類表示了每個(gè)人的所有人臉圖像；
[0028]步驟四，人臉摘要圖像生成
[0029]最后輸出每個(gè)聚類的聚類中心對(duì)應(yīng)的人臉圖像作為輸入視頻得到的人臉摘要圖像。
[0030]一種應(yīng)用于基于人臉識(shí)別的人臉摘要方法的裝置，包括
[0031]視頻數(shù)據(jù)庫(kù)、視頻數(shù)據(jù)接口模塊、人臉檢測(cè)模塊、人臉特征提取與聚類模塊、人臉摘要圖像生成與存儲(chǔ)模塊以及用戶接口模塊。視頻數(shù)據(jù)接口模塊對(duì)視頻數(shù)據(jù)庫(kù)進(jìn)行讀取和解碼，為人臉檢測(cè)模塊提供一幀幀的圖像數(shù)據(jù)，人臉檢測(cè)模塊獲取每幀圖像中的人臉區(qū)域，輸入到人臉特征提取與聚類模塊，人臉特征提取與聚類模塊對(duì)所有人臉檢測(cè)模塊輸入的所有人臉圖像進(jìn)行特征提取和聚類，將大量的序列的人臉圖像聚類劃分成滿足各類內(nèi)相似度的子類別，使得每個(gè)聚類子類近似對(duì)應(yīng)于單個(gè)的人臉，人臉摘要圖像生成與存儲(chǔ)模塊對(duì)人臉特征提取與聚類模塊生成的各個(gè)聚類子類別提取代表性的人臉圖像，生成人臉摘要圖像，并和原始視頻信息進(jìn)行關(guān)聯(lián)存儲(chǔ)，用戶接口模塊為外部系統(tǒng)提供快速查詢給定視頻的人臉摘要圖像的接口。
[0032]本發(fā)明技術(shù)方案實(shí)現(xiàn)的有益效果:
[0033]本發(fā)明基于人臉識(shí)別的視頻摘要方法和裝置，用于合成視頻中包含人臉的摘要視頻，通過該摘要視頻可快速高效的查看視頻中“人”這類目標(biāo)，并且生成的包含“人”的摘要視頻都包含了具有可辨識(shí)度的人臉，從而過濾掉大量非“人”的目標(biāo)和無法辨識(shí)人臉的“人”的目標(biāo)。由于人臉區(qū)域在視頻圖像中比較獨(dú)立，不容易出現(xiàn)區(qū)域重疊，因此可以針對(duì)人多密集的場(chǎng)景進(jìn)行摘要，能夠有效的補(bǔ)充傳統(tǒng)的視頻摘要方法的