圖像處理裝置和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及圖像處理、計算機視覺和模式識別的領(lǐng)域，特別涉及用于群體的圖像序列和視頻序列的圖像處理裝置、以及用于群體的圖像序列和視頻序列的圖像處理方法。
【背景技術(shù)】
[0002]在拍攝群體(包括至少兩個個體，例如，包括至少兩個人)的圖像序列的情況下，通常希望能夠方便地從其獲得令人滿意的圖像，在所述令人滿意的圖像中，每個人的屬性(例如，諸如“微笑”、“悲傷”和“中性”的表情屬性，或者諸如“眨眼”、“皺鼻”和“張嘴”的運動單元屬性)都是令人滿意的。
[0003]為了應(yīng)對這一情形，已經(jīng)提出各種圖像處理方法，其中一種被示于圖1 (參見US2011/0109770A1)中。在圖1的流程圖中，首先，在步驟10處，圖像中的每個面部被檢測。接下來，在步驟20處，通過將每個面部的評估出的預(yù)定表情轉(zhuǎn)換成數(shù)值，計算每個面部的預(yù)定表情值。然后，在步驟30處，基于對于所有面部的多個預(yù)定表情值，計算群體的決定表情值。在步驟40處，判斷決定表情值是否等于或大于預(yù)定閾值。如果是，那么在步驟50處所述圖像被存儲，并且然后處理前進至步驟60 ;否則，處理直接前進至步驟60。在步驟60處，判斷是否還有其它圖像。如果是，那么處理前進至移動至下一圖像的步驟70，并且然后處理回到步驟10 ;否則，處理結(jié)束。
[0004]然而，以上圖像處理方法具有許多限制。
[0005]首先，這樣的方法利用群體的決定表情值來選擇圖像，這使得由此選擇的圖像可能未示出每個人的令人滿意的表情。例如，對于一個圖像，如果群體的大多數(shù)具有同一“微笑”表情而僅僅少數(shù)人具有諸如“悲傷”或“中性”的不同表情，那么所述圖像仍可能被這樣的方法選擇。然而，群體的情緒基調(diào)(emot1nal tone)(或氛圍(atmosphere))應(yīng)該是大多數(shù)的表情(即，“微笑”)，并且所述圖像中的少數(shù)人的“悲傷”或“中性”表情不與其一致。由此，所述圖像并不能被視為令人滿意的圖像，因為并不是所有的表情都與群體的情緒基調(diào)最一致。
[0006]其次，這樣的方法是基于預(yù)定表情(例如，“微笑”)并計算每個面部的預(yù)定表情值。如果一個圖像中的群體不具有預(yù)定表情(例如，每個人都具有“悲傷”表情)，那么所述圖像根本就不將被選擇。然而，不包含預(yù)定表情的圖像可能仍具有其它顯著的效果(例如，“悲傷”或“震驚”效果)。由此，包含除預(yù)定表情之外的各種其它表情的極好圖像可能被錯過。
[0007]因此，希望能夠提供能夠應(yīng)對以上問題中的至少一個問題的新圖像處理裝置和新圖像處理方法。

【發(fā)明內(nèi)容】

[0008]鑒于以上問題中的至少一個問題提出本發(fā)明。
[0009]本發(fā)明的一個目的是提供用于群體的圖像序列和/或視頻序列的新圖像處理裝置、以及用于群體的圖像序列和/或視頻序列的新圖像處理方法。
[0010]本發(fā)明的另一目的是提供能夠從群體的圖像序列和/或視頻序列獲得令人滿意的圖像的圖像處理裝置和圖像處理方法，在所述令人滿意的圖像中，每個個體的屬性都盡可能地與群體屬性一致。
[0011]本發(fā)明的又一目的是提供能夠應(yīng)對除預(yù)定屬性之外的各種其它屬性的圖像處理裝置和圖像處理方法。
[0012]根據(jù)本發(fā)明的第一方面，提供一種用于群體的圖像序列的圖像處理裝置，包括:被配置為獲取所述群體的圖像序列的單元，其中所述群體包括至少兩個人；被配置為檢測所述圖像序列的每個圖像中的每個人的面部區(qū)域的單元；被配置為識別所述圖像序列的每個圖像中的每個人的面部區(qū)域的屬性的單元；以及被配置為基于所述圖像序列的每個圖像中的每個人的面部區(qū)域的屬性來確定群體屬性的單元。
[0013]根據(jù)本發(fā)明的第二方面，提供一種用于群體的視頻序列的圖像處理裝置，包括:被配置為獲取所述群體的視頻序列的單元，其中，所述群體包括至少兩個人；以及被配置為從所述視頻序列的開始順序地選擇N個圖像作為當(dāng)前圖像序列，并通過根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理裝置對所述當(dāng)前圖像序列進行處理，直至到達所述視頻序列的結(jié)尾的單元，其中，N是預(yù)定圖像序列長度。
[0014]根據(jù)本發(fā)明的第三方面，提供一種用于群體的視頻序列的圖像處理裝置，包括:被配置為獲取所述群體的視頻序列的單元，其中，所述群體包括至少兩個人；被配置為從所述視頻序列的開始順序地選擇N個圖像作為當(dāng)前圖像序列，并通過根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理裝置確定所述當(dāng)前圖像序列的群體屬性，直至到達所述視頻序列的結(jié)尾的單元，其中，N是預(yù)定圖像序列長度；被配置為檢測所述當(dāng)前圖像序列的群體屬性是否從緊接在之前的圖像序列的群體屬性變化的單元；以及被配置為將具有檢測到的群體屬性變化的圖像序列通知給用戶的單元。
[0015]根據(jù)本發(fā)明的第四方面，提供一種用于群體的圖像序列的圖像處理方法，包括以下步驟:獲取所述群體的圖像序列，其中所述群體包括至少兩個人；檢測所述圖像序列的每個圖像中的每個人的面部區(qū)域；識別所述圖像序列的每個圖像中的每個人的面部區(qū)域的屬性；以及基于所述圖像序列的每個圖像中的每個人的面部區(qū)域的屬性來確定群體屬性。
[0016]根據(jù)本發(fā)明的第五方面，提供一種用于群體的視頻序列的圖像處理方法，包括以下步驟:獲取所述群體的視頻序列，其中，所述群體包括至少兩個人；以及從所述視頻序列的開始順序地選擇N個圖像作為當(dāng)前圖像序列，并通過根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理方法對所述當(dāng)前圖像序列進行處理，直至到達所述視頻序列的結(jié)尾，其中，N是預(yù)定圖像序列長度。
[0017]根據(jù)本發(fā)明的第六方面，提供一種用于群體的視頻序列的圖像處理方法，包括以下步驟:獲取所述群體的視頻序列，其中，所述群體包括至少兩個人；從所述視頻序列的開始順序地選擇N個圖像作為當(dāng)前圖像序列，并通過根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理方法確定所述當(dāng)前圖像序列的群體屬性，直至到達所述視頻序列的結(jié)尾，其中，N是預(yù)定圖像序列長度；檢測所述當(dāng)前圖像序列的群體屬性是否從緊接在之前的圖像序列的群體屬性變化；以及將具有檢測到的群體屬性變化的圖像序列通知給用戶。
[0018]由于以上特征，本發(fā)明的圖像處理裝置和圖像處理方法能夠從群體的圖像序列和/或視頻序列獲得令人滿意的圖像，在所述令人滿意的圖像中，每個個體的屬性都盡可能地與群體屬性一致。
[0019]此外，由于以上特征，本發(fā)明的圖像處理裝置和圖像處理方法能夠應(yīng)對除預(yù)定屬性之外的各種其它屬性。
[0020]從參照附圖對示例性實施例的以下詳細描述，本發(fā)明的進一步的目的、特征和優(yōu)點將變得明顯。
【附圖說明】
[0021]被包含于說明書中并構(gòu)成其一部分的附圖示出本發(fā)明的實施例，并與描述一起用于解釋本發(fā)明的原理。
[0022]圖1示意性地示出現(xiàn)有技術(shù)的圖像處理方法的流程圖；
[0023]圖2是能夠?qū)嵤└鶕?jù)本發(fā)明的圖像處理方法的計算設(shè)備的硬件配置的示意性框圖；
[0024]圖3示意性地示出根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理方法的一般流程圖；
[0025]圖4示意性地示出根據(jù)本發(fā)明的用于識別圖像序列的每個圖像中的每個人的面部區(qū)域的屬性的步驟的流程圖；
[0026]圖5示意性地示出根據(jù)本發(fā)明的用于對應(yīng)于每個預(yù)定屬性類別對于圖像序列的每個圖像中的每個人的面部區(qū)域進行分類的步驟的流程圖；
[0027]圖6示意性地示出根據(jù)本發(fā)明的用于對應(yīng)于每個預(yù)定屬性類別對于圖像序列的每個圖像中的每個人的面部區(qū)域進行分類的步驟的另一流程圖；
[0028]圖7示意性地示出根據(jù)本發(fā)明的用于確定群體屬性的步驟的流程圖；
[0029]圖8示意性地示出根據(jù)本發(fā)明的用于確定每個人的屬性的步驟的流程圖；
[0030]圖9示意性地示出根據(jù)本發(fā)明的用于確定每個人的屬性的步驟的另一流程圖；
[0031]圖10示意性地示出根據(jù)本發(fā)明的用于確定群體屬性的步驟的另一流程圖；
[0032]圖11示意性地示出根據(jù)本發(fā)明的用于確定每個圖像的屬性的步驟的流程圖；
[0033]圖12示意性地示出根據(jù)本發(fā)明的用于確定每個圖像的屬性的步驟的另一流程圖；
[0034]圖13示意性地示出根據(jù)本發(fā)明的用于選擇每個人的最佳面部區(qū)域并將群體中的所有人的最佳面部區(qū)域合成為目標(biāo)圖像的步驟；
[0035]圖14示意性地示出根據(jù)本發(fā)明的用于選擇每個人的最佳面部區(qū)域的步驟的流程圖；
[0036]圖15示意性地示出根據(jù)本發(fā)明的用于選擇與確定的群體屬性對應(yīng)的圖像的步驟的流程圖；
[0037]圖16示意性地示出根據(jù)本發(fā)明的用于選擇與確定的群體屬性對應(yīng)的圖像的步驟的另一流程圖；
[0038]圖17示意性地示出根據(jù)本發(fā)明的用于選擇最佳圖像的步驟的流程圖；
[0039]圖18示意性地示出根據(jù)本發(fā)明的用于群體的視頻序列的圖像處理方法的一般流程圖；
[0040]圖19示意性地示出根據(jù)本發(fā)明的用于從視頻序列的開始順序地選擇N個圖像作為當(dāng)前圖像序列的步驟的流程圖；
[0041]圖20示意性地示出根據(jù)本發(fā)明的用于獲得下一當(dāng)前圖像序列的步驟的流程圖；
[0042]圖21示意性地示出根據(jù)本發(fā)明的用于群體的視頻序列的圖像處理方法的示例性流程圖；
[0043]圖22示意性地示出根據(jù)本發(fā)明的用于檢測視頻序列的群體屬性變化的方法的流程圖；
[0044]圖23示意性地示出根據(jù)本發(fā)明的用于檢測視頻序列的群體屬性變化的方法的示例性流程圖；
[0045]圖24示意性地示出根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理裝置的一般框圖；
[0046]圖25示意性地示出根據(jù)本發(fā)明的用于群體的視頻序列的圖像處理裝置的一般框圖；
[0047]圖26示意性地示出根據(jù)本發(fā)明的用于檢測視頻序列的群體屬性變化的圖像處理裝置的框圖；
[0048]圖27示意性地示出群體的輸入圖像序列；
[0049]圖28示意性地示出圖像序列的每個圖像中的每個人的面部區(qū)域檢測；
[0050]圖29包括圖29a?29e，其示意性地示出5個預(yù)定屬性類別；
[0051]圖30示意性地示出面部區(qū)域的子區(qū)域定位；
[0052]圖31示意性地示出識別圖像序列的每個圖像中的每個人的面部區(qū)域的屬性的結(jié)果;
[0053]圖32示意性地示出用于確定每個人的屬性的一種方式；
[0054]圖33示意性地示出用于確定每個圖像的屬性的一種方式；
[0055]圖34對于圖像序列的每個圖像中的每個人的面部區(qū)域示意性地示出對于確定的群體屬性的置信分?jǐn)?shù)；
[0056]圖35示意性地示出對于群體中的每個人選擇的最佳面部區(qū)域；
[0057]圖36示意性地示出基于對于每個人的最佳面部區(qū)域的合成目標(biāo)圖像；
[0058]圖37對于圖像序列的每個圖像中的所有面部區(qū)域示意性地示出對于確定的群體屬性的平均置信分?jǐn)?shù)；
[0059]圖38示意性地示出選擇的最佳圖像；
[0060]圖39比較性地示出通過根據(jù)本發(fā)明的方法選擇的每個人的最佳面部區(qū)域和通過一種現(xiàn)有技術(shù)方法選擇的每個人的最佳面部區(qū)域；
[0061]圖40示意性地示出用于從視頻序列獲得新圖像序列的一種方式；以及
[0062]圖41示意性地示出根據(jù)本發(fā)明的檢測視頻序列的群體屬性變化的結(jié)果。
【具體實施方式】
[0063]下面將參照附圖詳細描述本發(fā)明的示例性實施例。應(yīng)注意，以下的描述在本質(zhì)上僅是解釋性和示例性的，決不意在限制本發(fā)明及其應(yīng)用或使用。除非另外特別說明，否則，在實施例中闡述的組件和步驟的相對布置、數(shù)字表達式以及數(shù)值并不限制本發(fā)明的范圍。另外，本領(lǐng)域技術(shù)人員已知的技術(shù)、方法和裝置可能不被詳細討論，但在合適的情況下意在成為說明書的一部分。
[0064]如前所述，現(xiàn)有技術(shù)的圖像處理方法是基于群體的決定屬性值，而群體的決定屬性值又是基于對于所有面部的多個預(yù)定屬性值，由此現(xiàn)有技術(shù)的圖像處理方法具有許多限制。在廣泛且深入的研究之后，本發(fā)明的發(fā)明人已