用于從多個連續(xù)拍攝圖像提取峰圖像的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)，更具體地講，涉及用于從連續(xù)拍攝圖像提取峰圖像的設(shè)備和方法。
【背景技術(shù)】
[0002]當(dāng)使用連續(xù)拍攝圖像執(zhí)行識別處理時，除了包括將被識別的圖像之外，還可包括各種圖像。為了提高識別性能，需要觀察圖像中的對象的變化，并且所述觀察需要除靜止圖像識別之外的學(xué)習(xí)配置。盡管學(xué)習(xí)配置適用于識別，但是對顯著提高識別精度來說是個挑戰(zhàn)。此外，與靜止圖像識別相比，使用學(xué)習(xí)配置的識別需要更多的處理，因此使用學(xué)習(xí)配置的識別不適宜被用于移動裝置(諸如，智能電話和平板PC)中。

【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]本發(fā)明的目的是提供一種從連續(xù)拍攝圖像中提取峰圖像(peak image)的設(shè)備和方法。
[0005]技術(shù)方案
[0006]在一個總體方面，提供一種用于提取峰圖像的設(shè)備，包括:圖像選擇器，被配置為選擇連續(xù)拍攝圖像之一；基礎(chǔ)圖像確定器，被配置為根據(jù)預(yù)定標(biāo)準(zhǔn)確定至少一個基礎(chǔ)圖像；差值計算器，被配置為計算所述至少一個基礎(chǔ)圖像與選擇的圖像之間的差值；峰圖像確定器，被配置為基于計算的差值從所述連續(xù)拍攝圖像中確定峰圖像。
[0007]基礎(chǔ)圖像確定器還可被配置為:從具有選擇的圖像的幀之前或之后的幀的圖像、由用戶注冊為基礎(chǔ)圖像的圖像、所述多個連續(xù)拍攝圖像中的任意一個以及基于用戶的使用日志來被考慮為用戶展現(xiàn)最頻繁的面部表情或最不頻繁的面部表情的圖像中確定所述至少一個基礎(chǔ)圖像。
[0008]差值計算器還可被配置為:分別從所述至少一個基礎(chǔ)圖像和選擇的圖像提取特征值，并基于提取的特征值計算所述至少一個基礎(chǔ)圖像與選擇的圖像之間的差值。
[0009]差值計算器還可被配置為:響應(yīng)于確定了多個基礎(chǔ)圖像，對選擇的圖像與多個基礎(chǔ)圖像中的每個基礎(chǔ)圖像之間的計算的差值進(jìn)行累積，或者將所述多個基礎(chǔ)圖像的平均特征值與選擇的圖像的特征值進(jìn)行比較。
[0010]差值計算器還可被配置為:通過將權(quán)重值施加于圖像中對象的特定區(qū)域來計算所述至少一個基礎(chǔ)圖像與選擇的圖像之間的差值。
[0011]峰圖像確定器還可被配置為:從所述連續(xù)拍攝圖像中確定具有大于預(yù)定閾值的差值的圖像或者具有最大差值或最小差值的圖像為峰圖像。
[0012]所述設(shè)備還可包括:連續(xù)拍攝圖像產(chǎn)生器，被配置為通過對對象進(jìn)行連續(xù)拍攝來產(chǎn)生所述連續(xù)拍攝圖像。
[0013]在另一總體方面，提供一種用于提取峰圖像的方法，包括:選擇連續(xù)拍攝圖像之一；根據(jù)預(yù)定標(biāo)準(zhǔn)確定至少一個基礎(chǔ)圖像；計算所述至少一個基礎(chǔ)圖像與選擇的圖像之間的差值；基于計算的差值從所述連續(xù)拍攝圖像中確定峰圖像。
[0014]確定所述至少一個基礎(chǔ)圖像的步驟可包括:從具有選擇的圖像的幀之前或之后的幀的圖像、由用戶注冊為基礎(chǔ)圖像的圖像、所述多個連續(xù)拍攝圖像中的任意一個以及基于用戶的使用日志來被考慮為用戶展現(xiàn)最頻繁的面部表情或最不頻繁的面部表情的圖像中確定所述至少一個基礎(chǔ)圖像。
[0015]計算差值的步驟可包括:分別從所述至少一個基礎(chǔ)圖像和選擇的圖像提取特征值，基于提取的特征值計算所述至少一個基礎(chǔ)圖像與選擇的圖像之間的差值。
[0016]計算差值的步驟可包括:響應(yīng)于確定了多個基礎(chǔ)圖像，累積計算的選擇的圖像與多個基礎(chǔ)圖像中的每個之間的差值，或者將多個基礎(chǔ)圖像之間的平均特征值與選擇的圖像的特征值進(jìn)行比較。
[0017]計算差值的步驟可包括:通過將權(quán)重值施加于圖像中對象的特定區(qū)域來計算所述至少一個基礎(chǔ)圖像與選擇的圖像之間的差值。
[0018]確定峰圖像的步驟可包括:將所述多個連續(xù)拍攝圖像中具有大于預(yù)定閾值的差值的圖像或者具有最大差值或最小差值的圖像確定為峰圖像。
[0019]所述方法還可包括:通過對對象進(jìn)行連續(xù)拍攝來產(chǎn)生所述多個連續(xù)拍攝圖像。
[0020]有益效果
[0021]通過檢測對象的面部表情或手勢的改變并提取具有已經(jīng)發(fā)生的最大改變或開始改變的幀的圖像，可選擇被認(rèn)為對面部表情識別、手勢識別和面部識別重要的圖像，從而提尚識別性能。
[0022]此外，通過計算面部表情持續(xù)的時間，可檢測額外的信息(諸如，用戶的專注程度)。
【附圖說明】
[0023]圖1是示出根據(jù)本發(fā)明示例性實施例的用于提取峰圖像的設(shè)備的配置圖。
[0024]圖2是用于解釋用于根據(jù)基礎(chǔ)圖像確定峰圖像的方法的示圖。
[0025]圖3是示出根據(jù)本發(fā)明示例性實施例的用于提取峰圖像的方法的流程圖。
【具體實施方式】
[0026]將在下文中參照附圖更全面地描述本發(fā)明，本發(fā)明的示例性實施例在附圖中被示出。在以下描述中，當(dāng)在此包括的已知功能和配置可能在不必要的細(xì)節(jié)上模糊主題時，將省略已知功能和配置的詳細(xì)描述。此外，考慮根據(jù)示例性實施例的功能定義以下術(shù)語，并可根據(jù)用戶或管理者的目的或者先例等而變化地定義以下術(shù)語。因此，應(yīng)該基于整體內(nèi)容來定義術(shù)語。
[0027]在下文中，峰圖像(peak image)指具有對象的姿勢或手勢改變最顯著的幀的圖像，或者具有發(fā)生這樣的改變的幀的圖像。
[0028]圖1是示出根據(jù)本發(fā)明示例性實施例的用于提取峰圖像的設(shè)備的配置圖。
[0029]這里，以下示例性實施例中的配置單元按其功能被劃分，而并不意味著每個配置單元是相互獨立的硬件元件或軟件元件。即，為了方便解釋起見來描述每個配置單元。因此，至少兩個配置單元可被集成到一個主體中，或者一個配置單元可被劃分為多個配置單元來執(zhí)行相同的功能。在由權(quán)利要求確定的本發(fā)明的精神和范圍內(nèi)，配置單元之間的集成或劃分是可行的。
[0030]參照圖1，用于提取峰圖像的設(shè)備100包括:連續(xù)拍攝圖像產(chǎn)生器110、圖像選擇器120、基礎(chǔ)圖像確定器130、差值計算器140和峰圖像確定器150。
[0031]連續(xù)拍攝圖像產(chǎn)生器110可對對象進(jìn)行連續(xù)拍攝，從而產(chǎn)生連續(xù)拍攝圖像。連續(xù)拍攝圖像產(chǎn)生器110可以是數(shù)碼相機(jī)、攝像機(jī)、移動電話、便攜式多媒體播放器(PMP)、網(wǎng)絡(luò)相機(jī)和能夠拍攝對對象進(jìn)行拍攝從而產(chǎn)生連續(xù)拍攝圖像的任何裝置。
[0032]同時，連續(xù)拍攝圖像產(chǎn)生器110可包括在設(shè)備100中，或者連續(xù)拍攝圖像產(chǎn)生器110可以是與設(shè)備100分離的外部裝置。
[0033]圖像選擇器120可選擇連續(xù)拍攝圖像之一。在一個實施例中，圖像選擇器120可根據(jù)產(chǎn)生的時間點順序地從連續(xù)拍攝圖像中選擇圖像。
[0034]基礎(chǔ)圖像確定器130可根據(jù)預(yù)定標(biāo)準(zhǔn)確定基礎(chǔ)圖像。在一個實施例中，基礎(chǔ)圖像確定器130可從具有由圖像選擇器120選擇的圖像的幀之前或之后的幀的圖像、由用戶注冊為基礎(chǔ)圖像的圖像、連續(xù)拍攝圖像中的任意一個以及基于用戶的使用日志而被考慮為用戶展現(xiàn)的最頻繁的面部表情或最不頻繁的面部表情的圖像中確定基礎(chǔ)圖像。然而，以上僅是示例性的，基礎(chǔ)圖像確定器130可根據(jù)各種類型的標(biāo)準(zhǔn)確定基礎(chǔ)圖像。例如，基礎(chǔ)圖像確定器130可將特定范圍內(nèi)存在的多個連續(xù)拍攝圖像確定為基礎(chǔ)圖像。
[0035]在基礎(chǔ)圖像確定器130將基于用戶的使用日志而被考慮為用戶展現(xiàn)的最頻繁的面部表情或最不頻繁的面部表情的圖像確定為基礎(chǔ)圖像的情況下，設(shè)備100還可包括用于存儲用戶的使用日志信息的使用日志存儲器(未示出)。
[0036]在一個實施例中，基礎(chǔ)圖像確定器130可根據(jù)本發(fā)明的使用或目的或功能來確定單個基礎(chǔ)圖像或多個基礎(chǔ)圖像。如以下描述，在基礎(chǔ)圖像確定器130確定多個基礎(chǔ)圖像的情況下，每個基礎(chǔ)圖像被分配不同的權(quán)重值，因此不同的權(quán)重值被施加于針對每個不同的基礎(chǔ)圖像的差值，從而可基于施加了不同權(quán)重值的差值確定峰圖像。
[0037]差值計算器140可計算由圖像選擇器120選擇的圖像與由圖像確定器130確定的基礎(chǔ)圖像之間的差值。
[0038]差值計算器140可對由圖像選擇器120選擇的圖像和由基礎(chǔ)圖像確定器130確定的每個基礎(chǔ)圖像進(jìn)行分析。然后，差值計算器140分別從選擇的圖像和每個確定的基礎(chǔ)圖像提取特征值，并將每個基礎(chǔ)圖像的提取的特征值與選擇的圖像的提取的特征值進(jìn)行比較，來確定每個基礎(chǔ)圖像與選擇的圖像之間的相似度，以計算它們之間的差值。這里，可通過使用針對定義的區(qū)域的每個像素的邊緣直方圖、使用針對面部標(biāo)識的主動形狀模型、將兩個圖像之間的顏色直方圖進(jìn)行比較、將兩個圖像之間的顏色變化進(jìn)行比較、使用標(biāo)量不變特征變換(SIFT)算法并使用加速魯棒特征(SURF)確定相似度。
[0039]在基礎(chǔ)圖像確定器130確定單個基礎(chǔ)圖像的一個實施例中，差值計算器140可將權(quán)重值施加于基礎(chǔ)圖像和由圖像選擇器選擇的圖像兩者中的對象的特定區(qū)域，從而計算兩個圖像之間的差值。即，差值計算器140可將不同的權(quán)重值施加于圖像中對象的眼睛、鼻子和嘴巴，然后基于不同的權(quán)重值計算基礎(chǔ)圖像與選擇的圖像之間的差值。
[0040]在基礎(chǔ)圖像確定器130確定多個基礎(chǔ)圖像的一個實施例中，當(dāng)計算多個基礎(chǔ)圖像中的每個基礎(chǔ)圖像與由圖像選擇器120選擇的圖像之間差值時，差值計算器140對多個基礎(chǔ)圖像中的每個基礎(chǔ)圖像與選擇的圖像之間的計算的差值進(jìn)行累積，或者計算多個基礎(chǔ)圖像之間的平均特征值，然后將計算的平均特征值與選擇的圖像的特征值進(jìn)行比較。在這種情況下，可為每個基礎(chǔ)圖像分配不同的權(quán)重值，因此，不同的權(quán)重值可被施加于基于選擇的圖像和多個基礎(chǔ)圖像中的每個的差值。
[0041]峰圖像確定器150可基于由差值計算器140計算的差值來從多個連續(xù)拍攝圖像中確定峰圖像。在一個實施例中，峰圖像確定器150可具有大于預(yù)定閾值的差值的圖像或者由連續(xù)拍攝圖像產(chǎn)生器110產(chǎn)生的連續(xù)拍攝圖像中具有最大差值或最小差值的圖像確定為峰圖像。
[0042]圖2是