專利名稱：進深信息生成裝置、進深信息生成方法及立體圖像變換裝置的制作方法
技術領域：
本發(fā)明涉及進深信息生成裝置、進深信息生成方法及立體圖像變換裝置，特別涉及用來根據(jù)二維圖像生成進深圖的進深信息生成裝置、進深信息生成方法及立體圖像變換
>J-U ρ α裝直。
背景技術：
已知有如下方法生成二維圖像(2D圖像沖的進深信息(以下，記作進深圖)，使用所生成的進深圖將對應于2D圖像的立體對(左眼圖像及右眼圖像)進行合成，從而將2D圖像變換為三維圖像(3D圖像)。例如，在專利文獻I中，公開了基于包含視差信息的2D圖像制作3D圖像的方法。具體而言，在專利文獻2中，輸入2D圖像，從所輸入的2D圖像中提取人物的臉部的圖像而取得臉部圖像，通過對所取得的臉部圖像賦予視差信息而制作3D圖像。并且，將制作出的3D圖像為了顯示在終端屏幕等而輸出。此外，例如在專利文獻2中，公開了根據(jù)基本構造模型及非3D圖像生成進深圖的方法。具體而言，在專利文獻2所公開的方法中，為了推測場景的進深構造，首先，計算該場景的非3D圖像(2D圖像)中的規(guī)定區(qū)域的高頻成分或像素值的亮度信號的活度(activity)的統(tǒng)計量。接著，基于計算出的統(tǒng)計值及各區(qū)域中的其構成比，對該非3D圖像生成3種基本進深圖模型。最后，通過將非3D圖像的R信號(RGB顏色空間中的R成分)疊加在所生成的基本進深模型中，生成針對該非3D圖像的進深圖。這樣，在專利文獻I中，根據(jù)非3D圖像推測進深信息。此外，例如在專利文獻3中，公開了使用基于樣本圖像生成的進深圖從2D圖像變換為3D圖像的方法。在專利文獻3所公開的方法中，首先，使用作為背景圖像存儲有包含進深信息的樣本圖像的數(shù)據(jù)庫，匹配所輸入的2D圖像的背景圖像。接著，基于匹配的背景圖像，提取前景圖像。此外，利用使用了基于圖形的段的顏色劃分方法或比較技術，檢測2D圖像的前景圖像。這樣，通過提取前景圖像及背景圖像，生成前景圖像與背景圖像的相對的進深圖。這樣，在專利文獻3中，基于樣本圖像生成進深信息。此外，作為為了使用運動信息得到運動視差而生成進深圖的方法，已知有ShapeFrom Motion (SFM)法。在SFM法中，對于由移動體的視差形成的三維空間(3D空間)的對象物，在視頻幀及模型整體上推測對象物的運動。另外，在SFM法中，設為距攝像機近的對象物相比于距攝像機遠的對象物具有更大的視差來推測對象物的運動。現(xiàn)有技術文獻專利文獻專利文獻I :日本特開2002 - 194285號公報專利文獻2 :美國專利第7262767號說明書專利文獻3 :美國專利申請公開第20100014781號說明書發(fā)明概要發(fā)明要解決的問題但是，在通過上述以往的方法生成進深圖的情況下，如以下說明那樣，有3D彈出(pop up)效果不充分、對視聽者帶來不協(xié)調(diào)感的問題。首先，在專利文獻I所公開的方法中，只是提取臉部并對所提取的臉部賦予進深值，不是將人物的身體整體進行3D彈出，因此3D彈出效果不充分。即，給視聽者帶來不協(xié)調(diào)感。特別是，在較大的屏幕上的顯示中，不協(xié)調(diào)感較大，3D彈出效果不充分。接著，在專利文獻2所公開的方法中，存在生成不自然而不舒服的(有不協(xié)調(diào)感的)3D圖像、特別是在邊界的周邊發(fā)生人為現(xiàn)象(artifact)的問題。這起因于R信號追加處理及基本場景構造的模型。接著，在專利文獻3所公開的方法中，人物等的對象物被識別為前景圖像，但在時間序列上的圖像(影像)中，對象物并不一定被識別為前景圖像，所以存在發(fā)生幀間的閃爍的問題。此外，為了避免該閃爍的發(fā)生，需要進深圖的時間序列上的平滑化方法，但在專利文獻3中沒有該技術的公開及暗示。最后，在作為其他的已知方法的SFM法中，有在靜止圖像或相對沒有運動的部分中不能制作3D的對象物的問題。這樣，在使用通過上述以往的方法生成的進深圖將2D圖像變換為3D圖像的情況下，有3D彈出效果不充分、對視聽者帶來不協(xié)調(diào)感的問題。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而做出的，目的是提供一種生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖的進深信息生成裝置及進深信息生成方法。用于解決問題的手段為了達到上述目的，有關本發(fā)明的一技術方案的進深信息生成裝置，具備區(qū)域提取部，從二維圖像中檢測人物的臉部，基于檢測到的臉部，提取表示該二維圖像的區(qū)域內(nèi)的上述人物的人物區(qū)域；以及生成部，通過對所提取的上述人物區(qū)域賦予與該人物區(qū)域以外的區(qū)域的進深值不同的進深值，生成用來將上述人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。根據(jù)本結構，能夠僅使用臉部檢測來得到人物區(qū)域。由此，能夠實現(xiàn)能夠生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖的進深信息生成裝置。此外，也可以是，上述區(qū)域提取部具備檢測部，檢測上述二維圖像中的人物的臉部；臨時區(qū)域設定部，基于檢測到的上述人物的臉部的位置，設定臨時人物區(qū)域，該臨時人物區(qū)域是包含上述人物的臉部的區(qū)域的人物模型區(qū)域；以及人物區(qū)域決定部，基于上述臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，決定上述人物區(qū)域。此外，也可以是，上述人物區(qū)域決 定部具備提取特征提取部，提取上述臨時人物區(qū)域內(nèi)的特征和與該臨時人物區(qū)域鄰接的像素的特征；區(qū)域調(diào)整部，基于由上述特征提取部提取的上述臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，調(diào)整上述臨時人物區(qū)域的范圍；區(qū)域決定部，將由上述區(qū)域調(diào)整部調(diào)整后的臨時人物區(qū)域范圍決定為上述人物區(qū)域。此外，也可以是，上述特征提取部具備直方圖計算部，作為上述臨時人物區(qū)域的特征，計算上述臨時人物區(qū)域內(nèi)的彩色直方圖；像素選擇部，選擇與該臨時人物區(qū)域鄰接的像素；以及顏色信息計算部，作為與該臨時人物區(qū)域鄰接的像素的特征，計算由上述像素選擇部選擇的像素的顏色信息。此外，也可以是，上述區(qū)域調(diào)整部具備比較部，將由上述顏色信息計算部計算出的像素的顏色信息與由上述直方圖計算部計算出的彩色直方圖比較；區(qū)域范圍更新部，在該像素的顏色是在由上述直方圖計算部計算出的彩色直方圖中包含的顏色的情況下，設為該像素包含在上述人物區(qū)域中而將上述臨時人物區(qū)域更新，以擴大上述臨時人物區(qū)域的范圍，在該像素的顏色不是在上述彩色直方圖中包含的顏色的情況下，設為該像素不包含在上述人物區(qū)域中而不更新上述臨時人物區(qū)域。此外，也可以是，上述生成部具備賦予部，基于由上述檢測部檢測到的人物的臉部相對于上述二維圖像的尺寸及位置，計算由上述區(qū)域提取部提取出的人物區(qū)域的第一進 深值，將計算出的第一進深值賦予給該人物區(qū)域；以及合成部，通過將對由上述臨時區(qū)域設定部設定的臨時人物區(qū)域賦予的第二進深值與第一進深值合成，生成并取得將該人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。此外，也可以是，還具備平滑化處理部，該平滑化處理部使用上述二維圖像的信息進行由上述生成部生成的進深圖中的上述人物區(qū)域的邊緣的平滑化。此外，也可以是，上述平滑化處理部基于根據(jù)上述二維圖像的像素強度計算出的加權函數(shù)，使用上述二維圖像和由上述生成部生成的進深圖將上述進深圖在空間上進行濾波，由此將上述進深圖中的上述人物區(qū)域的邊緣平滑化。此外，也可以是，上述平滑化處理部基于根據(jù)上述二維圖像中的對象幀及先行幀的圖像數(shù)據(jù)的像素強度和像素強度的差計算出的加權函數(shù)，使用上述二維圖像中的對象幀及先行幀、和由上述生成部生成的進深圖將上述進深圖在空間上且時間上進行濾波，由此將上述進深圖中的上述人物區(qū)域的邊緣平滑化。 此外，為了達到上述目的，有關本發(fā)明的一技術方案的立體圖像變換裝置具備上述技術方案的進深信息生成裝置；繪制部，使用由上述進深信息生成裝置生成的進深圖，將上述二維圖像變換為對應于上述二維圖像的立體圖像。此外，為了達到上述目的，有關本發(fā)明的一技術方案的進深信息生成裝置，具備區(qū)域提取部，從二維圖像中檢測關注對象物中的作為能夠統(tǒng)計性地檢測的區(qū)域的對象區(qū)域，基于檢測到的對象區(qū)域，提取該二維圖像的區(qū)域內(nèi)的關注對象物區(qū)域；以及生成部，通過對所提取的上述關注對象物區(qū)域賦予與該關注對象物區(qū)域以外的區(qū)域的進深值不同的進深值，生成用來將人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。此外，也可以是，上述區(qū)域提取部具備檢測部，檢測上述二維圖像中的對象區(qū)域；臨時區(qū)域設定部，基于上述檢測到的對象區(qū)域的位置，設定臨時關注對象物區(qū)域，該臨時關注對象物區(qū)域是包含檢測到的上述對象區(qū)域的區(qū)域的關注對象物模型的區(qū)域；以及關注對象物區(qū)域決定部，基于上述臨時關注對象物區(qū)域的特征和與該臨時關注對象物區(qū)域鄰接的像素的特征，更新上述臨時關注對象物區(qū)域范圍，從而決定關注對象物區(qū)域。此外，也可以是，上述關注對象物是包括貓、狗、鳥及食物的能夠由計算機檢測的物體。此外，也可以是，還具備平滑化處理部，該平滑化處理部使用上述二維圖像的信息進行由上述生成部生成的進深圖中的上述關注對象物區(qū)域的邊緣的平滑化。此外，也可以是，還具備從用戶接收指定數(shù)據(jù)的接收部；上述指定數(shù)據(jù)表示由用戶指定的關注對象區(qū)域；上述區(qū)域提取部基于上述指定數(shù)據(jù)，從被指定的關注對象物區(qū)域中檢測上述對象區(qū)域。此外，也可以是，上述檢測部基于上述指定數(shù)據(jù)，檢測上述二維圖像中的對象區(qū)域來識別對象區(qū)域的位置。此外，也可以是，上述生成部具備賦予部，基于由 上述檢測部檢測到的對象區(qū)域相對于上述二維圖像的尺寸及位置、和輸入的上述指定數(shù)據(jù)，計算由上述區(qū)域提取部提取的關注對象物區(qū)域的第一進深值，將計算出的第一進深值賦予給該關注對象物區(qū)域；合成部，將對由上述臨時區(qū)域設定部設定的臨時關注對象物區(qū)域賦予的第二進深值與第一進深值合成，生成將該關注對象物區(qū)域與該關注對象物區(qū)域以外的區(qū)域分離的進深圖。此外，為了達到上述目的，有關本發(fā)明的一技術方案的進深信息生成方法，包括區(qū)域提取步驟，從二維圖像中檢測人物的臉部，基于檢測出的臉部提取表示該二維圖像的區(qū)域內(nèi)的人物的人物區(qū)域；以及生成步驟，通過對所提取的上述人物區(qū)域賦予與該人物區(qū)域以外的區(qū)域的進深值不同的進深值，生成用來將人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。發(fā)明效果根據(jù)本發(fā)明，能夠實現(xiàn)可生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖的進深信息生成裝置、進深信息生成方法、立體圖像變換裝置。此外，根據(jù)本發(fā)明，能夠實現(xiàn)高效率、低存儲器且實時動作，能夠高精度地自動分辨物體邊界，所以在各種場景中能夠得到自然而舒服的3D彈出效果。此外，本發(fā)明的另一效果是僅使用臉部檢測得到人物區(qū)域。因而，本發(fā)明與在專利文獻3中公開的方法相比存儲器少也可以。進而，本發(fā)明能夠在時隙較少、實時的用途中使用。因而，本發(fā)明具有超過作為先行技術的專利文獻I及其他已知的方法的效果。此夕卜，本發(fā)明僅使用臉部檢測得到人物區(qū)域。因而，本發(fā)明與在專利文獻3中公開的方法相比存儲器較少就足夠。進而，本發(fā)明能夠在時滯少、實時的用途中使用。


圖I是有關本發(fā)明的實施方式的進深信息生成裝置的功能模塊圖。圖2是用來說明有關本發(fā)明的實施方式的進深信息生成裝置的處理概要的流程圖。圖3是表示有關本發(fā)明的實施方式的區(qū)域提取部的詳細結構的圖。圖4是有關本發(fā)明的實施方式的人物區(qū)域決定部的詳細結構的圖。圖5是用來說明有關本發(fā)明的實施方式的區(qū)域提取部的處理的流程圖。圖6A是用來說明有關本發(fā)明的實施方式的由區(qū)域提取部從二維圖像中提取臨時人物區(qū)域為止的處理的狀況的圖。
圖6B是用來說明有關本發(fā)明的實施方式的由區(qū)域提取部從二維圖像中提取臨時人物區(qū)域為止的處理的狀況的圖。圖6C是用來說明有關本發(fā)明的實施方式的由區(qū)域提取部從二維圖像中提取臨時人物區(qū)域為止的處理的狀況的圖。圖7是用來說明有關本發(fā)明的實施方式的人物區(qū)域決定部的處理的流程圖。圖8是用來說明有關本發(fā)明的實施方式的由人物區(qū)域決定部決定了人物區(qū)域時的處理的狀況的圖。圖9A是用來說明決定未能檢測出臉部的二維圖像的人物區(qū)域的處理的狀況的圖。圖9B是用來說明決定未能檢測出臉部的二維圖像的人物區(qū)域的處理的狀況的圖。圖9C是用來說明決定未能檢測出臉部的二維圖像的人物區(qū)域的處理的狀況的圖。圖9D是用來說明決定未能檢測出臉部的二維圖像的人物區(qū)域的處理的狀況的圖。圖9E是用來說明決定未能檢測出臉部的二維圖像的人物區(qū)域的處理的狀況的圖。圖9F是用來說明決定未能檢測出臉部的二維圖像的人物區(qū)域的處理的狀況的 圖。圖10是表示有關本發(fā)明的實施方式的進深圖生成部的詳細結構的圖。圖11是用來說明有關本發(fā)明的實施方式的進深圖生成部的處理的流程圖。圖12A是表示由有關本發(fā)明的實施方式的進深圖生成部生成的臨時進深圖的例子的圖。圖12B是表示由有關本發(fā)明的實施方式的進深圖生成部生成的臨時進深圖的例子的圖。圖13是用來說明有關本發(fā)明的實施方式的在進深信息生成裝置中輸入影像的情況下的平滑化處理部的處理的圖。圖14是用來說明有關本發(fā)明的實施方式的在進深信息生成裝置中輸入二維圖像的情況下的平滑化處理部的處理的圖。圖15是表示有關本發(fā)明的實施方式的濾波的動作的圖。圖16是表示有關本發(fā)明的實施方式的平滑化處理部的處理后的進深圖的狀況的圖。圖17是有關本發(fā)明的實施方式的三維影像生成裝置的功能模塊圖。圖18是有關本發(fā)明的實施方式的三維影像生成裝置的功能模塊圖的另一例。圖19是用來說明有關本發(fā)明的實施方式的變形例2的進深信息生成裝置的處理概要的流程圖。圖20是用來說明有關本發(fā)明的實施方式的變形例2的進深信息生成裝置的處理概要的流程圖。圖21是用來說明有關本發(fā)明的實施方式的變形例2的進深信息生成裝置的處理概要的流程圖。圖22是表示對二維圖像的人物區(qū)域及背景進行提取以基于顏色信息分割為不同的層的處理的例子的圖。圖23是表示有關本發(fā)明的實施方式的變形例4的3D圖像顯示控制裝置的功能模塊圖的圖。圖24是表示在不進行人物區(qū)域的時間上的匹配的情況下發(fā)生閃爍的圖。圖25是表示本發(fā)明的進深信息生成方法的處理的流程的圖。
具體實施例方式以下，參照附圖對本發(fā)明的實施方式進行說明。另外，各圖是示意圖，并不一定是嚴格圖示的。 此外，在以下說明的實施方式中，表示本發(fā)明的優(yōu)選的一具體例。在實施方式中表示的數(shù)值、形狀、構成要素、構成要素的配置及連接形態(tài)等是一例，并不是要限定本發(fā)明。本發(fā)明由權利要求書限定。由此，以下的實施方式的構成要素中的、沒有在獨立權利要求中記載的構成要素不是為了達到本發(fā)明的目的所必須的，但作為構成更優(yōu)選的形態(tài)的要素進行說明。圖I是有關本發(fā)明的實施方式的進深(depth)信息生成裝置的功能模塊圖。圖I所示的進深信息生成裝置I相當于本發(fā)明的進深信息生成裝置，根據(jù)輸入的二維圖像生成進深圖(cbpth map)。這里，所謂進深圖，是用來分離2D圖像上的檢測對象的對象物(檢測對象物)與背景的進深信息被映射到2D圖像中的進深信息。此外，二維圖像既可以是二維圖像單體，也可以是構成影像的連續(xù)的二維圖像。進深信息生成裝置I具備區(qū)域提取部10、進深圖生成部11、和平滑化處理部12。此外，進深信息生成裝置I使用設置在其外部的存儲器13。區(qū)域提取部10從輸入的二維圖像(2D圖像)中檢測人物的臉部，基于檢測到的臉部提取表示二維圖像的區(qū)域內(nèi)的人物的人物區(qū)域。具體而言，在區(qū)域提取部10中，使用已知的檢測算法檢測關注對象物中的作為能夠統(tǒng)計性地檢測的區(qū)域的對象區(qū)域，由此提取二維圖像的區(qū)域內(nèi)的關注對象物區(qū)域。這里，關注對象物典型地講是人物，但并不限定于此。只要是貓、狗、鳥及食物等能夠由計算機檢測到的物體就可以。以下，在本實施方式中，說明關注對象物是人物、對象區(qū)域是臉部的情況。即，在本實施方式中，區(qū)域提取部10使用臉部檢測算法檢測存在于二維圖像內(nèi)的人物的臉部區(qū)域。區(qū)域提取部10基于檢測到的臉部區(qū)域的尺寸，提取包括該臉部區(qū)域的人物的區(qū)域。進深圖生成部11通過對所提取的人物區(qū)域賦予與人物區(qū)域以外的區(qū)域的進深值不同的進深值，生成用來將人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。具體而言，在進深圖生成部11中，首先，通過賦予針對由區(qū)域提取部10提取出的人物區(qū)域的進深值，生成針對該人物區(qū)域的臨時的進深圖。并且，通過將與最初設定為基于檢測到的臉部的人物區(qū)域(臨時人物區(qū)域)對應的臨時人物區(qū)域的進深值合成到臨時的進深圖中，生成針對該人物區(qū)域的進深圖。由此，對人物區(qū)域的進深圖賦予與人物區(qū)域以外的區(qū)域(背景)不同的值，將人物區(qū)域與背景分離。另外，人物區(qū)域的進深值設定為比背景更接近于攝像機。例如，進深圖如果由8位的灰色標度(gray scale)圖像生成,貝U表示進深的值(進深值的范圍)是O 255，255在最接近于攝像機的情況下被賦予，O在距攝像機(或背景)遠的情況下被賦予。平滑化處理部12至少使用二維圖像的信息，進行由進深圖生成部11生成的進深圖中的人物區(qū)域的邊緣的平滑化。具體而言，平滑化處理部12在進深信息生成裝置I中被輸入二維圖像的情況下，基于根據(jù)二維圖像的像素強度計算出的加權函數(shù)，使用二維圖像和由進深圖生成部11生成的進深圖，將該進深圖在空間上進行濾波。這樣，平滑化處理部12將由進深圖生成部11生成的進深圖中的人物區(qū)域的邊緣平滑化。此外，平滑化處理部12在進深信息生成裝置I中被輸入影像的情 況下，基于計算出的加權函數(shù)，使用二維圖像中的對象幀及先行幀、和由進深圖生成部11生成的進深圖，將該進深圖在空間且時間上濾波。這里，加權函數(shù)基于多個二維圖像中的對象幀及先行幀的圖像數(shù)據(jù)的像素強度和像素強度的差計算。這樣，平滑化處理部12將該進深圖中的人物區(qū)域的邊緣平滑化。換言之，平滑化處理部12使用對象幀及先行幀的二維圖像制作三維圖像柵格，在該處理中，基于從對象幀和先行幀的二維圖像中提取的鄰接層信息(人物區(qū)域以外的區(qū)域)及對象物層信息(人物區(qū)域)，將由進深圖生成部11生成的進深圖數(shù)據(jù)的各像素平滑化。如以上這樣，平滑化處理部12對針對人物區(qū)域和人物區(qū)域以外的區(qū)域(背景)生成的進深圖進行平滑化處理。這是因為，由進深圖生成部11生成的進深圖不能保證100%的精度，在幾乎所有的情況下都會在人物的邊界處產(chǎn)生某種不完善。例如，在根據(jù)由進深圖生成部11生成的進深圖不平滑化而生成三維圖像的情況下，看起來在人物中有網(wǎng)眼、或看起來不均勻。這意味著由進深圖生成部11生成的進深圖不是精度高的進深圖。存儲器13保存有臉部的特征圖案及時間性的圖像信息等進深信息生成裝置I使用的數(shù)據(jù)。存儲器13例如由基于閃存的存儲卡、硬盤驅動器構成。如以上這樣構成進深信息生成裝置I。該進深信息生成裝置I根據(jù)二維圖像提取人物區(qū)域的進深信息，生成人物區(qū)域和人物區(qū)域以外的進深圖。接著，說明如以上這樣構成的進深信息生成裝置I生成進深圖為止的處理的概要。圖2是用來說明有關本發(fā)明的實施方式的進深信息生成裝置I的處理概要的流程圖。首先，在進深信息生成裝置I中被輸入圖像或影像(SI)。接著，在S2中，進深信息生成裝置I生成進深圖。具體而言，進深信息生成裝置I從二維圖像中檢測人物的臉部，基于檢測出的臉部提取表示該二維圖像的區(qū)域內(nèi)的人物的人物區(qū)域(S21)。接著，進深信息生成裝置I通過對所提取的人物區(qū)域賦予與人物區(qū)域以外的區(qū)域的進深值不同的進深值，生成用來將人物區(qū)域與人物區(qū)域以外的區(qū)域分離的進深圖(S22)。進而，使用二維圖像的信息進行所生成的進深圖中的人物區(qū)域的邊緣的平滑化(S23)。如此,進深信息生成裝置I生成進深圖。最后，進深信息生成裝置I將所生成的進深圖輸出(S23)。接著，對進深信息生成裝置I的各構成要素的詳細情況和其處理的流程進行說明。首先，對區(qū)域提取部10的詳細結構進行說明。圖3是表示有關本發(fā)明的實施方式的區(qū)域提取部10的詳細結構的圖。圖4是表示有關本發(fā)明的實施方式的人物區(qū)域決定部103的詳細結構的圖。如圖3所示，區(qū)域提取部10具備臉部檢測部101、臨時區(qū)域設定部102、和人物區(qū)域決定部103。這里，存儲器131及存儲器132是存儲器13的一部分。存儲器131保存有臉部檢測部101及臨時區(qū)域設定部102使用的數(shù)據(jù)，例如保存有臉部特征圖案數(shù)據(jù)及人物模型的區(qū)域數(shù)據(jù)(也稱作前掩模(premask))等的數(shù)據(jù)。存儲器132保存有人物區(qū)域決定部103使用的數(shù)據(jù)，例如保存有前掩模的彩色直方圖數(shù)據(jù)。臉部檢測部101檢測二維圖像中的人物的臉部。具體而言，臉部檢測部101通過 臉部檢測算法，基于包含保存在存儲器131中的臉部特征圖案的臉部圖像數(shù)據(jù)，檢測二維圖像中的臉部。臨時區(qū)域設定部102基于由臉部檢測部101檢測到的人物的臉部的位置，設定臨時人物區(qū)域，該臨時人物區(qū)域是包含該人物的臉部的區(qū)域的人物模型的區(qū)域。具體而言，臨時區(qū)域設定部102基于由臉部檢測部101檢測到的臉部相對于二維圖像的尺寸及位置，選擇保存在存儲器131中的前掩模，并利用該前掩模，以使其包含檢測到的臉部。即，前掩模的尺寸在根據(jù)臉部的尺寸適應性地變更后決定。這樣，臨時區(qū)域設定部102設定臨時人物區(qū)域。人物區(qū)域決定部103如圖3所示，具備特征提取部104、區(qū)域調(diào)整部105、和區(qū)域決定部106。人物區(qū)域決定部103基于臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征決定人物區(qū)域。特征提取部104提取臨時人物區(qū)域內(nèi)的特征和與該臨時人物區(qū)域鄰接的像素的特征。更具體地講，特征提取部104如圖4所示，具備直方圖計算部1041、像素選擇部1042、和顏色信息計算部1043。直方圖計算部1041計算臨時人物區(qū)域內(nèi)的彩色直方圖作為臨時人物區(qū)域的特征。直方圖計算部1041將計算出的臨時人物區(qū)域內(nèi)的彩色直方圖保存到存儲器132中。像素選擇部1042選擇與該臨時人物區(qū)域鄰接的像素。顏色信息計算部1043計算由像素選擇部1042選擇的像素的顏色信息(色相及亮度)，作為與該臨時人物區(qū)域鄰接的像素的特征。區(qū)域調(diào)整部105基于由特征提取部104提取出的臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，調(diào)整臨時人物區(qū)域的范圍。并且，區(qū)域調(diào)整部105將調(diào)整后的臨時人物區(qū)域的范圍決定為人物區(qū)域并輸出。更具體地講，區(qū)域調(diào)整部105如圖4所示，具備比較部1051和區(qū)域范圍更新部1052。比較部1051將由顏色信息計算部1043計算出的像素的顏色信息與由直方圖計算部1041計算出的彩色直方圖比較。在該像素的顏色是在由直方圖計算部1041計算出的彩色直方圖中包含的顏色的情況下，區(qū)域范圍更新部1052設為該像素包含在人物區(qū)域中而更新臨時人物區(qū)域，以使臨時人物區(qū)域的范圍包含該像素。另一方面，在該像素的顏色不是在由直方圖計算部1041計算出的彩色直方圖中包含的顏色的情況下，區(qū)域范圍更新部1052設為該像素不包含在人物區(qū)域中而不更新臨時人物區(qū)域。區(qū)域決定部106在由區(qū)域范圍更新部1052進行的臨時人物區(qū)域的更新結束的情況下，將由區(qū)域調(diào)整部105調(diào)整后的臨時人物區(qū)域范圍決定為人物區(qū)域。區(qū)域提取部10如以上這樣構成。接著，對區(qū)域提取部10的處理進行說明。
圖5是用來說明有關本發(fā)明的實施方式的區(qū)域提取部10的處理的流程圖。圖6A 圖6C是用來說明由區(qū)域提取部10從二維圖像中提取臨時人物區(qū)域為止的處理的狀況的圖。首先，在進深信息生成裝置I中被輸入圖像或影像(SI)。例如，在進深信息生成裝置I中，作為構成影像的二維圖像而被輸入圖6A所示的幀310。接著，臉部檢測部101檢測二維圖像中的人物的臉部(S210)，臉部檢測部101確認二維圖像中的人物的臉部的檢測是否成功(S211)。這里，例如臉部檢測部101在臉部檢測成功的情況下，如圖6B所示，檢測出幀310的人物的臉部315。臨時區(qū)域設定部102在臉部檢測部101的臉部檢測成功的情況下(S211的是)，基于由臉部檢測部101檢測出的人物的臉部的位置，設定作為包含該人物的臉部的區(qū)域的人物模型的區(qū)域的臨時人物區(qū)域(S212)。這里，例如臨時區(qū)域設定部102如圖6C所示，基于由臉部檢測部101檢測出的人物的臉部的位置，設定臨時人物區(qū)域320。另外，臨時人物區(qū)域320是在人物中包含頭、頸、身體及腿的設想下，基于臉部的大小來制作出。此外，如上所述，臨時人物區(qū)域320的尺寸基于檢測出的臉部的大小而變更(擴大或縮小)。接著，在S213中，人物區(qū)域決定部103基于臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，決定人物區(qū)域。具體而言，首先，特征提取部104提取臨時人物區(qū)域內(nèi)的特征和與該臨時人物區(qū)域鄰接的像素的特征(S214)。這里，特征提取部104將針對由臨時區(qū)域設定部102設定的最初的臨時人物區(qū)域(前掩模)提取的特征向存儲器132保存。另外，向存儲器132保存的數(shù)據(jù)(前掩模的特征數(shù)據(jù))是前掩模的彩色直方圖。詳細情況在后面敘述，所以這里的說明省略。接著，區(qū)域調(diào)整部105基于由特征提取部104提取出的臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，調(diào)整臨時人物區(qū)域的范圍(S215)。區(qū)域決定部106在臨時人物區(qū)域的范圍的調(diào)整(臨時人物區(qū)域的更新)結束的情況下，將該調(diào)整后(更新后)的臨時人物區(qū)域范圍決定為人物區(qū)域。這里，特征提取部104將針對由區(qū)域決定部106決定的人物區(qū)域提取的特征向存儲器133保存。另外，向存儲器133保存的數(shù)據(jù)是所決定的人物區(qū)域的彩色直方圖。詳細情況在后面敘述，所以這里的說明省略。并且，區(qū)域調(diào)整部105將所決定的人物區(qū)域輸出(S216)。另外，在進深信息生成裝置I在SI中被輸入圖像(二維圖像)、在S211中臉部檢測部101的臉部檢測失敗的情況下(S211的否)，不進行S217及S218的處理而結束處理。另一方面，在進深信息生成裝置I在SI中被輸入影像、在S211中臉部檢測部101的臉部檢測失敗的情況下(S211的No)，進行S217的處理。S卩，在S217中，進深信息生成裝置I基于在先行幀(二維圖像)中檢測出的臉部位置，提取人物的特征。這里，所謂先行幀，是指在構成SI中輸入的影像的在時間上連續(xù)的二維圖像(幀)中、作為S211的臉部檢測處理的對象的對象幀的在時間上前I個的幀。更具體地講，在S217中，臨時區(qū)域設定部102基于臉部檢測部101在先行幀中進行了臉部檢測的人物的臉部的位置，設定包含該人物的臉部的區(qū)域的人物模型的區(qū)域即臨時人物區(qū)域。接著，特征提取部104提取該臨時人物區(qū)域內(nèi)的特征。接著，在S218中，區(qū)域調(diào)整部105將保存在存儲器133中的先行幀的人物區(qū)域的特征(彩色直方圖)與在S218中提取的臨時人物區(qū)域內(nèi)的特征比較。區(qū)域調(diào)整部105在S218中提取的臨時人物區(qū)域內(nèi)的特征與先行幀的特征類似的情況下，向S215前進。S卩，進深信息生成裝置I前進到S215，重復S214和S215的處理，決定人物區(qū)域。另一方面，區(qū)域調(diào)整部105在判斷為在S218中提取的臨時人物區(qū)域內(nèi)的特征與先行幀的特征不類似的情況下，向S216前進。這樣，在影像(運動圖像)的情況下，不一定總是能夠檢測到臉部，所以如S217及S218的處理那樣，通過進行人物區(qū)域的跟蹤(人物區(qū)域的時間上的匹配)來做準備，以使在 此后生成的3D影像中不發(fā)生閃爍。區(qū)域提取部10如上所述地進行處理。這里，對區(qū)域提取部10中的人物區(qū)域決定部103的處理(S213)的詳細情況進行說明。圖7是用來說明有關本發(fā)明的實施方式的人物區(qū)域決定部103的處理的流程圖。圖8是用來說明由人物區(qū)域決定部103決定了人物區(qū)域時的處理的狀況的圖。在S214中，首先，直方圖計算部1041計算臨時人物區(qū)域內(nèi)的彩色直方圖作為臨時人物區(qū)域的特征。具體而言，由臨時區(qū)域設定部102設定臨時人物區(qū)域(S2131)，直方圖計算部1041針對臨時人物區(qū)域的臉部等的肌膚區(qū)域計算色相亮度(H - L)直方圖及灰色標度直方圖，作為設定的臨時人物區(qū)域的特征。此外，直方圖計算部1041針對臨時人物區(qū)域的服裝等的肌膚區(qū)域以外的區(qū)域計算3個顏色成分的直方圖，作為設定的臨時人物區(qū)域的特征。直方圖計算部1041將計算出的臨時人物區(qū)域內(nèi)的彩色直方圖保存到存儲器132a中。另外，存儲器132a是存儲器132的一部分區(qū)域。這里，色相亮度彩色直方圖用來表示臨時人物區(qū)域中的影色及顏色的灰階?；疑珮硕戎狈綀D用于表示頭發(fā)及影子等的檢測不到顏色的區(qū)域。更具體地講，在S2141中，直方圖計算部1041針對臨時人物區(qū)域內(nèi)的各像素計算H值(色相值)及L值(亮度值)。并且，如圖7所示，基于HSL彩色模型，針對上述肌膚區(qū)域計算色相亮度(H - L)的直方圖550(S2132)。另外，在臨時人物區(qū)域內(nèi)，在表示頭發(fā)及影子的部分的不能提取肌膚區(qū)域的像素的顏色信息的情況下(即，灰色標度，黑白)的情況下，代替直方圖550而計算灰色標度的直方圖540(S2132)。此外，針對肌膚區(qū)域以外的區(qū)域計算3個顏色成分的直方圖560 (S2133)。另外，針對臨時人物區(qū)域內(nèi)的各像素計算按照H及L顏色通道表示的H — L彩色直方圖是提取二維圖像中的人物區(qū)域的方法的關鍵。例如，在根據(jù)由像素選擇部1042選擇的像素的H值及L值檢測出該像素是紅色的情況下，可知該像素位于弱光(較暗的)區(qū)域。即，可以根據(jù)直方圖540判斷為該像素位于暗紅色區(qū)域的范圍內(nèi)。另一方面，在不能提取由像素選擇部1042選擇的像素的顏色信息的情況下(S卩，灰色標度，黑白)，也能夠根據(jù)灰色標度的直方圖540判斷像素是否位于臨時人物區(qū)域內(nèi)。接著，在S2142中，像素選擇部1042選擇與該臨時人物區(qū)域鄰接的像素(S2134)。顏色信息計算部1043計算由像素選擇部1042選擇的像素的顏色信息(色相及亮度)，作為與該臨時人物區(qū)域鄰接的像素的特征(S2135)。接著，在S2143中，比較部1051對由顏色信息計算部1043計算出的像素的顏色信息與由直方圖計算部1041計算出的彩色直方圖進行比較(S2136)。區(qū)域范圍更新部1052基于比較部1051的結果，更新臨時人物區(qū)域(S2137)。具體而言，在S2136中，區(qū)域范圍更新部1052在由像素選擇部1042選擇的像素的顏色是在由直方圖計算部1041計算出的彩色直方圖中包含的顏色的情況下，設為該像素包含在人物區(qū)域中而更新臨時人物區(qū)域，以使臨時人物區(qū)域的范圍包含該像素(這里是擴大)。另一方面，區(qū)域范圍更新部1052在由像素選擇部1042選擇的像素的顏色不是在由直方圖計算部1041計算出的彩色直方圖中包含的顏色的情況下，設為該像素不包含在人物區(qū)域中而不更新臨時人物區(qū)域。
接著，針對由區(qū)域范圍更新部1052更新后的臨時人物區(qū)域，直方圖計算部1041計算更新后的臨時人物區(qū)域的色相亮度(H — L)的直方圖550、灰色標度的直方圖540、3個顏色成分的直方圖560，作為設定的臨時人物區(qū)域的特征。另外，直方圖計算部1041將更新后的臨時人物區(qū)域內(nèi)的彩色直方圖向存儲器132b保存。另外，存儲器133a是存儲器132的一部分區(qū)域。這樣，人物區(qū)域決定部103按照與臨時人物區(qū)域鄰接的一像素判斷是否包含在臨時人物區(qū)域中，并更新臨時人物區(qū)域(擴大或縮小)。通過重復這樣的更新，人物區(qū)域決定部103能夠決定如圖8所示的人物區(qū)域340。即，在S2142中，計算由像素選擇部1042選擇的像素的H值及L值，并與由直方圖計算部1041計算出的直方圖540 直方圖560匹配(比較)。在該像素的H — L值或灰色標度值是計算出的直方圖540 直方圖560的范圍內(nèi)的值的情況下，該像素包含在臨時人物區(qū)域中。另一方面，在該像素不是直方圖540 直方圖560的范圍內(nèi)的值的情況下，設為該像素不是臨時人物區(qū)域而排除。這是具有與臨時人物區(qū)域類似的顏色信息(色相、亮度、或灰色標度)的像素成為為相同的組。一般而言，在某H (色相)的區(qū)域中，有不能區(qū)別(不能進行不同的對象物的顏色的區(qū)別)的不清晰性，有可能進行錯誤的匹配。但是，如果像本實施方式那樣，提取(區(qū)別)由像素選擇部1042選擇的像素的色相值則能夠解決該問題。即，如本實施方式那樣使用色相值進行匹配，在不能提取色相值的情況下，將該像素看作灰色標度色來進行匹配，由此能夠解決。因而，如圖8所示，能夠得到大致正確的人物區(qū)域340的形狀。這里，說明在進深信息生成裝置I中被輸入影像的情況。如上所述，在被輸入影像(運動圖像)的情況下，不一定總是能夠檢測到臉部。以下，作為S217及S218的處理的詳細情況，說明人物區(qū)域決定部103進行的處理。圖9A 圖9F是用來說明決定未能檢測到臉部的二維圖像的人物區(qū)域的處理的狀況的圖。在進深信息生成裝置I中被輸入影像的情況下，例如有即使在圖9A所示的先行幀410中檢測到臉部、在圖9B所示的對象幀420中檢測不到臉部的情況。在此情況下，不考慮先行幀與對象幀的進深的一貫性而原樣生成進深圖，如果生成3D影像，則在與先行幀410和對象幀420對應的影像中有可能產(chǎn)生不自然的3D彈出效果。
該問題如在S217和S218的處理中說明那樣，通過使用先行幀和對象幀之間的人物區(qū)域的時間上的匹配來解決。具體而言，首先，對先行幀440進行S2141的處理。即，直方圖計算部1041如圖9C所示，針對檢測到臉部的先行幀910計算決定出的人物區(qū)域430的顏色信息(3個色成分(RGB)的直方圖560或直方圖540、直方圖550)。并且，直方圖計算部1041將針對先行幀910計算出的人物區(qū)域的顏色信息(直方圖)保存到存儲器132b中。接著，在對象幀420中檢測不到臉部的情況下(S211的否)，在S217中，首先，臨時區(qū)域設定部102如圖9D所示，臉部檢測部101基于在先行幀910中檢測到臉部的人物的臉部的位置，將在先行幀410中決定的人物區(qū)域430設定為對象幀420的臨時人物區(qū)域450。接著，特征提取部104提取該臨時人物區(qū)域450內(nèi)的特征(顏色信息的直方圖)。更具體地講，直方圖計算部1041計算對象幀420的臨時人物區(qū)域450的顏色信息(彩色直方圖)。接著，區(qū)域調(diào)整部105將保存在存儲器133中的先行幀410的人物區(qū)域430的特征(彩色直方圖)與對象幀420的臨時人物區(qū)域450的顏色信息(彩色直方圖)進行比較(S218)。即，區(qū)域調(diào)整部105計算這兩個直方圖間的直方圖類似度，判斷是否可以將檢測到臉部的先行幀410的人物區(qū)域430的直方圖設定為對象幀420的臨時人物區(qū)域450。進深信息生成裝置I在直方圖類似度的可靠值超過規(guī)定的閾值的情況下(S218的是)，判斷為先行幀410的人物區(qū)域430與對象幀420的臨時人物區(qū)域450類似。人物區(qū)域決定部103使用在先行幀410中提取的彩色直方圖，針對對象幀420決定人物區(qū)域。即，人物區(qū)域決定部103重復進行S214和S215的處理，調(diào)整如圖9E所示的對象幀420的臨時人物區(qū)域460。另外，進深信息生成裝置I在直方圖類似度的可靠值為規(guī)定的閾值以下的情況下，將由臨時區(qū)域設定102設定的臨時人物區(qū)域450和與其建立了關聯(lián)的顏色信息(彩色直方圖)刪除。這樣，進深信息生成裝置I針對不能檢測到臉部的對象幀420，將在能夠檢測到臉部的先行幀410中決定的人物區(qū)域430作為時間上的匹配區(qū)域來使用，因此能夠決定如圖9F所示的對象幀420的人物區(qū)域470。
接著，對進深圖生成部11的詳細結構進行說明。圖10是表示有關本發(fā)明的實施方式的進深圖生成部的詳細結構的圖。如圖10所示，進深圖生成部11具備賦予部111和合成部112。這里，存儲器134是存儲器131的一部分。存儲器134保存有進深圖生成部11使用的數(shù)據(jù)，例如，保存有針對人物模型的區(qū)域(前掩模)的進深值(進深圖)等的數(shù)據(jù)。賦予部111基于由臉部檢測部101檢測到的人物的臉部相對于二維圖像的尺寸及位置，計算由區(qū)域提取部10提取的人物區(qū)域的第一進深值，將計算出的第一進深值賦予給該人物區(qū)域。這樣，賦予部111針對由區(qū)域提取部10提取的人物區(qū)域生成臨時的進深圖。合成部112通過將對由臨時區(qū)域設定部102設定的臨時人物區(qū)域賦予的第二進深值與第一進深值合成，生成并取得將該人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。這樣，合成部112通過將對于前掩模的進深值合成到臨時的進深圖，生成針對該人物區(qū)域的進深圖。
進深圖生成部11如以上這樣構成。接著，對進深圖生成部11的處理進行說明。圖11是用來說明有關本發(fā)明的實施方式的進深圖生成部11的處理的流程圖。圖12A及圖12B是表示由有關本發(fā)明的實施方式的進深圖生成部11生成的臨時的進深圖的例子的圖。首先，在進深圖生成部11中，被輸入由區(qū)域決定部106決定的人物區(qū)域(S220)。例如，在進深圖生成部11中，被輸入包含如圖8所示的人物區(qū)域340的幀。接著，賦予部111基于由臉部檢測部101檢測到的人物的臉部相對于二維圖像的尺寸及位置，計算由區(qū)域提取部10提取的人物區(qū)域的第一進深值，將計算出的第一進深值賦予給該人物區(qū)域(S221)。S卩，賦予部111對由區(qū)域提取部10提取的人物區(qū)域生成臨時的進深圖。這里，基于作為全局的進深值的概算的基本進深模型的概念而生成該臨時的進深圖。所生成的臨時的進深圖由通過區(qū)域提取部10提取的人物區(qū)域和對該人物區(qū)域賦予的第一進深值構成，保存在存儲器134中。這里，圖12A及圖12B是臨時的進深圖的例子，圖12A所示的臨時的進深圖的下部335被賦予距攝像機前近的進深值，圖12A所示的臨時的進深圖的上部330被賦予距攝像機遠的進深值。此外，在S221中，基于包含在人物區(qū)域中的臉部的尺寸而賦予針對人物區(qū)域的進深值。例如，被賦予的進深值越大則表示距攝像機越近，越小則表示距攝像機越遠。此外，在人物區(qū)域與背景(人物區(qū)域以外的區(qū)域)之間賦予不同的進深值。例如，對于圖12B所示的人物區(qū)域350，為了得到彈出效果賦予距攝像機之前近的進深值，對于背景的下部345賦予距攝像機遠的進深值。接著，合成部112通過將對由臨時區(qū)域設定部102最初設定的臨時人物區(qū)域(前掩模)賦予的第二進深值與第一進深值合成，生成并取得將該人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖(S222)。S卩，合成部112將預先保存在存儲器134中的前掩模的進深值(第二進深值)與由賦予部111生成的臨時的進深圖合成。這樣，進深圖生成部11生成為了將人物區(qū)域從背景分離而使用的進深圖。圖13是用來說明在有關本發(fā)明的實施方式的進深信息生成裝置I中被輸入影像的情況下的平滑化處理部12的處理的圖。圖14是用來說明在有關本發(fā)明的實施方式的進深信息生成裝置I中被輸入二維圖像的情況下的平滑化處理部12的處理的圖。圖15是表示有關本發(fā)明的實施方式的濾波的動作的圖。圖16是表示有關本發(fā)明的實施方式的平滑化處理部12的處理后的進深圖的狀況的圖。另外，圖13由于在進深信息生成裝置I中被輸入影像，所以是表示空間上且時間上的平滑化處理的流程圖，圖14由于在進深信息生成裝置I中被輸入二維圖像，所以是表示空間上的平滑化處理的流程圖。圖14也可以說是圖13的一部分，所以以下對圖13的處理進行說明，圖14的說明省略。首先，即使由區(qū)域提取部10提取人物區(qū)域，但例如如圖8的邊界形狀325那樣不能提取完整的人物區(qū)域的形狀的情況較多。因此，在通過濾波除去不是人物區(qū)域的區(qū)域時，尤其在基于從二維圖像中提取的圖像平面的對象物層的、人物區(qū)域的邊界形狀的周邊，平、滑化處理起到重要的作用。具體而言，在平滑化處理部12中，在圖13的S2313中，基于對象幀t及先行幀t 一I的二維圖像，生成例如圖15所示的三維圖像柵格600。這里，X — y平面是二維圖像的空間坐標，y軸是從對象幀及先行幀的二維圖像中提取的圖像層。此外，在S232中，基于對象幀620和先行幀610的二維圖像數(shù)據(jù)的加權函數(shù)，將保存在對象幀625的進深圖及存儲器136中的先行幀615應用到三維圖像柵格600中。這里，加權值及對象幀的進深值的使用方法如以下這樣表示。[數(shù)式I]rt = ndX IDt-Dtemp |，GD(d) = GD(d)+rtXDt,
Gff (d) = Gff (d) +rt,(式 I)在式I中，rt是在將對象幀的進深圖應用到三維圖像柵格中的方法中使用的加權t匕，！^是用來將rt的值調(diào)整到
的范圍中的正規(guī)化函數(shù)。Dt及Dtemp分別是對象幀及所保存的先行幀的進深圖。GD (d)是在進深值的范圍d中包含于進深數(shù)據(jù)中的三維圖像柵格。GW (d)是在進深值的范圍d中包含于進深數(shù)據(jù)的加權值中的三維圖像柵格。應用保存在存儲器135中的先行幀的進深數(shù)據(jù)的方法如以下這樣表示。[數(shù)式2]= H1X Ilt-It-J,⑶(d)=⑶(d)+IV1 X Dtemp，Gff (d) = GKcD+r^,(式 2)在式2中，rt_lS使用將保存在存儲器135中的先行幀的進深圖應用到三維圖像柵格中的方法的加權比。1是用來將的值調(diào)整為
的范圍的正規(guī)化函數(shù)。仁及It-!分別是對象幀及先行幀的二維圖像數(shù)據(jù)。此外，S235的進深圖的先行幀如以下這樣表示。[數(shù)式3]Wh= H1X Irt-ItJ，wt = I-W^1,Dtemp = wtX Dt+wt_! X Dtemp, (式 3)在式3中，Wt及Ww是在保存對象幀Dt及保存幀Dtraip各自的進深圖的方法中使用的加權比。此外，在S233中，將使用計算出的三維濾波器柵格的對象幀在空間上且時間上進行濾波，決定對象幀的包含二維圖像的像素的各圖像節(jié)點間的三線性插值。這樣，計算各像素的新的進深值而得到最終的進深圖(平滑化的進深圖)。這里，在圖15中，作為平滑化處理的一例，示出對進深圖的邊緣適應平滑化處理的狀況。具體而言，示出使用三維圖像柵格600在像素P中將進深圖平滑化的方法。首先，作為二維圖像的對象幀620及先行幀610分割為較小的塊尺寸，這些較小的塊尺寸形成三維圖像柵格600。例如，節(jié)點650參照二維圖像中的小塊的左下角的像素，節(jié)點655參照二維圖像中的小塊的右下角的像素。此外，節(jié)點640參照二維圖像中的小塊的左上角的像素對象物層，節(jié)點645參照ニ維圖像中的小塊的右上角的像素對象物層。這樣，將各像素的進深圖還應用于相同的參照點。這里，像素665是該小塊的一部分，是被應用的像素。在該方法中，在屬于相同的塊的任意的像素的對象物層的值是與其他像素不同的值的情況下，進深值包含在不同的圖像柵格中。將平滑化后的進深圖的新的像素值通過在相應的相同的塊內(nèi)的全部像素間使用三線性插值來計算，由此根據(jù)像素柵格中的該像素的位置的密度而得到像素值。例如,位置660的像素的新的值(x+block width/2, y+blockheight/2 )通過決定圖像柵格內(nèi)的對應位置的密度來計算。通過該結構，能夠按照對象物層的信息將各像素相互分離。因而，在屬于不同的對象物層的進深圖825中發(fā)生的錯誤包含于進深數(shù)據(jù)密度低的不同的圖像柵格中，所以錯誤減少。即，如圖16所示，在平滑化后得到的進深圖通過如圖8的邊界形狀325那樣不完全的人物區(qū)域的形狀被平滑化而成為自然的進深圖。另外，通過邊緣適應平滑化處理，平滑化后的進深圖例如如圖16所示，包含精度高的人物區(qū)域進深圖355、全局的背景進深信息360及背景進深信息370。另外，如圖14所示，在根據(jù)ニ維圖像生成進深圖的情況下，在進行邊緣適應平滑化處理時僅使用単一的ニ維圖像620形成三維圖像柵格600。并且，只要使用對象幀625的進深圖應用到圖像柵格中就可以。這樣，平滑化處理部12至少使用ニ維圖像的信息進行由進深圖生成部11生成的進深圖中的人物區(qū)域的邊緣的平滑化。 如以上這樣，根據(jù)本實施方式的進深信息生成裝置1，能夠生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖。另外，本實施方式的進深信息生成裝置I生成將人物像的進深從背景分離的進深圖。生成的進深圖被用于從ニ維圖像變換為三維圖像。此外，在上述中，進深信息生成裝置I具備人物區(qū)域提取部10、進深圖生成部11及平滑化處理部12，但并不限定于此。作為進深信息生成裝置I的最小結構，只要具備最小結構部IA就可以。即，進深信息生成裝置I只要具備人物區(qū)域提取部10、進深圖生成部11就可以。通過至少具備該最小結構部1A，能夠生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖。以下，對具備進深信息生成裝置I并且從ニ維圖像變換為三維圖像的裝置進行說明。圖17是有關本發(fā)明的實施方式的三維影像生成裝置的功能模塊圖。圖17所示的三維影像生成裝置2對應于本發(fā)明的立體圖像變換裝置，具備進深信息生成裝置I和繪制部14。繪制部14使用由進深信息生成裝置I生成的進深圖，將ニ維圖像變換為立體圖像。這里，所謂立體圖像，是由對應于ニ維圖像的左眼圖像及右眼圖像構成的立體對，或者是由對應于ニ維圖像并且視點不同的多個圖像構成的多視(view)圖像。如以上那樣構成的三維影像生成裝置2能夠實現(xiàn)高效率、低存儲器且實時動作，能夠高精度地自動分辨物體邊界，所以起到在各種場景中能夠得到自然而舒適的3D彈出效果的效果。另外，在如上所述地構成的三維影像生成裝置2中，在進深信息生成裝置I中直接輸入ニ維圖像或影像，但并不限定于此。例如，如圖18所示，也可以經(jīng)由接收部15輸入ニ維圖像或影像。這里，圖18是有關本發(fā)明的實施方式的三維影像生成裝置的功能模塊圖的
另一例。 圖18所示的三維影像生成裝置3與圖17所示的三維影像生成裝置2相比，還具備接收部15這一點不同。其他是與圖17同樣的結構，所以詳細的說明省略。另外，在圖18中，對于與圖I及圖16同樣的要素賦予相同的符號。接收部15接收由用戶指定的指定數(shù)據(jù)。此外，接收部15被輸入ニ維圖像或影像，向進深信息生成裝置I輸出。這里，指定數(shù)據(jù)表示由用戶指定的關注對象區(qū)域，所謂關注對象物，是人物區(qū)域。以上，根據(jù)本實施方式，能夠實現(xiàn)能夠生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖的進深信息生成裝置、進深信息生成方法、立體圖像變換裝置。例如，在具有有關本實施方式的進深信息生成裝置、進深信息生成方法的立體圖像變換裝置中，自動地生成精度高的人物區(qū)域，在從2D圖像變換為3D圖像或3D影像時能夠幾乎實時地帯來3D彈出效果。此外，用戶并不一定需要手動指定對象物(人物)。這是因為，通過能夠從任意的ニ維圖像中提取精度高的前景區(qū)域和人物區(qū)域，能夠生成提高了人對于3D效果的感知的進深圖。這樣，在具有有關本實施方式的進深信息生成裝置、進深信息生成方法的立體圖像變換裝置中，能夠實現(xiàn)高效率、低存儲器且實時動作，能夠高精度地自動分辨物體邊界，所以在各種場景中能夠得到自然而舒適的3D彈出效果。(變形例I)在上述實施方式中，假設區(qū)域提取部10提取人物區(qū)域來進行了說明，但并不限定于此。只要能夠統(tǒng)計性地檢測，并不限于人物。例如也可以將包括貓、狗、鳥及食物的能夠由計算機檢測的物體代替人物區(qū)域而提取為關注對象物就可以。在此情況下，具體而言，只要做成以下的結構就可以。即，區(qū)域提取部10只要具備對象區(qū)域檢測部、臨時區(qū)域設定部、和區(qū)域決定部，并從ニ維圖像中檢測關注對象物中的作為能夠統(tǒng)計性地檢測的區(qū)域的對象區(qū)域，基于檢測到的對象區(qū)域提取該ニ維圖像的區(qū)域內(nèi)的關注對象物區(qū)域就可以。這里，對象區(qū)域檢測部檢測ニ維圖像中的對象區(qū)域，臨時區(qū)域設定部基于檢測到的對象區(qū)域的位置設定臨時關注對象物區(qū)域，該臨時關注對象物區(qū)域是包括檢測到的對象區(qū)域的區(qū)域的關注對象物模型的區(qū)域。區(qū)域決定部基于臨時關注對象物區(qū)域的特征和與該臨時關注對象物區(qū)域鄰接的像素的特征，更新臨時關注對象物區(qū)域范圍，從而決定關注對象物區(qū)域。關注對象物是包括貓、狗、鳥及食物的能夠由計算機檢測的物體。此外，在此情況下，平滑化處理部12使用上述ニ維圖像的信息進行由進深圖生成部生成的進深圖中的上述關注對象物區(qū)域的邊緣的平滑化。另外，與上述實施方式同樣，三維影像生成裝置2及三維影像生成裝置3也可以具備具有本變形例的區(qū)域提取部10的進深信息生成裝置。在此情況下，接收部15接收由用戶指定的指定數(shù)據(jù)。這里，指定數(shù)據(jù)表示由用戶指定的關注對象區(qū)域。區(qū)域提取部10基于該指定數(shù)據(jù)，從指定的關注對象物區(qū)域中檢測上述對象區(qū)域。即，對象區(qū)域檢測部基于該指定數(shù)據(jù)，檢測ニ維圖像中的對象區(qū)域，識別對象區(qū)域的位置。此外，例如在進深圖生成部11中，賦予部111基于由對象區(qū)域檢測部檢測到的對象區(qū)域相對于ニ維圖像的尺寸及位置、和被輸入的用戶的指定數(shù)據(jù)，計算由區(qū)域提取部10提取的關注對象物區(qū)域的第一進深值，將計算出的第一進深值賦予給該關注對象物區(qū)域。合成部112通過將對由臨時區(qū)域設定部設定的臨時關注對象物區(qū)域賦予的第二進深值與第一進深值合成，生成將該關注對象物區(qū)域與該關注對象物區(qū)域以外的區(qū)域分離的進深圖。(變形例2)在上述實施方式中，設為區(qū)域提取部10從輸入的ニ維圖像或構成輸入的影像的 ニ維圖像中檢測人物的臉部、基于檢測到的臉部提取表示ニ維圖像的區(qū)域內(nèi)的人物的人物區(qū)域來進行了說明，但并不限定于此。如圖19 圖21所示，為了優(yōu)化由區(qū)域提取部10檢測臉部等的對象區(qū)域的速度即檢測速度，也可以將輸入的ニ維圖像或構成輸入的影像的ニ維圖像進行下采樣。這里，圖19 圖21是用來說明有關本發(fā)明的實施方式的變形例2的進深信息生成裝置的處理概要的流程圖。另外，對于與圖2同樣的要素賦予相同的符號，詳細的說明省略。圖19表示在區(qū)域提取部10中被輸入ニ維圖像并在下采樣后檢測臉部區(qū)域的情況下的處理概要。圖20表示在區(qū)域提取部10中被輸入ニ維圖像并在下采樣后檢測狗、貓等的臉部以外的對象區(qū)域的情況下的處理概要。圖21表示在區(qū)域提取部10中被輸入影像(構成影像的ニ維圖像)并在下采樣后進行臉部檢測的情況下的處理概要。圖19相對于圖2，追加了下采樣處理(S600)這一點不同。即，在S600中，為了僅檢測適當?shù)哪槻康某叽鐏韮?yōu)化檢測速度，將輸入的ニ維圖像進行下采樣。這里，例如進行使得成為所輸入的ニ維圖像的16分之I的尺寸等的下采樣處理。接著，在S21中，對于下采樣的ニ維圖像，通過人物的臉部檢測算法，基于保存在存儲器13中的臉部特征圖案數(shù)據(jù)131進行臉部檢測。此外，圖20相對于圖2，追加了下采樣處理(S600)這一點、和檢測對象不是臉部而是狗等的臉部以外的對象區(qū)域這一點不同。例如，在S600中，為了僅檢測適當?shù)膶ο髤^(qū)域的尺寸來優(yōu)化檢測速度，將輸入的ニ維圖像下采樣。這里，例如進行使得成為所輸入的ニ維圖像的16分之I的尺寸等的下采樣處理。接著，在S21a中，對于下采樣的ニ維圖像，通過用來檢測對象區(qū)域的檢測算法，基于在S601中由用戶輸入的指定數(shù)據(jù)檢測對象區(qū)域。此外，圖21相對于圖2，在區(qū)域提取部10中被輸入影像(構成影像的ニ維圖像)、追加了下采樣處理(S600)這一點不同。例如，在S600中，為了僅檢測適當?shù)膶ο髤^(qū)域的尺寸來優(yōu)化檢測速度，將輸入的ニ維圖像下采樣。這里，例如進行使得成為所輸入的ニ維圖像的16分之I的尺寸等的下采樣處理。接著，在S21a中，對于下采樣的ニ維圖像，通過用來檢測對象區(qū)域的檢測算法，基于在S601中由用戶輸入的指定數(shù)據(jù)，檢測對象區(qū)域。另外，在區(qū)域提取部10中被輸入影像的情況下，不一定總是能夠檢測出臉部，所以在S603及S604的處理中，通過進行人物區(qū)域的跟蹤(人物區(qū)域的時間上的匹配)來進行準備，以在其后生成的3D影像中不發(fā)生閃爍。S603及S604的處理如在S217及S218等中進行的說明，所以省略說明。以上，如圖21所示，推測作為在一定的場所中的動作的一段的影像的場景的基本的進深構造，從構成影像的ニ維圖像中提取對象物并賦予進深值，從而生成進深圖并輸出。(變形例3)在上述實施方式中，首先，在區(qū)域提取部10中，使用彩色直方圖等的顔色信息，識別ニ維圖像的人物區(qū)域和人物區(qū)域以外的區(qū)域(背景)。接著說明了通過對識別出的人物區(qū)域和背景賦予不同的進深值來生成進深圖，但并不限定于此。也可以使分別對背景和人物區(qū)域賦予的進深值對應于區(qū)域的特征而變化，以使背景或人物區(qū)域的3D彈出效果(進深感)
進一步提尚。
圖22是表示對ニ維圖像的人物區(qū)域及背景進行提取以基于顔色信息分割為不同的層的處理的例子的圖。生成為了提高使用從ニ維圖像中提取人物區(qū)域等的關注對象物區(qū)域的方法來從表示背景的平面分離的關注對象物的進深而追加的進深值。例如，圖22中示出了輸入的ニ維圖像810中基于顏色信息將人物區(qū)域及背景分割為不同的層的情況下的處理例。S卩，首先，通過將ニ維圖像810基于顏色信息分割為4個不同的圖像平面，取得包括背景平面820 (包含暗紅色)、頭發(fā)平面830 (包含黒色)、指導(coach)面840 (包含黃色)、和肌膚平面850 (肌膚色)的顔色平面層。接著，為了將所取得的各平面層相互分離，對與所取得的顔色平面層對應的顔色模型平面群860賦予不同的進深值。在本發(fā)明中，為了提高人物區(qū)域的3D效果，進行人物區(qū)域的提取而生成進深圖。因此，在本變形例中，對肌膚色(紅色的顔色模型平面870/黃色的顔色模型平面875)指定進深值以使得用戶在其他顔色的區(qū)域之前感知到。此外，對綠色的顔色模型平面880、黒白色的顔色模型平面885及藍色的顔色模型平面890指定進深，以使得用戶在肌膚色的區(qū)域之后感知到。這樣，能夠提高背景或人物區(qū)域的3D彈出效果(進深感)。這里，例如對綠色的顔色模型平面880、黑白色的顔色模型平面885及藍色的顔色模型平面890等指定為背景的顔色模型平面指定+1. 5級、O以及ー I級的進深值。另外，該水平值能夠按照輸入?yún)?shù)進行調(diào)整。(變形例4)在上述實施方式中，作為具有有關本實施方式的進深信息生成裝置、進深信息生成方法的立體圖像變換裝置的例子，對三維影像生成裝置2及三維影像生成裝置3進行了說明，但并不限定于此。作為進ー步的應用例，包括上述三維影像生成裝置2及三維影像生成裝置3的3D圖像顯示控制裝置也包含在本發(fā)明的范圍中。以下，對其進行說明。圖23是表示有關本發(fā)明的實施方式的變形例4的3D圖像顯示控制裝置的功能模塊圖的圖。圖23所示的3D圖像顯示控制裝置具備盤驅動器1011、調(diào)諧器1012、網(wǎng)絡通信接ロ 1013、存儲器裝置接ロ 1014、數(shù)據(jù)通信接ロ 1015、緩沖存儲器(幀存儲器)1016、HD驅動器1017、閃存存儲器1019、及LSI1018。盤驅動器1011具備光拾取器，從光盤1004讀入三維圖像(3D圖像)流或ニ維圖像(2D圖像)流。盤驅動器1011連接在LSI1018上，從光盤1014向LSI1018發(fā)送2D圖像流或3D圖像流。盤驅動器1011按照來自LSI1018的控制，讀入來自光盤1004的2D圖像流或3D圖像流，向LSI1018發(fā)送。調(diào)諧器1012取得由天線1005接收到的包含2D或3D圖像流的廣播波。調(diào)諧器1012從所取得的廣播波中提取由LSI1018確定的頻率的2D圖像流或3D圖像流。調(diào)諧器1012連接在LSI1018上，將所提取的2D圖像流或3D圖像流向LSI1018發(fā)送。網(wǎng)絡通信接ロ 1013也可以經(jīng)由網(wǎng)絡連接在服務器1003上。網(wǎng)絡通信接ロ 1013 取得從服務器1003發(fā)送的2D或3D圖像流。存儲器裝置接ロ 1014構成為被插入存儲卡1006，能夠從插入的存儲卡1006讀取3D圖像流或2D圖像流。存儲器裝置接ロ 1014將從存儲卡1006讀入的2D圖像流或3D圖像流向LSI 1018發(fā)送。HD驅動器1017具備硬盤等的記錄介質(zhì)，將從該記錄介質(zhì)讀入的數(shù)據(jù)向LSI1018發(fā)送。HD驅動器1017將從LSI1018接收到的數(shù)據(jù)記錄到記錄介質(zhì)中。數(shù)據(jù)通信接ロ 1015是將從LSI1018發(fā)送的數(shù)據(jù)向外部的3D圖像顯示裝置1002發(fā)送的接ロ。數(shù)據(jù)通信接ロ 1015能夠將數(shù)據(jù)信號及控制信號對3D圖像顯示裝置1002收發(fā)。因而，LSI1018能夠經(jīng)由數(shù)據(jù)通信接ロ 1015控制3D圖像顯示裝置1002。數(shù)據(jù)通信接ロ 1015例如可以通過HDMI連接器等實現(xiàn)。數(shù)據(jù)通信接ロ 1015只要能夠將數(shù)據(jù)信號向3D圖像顯示裝置1002發(fā)送，則任何結構都可以。LSI1018是控制3D圖像顯示控制裝置的各部分的系統(tǒng)控制器。LSI1018可以是微型計算機或配線電路。CPU1081、流控制器1082、解碼器1083、AV輸入輸出電路1084、系統(tǒng)總線1085及存儲器控制器1086安裝在LSI1018中。CPU1081控制LSI1018整體。LSI1018的各部分進行LSI1018的控制等各種控制。CPU1081還控制與外部的通信。CPU1081在從服務器1003取得2D圖像流或3D圖像流吋，向盤驅動器1011、調(diào)諧器1012、網(wǎng)絡通信接ロ 1013或存儲器裝置接ロ 1014發(fā)送控制信號。因此，盤驅動器1011、調(diào)諧器1012、網(wǎng)絡通信接ロ 1013及存儲器裝置接ロ 1014能夠從記錄介質(zhì)或廣播站等取得2D圖像流或3D圖像流。在圖像輸入流是2D圖像的情況下，按照經(jīng)由IR傳感器的用戶的控制，CPU控制3D圖像處理器來將輸入圖像流變換為3D圖像。流控制器1082控制服務器1003、光盤1004、天線1005、存儲卡1006、及主動式快門眼鏡1007中的數(shù)據(jù)的收發(fā)。當解碼器1083從存儲器控制器1086取得數(shù)據(jù)時，解碼器1083將所取得的數(shù)據(jù)解碼。輸入到解碼器1083中的數(shù)據(jù)基于CPU1081的控制。具體而言，CPU1081控制存儲器控制器1086，存儲器控制器1086讀入記錄在緩沖存儲器1016中的3D圖像流。CPU1081控制存儲器控制器1086，存儲器控制器1086將記錄在緩沖存儲器1016中的3D圖像流向解碼器1083發(fā)送。因而，2D或3D圖像流從存儲器控制器1086輸入至解碼器1083。解碼器1083基于包含在2D或3D圖像流中的解碼信息，將被壓縮的2D或3D圖像流解碼。解碼器1083將解碼信息向存儲器控制器1086發(fā)送。存儲器控制器1086將所取得的信息記錄到緩沖存儲器1016中。AV輸入輸出電路1084從緩沖存儲器1016讀入信息，生成顯示在2D或3D圖像顯示裝置1002上的顯示圖像。AV輸入輸出電路1084將所生成的顯示圖像經(jīng)由數(shù)據(jù)通信接ロ1015向2D圖像流或3D圖像顯示裝置1002發(fā)送。3D圖像處理器1010對應于上述三維影像生成裝置2或三維影像生成裝置3，裝入有它們的功能，用于將輸入的2D圖像變換為3D圖像。具體而言，3D圖像處理器具備進深信息生成裝置I及繪制部14的功能。繪制部14的功能如 上所述，用于根據(jù)2D圖像及進深圖生成3D圖像。另外，3D圖像處理器1010、進深生成部模塊1110及內(nèi)部的模塊通常以IC(集成電路)、ASIC (特定用途集成電路)、LSI (大規(guī)模集成電路)，DSP (數(shù)字信號處理器)的形式實現(xiàn)。這些各模塊既可以由多個芯片構成，也可以由I個芯片構成。這里使用的名稱是LSI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LSI、超級LSI或超大規(guī)模LSI的情況。進而，實現(xiàn)集成化的方法并不僅是LSI，也可以由專用電路或通用處理器實現(xiàn)。其中包含能夠通過程序指令進行控制的DSP (數(shù)字信號處理器)等特殊化的微處理器。也可以將在LSI制造后能夠編程的FPGA (現(xiàn)場可編程門陣列)、或能夠重構LSI的連接或結構的處理器用在相同的用途中。將來也可能制造及處理技術提高而有全新的技術取代LSI。集成化可以通過該技術來進行。以上，根據(jù)本發(fā)明，能夠實現(xiàn)可生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖的進深信息生成裝置、進深信息生成方法、立體圖像變換裝置。此外，根據(jù)本發(fā)明，在使用影像生成進深圖的情況下，并不一定總是能夠檢測到臉部，因此通過進行人物區(qū)域的跟蹤(人物區(qū)域的時間上的匹配)來進行準備以其后生成的3D影像中不發(fā)生閃爍。例如，圖24是表示在不進行人物區(qū)域的時間上的匹配的情況下發(fā)生閃爍的圖。這里，橫軸表示連續(xù)的ニ維圖像(幀)，縱軸用I或一 I的值表示臉部檢測是否成功。如圖24所示，在不進行人物區(qū)域的時間上的匹配的情況下，可知在A期間和B期間中、檢測到臉部的幀(在縱軸中表示I的幀)和未能檢測到的幀(在縱軸中表示一 I的幀)的切換較多。相對于此，如果如本發(fā)明那樣通過進行人物區(qū)域的時間上的匹配而進行準備以在其后生成的3D影像中不發(fā)生閃爍，則在A期間和B期間中，只要人物的特征類似，就不會有未能檢測到臉部的幀，所以在3D影像中也能夠抑制閃爍。這樣，根據(jù)本發(fā)明的進深信息生成裝置、進深信息生成方法、立體圖像變換裝置，能夠實現(xiàn)高效率、低存儲器且實時動作，能夠高精度地自動地分辨物體邊界，所以在各種場景中都能夠得到自然而舒服的3D彈出效果。本發(fā)明的另ー效果是僅使用臉部檢測得到人物區(qū)域。因而，本發(fā)明中存儲器比在專利文獻3中公開的方法中少也可以。進而，本發(fā)明的時滯較少，能夠用于實時的用途。另外，圖25是將本發(fā)明的進深信息生成方法總結的圖，關于各要素已在上面敘述，所以省略說明。如圖25所示，能夠根據(jù)任意的未知的ニ維圖像的內(nèi)容，自動且適應性地生成進深圖。以上，基于實施方式對本發(fā)明的進深信息生成裝置、進深信息生成方法、立體圖像變換裝置進行了說明，但本發(fā)明并不限定于該實施方式。只要不脫離本發(fā)明的主_，對本實施方式實施了本領域的技術人員想到的各種變形后的形態(tài)、或將不同的實施方式的構成要素組合而構建的形態(tài)也包含在本發(fā)明的范圍內(nèi)。エ業(yè)實用性本發(fā)明能夠在生成ニ維圖像(2D圖像)中的進深信息(以下，記作進深圖)、使用所生成的進深圖生成三維圖像或多視圖像等的立體圖像的進深信息生成裝置、進深信息生成方法、立體圖像變換裝置中使用。符號說明I進深信息生成裝置IA最小結構部 2、3三維影像生成裝置10區(qū)域提取部11進深圖生成部12平滑化處理部13、131、132、132a、132b、133、134、135、136 存儲器14繪制部15接收部103人物區(qū)域決定部104特征提取部105區(qū)域調(diào)整部106區(qū)域決定部320,450,460臨時人物區(qū)域325邊界形狀330 上部335、345 下部340、350、430、470 人物區(qū)域355人物區(qū)域進深圖360、370背景進深信息410、440、610、615、910 先行幀420、625 對象幀540、550、560 直方圖600三維圖像柵格620、810 ニ維圖像640、645、650、655 節(jié)點665 像素820背景平面830頭發(fā)平面840指導面850肌膚平面
860顏色模型平面群870、875、880、885、890 顏色模型平面1011盤驅動器1012 調(diào)諧器1013網(wǎng)絡通信接ロ1014存儲器裝置接ロ1015數(shù)據(jù)通信接ロ1016緩沖存儲器1017HD 驅動器1018LSI1019閃存存儲器108ICPU1082流控制器1083 解碼器 1084AV輸入輸出電路1085系統(tǒng)總線1086存儲器控制器
權利要求
1.一種進深信息生成裝置，具備 區(qū)域提取部，從ニ維圖像中檢測人物的臉部，基于檢測到的臉部，提取表示該ニ維圖像的區(qū)域內(nèi)的上述人物的人物區(qū)域；以及 生成部，對所提取的上述人物區(qū)域賦予與該人物區(qū)域以外的區(qū)域的進深值不同的進深值，從而生成用來將上述人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。
2.如權利要求I所述的進深信息生成裝置， 上述區(qū)域提取部具備 檢測部，檢測上述ニ維圖像中的人物的臉部； 臨時區(qū)域設定部，基于檢測到的上述人物的臉部的位置，設定臨時人物區(qū)域，該臨時人物區(qū)域是包含上述人物的臉部的區(qū)域的人物模型的區(qū)域；以及 人物區(qū)域決定部，基于上述臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，決定上述人物區(qū)域。
3.如權利要求2所述的進深信息生成裝置， 上述人物區(qū)域決定部具備 特征提取部，提取上述臨時人物區(qū)域內(nèi)的特征和與該臨時人物區(qū)域鄰接的像素的特征； 區(qū)域調(diào)整部，基于由上述特征提取部提取的上述臨時人物區(qū)域的特征和與該臨時人物區(qū)域鄰接的像素的特征，調(diào)整上述臨時人物區(qū)域的范圍；以及 區(qū)域決定部，將由上述區(qū)域調(diào)整部調(diào)整后的臨時人物區(qū)域范圍決定為上述人物區(qū)域。
4.如權利要求3所述的進深信息生成裝置， 上述特征提取部具備 直方圖計算部，計算上述臨時人物區(qū)域內(nèi)的彩色直方圖作為上述臨時人物區(qū)域的特征； 像素選擇部，選擇與該臨時人物區(qū)域鄰接的像素；以及 顔色信息計算部，計算由上述像素選擇部選擇的像素的顔色信息作為與該臨時人物區(qū)域鄰接的像素的特征。
5.如權利要求3或4所述的進深信息生成裝置， 上述區(qū)域調(diào)整部具備 比較部，對由上述顔色信息計算部計算出的像素的顔色信息與由上述直方圖計算部計算出的彩色直方圖進行比較；以及 區(qū)域范圍更新部，在該像素的顏色是在由上述直方圖計算部計算出的彩色直方圖中包含的顔色的情況下，設為該像素包含在上述人物區(qū)域中而更新上述臨時人物區(qū)域，以擴大上述臨時人物區(qū)域的范圍，在該像素的顔色不是在上述彩色直方圖中包含的顔色的情況下，設為該像素不包含在上述人物區(qū)域中而不更新上述臨時人物區(qū)域。
6.如權利要求2 5中任一項所述的進深信息生成裝置， 上述生成部具備 賦予部，基于由上述檢測部檢測到的人物的臉部相對于上述ニ維圖像的尺寸及位置，計算由上述區(qū)域提取部提取出的人物區(qū)域的第一進深值，將計算出的第一進深值賦予給該人物區(qū)域；以及合成部，通過將第二進深值與第一進深值合成，生成并取得將該人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖，上述第二進深值是對由上述臨時區(qū)域設定部設定的臨時人物區(qū)域賦予的進深值。
7.如權利要求I 6中任一項所述的進深信息生成裝置， 還具備平滑化處理部，該平滑化處理部使用上述ニ維圖像的信息進行由上述生成部生成的進深圖中的上述人物區(qū)域的邊緣的平滑化。
8.如權利要求7所述的進深信息生成裝置， 上述平滑化處理部基于根據(jù)上述ニ維圖像的像素強度計算出的加權函數(shù)，使用上述ニ維圖像和由上述生成部生成的進深圖將上述進深圖在空間上進行濾波，由此將上述進深圖中的上述人物區(qū)域的邊緣平滑化。
9.如權利要求7所述的進深信息生成裝置， 上述平滑化處理部基于根據(jù)上述ニ維圖像中的對象幀及先行幀的圖像數(shù)據(jù)的像素強度和像素強度之差計算出的加權函數(shù)，使用上述ニ維圖像中的對象幀及先行幀、和由上述生成部生成的進深圖將上述進深圖在空間上且在時間上進行濾波，由此將上述進深圖中的上述人物區(qū)域的邊緣平滑化。
10.ー種立體圖像變換裝置，具備 權利要求I 9中任一項所述的進深信息生成裝置；以及 繪制部，使用由上述進深信息生成裝置生成的進深圖，將上述ニ維圖像變換為對應于上述ニ維圖像的立體圖像。
11.一種進深信息生成裝置，具備 區(qū)域提取部，從ニ維圖像中檢測作為關注對象物中的能夠統(tǒng)計性地檢測的區(qū)域的對象區(qū)域，基于檢測到的對象區(qū)域，提取該ニ維圖像的區(qū)域內(nèi)的關注對象物區(qū)域；以及 生成部，對所提取的上述關注對象物區(qū)域賦予與該關注對象物區(qū)域以外的區(qū)域的進深值不同的進深值，從而生成用來將人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。
12.如權利要求11所述的進深信息生成裝置， 上述區(qū)域提取部具備 檢測部，檢測上述ニ維圖像中的對象區(qū)域； 臨時區(qū)域設定部，基于所檢測到的上述對象區(qū)域的位置，設定臨時關注對象物區(qū)域，該臨時關注對象物區(qū)域是包含檢測到的上述對象區(qū)域的區(qū)域的關注對象物模型的區(qū)域；以及 關注對象物區(qū)域決定部，基于上述臨時關注對象物區(qū)域的特征和與該臨時關注對象物區(qū)域鄰接的像素的特征，更新上述臨時關注對象物區(qū)域的范圍，從而決定關注對象物區(qū)域。
13.如權利要求12所述的進深信息生成裝置， 上述關注對象物是包括貓、狗、鳥及食物的能夠由計算機檢測的對象物。
14.如權利要求11 13中任一項所述的進深信息生成裝置， 還具備平滑化處理部，該平滑化處理部使用上述ニ維圖像的信息進行由上述生成部生成的進深圖中的上述關注對象物區(qū)域的邊緣的平滑化。
15.如權利要求11 14中任一項所述的進深信息生成裝置， 還具備從用戶接收指定數(shù)據(jù)的接收部； 上述指定數(shù)據(jù)表示由用戶指定的關注對象區(qū)域；上述區(qū)域提取部基于上述指定數(shù)據(jù)，從指定的關注對象物區(qū)域中檢測上述對象區(qū)域。
16.如權利要求12 14中任一項所述的進深信息生成裝置， 上述檢測部基于上述指定數(shù)據(jù)，檢測上述ニ維圖像中的對象區(qū)域并識別對象區(qū)域的位置。
17.如權利要求12所述的進深信息生成裝置， 上述生成部具備 賦予部，基于由上述檢測部檢測到的對象區(qū)域相對于上述ニ維圖像的尺寸及位置、和被輸入的上述指定數(shù)據(jù)，計算由上述區(qū)域提取部提取的關注對象物區(qū)域的第一進深值，將計算出的第一進深值賦予給該關注對象物區(qū)域；以及 合成部，通過將第二進深值與第一進深值合成，生成將該關注對象物區(qū)域與該關注對象物區(qū)域以外的區(qū)域分離的進深圖，上述第二進深值是對由上述臨時區(qū)域設定部設定的臨時關注對象物區(qū)域賦予的進深值。
18.—種進深信息生成方法,包括 區(qū)域提取步驟，從ニ維圖像中檢測人物的臉部，基于檢測出的臉部，提取表示該ニ維圖像的區(qū)域內(nèi)的人物的人物區(qū)域；以及 生成步驟，對所提取的上述人物區(qū)域賦予與該人物區(qū)域以外的區(qū)域的進深值不同的進深值，從而生成用來將人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖。
全文摘要
本發(fā)明的進深信息生成裝置，具備區(qū)域提取部(10)，從二維圖像中檢測人物的臉部，基于檢測出的臉部，提取表示該二維圖像的區(qū)域內(nèi)的人物的人物區(qū)域；以及進深圖生成部(11)，對所提取的上述人物區(qū)域賦予與該人物區(qū)域以外的區(qū)域的進深值不同的進深值，從而生成用來將上述人物區(qū)域與該人物區(qū)域以外的區(qū)域分離的進深圖的。由此，能夠生成用來顯示不對視聽者帶來不協(xié)調(diào)感的3D彈出的進深圖。
文檔編號G06T1/00GK102696054SQ201180005648
公開日2012年9月26日 申請日期2011年11月9日 優(yōu)先權日2010年11月10日
發(fā)明者P·拉桑, T·圖馬農(nóng)塔瓦特, 山田整, 申省梅 申請人:松下電器產(chǎn)業(yè)株式會社