體形狀模板信息在后面敘述。此外,圖像生成部112基于臉部方向信息和臉部模型進(jìn)行校正,使得被攝體的臉部成為正面臉部。
[0039]存儲(chǔ)部105例如是閃速存儲(chǔ)器或硬盤,存儲(chǔ)圖像和臉部立體形狀模板信息等,或保存設(shè)備固有的數(shù)據(jù)。此外,輸入輸出部107是鍵按鈕、麥克風(fēng)、揚(yáng)聲器等聲音輸入輸出裝置等,將用戶的命令或聲音等輸入到圖像處理裝置101或輸出聲音。此外,收發(fā)部106是便攜式電話的通信部、電纜等,與外部收發(fā)圖像數(shù)據(jù)、圖像生成所需要的數(shù)據(jù)、臉部立體形狀模板信息等。上述是第I實(shí)施例的系統(tǒng)構(gòu)成。
[0040]接著,使用圖2?圖9來詳細(xì)說明第I實(shí)施例中的圖像顯示裝置100的動(dòng)作。首先,使用圖2來說明臉部信息檢測的動(dòng)作。圖2是說明由臉部信息檢測部108檢測的臉部成分信息和臉部的大小信息和臉部的位置信息的圖。
[0041]臉部信息檢測部108從圖像數(shù)據(jù)中,作為被攝體的臉部信息,檢測臉部位置信息和臉部的大小信息和臉部成分信息(即,被攝體的臉部的眼睛(201L和201R)、鼻202、口203等臉部的特征)。在此,所謂臉部位置信息指的是所檢測出的臉部區(qū)域的中心位置204。所謂臉部的大小信息指的是所檢測出的臉部區(qū)域的縱像素?cái)?shù)和橫像素?cái)?shù)。即,所謂臉部區(qū)域的中心位置204,指的是將臉部區(qū)域的橫向設(shè)為X軸、將縱向設(shè)為y軸、將臉部區(qū)域左上設(shè)為原點(diǎn)(x,y) = (0,0)、將臉部區(qū)域的縱向分辨率設(shè)為1!_1^將橫向分辨率設(shè)為《_1^時(shí),成為(X,y) = (w_k/2, h_k/2)的位置。
[0042]對于從所檢測出的臉部區(qū)域的圖像數(shù)據(jù)中檢測臉部位置信息204、臉部的大小信息和臉部成分信息(雙眼201L和201R、鼻202、口 203等)的方法,已知有在檢測膚色確定臉部區(qū)域后通過模式匹配來檢測眼睛、鼻、口等的方法、從許多臉部圖像和臉部以外的圖像(非臉部)的學(xué)習(xí)樣本統(tǒng)計(jì)地求取識(shí)別函數(shù)來檢測臉部位置信息和臉部成分信息的方法(P.V1la and M.JonesZiRapid object detect1n using a boosting cascade of simplefeatures”,Proc.1EEE Conf.CVPR,pp.511-518,2001),可以使用上述方法。通過上述來進(jìn)行臉部成分信息的檢測。
[0043]接著,使用圖3來說明臉部方向計(jì)算的動(dòng)作。圖3是說明被攝體的臉部方向信息與眼睛的配置的關(guān)系的圖。
[0044]臉部方向計(jì)算部109基于由臉部信息檢測部108檢測出的臉部信息,來計(jì)算出被攝體的臉部方向信息。臉部方向計(jì)算部109根據(jù)從攝像圖像中檢測出的被攝體的臉部的位置信息、臉部的大小信息和臉部成分信息(眼睛、鼻、口等),對被攝體的臉部的朝向進(jìn)行檢測。對于利用從圖像中檢測出的臉部位置信息或眼睛、鼻、口等的臉部成分信息來決定臉部的方向的方法,已知有使用與朝向各種方向的臉部圖像的模式匹配、臉部成分信息的位置關(guān)系的方法。在此,說明使用了臉部成分信息的位置關(guān)系的方法。
[0045]臉部的朝向和臉部區(qū)域內(nèi)的臉部成分信息的位置存在圖3所示的關(guān)系。圖3的框301?305是使用臉部的位置信息和臉部的大小信息來截取出的被攝體的臉部區(qū)域。如圖3所示在臉部區(qū)域內(nèi)分割為4份,將被攝體的臉部成分信息所偏向的方向作為被攝體的臉部方向信息來計(jì)算出來。
[0046]對于臉部區(qū)域301而言,由于臉部成分信息向上偏,因此判斷為臉部方向是朝上。此外,對于臉部區(qū)域302而言,由于臉部成分信息向左偏,因此判斷為臉部方向是朝左。此夕卜,對于臉部區(qū)域304而言,由于臉部成分信息向右偏,因此判斷為臉部方向是朝右。此外,對于臉部區(qū)域305而言,由于臉部成分信息向下偏,因此判斷為臉部方向是朝下。此時(shí),作為臉部的朝向,在如圖4所示攝像部401和顯示部402配置于不同的位置的情況下,若預(yù)先以臉部圖像是正面臉部時(shí)成為O度那樣的角度403計(jì)算出來,則在后述的圖像生成時(shí),能夠生成品質(zhì)更高的正面臉部圖像,故優(yōu)選。所謂正面臉部指的是在被攝體與攝像部(103或401)處于正對的狀態(tài)下所攝像到的臉部圖像。
[0047]在此,僅以臉部區(qū)域中的左右眼睛的位置關(guān)系進(jìn)行了臉部方向的計(jì)算,但若使用鼻、口等眼睛以外的臉部成分信息則能夠使臉部方向計(jì)算的精度得到提高,故優(yōu)選。通過上述來進(jìn)行臉部方向的計(jì)算。
[0048]接著,使用圖5以及圖6來說明圖像平行移動(dòng)的動(dòng)作。圖5是說明圖像平行移動(dòng)部110的動(dòng)作的圖,是被攝體的臉部方向?yàn)槌騻?cè)面的情況的示例。圖像平行移動(dòng)部110使圖像數(shù)據(jù)501進(jìn)行平行移動(dòng)以使圖像數(shù)據(jù)501上的臉部位置信息503成為圖像中心504。所謂圖像中心504指的是,將圖像的橫向設(shè)為X軸、將縱向設(shè)為y軸、將圖像左上設(shè)為原點(diǎn)(X,Y) = (0,0)、將圖像的縱向分辨率設(shè)為h、將橫向分辨率設(shè)為w時(shí)成為(x,y) = (w/2, h/2)的位置。
[0049]圖6是說明圖像平行移動(dòng)部110的動(dòng)作的圖,是被攝體的臉部方向?yàn)槌騻?cè)面以外的情況的示例。如圖6所示,圖像平行移動(dòng)部110使圖像數(shù)據(jù)601進(jìn)行平行移動(dòng)以使圖像數(shù)據(jù)601上的臉部位置信息603成為圖像中心604。
[0050]在圖5以及圖6中,在平行移動(dòng)后的圖像數(shù)據(jù)505或605中,被攝體的臉部區(qū)域502或602顯示在畫面中心,用戶易看的適當(dāng)?shù)膱D像得以生成。此時(shí),若與顯示部104的分辨率相比攝像數(shù)據(jù)的分辨率較大,則在使臉部位置信息進(jìn)行平行移動(dòng)時(shí),不會(huì)出現(xiàn)視角外的區(qū)域,故優(yōu)選。在出現(xiàn)了視角外區(qū)域的情況下,使用在視角外區(qū)域中顯示黑色的方法、延長圖像邊緣的方法、反復(fù)顯示圖像邊緣附近區(qū)域的方法,來進(jìn)行視角外區(qū)域的插值。
[0051]此外,若對所檢測出的被攝體的臉部位置信息在時(shí)間軸方向上實(shí)施平滑化濾波、中值濾波等,則在應(yīng)用于動(dòng)態(tài)圖像或連續(xù)攝像圖像時(shí)被攝體的臉部位置信息的微小變動(dòng)得到抑制,能夠使臉部圖像顯示在固定位置,故優(yōu)選。此外,計(jì)算出所檢測出的臉部位置信息的時(shí)間軸方向的二次微分來檢測臉部位置信息較大地變動(dòng)的瞬間,僅在臉部位置信息微小變動(dòng)時(shí)實(shí)施平滑化處理。若這樣在臉部位置信息較大地變動(dòng)時(shí)追隨位置的變動(dòng)地使臉部位置信息較大地移動(dòng)、而在臉部位置信息反復(fù)微小變動(dòng)時(shí)抑制微小變動(dòng),則能夠使臉部圖像顯示在固定位置,故優(yōu)選。上述效果不僅是被攝體的臉部位置信息上,在被攝體的臉部的朝向上也能夠獲得同樣的效果。
[0052]接著,使用圖7以及圖8來說明臉部模型生成的動(dòng)作。圖7是說明在臉部模型生成中使用的臉部立體形狀模板信息的圖。臉部模型生成部111使用由臉部信息檢測部108檢測出的臉部的大小信息、由臉部方向計(jì)算部109計(jì)算出的臉部的朝向和臉部立體形狀模板信息來生成臉部模型,并將所生成的臉部模型輸出到圖像生成部112。另外,成為臉部模型生成部111的處理對象的圖像數(shù)據(jù)是由圖像平行移動(dòng)部110實(shí)施了平行移動(dòng)處理后的圖像數(shù)據(jù)。
[0053]在此,詳細(xì)說明用于臉部模型生成的表示臉部的立體形狀的臉部立體形狀模板信息。所謂臉部立體形狀模板信息,指的是如圖7所示記錄了臉部的立體形狀的數(shù)據(jù)。在此,為了簡單而將被攝體的臉部表現(xiàn)為球。臉部立體形狀模板信息是人物的臉部的平均臉部,能夠?qū)亩鄠€(gè)人的樣本取得的臉部的立體形狀進(jìn)行平均來作成。此外,也能夠使用CG (Computer Graphics,計(jì)算機(jī)制圖)來作成。圖7所示的臉部立體形狀模板信息701是將從圖像顯示裝置100到臉部的距離按照每個(gè)像素來保存的圖像,以亮度值來表示臉部的立體形狀。越是接近圖像顯示裝置100的臉部的部分距離越短,越是遠(yuǎn)離圖像顯示裝置100的被攝體距離越長。在此,距離越短則以越亮的像素來表示,距離越長則以越暗的像素來表示。使用該臉部立體形狀模板信息來進(jìn)行臉部模型的生成。
[0054]首先,使臉部立體形狀模板信息的大小信息與所檢測出的臉部的大小信息一致。即,對臉部立體形狀模板信息進(jìn)行放大或者縮小以使臉部立體形狀模板信息的縱向分辨率和橫向分辨率與所檢測出的臉部區(qū)域的縱向分辨率和橫向分辨率相等。使通過放大或者縮小而與臉部的大小信息成為大致相同大小的臉部立體形狀模板信息變形為與