專利名稱：視頻處理裝置以及視頻處理方法
技術(shù)領(lǐng)域：
本發(fā)明的實施方式涉及視頻處理裝置以及視頻處理方法。
背景技術(shù)：
近年來，觀眾不使用特殊的眼鏡而能夠用裸眼觀察到立體視頻的立體視頻顯示裝置(所謂裸眼3D電視)日益普及。該立體視頻顯示裝置顯示視點不同的多個圖像。并且，這些圖像的光線例如由視差屏障(parallax barrier)、柱面透鏡(lenticular lens)等控制輸出方向，并導(dǎo)入觀眾的兩眼。只要觀眾的位置適當(dāng)，則觀眾就能用左眼和右眼觀察到不同的視差圖像，從而能立體地識別視頻。將這樣的觀眾能觀察到立體視頻的區(qū)域稱為視域?？墒?，這樣的視域存在受限這樣的問題。也就是說，例如被左眼察覺到的圖像的視點與被右眼察覺到的圖像的視點相比相對靠右，則存在無法正確識別立體視頻的觀察位置即逆視區(qū)域。因此，在裸眼方式的立體視頻顯示裝置中，觀眾由于觀看位置而難以觀察到良好的立體視頻。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種觀眾能夠容易地觀察良好的立體視頻的視頻處理裝置和視頻處理方法。根據(jù)一實施方式，視頻處理裝置包括顯示部、開口控制部、觀測部、觀眾檢測部、提示部、觀眾選擇部、計算部和視域控制部。顯示部顯示多個視差圖像。開口控制部向規(guī)定的方向輸出顯示部上顯示的多個視差圖像。觀測部，獲得通過對一個或多個觀眾進行觀測而得的觀測圖像。觀眾檢測部使用觀測圖像檢測一個或多個觀眾的位置。提示部向觀眾提示觀測圖像。觀眾選擇部根據(jù)所輸入的觀眾選擇信號，從觀測圖像上的一個或多個觀眾中選擇一個以上的觀眾。計算部以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定能立體觀看多個視差圖像的視域的方式計算控制參數(shù)。視域控制部，根據(jù)控制參數(shù)控制視域。根據(jù)上述結(jié)構(gòu)的視頻處理裝置，觀眾能夠容易地觀察良好的立體視頻。


圖I是一實施方式涉及的視頻處理裝置的外觀圖。圖2是表示圖I的視頻處理裝置的概略結(jié)構(gòu)的框圖。圖3的(a) (C)是從上方觀察一實施方式涉及的液晶面板和柱面透鏡的一部分的圖。圖4是表示一實施方式涉及的液晶面板的一部分上顯示的觀測圖像和俯瞰圖像的圖。圖5的(a) (e)是表示計算一實施方式涉及的計算控制參數(shù)的方法的一個例子的圖。圖6是表示一實施方式涉及的視域調(diào)整方法的流程圖。圖7的(a)及(b)是用于說明一實施方式的涉及根據(jù)優(yōu)先度評定規(guī)則對觀眾評定優(yōu)先度的圖。圖8是表示變形例涉及的視頻處理裝置的概略結(jié)構(gòu)的框圖。
具體實施例方式以下，參照

本發(fā)明的實施方式。這些實施方式并不限定本發(fā)明。
圖I是一實施方式涉及的視頻處理裝置100的外觀圖，圖2是表示該視頻處理裝置100的概略結(jié)構(gòu)的框圖。視頻處理裝置100包括液晶面板I、柱面透鏡2、攝像機3、受光部4和控制器10。液晶面板(顯示部)I例如是55英寸大小的面板，其在水平方向上配置11520( =1280X9)個像素，在垂直方向上配置720個像素。此外，在各像素內(nèi)沿垂直方向形成有三個子像素、即R子像素、G子像素和B子像素。自設(shè)于背面的背光裝置(未圖示)對液晶面板I照射光。各像素使與從控制器10供給的視差圖像信號(后述)相對應(yīng)的亮度的光透過。也就是說，液晶面板I顯示多個視差圖像。柱面透鏡(開口控制部)2具有沿著液晶面板I的水平方向配置的多個凸部，其數(shù)量是液晶面板I的水平方向像素數(shù)的1/9。而且，以沿水平方向配置的每九個像素對應(yīng)一個凸部的方式，將柱面透鏡2粘貼至液晶面板I的表面。透過各像素的光從凸部的頂點附近帶著指向性地輸出至指定的方向。也就是說，柱面透鏡2沿規(guī)定的方向輸出顯示于液晶面板I的多個視差圖像。本實施方式的液晶面板I能夠以三視差以上的多視差方式(積分圖像(integralimage)方式)或二視差方式顯示立體視頻，此外，也能顯示通常的二維視頻。在以下的說明中，說明對應(yīng)液晶面板I的各凸部設(shè)置九個像素且能采用九視差的多視差方式的例子。在多視差方式中，在與各凸部對應(yīng)的九個像素分別顯示第一視差圖像 第九視差圖像。第一視差圖像 第九視差圖像是指從沿著液晶面板I的水平方向并排的九個視點分別觀察被拍攝對象而得到的圖像。觀眾通過經(jīng)由柱面透鏡2，分別以左眼觀察第一視差圖像 第九視差圖像中的一個視差圖像，以右眼觀察另一個視差圖像，從而能夠立體地觀看視頻。若采用多視差方式，則視差的數(shù)量越增加，越能夠擴展視域。視域是指在從液晶面板I的前方觀察液晶面板I時能立體觀看視頻的區(qū)域。另一方面，在二視差方式中，分別在與各凸部對應(yīng)的九個像素中的四個像素顯示右眼用視差圖像、在其他五個像素顯示左眼用視差圖像。左眼用及右眼用視差圖像是指從沿水平方向并排的兩個視點中的左側(cè)的視點及右側(cè)的視點分別觀察被拍攝對象而得到的圖像。觀眾通過經(jīng)由柱面透鏡2分別以左眼看左眼用視差圖像、以右眼看右眼用視差圖像，從而能夠立體地觀看視頻。采用二視差方式時，顯示的視頻的立體感比多視差方式更容易得到，但與多視差方式相比視域變窄。此外，液晶面板I在與各凸部對應(yīng)的九個像素顯示相同的圖像，也能夠顯示二維圖像。另外，在本實施方式中，根據(jù)柱面透鏡2的凸部和顯示的視差圖像之間的相對位置關(guān)系、即在與各凸部對應(yīng)的九個像素如何顯示視差圖像，從而能夠可變控制視域。以下，以多視差方式為例對視域的控制進行說明。圖3是從上方觀察液晶面板I及柱面透鏡2的一部分的圖。圖3的陰影的區(qū)域表示視域，當(dāng)從視域看液晶面板I時能夠立體地觀看視頻。其他區(qū)域是產(chǎn)生逆視、交調(diào)失真的區(qū)域，且是難以立體地觀看視頻的區(qū)域。圖3示出了液晶面板I和柱面透鏡2之間的相對位置關(guān)系，更具體地說示出了液晶面板I和柱面透鏡2的距離、或者視域隨液晶面板I和柱面透鏡2的水平方向的偏移量而變化的情況。
實際上，柱面透鏡2與液晶面板I高精度地對位而粘貼，因而難以物理地變更液晶面板I和柱面透鏡2之間的相對位置。因此，在本實施方式中，通過使在液晶面板I的各像素顯示的第一視差圖像 第九視差圖像的顯示位置偏移，從而表面上使液晶面板I和柱面透鏡2之間的相對位置關(guān)系變化，由此進行視域的調(diào)整。例如，與分別將第一視差圖像 第九視差圖像顯示在與各凸部對應(yīng)的九個像素的情況(圖3的(a))相比，在使視差圖像整體向右側(cè)偏移顯示的情況下(圖3的(b))，視域向左側(cè)移動。相反地，在使視差圖像整體向左側(cè)偏移顯示的情況下，視域向右側(cè)移動。另外，在水平方向的中央附近，不使視差圖像偏移，在越向液晶面板I的外側(cè)、使視差圖像向外側(cè)越大偏移以進行顯示的情況下(圖3的(c))，視域沿接近液晶面板I的方向移動。此外，偏移的視差圖像和不偏移的視差圖像之間的像素、偏移的量不同的視差圖像間的像素只要根據(jù)周圍的像素進行適當(dāng)內(nèi)插即可。另外，與圖3的(C)相反，在水平方向的中央附近不使視差圖像偏移，在越向液晶面板I的外側(cè)、使視差圖像向中心側(cè)越大地偏移以進行顯示的情況下，視域沿遠(yuǎn)離液晶面板I的方向移動。這樣，通過偏移視差圖像的整體或者一部分，從而能夠使視域相對液晶面板I沿左右方向或者前后方向移動。在圖3中為了簡化說明，僅示出一個視域，但實際上存在多個視域，這些視域聯(lián)動地移動。視域由后述的圖2的控制器10控制。返回到圖1，攝像機(觀測部)3以規(guī)定的仰角被安裝在液晶面板I的下部中央附近，攝像機3用于拍攝液晶面板I的前方的規(guī)定的范圍。也就是說，攝像機3獲得觀測一個或多個觀眾而得的觀測圖像(攝像機視頻)。但是，攝像機的安裝位置不限定于上述位置。觀測圖像被供給控制器10，用于檢測觀眾的位置、觀眾的臉部等與觀眾相關(guān)的信息。此外，觀測圖像經(jīng)由控制器10被供給液晶面板1，由此提示觀眾，用于選擇應(yīng)調(diào)整視域的觀眾等。攝影機3也可拍攝動態(tài)圖像和靜態(tài)圖像中的任一種。攝像機3也可以是可視攝像機、紅外線攝像機等。此外，也可以將攝像機3取而代之使用傳感器、雷達(dá)等作為觀測部以獲得觀測圖像。但是，在使用傳感器、雷達(dá)等的情況下，由于無法直接獲得觀測圖像，所以優(yōu)選使用CG (Computer Graphics,計算機圖形學(xué))、動畫等生成觀測圖像。受光部(操作信號接收部)4例如設(shè)于液晶面板I的下部的左側(cè)。而且，受光部4接收從觀眾使用的遙控器發(fā)送的紅外線信號。紅外線信號包括表示是顯示立體視頻還是二維視頻、在顯示立體視頻的情況下采用多視差方式及二視差方式的哪一種、是否進行視域的控制等的信號。此外，紅外線信號包括用于選擇應(yīng)調(diào)整視域的觀眾的觀眾選擇信號。如圖2所示，控制器10包括調(diào)諧解碼器11、視差圖像轉(zhuǎn)換部12、觀眾檢測部13、計算部14、圖像調(diào)整部15、觀眾選擇部16、提示部17和存儲部18?？刂破?0例如被安裝作為一個IC(Integrated Circuit,集成電路)，其被配置于液晶面板I的背面?zhèn)?。?dāng)然也可以利用軟件安裝控制器10的一部分。調(diào)諧解碼器(接收部)11接收輸入的廣播波并選頻，解碼被編碼的視頻信號。在向廣播波疊加有電子節(jié)目表(EPG)等的數(shù)據(jù)廣播的信號的情況下，調(diào)諧解碼器11提取它?；蛘撸{(diào)諧解碼器11不是從廣播波而是從光盤再生裝置、個人計算機等的視頻輸出設(shè)備接收被編碼的視頻信號，并對其解碼。解碼的信號也稱為基帶視頻信號，且被提供給視差圖像轉(zhuǎn)換部12。此外，在視頻顯示裝置100不接收廣播波、專門顯示從視頻輸出設(shè)備接收的視頻信號的情況下，也可以將調(diào)諧解碼器11取而代之地設(shè)置僅具有解碼功能的解碼器作為接收部。 調(diào)諧解碼器11接收的視頻信號可以是二維視頻信號，也可以是以幀封裝(FP)、并排(SBS)或者上下(TAB)方式等包括左眼用及右眼用的圖像的三維視頻信號。另外，視頻信號也可以是包括三視差以上的圖像的三維視頻信號。視差圖像轉(zhuǎn)換部12為了立體地顯示視頻，而將基帶視頻信號轉(zhuǎn)換為多個視差圖像信號后供給至圖像調(diào)整部15。視差圖像轉(zhuǎn)換部12根據(jù)采用多視差方式和二視差方式中的哪一種而處理內(nèi)容不同。另外，根據(jù)基帶視頻信號是二維視頻信號還是三維視頻信號，視差圖像轉(zhuǎn)換部12的處理內(nèi)容不同。在采用二視差方式的情況下，視差圖像轉(zhuǎn)換部12生成與左眼用及右眼用視差圖像分別對應(yīng)的左眼用及右眼用視差圖像信號。更具體而言，如下所述。在采用二視差方式且輸入了包括左眼用及右眼用的圖像的三維視頻信號的情況下，視差圖像轉(zhuǎn)換部12生成能在液晶面板I顯示的形式的左眼用及右眼用視差圖像信號。另外，在輸入包括三個以上的圖像的三維視頻信號的情況下，例如視差圖像轉(zhuǎn)換部12使用其中的任意的兩個，生成左眼用及右眼用視差圖像信號。相對于此，在采用二視差方式且輸入了不包括視差信息的二維視頻信號的情況下，視差圖像轉(zhuǎn)換部12基于視頻信號中的各像素的深度值生成左眼用及右眼用視差圖像信號。深度值是表示看到各像素相對于液晶面板I位于眼前或縱深哪種程度的值。深度值也可預(yù)先附加于視頻信號，也可基于視頻信號的特征進行動態(tài)檢測、構(gòu)圖識別及人的臉部檢測等以生成深度值。在左眼用視差圖像中，需要眼前觀察到的像素比縱深觀察到的像素偏向右側(cè)地顯示。因此，視差圖像轉(zhuǎn)換部12進行將視頻信號中的眼前觀察到的像素向右側(cè)偏移的處理，生成左眼用視差圖像信號。深度值越大偏移量越大。另一方面，在采用多視差方式的情況下，視差圖像轉(zhuǎn)換部12生成與第一視差圖像 第九視差圖像分別對應(yīng)的第一視差圖像 第九視差圖像信號。更具體而言，如下所述。在采用多視差方式且輸入了包括二維視頻信號或八視差以下的圖像的三維視頻信號的情況下，視差圖像轉(zhuǎn)換部12與根據(jù)二維視頻信號生成左眼用及右眼用視差圖像信號同樣地基于縱深信息，生成第一視差圖像 第九視差圖像信號。在采用多視差方式且輸入了包括九視差的圖像的三維視頻信號的情況下，視差圖像轉(zhuǎn)換部12使用其視頻信號生成第一視差圖像 第九視差圖像信號。
觀眾檢測部13使用由攝像機3觀測到的觀測圖像，檢測一個或多個觀眾的位置和臉部等，并將該觀眾的位置信息和臉部信息等(觀眾識別信息)供給觀眾選擇部16和提示部17。即使觀眾是運動著的，觀眾檢測部13也能夠基于觀眾的臉部信息進行追蹤。因此，如后所述，也能夠使視域追隨所選擇的觀眾(自動跟蹤模式)、掌握每個觀眾的視聽時間等。觀眾的位置信息顯示作為例如以液晶面板I的中央為原點的X軸(水平方向)、Y軸(垂直方向)及Z軸(與液晶面板I正交的方向)上的位置。更加具體而言，觀眾檢測部13首先通過觀測圖像檢測臉部以識別觀眾。接著，觀眾檢測部13通過觀測圖像中的臉部的位置計算X軸和Y軸上的位置，通過臉部的大小計算Z軸上的位置。在觀眾是多個的情況下，觀眾檢測部13也可檢測預(yù)先確定的數(shù)量例如有10位觀眾。在該情況下，檢測到的臉部的數(shù)量比10大時，按照例如離液晶面板I近、即Z軸上的位置由小到大的順序檢測10位觀眾的位置。提示部17將由攝像機3觀測到的觀測圖像供給液晶面板1， 以提示觀眾。此時，提示部17基于來自觀眾檢測部13的觀眾的位置信息，能夠?qū)z測到觀測圖像上的位置的觀眾的臉部附加框。觀眾根據(jù)框的有無來獲知自己是否正被識別。另外，提示部17使用觀眾的位置信息和表示來自計算部14的當(dāng)前設(shè)定的視域的圖案的視域信息，生成表示液晶面板I、視域和觀眾的位置關(guān)系的俯瞰圖像。然后，提示部17將該生成的俯瞰圖像供給液晶面板1，以提示觀眾。也就是說，該俯瞰圖像是表示從上方俯瞰液晶面板I和視聽區(qū)域的狀態(tài)的圖像。視聽區(qū)域是觀眾能夠觀察在液晶面板I上顯示的圖像的區(qū)域。觀眾通過觀察俯瞰圖像，獲知自己是否進入視域。提示部17只要將觀測圖像和俯瞰圖像中的至少一個供給液晶面板I即可。由此，液晶面板I能夠顯示觀測圖像和俯瞰圖像中的至少一個。觀測圖像和俯瞰圖像被顯示作為二維的圖像。另外，關(guān)于俯瞰圖，也可以顯示作為立體圖像(如計算機圖形那樣的三維圖像)。圖4示出了在液晶面板I的一部分顯示的觀測圖像和俯瞰圖像。作為一個例子，上下排列的觀測圖像和俯瞰圖像被顯示于液晶面板I的右側(cè)。對觀測圖像上的三個觀眾20A、20B、20C的臉部分別附加框A、B、C。對觀測圖像和俯瞰圖像上的觀眾20C的臉部附加選擇用的框S。在圖示的例子中，如通過俯瞰圖可知，觀眾20A進入視域21，從而能夠觀察立體視頻。觀眾20B的一部分雖然進入視域21，然而有可能無法觀察立體視頻。觀眾20C進入逆視區(qū)域22，無法觀察立體視頻。觀測圖像和俯瞰圖像既可以左右排列，也可以傾斜地排列，還可顯示于液晶面板I的整個面。此外，觀測圖像和俯瞰圖像既可以重疊于由廣播波產(chǎn)生的視頻等其他視頻上，也可以不重疊于其他視頻上。觀眾選擇部16根據(jù)所輸入的觀眾選擇信號，從觀測圖像或俯瞰圖像上的一個或多個觀眾中選擇一個以上的觀眾。例如，觀眾選擇信號是按下遙控器的指示器按鈕或確定按鈕時發(fā)送的信號。具體而言，觀眾選擇部16從由觀眾檢測部13供給的一個或多個觀眾的位置信息中選擇一個以上的觀眾的位置信息，將所選擇的觀眾的位置信息供給計算部14。此時，例如如圖4所示，提示部17在觀測圖像或俯瞰圖像上對某個觀眾附加選擇用的框S，能夠根據(jù)觀眾選擇信號變更被附加有選擇用的框S的觀眾。由此，觀眾例如通過按下遙控器的指示器按鈕使選擇用的框S移動，通過在選擇用的框S被附加給想要的觀眾的狀態(tài)下按下確定按鈕，從而能選擇該觀眾。觀眾選擇信號也可以從液晶面板I所顯示的觸摸面板等信號輸入部(未圖示)輸入。觀眾選擇部16也可以根據(jù)觀眾選擇信號，以評定優(yōu)先度的方式選擇一個以上的觀眾。在該情況下，例如也可以以觀眾被選擇的順序評定高的優(yōu)先度。或者，也可以在選擇觀眾時，由觀眾使用遙控器輸入優(yōu)先度。此外，觀眾選擇部16基于規(guī)定的優(yōu)先度評定規(guī)則，對所選擇的觀眾評定優(yōu)先度。將在后面敘述優(yōu)先度評定規(guī)則。優(yōu)先度評定規(guī)則可以被預(yù)先設(shè)定，也可以由觀眾使用菜單畫面等從多個優(yōu)先度評定規(guī)則中選擇想要的規(guī)則，還可在制品出貨時設(shè)定規(guī)定優(yōu)先度評定規(guī)則。
計算部14為了在與由觀眾選擇部16所選擇的觀眾的位置對應(yīng)的區(qū)域適當(dāng)?shù)卦O(shè)定視域，而計算控制參數(shù)，并供給圖像調(diào)整部15。該控制參數(shù)例如是偏移圖3中說明的視差圖像的量。更加詳細(xì)而言，為了設(shè)定想要的視域，計算部14使用將控制參數(shù)、和用該控制參數(shù)設(shè)定的視域?qū)?yīng)的視域數(shù)據(jù)庫。該視域數(shù)據(jù)庫被預(yù)先存儲于存儲部18。計算部14通過檢索視域數(shù)據(jù)庫，以找出能納入選擇的觀眾的視域。計算部14將表示判斷為合適的視域的視域信息供給提示部17。圖5是表示計算控制參數(shù)的方法的一個例子的圖。對利用觀眾選擇部16選擇了一個觀眾的情況進行說明。計算部14針對被存儲于視域數(shù)據(jù)庫中的各視域，計算視域與所選擇的觀眾重合的面積，將該面積成為最大的視域判斷為合適的視域。在圖5的例子中，預(yù)定的圖5的(a) (e)這五個視域(陰影的區(qū)域)的圖案中的、將視域朝向液晶面板I設(shè)定在左側(cè)的圖5的(b)中，所選擇的觀眾20與視域重合的面積成為最大。由此，計算部14將圖5的(b)的視域的圖案判斷為合適的視域。在該情況下，用于由圖5的(b)的視域的圖案表示視差圖像的控制參數(shù)被供給圖2的圖像調(diào)整部15。在由觀眾選擇部16選擇了多個觀眾的情況下，計算部14最初以在與所選擇的全部觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)。即，計算部14以所選擇的全部觀眾都能夠平等地觀察立體視頻的方式計算控制參數(shù)。但是，由于所選擇的觀眾的數(shù)量、位置，有時不能平等地設(shè)定視域。因此，計算部14在不能以在與所選擇的全部觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)的情況下，以在與評定為最高的優(yōu)先度的所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)。例如，在圖4的例子中，在選擇了三個觀眾20A、20B、20C的情況下，無法在與所選擇的全部觀眾20A、20B、20C的位置對應(yīng)的區(qū)域設(shè)定視域21。也就是說，在將視域21朝向液晶面板I設(shè)定在圖4的俯瞰圖像的例子的左側(cè)、觀眾20C進入了視域21的情況下，使得觀眾20B未進入視域21。同樣，在將視域21朝向液晶面板I設(shè)定在圖4的俯瞰圖像的例子的右側(cè)、觀眾20B整體進入了視域21的情況下，觀眾20C未進入視域21。由此，在該例子的情況下，假定觀眾20A的優(yōu)先度最高時，以使觀眾20A進入視域21。另外，像上述那樣不能計算出控制參數(shù)的情況下，計算部14也可以計算用于設(shè)定不收納所選擇的觀眾中的優(yōu)先度相對低的觀眾而收納優(yōu)先度相對高的觀眾的視域的控制參數(shù)。例如，首先，將所選擇的觀眾中的優(yōu)先度最低的觀眾除外，嘗試計算用于設(shè)定將剩余的觀眾全部納入視域內(nèi)的視域的控制參數(shù)。在即使這樣也不能夠計算控制參數(shù)的情況下，除剩余的觀眾中優(yōu)先度最低的觀眾以外，嘗試計算控制參數(shù)。通過重復(fù)此計算，總是能將優(yōu)先度高的觀眾納入視域內(nèi)?；蛘?，計算部14也可以不以在與所選擇的全部觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)，而從最初起以在與評定為最高的優(yōu)先度的所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)。圖像調(diào)整部(視域控制部)15為了控制視域，而在根據(jù)計算出的控制參數(shù)對視差圖像信號進行偏移或內(nèi)插的調(diào)整后，將其供給至液晶面板I。由此，液晶面板I顯示與被調(diào)整的視差圖像信號相對應(yīng)的多個視差圖像。存儲部18是閃存等非揮發(fā)性存儲器，除了存儲視域數(shù)據(jù)庫之外，還存儲優(yōu)先度評 定規(guī)則、后述的用戶注冊信息、3D優(yōu)先觀眾信息、初始視聽位置等。該存儲部18也可以設(shè)于控制器10的外部。在本實施方式的視頻處理裝置100中，例如能夠使用3D視聽位置核對功能調(diào)整視域。以下，參照圖6說明使用了 3D視聽位置核對功能的視域調(diào)整的方法。3D視聽位置核對功能例如能夠通過按下遙控器的規(guī)定的按鈕而啟動，在液晶面板I上顯示有觀測圖像和俯瞰圖像中的至少一個的狀態(tài)(例如圖4的狀態(tài))下能夠調(diào)整視域。圖6是表示一實施方式涉及的視域調(diào)整方法的流程圖。如圖6所示，首先，利用攝像機3獲得觀測一個或多個觀眾的觀測圖像(步驟Sll)。接著，利用觀眾檢測部13，使用由步驟Sll獲得的觀測圖像檢測一個或多個觀眾的位置(步驟S12)。接著，利用提示部17，向觀測圖像和俯瞰圖像中的至少一個供給液晶面板1，以提示觀眾(步驟S13)。觀眾在觀察液晶面板I上顯示的觀測圖像和俯瞰圖像中的至少一個的同時，使用遙控器的指示器按鈕或確定按鈕等選擇應(yīng)該調(diào)整視域的觀眾。也就是說，利用觀眾選擇部16，根據(jù)所輸入的觀眾選擇信號，從一個或多個觀眾中選擇一個以上的觀眾(步驟S14)。然后，例如當(dāng)觀眾按下遙控器的規(guī)定的按鈕時，為所選擇的觀眾調(diào)整視域。也就是說，利用計算部14，以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)(步驟S15)。在由步驟S15能夠計算控制參數(shù)的情況下(步驟S16為是)，移行到步驟S18。在步驟S15不能計算控制參數(shù)的情況下(步驟S16為否)，利用計算部14，以在與評定為最高的優(yōu)先度的所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定視域的方式計算控制參數(shù)(步驟S17)。如上所述，作為不能計算控制參數(shù)的情況，例如有選擇了多個觀眾的情況等。由于在步驟S15、S17中視域信息也被更新，所以俯瞰圖像的視域也被更新。接著，利用圖像調(diào)整部15，根據(jù)由步驟S15或步驟S17計算出的控制參數(shù)，控制視域(步驟S18)。然后，利用液晶面板I顯示視差圖像(步驟S19)。在啟動三維視聽位置核對功能時，例如在按下遙控器的規(guī)定的按鈕時，也可以顯示核對用的靜止圖像。該核對用的靜止圖像由多個視差圖像構(gòu)成。由此，觀眾能夠確認(rèn)是否能夠立體觀看該靜止圖像。這樣，所選擇的觀眾能夠立體觀看液晶面板I上顯示的多個視差圖像。另外，視頻處理裝置100也可以具有以視域追隨所選擇的觀眾的方式定期地調(diào)整視域的自動跟蹤模式。在自動跟蹤模式有效的情況下，在三維視聽位置核對(check)功能下，定期地重復(fù)以上的步驟Sll到步驟S19的一系列的處理。因此，在該情況下，利用觀眾檢測部13，定期地檢測一個或多個觀眾的位置(步驟S12)。此外，利用計算部14，在每次檢測一個或多個觀眾的位置時都計算出控制參數(shù)(步驟S15、S17)。由此，即使所選擇的觀眾移動，視域也追隨該觀眾的位置。因此，在三維視聽位置核對功能結(jié)束后，即使所選擇的觀眾移動，該觀眾也能立體觀看多個視差圖像。三維視聽位置核對功能結(jié)束后，定期地重復(fù)除了步驟S13和步驟S14的處理之外的步驟Sll、S12、S15 S19的一系列的處理，調(diào)整視域。[優(yōu)先度評定規(guī)則]
接著，列舉上述優(yōu)先度評定規(guī)則的具體例(a) (h)。(a)與液晶面板I的端部相比，位于正面的觀眾的一方具有較高的視聽積極性的可能性較大。因此，如圖7的(a)所示，在本優(yōu)先度評定規(guī)則中，按從位于液晶面板I的正面方向的觀眾到位于液晶面板I的端部的觀眾的順序評定高的優(yōu)先度。在采用本優(yōu)先度評定規(guī)則的情況下，觀眾選擇部16例如使用觀眾的位置信息，求出液晶面板I的顯示面、和通過觀眾及液晶面板I的中心的垂直方向的面所成的角度(最大90° )，從該角度較大的觀眾開始依次評定較高的優(yōu)先度。(b)使在能看到立體視頻的基礎(chǔ)上接近最佳的視聽距離(液晶面板I和觀眾之間的距離)的觀眾優(yōu)先。如圖7的(b)所示，在本優(yōu)先度評定規(guī)則中，從在能看到立體視頻的基礎(chǔ)上視聽距離接近最佳視聽距離(最佳視聽距離d)的觀眾開始依次評定高優(yōu)先度。此夕卜，最佳視聽距離d的值依賴于液晶面板的尺寸等的各種參數(shù)，因而被設(shè)定為針對每個視頻處理裝置的制品而不同的值。在采用本優(yōu)先度評定規(guī)則的情況下，觀眾選擇部16求出觀眾的位置信息中含有的Z軸上的位置和最佳視聽距離d之差，并從該差較小的觀眾開始依次評定較高的優(yōu)先度。(C)視聽時間越長的觀眾，對該節(jié)目具有較高的視聽積極性的可能性越大。因此，在本優(yōu)先度評定規(guī)則中，從視聽時間較長的觀眾開始評定較高的優(yōu)先度。視聽時間例如以視聽中的節(jié)目的開始時間為基準(zhǔn)進行計算。視聽中的節(jié)目的開始時間能從電子節(jié)目表(EPG)等取得。另外，視聽時間也可以對視聽中的節(jié)目進行選頻的時間為基準(zhǔn)來計算。另外，視聽時間也可以視頻顯示裝置100的電源被接入并開始視頻顯示的時間為基準(zhǔn)來計算。在采用本優(yōu)先度評定規(guī)則的情況下，觀眾選擇部16針對每個觀眾計算視聽時間，并從視聽時間較長的觀眾開始依次評定高優(yōu)先度。(d)持有遙控器的觀眾操作遙控器以選擇視聽頻道，因而是中心觀眾的可能性較大。因此，在本優(yōu)先度評定規(guī)則中，對持有遙控器的觀眾、或最接近遙控器的觀眾評定最高的優(yōu)先度。在采用本優(yōu)先度評定規(guī)則的情況下，觀眾檢測部13識別持有遙控器的觀眾，將該觀眾的觀眾識別信息供給至觀眾選擇部16。作為持有遙控器的觀眾的識別方法，存在以下等方法用攝影機3檢測從遙控器發(fā)出的紅外線或在遙控器預(yù)先設(shè)定的記號，以識別離遙控位置最近的觀眾的方法、或利用圖像識別直接識別持有遙控器的觀眾的方法。而且，觀眾選擇部16對持有遙控器的觀眾評定最高的優(yōu)先度。此外，觀眾選擇部16也可對除持有遙控器的觀眾以外的觀眾，例如從最接近遙控器的觀眾開始依次評定較高的優(yōu)先度。(e)與能將視頻處理裝置100的用戶有關(guān)的信息作為用戶注冊信息存儲于存儲部
17。該用戶注冊信息還能夠包括臉部照片、表示視聽立體視頻的優(yōu)先度的3D視聽優(yōu)先度等的信息。在本優(yōu)先度評定規(guī)則中，使該3D視聽優(yōu)先度較高的觀眾優(yōu)先。在采用本優(yōu)先度評定規(guī)則的情況下，觀眾檢測部13從用攝影機3拍攝到的視頻取得各觀眾的臉部信息。而且，觀眾檢測部13通過對各個觀眾檢索與臉部信息匹配(matching)的用戶注冊信息的臉部照片，從而從存儲部18讀出該觀眾的3D視聽優(yōu)先度。而且，觀眾檢測部13對應(yīng)各觀眾將組合視聽者識別信息(位置信息)和3D視聽優(yōu)先度而得的信息供給至觀眾選擇部16。觀眾選擇部16從3D視聽優(yōu)先度高的觀眾開始依次評定高的優(yōu)先度。此外，也可對沒有用戶注冊信息的觀眾評定低(或者最低)的優(yōu)先度。(f)根據(jù)視頻處理裝置100及沙發(fā)、椅子等的家具的配置狀況，假設(shè)不是從液晶面·板I的正面而是從偏斜方向視聽較多的情況。在那樣的情況下，視域沿液晶面板I的偏斜方向設(shè)定的頻率變高。因此，在本優(yōu)先度評定規(guī)則中，使位于頻繁地設(shè)定為視域的場所的觀眾優(yōu)先。在采用本優(yōu)先度評定規(guī)則的情況下，計算部14例如在每次計算控制參數(shù)時都將計算出的控制參數(shù)保存于存儲部18。而且，觀眾選擇部16根據(jù)保存于存儲部18的控制參數(shù)指定設(shè)定次數(shù)多的視域，對位于該視域內(nèi)的觀眾評定比位于該視域外的觀眾高的優(yōu)先度。(g)視頻處理裝置100的用戶也能將最容易視聽的位置等設(shè)定為初始視聽位置。在本優(yōu)先度評定規(guī)則中，用戶預(yù)先設(shè)定初始視聽位置，并使用位于該初始視聽位置的觀眾優(yōu)先。在采用本優(yōu)先度評定規(guī)則的情況下，存儲部18保存與用戶設(shè)定了的初始視聽位置相關(guān)的信息。觀眾選擇部16從存儲部18讀出設(shè)定的初始視聽位置，并對位于該視聽位置的觀眾評定高優(yōu)先度。如上所述，根據(jù)本實施方式，將由攝像機3觀測到的觀眾的觀測圖像和俯瞰圖像中的至少一個顯示于液晶面板1，根據(jù)觀眾所輸入的觀眾選擇信號，從觀測圖像上或俯瞰圖像上的觀眾中選擇一個以上的觀眾。而且，在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定能夠立體觀看多個視差圖像的視域。由此，在存在多個觀眾的情況下，觀眾能自由地選擇想要調(diào)整視域的觀眾。此外，因為一個觀眾能夠通過操縱遙控器而將視域調(diào)整至也包括自己以外的任意的觀眾，所以能省去多個觀眾交替持有遙控器地進行操縱的時間和精力。另外，因為對所選擇的觀眾評定優(yōu)先度，所以即使在所選擇的多個觀眾的一部分未被納入視域內(nèi)的情況下，由于必須將優(yōu)先度高的觀眾納入在視域內(nèi)，因此優(yōu)先度高的觀眾能夠看到高質(zhì)量的立體視頻。這樣，根據(jù)以上說明的實施方式，觀眾能夠容易地觀察到良好的立體視頻。(變形例)能夠?qū)ι鲜龅膶嵤┓绞礁郊痈鞣N變更。以下，在適當(dāng)參照附圖的同時說明變形的一個例子。在上述實施方式中示出了使用柱面透鏡2，通過偏移視差圖像來控制視域的例子，但是也可以使用其他方法控制視域。例如，也可以將柱面透鏡2取而代之將視差屏障設(shè)為開口控制部。此外，圖8是表示作為圖2的變形例的視頻處理裝置100’的概略結(jié)構(gòu)的框圖。如該圖8所示，視頻處理裝置100’的控制器10’包括視域控制部15’以代替圖像調(diào)整部15。該視域控制部15’根據(jù)由計算部14計算出的控制參數(shù)控制開口控制部2’。在該情況下，將液晶面板I與開口控制部2’的距離、液晶面板I與開口控制部2’的水平方向的偏移量等作為控制參數(shù)，通過控制液晶面板I所顯示的視差圖像的輸出方向來控制視域。這樣，也可以不進行調(diào)整液晶面板I上顯示的視差圖像的顯示位置的處理而利用視域控制部15’控制開口控制部2’。另外，在上述實施方式中，雖然已經(jīng)說明了將觀測圖像和俯瞰圖像顯示于液晶面板I的例子，但并不僅限于此。例如，提示部17也可以將觀測圖像和俯瞰圖像中的至少一個發(fā)送至通過有線或無線與視頻處理裝置100連接的信息終端、個人計算機等。在該情況下，觀眾通過觀察信息終端所顯示的觀測圖像和俯瞰圖像中的至少一個來操縱信息終端，從而能夠選擇觀眾。并且，信息終端能夠朝向視頻處理裝置100的操作信號接收部發(fā)送觀眾選 擇信號。此外，也可以在遙控器上設(shè)有液晶顯示裝置等，提示部17向遙控器發(fā)送觀測圖像和俯瞰圖像中的至少一個，兵通過顯示于該液晶顯示裝置等上而提示觀眾。即使利用這些變形例也能夠獲得與上述實施方式相同的效果。上述實施方式說明的控制器10的至少一部分既可以由硬件構(gòu)成，也可以由軟件構(gòu)成。在由軟件構(gòu)成的情況下，也可以將實現(xiàn)控制器10的至少一部分的功能的程序收容于軟盤、CD-ROM等記錄介質(zhì)中,通過讀入計算機而執(zhí)行。存儲介質(zhì)不限定于磁盤、光盤等能夠裝卸的裝置，也可以是硬盤裝置、存儲器等固定型的記錄介質(zhì)。此外，也可以將實現(xiàn)控制器10的至少一部分的功能的程序經(jīng)由互聯(lián)網(wǎng)等通信電路(也包括無線通信)頒布。另外，也可以在對該程序進行加密、調(diào)制、壓縮后的狀態(tài)下，經(jīng)由互聯(lián)網(wǎng)等有線電路、無線電路或收容于記錄介質(zhì)中進行頒布。雖然說明了本發(fā)明的幾個實施方式，但這些的實施方式是作為例子而提示的，并非意在限定發(fā)明的范圍。這些實施方式能以其他的各種方式實施，能夠在不脫離發(fā)明的思想的范圍內(nèi)進行各種的省略、替換、變更。這些實施方式或其變形，包含于發(fā)明的范圍、思想，同樣也包含于權(quán)利要求書所記載的發(fā)明和其等價的范圍內(nèi)。
權(quán)利要求
1.一種視頻處理裝置，其特征在于，包括 顯示部，顯示多個視差圖像； 開口控制部，向規(guī)定的方向輸出所述顯示部上顯示的多個所述視差圖像； 觀測部，獲得通過對一個或多個觀眾進行觀測而得的觀測圖像； 觀眾檢測部，使用所述觀測圖像檢測一個或多個所述觀眾的位置； 提示部，向一個或多個所述觀眾提示所述觀測圖像； 觀眾選擇部，根據(jù)所輸入的觀眾選擇信號，從所述觀測圖像上的一個或多個所述觀眾中選擇一個以上的觀眾； 計算部，以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定能立體觀看多個所述視差圖像的視域的方式計算控制參數(shù)；以及 視域控制部，根據(jù)所述控制參數(shù)控制所述視域。
2.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述提示部將所述觀測圖像提供給所述顯示部， 所述顯示部顯示所述觀測圖像。
3.根據(jù)權(quán)利要求2所述的視頻處理裝置，其特征在于， 所述提示部使用一個或多個所述觀眾的位置信息、和表示所述視域的視域信息，生成表示所述顯示部、所述視域和一個或多個所述觀眾的位置關(guān)系的俯瞰圖像，并將所述俯瞰圖像提供給所述顯示部， 所述顯示部顯示所述觀測圖像和所述俯瞰圖像。
4.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述視頻處理裝置包括接收所述觀眾選擇信號的操作信號接收部， 從遙控器發(fā)送所述觀眾選擇信號。
5.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述計算部在多個觀眾被選擇的情況下，以在與所選擇的全部的所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)。
6.根據(jù)權(quán)利要求5所述的視頻處理裝置，其特征在于， 所述觀眾選擇部基于規(guī)定的優(yōu)先度評定規(guī)則，對所選擇的所述觀眾評定優(yōu)先度，所述計算部在不能以在與所選擇的全部所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)的情況下，以在與評定為最高優(yōu)先度的所選擇的所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)。
7.根據(jù)權(quán)利要求5所述的視頻處理裝置，其特征在于， 所述觀眾選擇部根據(jù)所述觀眾選擇信號評定優(yōu)先度，選擇一個以上的觀眾， 所述計算部在不能以在與所選擇的全部所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)的情況下，以在與評定為最高優(yōu)先度的所選擇的所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)。
8.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述觀眾選擇部基于規(guī)定的優(yōu)先度評定規(guī)則，對所選擇的所述觀眾評定優(yōu)先度，所述計算部以在與評定為最高優(yōu)先度的所選擇的所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)。
9.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述觀眾選擇部根據(jù)所述觀眾選擇信號評定優(yōu)先度，選擇一個以上的觀眾， 所述計算部以在與評定為最高優(yōu)先度的所選擇的所述觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算所述控制參數(shù)。
10.根據(jù)權(quán)利要求6所述的視頻處理裝置，其特征在于， 所述觀眾選擇部從視聽距離離最佳視聽距離近的觀眾開始依次評定高的優(yōu)先度，所述視聽距離是所述顯示部和所述觀眾之間的距離，所述最佳視聽距離是立體觀看多個所述視差圖像上最佳的視聽距離。
11.根據(jù)權(quán)利要求6所述的視頻處理裝置，其特征在于， 所述觀眾選擇部從視聽時間長的觀眾開始依次評定高的優(yōu)先度。
12.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述觀眾檢測部定期檢測一個或多個所述觀眾的位置， 所述計算部在每次檢測一個或多個所述觀眾的位置時，都計算所述控制參數(shù)。
13.—種視頻處理裝置，其特征在于，包括 顯示部，顯示多個視差圖像； 開口控制部，向規(guī)定的方向輸出所述顯示部上顯示的多個所述視差圖像； 觀測部，獲得通過對一個或多個觀眾進行觀測而得的觀測圖像； 觀眾檢測部，使用所述觀測圖像檢測一個或多個所述觀眾的位置； 提示部，使用一個或多個所述觀眾的位置信息和表示能立體觀看所述顯示部上顯示的多個所述視差圖像的視域的視域信息，生成表示所述顯示部、所述視域和一個或多個所述觀眾的位置關(guān)系的俯瞰圖像，并向一個或多個所述觀眾提示所述俯瞰圖像； 觀眾選擇部，根據(jù)輸入的觀眾選擇信號，從所述俯瞰圖像上的一個或多個所述觀眾中選擇一個以上的觀眾； 計算部，以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算控制參數(shù)；以及 視域控制部，根據(jù)所述控制參數(shù)控制所述視域。
14.一種視頻處理方法，其特征在于，包括 獲得通過對一個或多個觀眾進行觀測而得的觀測圖像； 使用所述觀測圖像檢測一個或多個所述觀眾的位置； 向一個或多個所述觀眾提示所述觀測圖像； 根據(jù)輸入的觀眾選擇信號，從所述觀測圖像上的一或多個所述觀眾中選擇一個以上的觀眾； 以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定能立體觀看顯示部上顯示的多個視差圖像的視域的方式計算控制參數(shù)；以及根據(jù)所述控制參數(shù)控制所述視域。
15.一種視頻處理方法，其特征在于，包括 獲得通過對一個或多個觀眾進行觀測而得的觀測圖像； 使用所述觀測圖像檢測一個或多個所述觀眾的位置； 使用一個或多個所述觀眾的位置信息和表示能立體觀看顯示部上顯示的多個視差圖像的視域的視域信息，生成表示所述顯示部、所述視域和一個或多個所述觀眾的位置關(guān)系的俯瞰圖像，并向一個或多個所述觀眾提示所述俯瞰圖像； 根據(jù)輸入的觀眾選擇信號，從所述俯瞰圖像上的一個或多個所述觀眾中選擇一個以上的觀眾； 以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定所述視域的方式計算控制參數(shù)；以及 根據(jù)所述控制參數(shù)控制所述視域?！?br> 全文摘要
本發(fā)明提供了一種觀眾能夠容易地觀察良好的立體視頻的視頻處理裝置及視頻處理方法。該視頻處理裝置包括顯示部、開口控制部、觀測部、觀眾檢測部、提示部、觀眾選擇部、計算部和視域控制部。顯示部顯示多個視差圖像。開口控制部向規(guī)定的方向輸出顯示部上顯示的多個視差圖像。觀測部，獲得通過對一個或多個觀眾進行觀測而得的觀測圖像。觀眾檢測部使用觀測圖像檢測一個或多個觀眾的位置。提示部向觀眾提示觀測圖像。觀眾選擇部根據(jù)所輸入的觀眾選擇信號，從觀測圖像上的一個或多個觀眾中選擇一個以上的觀眾。計算部以在與所選擇的觀眾的位置對應(yīng)的區(qū)域設(shè)定能立體觀看多個視差圖像的視域的方式計算控制參數(shù)。視域控制部，根據(jù)控制參數(shù)控制視域。
文檔編號G09G3/36GK102970567SQ20121010038
公開日2013年3月13日 申請日期2012年4月6日 優(yōu)先權(quán)日2011年8月31日
發(fā)明者瀧本崇博 申請人:株式會社東芝