專利名稱：立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、以及文件管理方法
技術領域：
本發(fā)明涉及一種立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、及文件管理方法，在生成用于三維顯示的圖像數(shù)據(jù)時，對圖像數(shù)據(jù)添加屬性信息。
背景技術：
以往已提出有各種用于顯示三維圖像的方法。其中，一般所用的是利用雙眼視差、被稱為“雙眼式”的方法。該方法準備帶有雙眼視差的左眼用圖像及右眼用圖像，并分別獨立地向左右眼進行投射，由此能進行立體觀看。以下說明中，上述記載的各個圖像被稱為左眼用圖像、右眼用圖像。另外，分別使用3D來表示三維或立體，而使用2D來表示二維，用于立體觀看的圖像數(shù)據(jù)被稱作為3D圖像數(shù)據(jù)，而通常的二維圖像數(shù)據(jù)被稱作為2D圖像數(shù)據(jù)。
此外，在非專利文獻I中記載有一種用于生成利用雙眼視差的3D圖像的安全指南。利用雙眼視差的3D圖像中，立體的突出感、縮入感能通過調(diào)整視差來控制，然而即使對于同一視差，瞳孔間間距較窄的人或兒童所感受到的立體感也會較強。另外，在顯示器的后方進行顯示的情況下，由于雙眼無法向左右撐開，因此需要盡可能地避免在顯示器上產(chǎn)生超過雙眼瞳孔間間距的視差。因此，在安全指南中，根據(jù)瞳孔間距的研究結(jié)果，6歲兒童的瞳孔間間距為5cm左右，為安全起見，將該值作為兒童的代表值。
這里，作為雙眼式的代表方法，提出有幀序列方式(Frame Sequential)、視差屏障方式(Parallax Barrier)等，下面基于其概念圖進行詳述。
圖19是用于說明幀序列方式的概念圖。一般地，幀序列方式由顯示器及主動式快門眼鏡構(gòu)成，該顯示器高速地對圖像幀進行切換并顯示，而該主動式快門眼鏡可以與顯示器的顯示同步地對眼鏡的鏡片快門進行控制，以使左右鏡片交替開閉。圖19中，顯示器上，時間上高速交替地顯示左眼用圖像400及右眼用圖像401。與該定時相配合，在顯示左眼用圖像400時，主動式快門眼鏡402進行控制分別使左眼用的鏡片快門403將光透過，而使右眼用的鏡片快門404將光阻擋。相反，在顯示右眼用圖像401時，進行控制分別使右眼用的鏡片快門404將光透過，而使左眼用的鏡片快門403將光阻擋。由此，通過以時分方式將與各眼的視差相配合的影像顯示到左右眼中，從而使觀眾能夠觀看到立體影像。
另外，圖20是用于說明視差屏障方式的概念圖。圖20 (a)是表示產(chǎn)生視差的原理的圖。另一方面，圖20 (b)是表示以視差屏障方式進行顯示的畫面的示例的圖。在圖20 (a)所示的結(jié)構(gòu)中，圖20 (b)所示的左眼用圖像與右眼用圖像以I個像素為間隔交替地排列于水平方向上，采用該結(jié)構(gòu)進行配置的圖像被顯示到圖像顯示面板410上，通過將帶有狹窄間隔的縫隙的視差屏障411設置到圖像顯示面板410前方的視點一側(cè)，該縫隙的間隔比同一視點上的像素的間隔要窄，從而能夠使左眼用圖像僅被左眼412觀察到，而使右眼用圖像僅被右眼413觀察到，由此實現(xiàn)立體觀看。
另外，如圖21所示，專利文獻I中公開有如下方法:在該方法中，發(fā)送裝置側(cè)記錄有2張原圖像以及作為視差范圍的拍 攝機構(gòu)的最大視差和最小視差，該2張原圖像由拍攝裝置501及拍攝裝置502拍攝到、且構(gòu)成立體像對，該拍攝機構(gòu)的最大視差是拍攝時處于距離拍攝裝置最近的位置505處的物體503的視差，而該拍攝機構(gòu)的最小視差是拍攝時處于距離拍攝裝置最遠的位置506處的物體504所具有的視差，發(fā)送裝置將上述原圖像與視差范圍一并發(fā)送至接收裝置，在接收裝置一側(cè)，對這些視差再次進行縮放，并在立體顯示器上顯示，由此，將對所發(fā)送的三維圖像進行立體顯示的位置、重新映射到觀眾能舒服地觀看立體影像的視覺空間中。另外，還揭示了:與原圖像一并從發(fā)送裝置側(cè)發(fā)送來的視差范圍也可以使用在發(fā)送裝置側(cè)根據(jù)上述原圖像并利用對應點檢索求得的最大視差值及最小視差值?，F(xiàn)有技術文獻專利文獻
專利文獻1:日本公開專利特表2009 - 516447號公報 非專利文獻
非專利文獻1:“3DC安全指南”、[網(wǎng)絡]、平成22年4月20日、3D聯(lián)盟安全指南會議、[平成22年9月15日檢索]、網(wǎng)址
(URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidej_20100420.pdf)

發(fā)明內(nèi)容
發(fā)明所要解決的技術問題
然而，在上述專利文獻I的方法中，以視差范圍內(nèi)的最大視差值與最小視差值為一組，并將其與原圖像數(shù)據(jù)一并從發(fā)送裝置側(cè)發(fā)送到接收裝置側(cè)，在接收裝置側(cè)，根據(jù)所接收到的視差范圍內(nèi)的一組最大視差值與最小視差值，重新進行映射，由此來生成顯示圖像。在上述方法中，由于所發(fā)送的最大視差與最小視差的值分別只有一種，因此在接收裝置僅接收到通過對應點檢索而得到的最大視差與最小視差的情況下，若這些值中含有誤差，則在基于該視差范圍來調(diào)整視差時，會產(chǎn)生以不適當?shù)囊暡顏磉M行顯示的可能性，存在問題。
另外，相反地，在僅接收拍攝機構(gòu)信息，并基于根據(jù)接收到的拍攝機構(gòu)信息計算出的最大視差及最小視差來進行視差調(diào)整時，由于在機構(gòu)方面收斂于該范圍以上的視差范圍內(nèi)，因此是安全的，然而存在如下問題:可調(diào)整的視差范圍變窄，使得對于進行立體顯示的立體影像的呈現(xiàn)位置進行的改變沒有自由度。
并且，還存在如下問題:視差可能會因為所拍攝到的立體影像的實際視差值而朝向與希望調(diào)整的方向相反的方向變化，從而會進行與所希望的視差調(diào)整相反的調(diào)整。
本發(fā)明為了解決上述問題而得以完成，其目的在于，提供一種立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、及文件管理方法，使用于進行三維顯示的圖像數(shù)據(jù)具有通用性，并能夠在重放裝置一側(cè)呈現(xiàn)帶有安全且舒適的視差的立體影像。
解決技術問題所采用的技術方案
本發(fā)明所涉及的立體圖像數(shù)據(jù)生成裝置根據(jù)分別與多個視點相對應的多個圖像數(shù)據(jù)，來生成規(guī)定文件格式的圖像數(shù)據(jù)，其特征在于，將第I最大視差、第I最小視差、第2最大視差、及第2最小視差作為輸入，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值，上述立體圖像數(shù)據(jù)生成裝置包括:3D信息生成單元，該3D信息生成單元使用所輸入的上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差中的至少一個以上的最大視差或最小視差來生成并輸出3D信息；以及多路復用單元，該多路復用單元對上述3D信息及上述圖像數(shù)據(jù)進行多路復用，并生成規(guī)定文件格式的立體圖像數(shù)據(jù)。
另外，本發(fā)明所涉及的立體圖像數(shù)據(jù)生成裝置根據(jù)分別與多個視點相對應的多個圖像數(shù)據(jù)，來生成規(guī)定文件格式的圖像數(shù)據(jù)，其特征在于，將第I最大視差、第I最小視差、第2最大視差、及第2最小視差作為輸入，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值，上述立體圖像數(shù)據(jù)生成裝置包括:3D信息生成單元，該3D信息生成單元使用所輸入的上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差中的至少一個以上的最大視差或最小視差來生成并輸出3D信息；圖像壓縮編碼單元，該圖像壓縮編碼單元對所輸入的上述多個圖像數(shù)據(jù)進行壓縮編碼，并將壓縮圖像數(shù)據(jù)輸出；以及多路復用單元，該多路復用單元對上述3D信息及上述壓縮圖像數(shù)據(jù)進行多路復用，并生成規(guī)定文件格式的立體圖像數(shù)據(jù)。
并且，其特征在于，上述規(guī)定文件格式的立體圖像數(shù)據(jù)中包含3個以上的η個視點的上述圖像數(shù)據(jù)，以作為上述多個視點。
并且，其特征在于，在根據(jù)上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差來生成3D /[目息時,上述3D彳目息生成單兀生成視差單位彳目息，該視差單位信息表示對于上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差的單位，并且上述規(guī)定文件格式的立體圖像數(shù)據(jù)包含上述視差單位信息。
另外，其特征在于，上述視差單位信息中，上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差的單位為如下的某一個:像素單位、子像素單位、長度、距離單位、或相對于整個圖像的橫寬的百分比。
并且，其特征在于，在根據(jù)上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差來生成3D信息時，上述3D信息生成單元生成視差對象圖像信息，該視差對象圖像 目息表不上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差是通過上述多個圖像數(shù)據(jù)中的哪2個視點圖像數(shù)據(jù)的組合而求得的，并且上述規(guī)定文件格式的立體圖像數(shù)據(jù)包含上述視差對象圖像信息。
另外，本發(fā)明所涉及的立體圖像數(shù)據(jù)生成裝置中，根據(jù)規(guī)定文件格式的圖像數(shù)據(jù)，來重放分別與多個視點相對應的多個圖像數(shù)據(jù)的立體圖像數(shù)據(jù)重放裝置包括:逆多路復用單元，該逆多路復用單元根據(jù)上述文件格式將3D信息與圖像數(shù)據(jù)進行分離，該3D信息表示第I最大視差、第2最大視差、第I最小視差、及第2最小視差中的至少一個以上的最大視差或最小視差，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值；3D信息分析單元，該3D信息分析單元分析上述3D信息；以及立體強度轉(zhuǎn)換單元，該立體強度轉(zhuǎn)換單元對上述圖像數(shù)據(jù)進行視差調(diào)整，上述3D信息分析單元分析上述3D信息，上述立體強度轉(zhuǎn)換單元使用上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差中的至少一個以上的最大視差或最小視差，來調(diào)整并重放上述圖像數(shù)據(jù)的視差。
另外，本發(fā)明所涉及的立體圖像數(shù)據(jù)重放裝置根據(jù)規(guī)定文件格式的圖像數(shù)據(jù)，來重放分別與多個視點相對應的多個圖像數(shù)據(jù)，包括:逆多路復用單元，該逆多路復用單元根據(jù)上述文件格式將3D信息與壓縮圖像數(shù)據(jù)進行分離，該3D信息表示第I最大視差、第2最大視差、第I最小視差、及第2最小視差中的至少一個以上的最大視差或最小視差，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值；3D信息分析單元，該3D信息分析單元分析上述3D信息；圖像解碼單元，該圖像解碼單元對上述壓縮圖像數(shù)據(jù)進行解碼；以及立體強度轉(zhuǎn)換單元，該立體強度轉(zhuǎn)換單元對將上述壓縮圖像數(shù)據(jù)解碼后的圖像數(shù)據(jù)進行視差調(diào)整，上述3D信息分析單元分析上述3D信息，上述立體強度轉(zhuǎn)換單元使用上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差中的至少一個以上的最大視差或最小視差，來調(diào)整并重放上述圖像數(shù)據(jù)的視差。
并且，其特征在于，在對表示上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差的信息進行分析時，上述3D信息分析單元對視差單位信息進行分析，該視差單位信息表示對于上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差的單位，并使用經(jīng)分析后的上述視差單位信息來對表示上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差的信息進行分析。
另外，其特征在于，上述3D信息中包含視差對象圖像信息，該視差對象圖像信息表示上述第I最大視差、上述第2最大視差、上述第I最小視差、及上述第2最小視差是通過上述多個圖像數(shù)據(jù)中的哪2個視點圖像數(shù)據(jù)的組合而求得的，上述3D信息分析單元對上述視差對象圖像信息進行分析，上述立體強度轉(zhuǎn)換單元對上述視差對象圖像信息所示出的上述圖像數(shù)據(jù)進行視差調(diào)整。
另外，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最大視差與上述第2最大視差的大小進行比較，在上述第2最大視差大于上述第I最大視差的情況下，判斷為上述第2最大視差值不適當，并基于上述第I最大視差來進行視差調(diào)整。
優(yōu)選為，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最小視差與上述第2最小視差的大小進行比較，在上述第2最小視差小于上述第I最小視差的情況下，進行視差調(diào)整，使得上述第I最小視差變?yōu)樯鲜龅?最小視差的值。
優(yōu)選為，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最小視差與上述第2最小視差的大小進行比較，在上述第2最小視差小于上述第I最小視差的情況下，將上述圖像數(shù)據(jù)進行縮小顯示，使得上述第I最小視差變?yōu)樯鲜龅?最小視差的值。
優(yōu)選為，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最小視差與上述第2最小視差的大小進行比較，在上述第2最小視差小于上述第I最小視差的情況下，判斷為上述第2最小視差的值不適當，并放棄立體顯示而進行2D顯示，或者，對I個視點的圖像數(shù)據(jù)進行2D-3D轉(zhuǎn)換，由此進行3D顯示。
優(yōu)選為，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最小視差與上述第2最小視差的大小進行比較，在上述第2最小視差小于上述第I最小視差的情況下，判斷為上述第2最小視差的值不適當，并對上述圖像數(shù)據(jù)中的某I個視點的圖像數(shù)據(jù)進行2D-3D轉(zhuǎn)換，由此進行3D顯示。
優(yōu)選為，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最大視差與上述第2最大視差的大小進行比較，在上述第2最大視差小于上述第I最大視差的情況下，基于上述第2最大視差的值來調(diào)整視差。
優(yōu)選為，其特征在于，在對上述圖像數(shù)據(jù)進行視差調(diào)整時，上述立體強度轉(zhuǎn)換單元將上述第I最小視差與上述第2最小視差的大小進行比較，在上述第2最小視差大于上述第I最小視差的情況下，基于上述第2最小視差的值來調(diào)整視差。
優(yōu)選為，其特征在于，上述3D信息分析單元對上述視差對象圖像信息進行分析，上述立體強度轉(zhuǎn)換單元對上述視差對象圖像信息所示出的上述圖像數(shù)據(jù)進行視差調(diào)整。
本發(fā)明所涉及的立體圖像文件管理方法對用于進行立體顯示的屬性信息即3D信息與圖像數(shù)據(jù)一并進行管理，其特征在于，上述3D信息由如下信息構(gòu)成:視差對象圖像信息，該視差對象圖像信息表示視點圖像的組合；視差單位信息，該視差單位信息表示第I及第2最大視差、和第I及第2最小視差的單位；第I最大視差；第2最大視差；第I最小視差；第2最小視差；以及假定顯示器尺寸，該假定顯示器尺寸表示對上述圖像數(shù)據(jù)進行立體顯示的顯示器的尺寸。
并且，其特征在于，上述3D信息包含可否記錄視差標記，該可否記錄視差標記表示是否將第I及第2最大視差和第I及第2最小視差的各個視差信息記錄于上述3D信息。
另外，其特征在于，所管理的I個文件由文件頭、上述3D信息、記錄與三維圖像無直接關系的信息時使用的管理信息、以及上述圖像數(shù)據(jù)構(gòu)成，上述文件頭、上述3D信息、上述管理信息、上述圖像數(shù)據(jù)從上述文件的開頭以上述文件頭、上述3D信息、上述管理信息、上述圖像數(shù)據(jù)的順序進行配置。
另外，其特征在于，所管理的I個文件由上述3D信息、記錄與三維圖像無直接關系的信息時使用的管理信息、文件頭、以及上述圖像數(shù)據(jù)構(gòu)成，上述3D信息、上述管理信息、上述文件頭、上述圖像數(shù)據(jù)從上述文件的開頭以上述3D信息、上述管理信息、上述文件頭、上述圖像數(shù)據(jù)的順序進行配置。
另外，其特征在于，上述圖像數(shù)據(jù)由左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)這兩種圖像數(shù)據(jù)構(gòu)成。
優(yōu)選為，其特征在于，所管理的第I文件的上述圖像數(shù)據(jù)是左眼用圖像數(shù)據(jù)，所管理的第2文件的上述圖像數(shù)據(jù)是右眼用圖像數(shù)據(jù)，上述第I文件和上述第2文件是形成3D圖像的左眼用及右眼用的圖像數(shù)據(jù)組，并且被管理在同一專用文件夾中。
優(yōu)選為，其特征在于，所管理的第I文件的上述圖像數(shù)據(jù)是左眼用圖像數(shù)據(jù)，所管理的第2文件的上述圖像數(shù)據(jù)是右眼用圖像數(shù)據(jù)，上述第I文件和上述第2文件是形成3D圖像的左眼用及右眼用的圖像數(shù)據(jù)組，為了區(qū)別于其他圖像數(shù)據(jù)組，對文件名設置標識來進行管理。
優(yōu)選為，其特征在于，所管理的第I文件的上述圖像數(shù)據(jù)是左眼用圖像數(shù)據(jù)，所管理的第2文件的上述圖像數(shù)據(jù)是右眼用圖像數(shù)據(jù)，所管理的第3文件是保存3D管理信息的3D管理信息文件，該3D管理信息表示上述第I文件和上述第2文件是形成3D圖像的左眼及右眼用的圖像數(shù)據(jù)組。
優(yōu)選為，其特征在于，上述3D管理信息文件是元文件，在上述元文件中記載并管理上述第I文件名及上述第2文件名，該上述第I文件名及上述第2文件名表示形成3D圖像的左眼及右眼用的圖像數(shù)據(jù)組。
優(yōu)選為，其特征在于，所管理的I個文件由第I文件頭、第13D信息、第I管理信息、第I圖像數(shù)據(jù)、第2文件頭、第23D信息、第2管理信息、第2圖像數(shù)據(jù)構(gòu)成，上述第I文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第2文件頭、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)從上述文件的開頭以上述第I文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第2文件頭、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)的順序進行配置，上述第I圖像數(shù)據(jù)和上述第2圖像數(shù)據(jù)是形成3D圖像的左眼及右眼用的圖像數(shù)據(jù)組。
優(yōu)選為，其特征在于，所管理的I個文件由文件頭、第13D信息、第I管理信息、第I圖像數(shù)據(jù)、第23D信息、第2管理信息、第2圖像數(shù)據(jù)構(gòu)成，上述文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)從上述文件的開頭以上述文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)的順序進行配置，上述第I圖像數(shù)據(jù)和上述第2圖像數(shù)據(jù)是形成3D圖像的左眼及右眼用的圖像數(shù)據(jù)組。
優(yōu)選為，其特征在于，所管理的I個文件由第33D信息、第3管理信息、第I文件頭、第13D信息、第I管理信息、第I圖像數(shù)據(jù)、第2文件頭、第23D信息、第2管理信息、第2圖像數(shù)據(jù)構(gòu)成，上述第33D信息、上述第3管理信息、上述第I文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第2文件頭、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)從上述文件的開頭以上述第33D信息、上述第3管理信息、上述第I文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第2文件頭、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)的順序進行配置，上述第I圖像數(shù)據(jù)和上述第2圖像數(shù)據(jù)是形成3D圖像的左眼及右眼用的圖像數(shù)據(jù)組，上述第33D信息包含上述第I及第2圖像數(shù)據(jù)的公用部分的3D信息，上述第13D信息包含上述第I圖像數(shù)據(jù)的個別的3D信息，而上述第23D信息包含上述第2圖像數(shù)據(jù)的個別的3D信息。
優(yōu)選為，其特征在于，所管理的I個文件由第33D信息、第3管理信息、文件頭、第13D信息、第I管理信息、第I圖像數(shù)據(jù)、第23D信息、第2管理信息、第2圖像數(shù)據(jù)構(gòu)成，上述第33D信息、上述第3管理信息、上述文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)從上述文件的開頭以上述第33D信息、上述第3管理信息、上述文件頭、上述第13D信息、上述第I管理信息、上述第I圖像數(shù)據(jù)、上述第23D信息、上述第2管理信息、上述第2圖像數(shù)據(jù)的順序進行配置，上述第I圖像數(shù)據(jù)和上述第2圖像數(shù)據(jù)是形成3D圖像的左眼及右眼用的圖像數(shù)據(jù)組，上述第33D信息包含上述第I及第2圖像數(shù)據(jù)的公用部分的3D信息，上述第13D信息包含上述第I圖像數(shù)據(jù)的個別的3D信息，而上述第23D信息包含上述第2圖像數(shù)據(jù)的個別的3D信息。
優(yōu)選為，其特征在于，所管理的I個文件包含多個視點圖像信息，該視點圖像信息由按照不同視點圖像數(shù)據(jù)的每個數(shù)據(jù)所生成的文件頭、3D信息、管理信息、及視點圖像數(shù)據(jù)構(gòu)成，多個不同的上述視點圖像數(shù)據(jù)配置為從上述文件的開頭以上述文件頭、上述3D信息、上述管理信息、上述視點圖像數(shù)據(jù)的順序重復多個。
優(yōu)選為，其特征在于，所管理的I個文件保存有按照多個視點圖像數(shù)據(jù)的每個數(shù)據(jù)所生成的多個上述視點圖像信息的3D信息的公用信息、整個文件的管理信息、以及按照多個視點圖像數(shù)據(jù)的每個數(shù)據(jù)所生成的多個上述視點圖像信息，上述3D信息的公用信息、整個上述文件的管理信息、上述多個視點圖像信息從上述文件的開頭以上述3D信息的公用信息、整個上述文件的管理信息、上述多個視點圖像信息的順序進行配置，按照多個視點圖像數(shù)據(jù)的每個數(shù)據(jù)所生成的上述視點圖像信息的3D信息中包含按照各視點圖像數(shù)據(jù)的每個數(shù)據(jù)所生成的個別的3D信息。
發(fā)明效果
根據(jù)本發(fā)明的立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、及文件管理方法，能夠以更高的自由度、安全且適當?shù)剡M行與所顯示的顯示器尺寸相配合的視差調(diào)整。


圖1是表示本發(fā)明的實施方式I的立體圖像數(shù)據(jù)生成裝置的簡要結(jié)構(gòu)的框圖。
圖2是說明立體圖像的視差的圖。
圖3是說明利用平行法的立體拍攝的圖。
圖4是利用平行法的立體拍攝圖像的一個示例。
圖5是說明利用交叉法的立體拍攝的圖。
圖6是關于本發(fā)明的實施方式I的立體圖像數(shù)據(jù)生成裝置的動作的流程圖。
圖7是表示本發(fā)明的實施方式I的立體圖像數(shù)據(jù)生成裝置的視差計算單元的簡要結(jié)構(gòu)的框圖。
圖8是進行視差移位前的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)的一個示例。
圖9是進行視差移位后的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)的一個示例。
圖10是表不3D信息的一個不例的圖。
圖11是表示記錄多路復用數(shù)據(jù)的文件格式的一個示例的圖。
圖12是表示在記錄多路復用數(shù)據(jù)時，使用既有文件格式時的一個示例的圖。
圖13是表示在記錄多路復用數(shù)據(jù)時，使用新的文件格式時的一個示例的圖。
圖14是表示本發(fā)明的實施方式I的立體圖像數(shù)據(jù)重放裝置的簡要結(jié)構(gòu)的框圖。
圖15是表示本發(fā)明的實施方式2的立體圖像數(shù)據(jù)生成裝置的簡要結(jié)構(gòu)的框圖。
圖16是表示本發(fā)明的實施方式2的立體圖像數(shù)據(jù)生成裝置的視差計算單元的簡要結(jié)構(gòu)的框圖。
圖17是表示記錄多路復用數(shù)據(jù)的文件格式的一個示例的圖。
圖18是表示本發(fā)明的實施方式2的立體圖像數(shù)據(jù)重放裝置的簡要結(jié)構(gòu)的框圖。
圖19是用于說明現(xiàn)有的幀序列方式的概念圖。
圖20是用于說明現(xiàn)有的視差屏障方式的概念圖。
圖21是示例現(xiàn)有的拍攝處于近處的被攝體和處于遠處的被攝體的拍攝機構(gòu)的圖。
具體實施例方式 下面，參照附圖對本發(fā)明所涉及的立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、及文件管理方法的優(yōu)選實施方式進行詳細說明。另外，在如下說明中，不同附圖中賦予相同標記的結(jié)構(gòu)為相同結(jié)構(gòu)，省略其說明。
實施例1
參照附圖對實施方式I所涉及的立體圖像數(shù)據(jù)生成裝置進行說明。
圖1是表示本發(fā)明的實施方式I的立體圖像數(shù)據(jù)生成裝置的簡要結(jié)構(gòu)的框圖。圖1中，立體圖像數(shù)據(jù)生成裝置I具有視差計算單元2、3D信息生成單元3、圖像壓縮編碼單元4、及多路復用單元5而構(gòu)成。視差計算單元2將攝像機機構(gòu)信息、左眼用圖像數(shù)據(jù)、及右眼用圖像數(shù)據(jù)作為輸入，并輸出第I視差信息、第2視差信息、視差計算視點信息、及左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)，該第I視差信息根據(jù)上述攝像機機構(gòu)信息并在幾何學上計算而求得，該第2視差信息通過使用左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)的對應點檢索來求得，該視差計算視點信息表示是根據(jù)哪個視點的圖像來計算視差的。3D信息生成單元3將視差計算視點信息、第I視差信息、及第2視差信息作為輸入，根據(jù)所輸入的視差計算視點信息、第I視差信息、及第2視差信息來生成并輸出3D信息。圖像壓縮編碼單元4將左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)作為輸入，對所輸入的圖像數(shù)據(jù)進行壓縮編碼，生成并輸出壓縮圖像數(shù)據(jù)。多路復用單元5將3D信息和壓縮圖像數(shù)據(jù)作為輸入，對所輸入的3D信息及壓縮圖像數(shù)據(jù)進行多路復用，生成并輸出多路復用數(shù)據(jù)。這里，第I視差信息及第2視差信息分別由最大視差及最小視差構(gòu)成。接下來，對最大視差及最小視差進行說明。
圖2是說明立體圖像的視差的圖。圖2(a)表示左眼用圖像數(shù)據(jù)6，在進行立體顯示時，將最遠處能看到的部分設為最遠點7，將最近處能看到的部分設為最近點8。另外，圖2(b)表示右眼用圖像數(shù)據(jù)9，其中，在進行立體顯示時，將最遠處能看到的部分設為最遠點10，將最近處能看到的點設為最近點11。此時，將從左眼用圖像數(shù)據(jù)6的左端到最遠點7為止的距離設為dfL、到最近點8為止的距離設為dnL，將從右眼用圖像數(shù)據(jù)9的左端到最遠點10為止的距離設為dfR、到最近點11為止的距離設為dnR，在使用左眼用圖像數(shù)據(jù)6和右眼用圖像數(shù)據(jù)9來進行立體顯示時，若將距離觀眾最遠處能看到的部分上的視差定義為最大視差，則其值為dfR-dfL。相同地，在使用左眼用圖像數(shù)據(jù)6和右眼用圖像數(shù)據(jù)9來進行立體顯示時，若將距離觀眾最近處能看到的部分上的視差定義為最小視差，則其值為dnR-dnL。
接下來，對上述第I視差信息進行說明。根據(jù)拍攝所使用的攝像機的方向或配置、鏡頭的視角信息等攝像機機構(gòu)信息并通過幾何學計算來求出第I視差信息，其值取決于攝像機的拍攝方法是平行法還是交叉法，在交叉法的情況下還取決于攝像機的視角。這里，上述第I視差 目息由第I最大視差及第I最小視差構(gòu)成，該第I最大視差是物理上視差最大且背景處于無限遠處情況下的對于背景的視差，另外，同樣地，第I最小視差基于攝像機機構(gòu)信息，是將被攝體設置到如下位置的情況下的視差，該位置是可在物理上靠近攝像機的位置，且其視差值能進行舒適的立體觀看，其距離是攝像機固有的推薦拍攝距離。
首先，對平行法拍攝時的第I視差信息的計算方法進行說明。
圖3是說明利用平行法的立體拍攝的圖。圖3中，利用攝像機12及攝像機13拍攝作為近景的被攝體14及作為遠景的背景15，該攝像機12及攝像機13設置成其光軸在垂直方向及水平方向上平行。這里，攝像機12及攝像機13是規(guī)格相同的攝像機。將攝像機12的光軸16與攝像機13的光軸17之間的距離即攝像機的基線長設為Τ，將攝像機12與攝像機13的視角設為Θ。另外，將攝像機12的拍攝范圍設為拍攝范圍18，將攝像機13的拍攝范圍設為拍攝范圍19。攝像機12與攝像機13分別拍攝拍攝圖像20與拍攝圖像21。這里，拍攝圖像20與拍攝圖像21的背景15的視差Df的大小與基線長T的大小相等。然而，將背景15的位置設為足夠遠的位置、即可以近似為距離攝像機12與13無限遠的情況下，攝像機的拍攝范圍變得非常大，因此能將視差Df的大小近似為O。由此，在進行平行法拍攝時，構(gòu)成第I視差息的 第I最大視差為O。
另外，對進行平行法拍攝時的構(gòu)成第I視差信息的第I最小視差的計算方法進行說明。在進行平行法拍攝的情況下，可被拍攝成立體影像的被攝體距離攝像機的位置由基線長T及攝像機視角Θ所限定。如圖3所示,攝像機視角Θ對拍攝范圍18及拍攝范圍19的范圍有影響，而基線長T對拍攝范圍18與拍攝范圍19相交的區(qū)域的大小有影響。對于從攝像機12與攝像機13的基線長的位置到被攝體14為止的距離的、被攝體14的視差的值由從攝像機的基線長到被攝體為止的距離、作為攝像機機構(gòu)的基線長的大小、及視角Θ唯一確定。
例如，若將從攝像機12與攝像機13的基線長到被攝體14為止的距離設為Ln，到背景15的距離設為Lf，將拍攝圖像中的被攝體14的視差設為Dn，則得到式(I)的相似關系。
(L f — Ln):Ln = Dn:T...(I)
可根據(jù)式(I)并利用式(2 )求出視差Dn
Dn = TX (Lf-Ln) / Ln*..(2)
圖4是在圖3的平行法的配置下利用攝像機12及攝像機13進行拍攝時的、拍攝圖像的一個示例。圖4 (a)是由攝像機12拍攝到的左眼用圖像數(shù)據(jù)20，而圖4 (b)是由攝像機13拍攝到的右眼用圖像數(shù)據(jù)21。這里，將從左眼用圖像數(shù)據(jù)20的左端到被攝體14為止的距離設為d 2 n L，將從右眼用圖像數(shù)據(jù)21的左端到被攝體14為止的距離設為d 2 n R，在該情況下，此時的最小視差為d2nR—d2nL，該d2nR—d2nL的絕對值與式(2)的Dn的值相同。若該視差的絕對值變大，則進行立體觀看時，將產(chǎn)生眼部疲勞，或觀看到重影使得無法進行立體觀看。
另外，圖3中，例如，在將被攝體14移動到被攝體22的位置時，過于靠近攝像機，使得被攝體22超出拍攝范圍18及拍攝范圍19，從而無法顯示呈現(xiàn)給左右眼的圖像中所對應的點，其結(jié)果是無法進行立體觀看。為了避免該情況，一般在攝像機的使用說明書等中記載有攝像機固有的推薦拍攝距離，在將被攝體設置到該使用說明書等中記載的攝像機固有的推薦拍攝距離時的視差的值設為是最小視差。
另外，可進行立體觀察的視差的大小因人而異，因此用戶可預先將與自身相符的推薦拍攝距離輸入到攝像機中。攝像機一側(cè)可預先將該值存儲到攝像機的存儲區(qū)域中，使得能夠始終作為第I最小視差進行輸出以作為用戶特有的第I最小視差。
接下來，對進行交叉法拍攝時的第I視差信息的計算方法進行說明。
圖5是說明利用交叉法的立體拍攝的圖。圖5的攝像機的結(jié)構(gòu)是相對于圖3所說明的結(jié)構(gòu)、僅使攝像機13水平地傾斜的結(jié)構(gòu)。與圖3相同，攝像機12與攝像機13的光軸在垂直方向上平行，而與圖3的情況不同的 是在水平方向上設置成使得光軸16與光軸17相交。將光軸16與光軸17的交點設為會聚點23。接下來，對特征點24上的視差的計算方法進行說明。這里，特征點24處于光軸16上，將穿過該特征點24、且與光軸17垂直并相交的線段設為線段25，將該攝像機13的拍攝范圍的長度設為W。另外，將線段25與光軸17相交的點設為點26。并且，如圖5所圖示，線段25上的特征點24位于從點26離開WdO的位置。這里，WdO與線段25的長度W的比率的值等于右眼用圖像中從右眼用圖像的中心點到特征點24為止的距離Hd與顯示右眼用圖像的顯示器的水平方向的顯示尺寸H的比率的值，如式(3)所示。
Wdo/ W = H d / H...(3)
由于特征點24位于光軸16上，因此左眼用圖像中的特征點24的位置為左眼用圖像的中心位置。由此，特征點24的視差為Hd。這里，將從攝像機12到特征點24為止的距離設為L，將從攝像機12到會聚點23為止的距離設為Lo，將從攝像機13到線段25為止的距離設為A，將從會聚點23到點26為止的距離設為Al，將從會聚點23到攝像機13為止的距離設為A2。另外，若將攝像機12的中心設為點27，將攝像機13的中心設為點28，將線段25右端的點設為點29，則觀察點26、點28、點29所形成的三角形，可得到式(4)的關系。
t a η ( θ / 2) =W / (2X A)...(4)
可根據(jù)式(4)并利用式(5)求出線段25的長度W。W= 2X A X t a η ( θ / 2)...(5)
若將光軸16與光軸17相交的角度設為阿爾法(α )，則觀察會聚點23與特征點24、點26所形成的三角形，可得到式(6)的關系。
Al=(L-Lo)X cos α...(6)
Wd O=(L-Lo)X s in α...(7)
另外，觀察會聚點23與點27、點28所形成的三角形，可得到式(8)及式(9)的關系。
A 2 = T / s in α...(8)
Lo = T/ tana***(9)
這里，根據(jù)A = A I +A 2及式(5)、式(6)、式(8)、式(9)，則線段25的長度W成為式(10)那樣。
W=2X((L — T/tana)Xcos a + T / s i η a ) X t a η ( θ /2)...(10)
根據(jù)式(3)及式(10)，則視差Hd成為式(11)。
Hd=HX(L — T / t an a )X s in α / { L X cos α X 2 X t a η ( θ /2) }...(11)
這里，交叉法中，特征點24距離會聚點越遠則視差Hd越大，因此若將L設為無限大，則可求出視差Hd的最大值Hdmax。根據(jù)式(11 )，若將L近似為無限大，則與L相比，T / t aη α可忽略，因此Hdmax成為式(12)。
Hdmax=HX tan α / {2Χ tan ( θ /2)}...(12)
如上所述，交叉法中，視差的最大值能近似為式(12)的值，該值由進行顯示的顯示器尺寸、攝像機的視角、及光軸相交的角度確定，將此時的視差的最大值輸出作為第I視差信息中的最大視差。
另外，與最大視差相同地構(gòu)成第I視差信息的最小視差在平行法和交叉法中均相同，即為將被攝體設置到攝像機的使用說明書等所記載的攝像機固有的推薦拍攝距離時的視差值。
另外，與平行法的情況相同，可進行立體觀察的視差的大小因人而異，因此用戶可以預先將與自身相符的推薦拍攝距離輸入到攝像機中。攝像機一側(cè)預先將該值存儲到攝像機的存儲區(qū)域中，使得能夠始終作為第I最小視差進行輸出，以作為用戶特有的第I最小視差。
接下來，對上述第2視差信息進行說明。第2視差信息由第2最小視差及第2最大視差構(gòu)成，該第2最小視差是處于最靠近攝像機的位置即最近點上的視差，該第2最大視差是處于最遠離攝像機的位置即最遠點上的視差。該第2最小視差及最大視差分別通過使用立體匹配法并檢索對應點而求得，并將畫面中、處于最靠近攝像機的位置上的最近點的被攝體的視差作為第2最小視差，將處于最遠離攝像機的位置上的最遠點的被攝體的視差作為第2最大視差。
這里，立體匹配法是指進行如下動作的方法:使用由配置于左右側(cè)的2臺攝像機拍攝到的I組2張的圖像，并根據(jù)面積相關的計算來求出由左側(cè)的攝像機拍攝到的圖像對應于由右側(cè)的攝像機拍攝到的圖像的哪部分，并通過使用該對應關系的三角測量來推測出各點的三維位置。另外，作為立體匹配以外的方法，用戶還可以在圖像內(nèi)尋找對應點，并輸入最近點和最遠點處的被攝體的視差。
如上所述，通過計算、輸出并記錄或傳輸作為物理性視差范圍的第I視差信息及作為實際視差范圍的第2視差信息，從而在進行大畫面顯示時，即使在立體匹配等發(fā)生誤差的情況下，也能進行舒適且安全的視差范圍內(nèi)的顯示，其中，該第I視差信息是根據(jù)拍攝所用的攝像機固有的方向或配置、鏡頭的視角信息等攝像機機構(gòu)信息并通過幾何學計算而求得的，該第2視差信息是通過立體匹配或由用戶手工輸入等計算出的。
圖6是關于本發(fā)明的實施方式I的立體圖像數(shù)據(jù)生成裝置I的動作的流程圖，根據(jù)該流程圖對其動作進行說明。這里，圖1的立體圖像數(shù)據(jù)生成裝置I在其前級包括未圖示的拍攝單元。作為拍攝單元的一個示例，可列舉出至少2臺以上的多臺攝像機、或者帶有立體適配器、大口徑鏡頭、能拍攝全景的特殊鏡頭的I臺攝像機、或者將I臺攝像機在水平方向上滑動的方式等。
在圖6的步驟SI中，立體圖像數(shù)據(jù)生成裝置I的電源被接通，則進入到步驟S2。步驟S2中，攝像機機構(gòu)信息從與立體圖像數(shù)據(jù)生成裝置I的外部相連接的未圖示的攝像機被輸入到視差計算單元2，該攝像機機構(gòu)信息包含:由上述攝像機拍攝到的左眼用圖像數(shù)據(jù)、右眼用圖像數(shù)據(jù)、攝像機的基線長、視角、會聚角的信息。這里，左眼用圖像數(shù)據(jù)與右眼用圖像數(shù)據(jù)按每一幀被輸入到視差計算單元2，以作為由連續(xù)幀構(gòu)成的圖像數(shù)據(jù)。
圖7是表示本發(fā)明的實施方式I的立體圖像數(shù)據(jù)生成裝置的視差計算單元的簡要結(jié)構(gòu)的框圖。圖7中，視差計算單元2由如下部分構(gòu)成:機構(gòu)視差計算單元30，該機構(gòu)視差計算單元30根據(jù)所輸入的攝像機機構(gòu)信息來生成第I視差信息；立體匹配單元31，該立體匹配單元31根據(jù)所輸入的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)來生成第2視差信息；視差修正單元32，該視差修正單元32在對圖像整體進行視差移位時，修正相當于對第I視差信息與第2視差信息的視差進行移位的量的大小；以及圖像剪切單元33，該圖像剪切單元33在視差移位后的位置分別對左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)進行剪切。這里，立體匹配單元31中也可以設置從外部接收用戶輸入的未圖示的用戶輸入單元。用戶輸入單元例如也可以通過向用戶呈現(xiàn)左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)，從而使用戶在圖像內(nèi)尋找最近點及最遠點的對應點，并將此時的視差作為第2最小視差及第2最大視差進行輸入。
步驟S3中，根據(jù)所輸入的攝像機機構(gòu)信息并通過視差計算單元2內(nèi)部的機構(gòu)視差計算單元30，利用以圖3至圖5所說明的第I視差信息的計算方法為基準的方法來生成第I視差/[目息。
判定步驟S4中，判定用戶是否通過用戶輸入單元以手動輸入方式將第2視差信息輸入到視差計算單元2內(nèi)部的立體匹配單元31中，在輸入的情況下，進入步驟S6，若沒有輸入則進入步驟S5。
步驟S5中，利用輸入到立體匹配單元31中的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)，并通過上述立體匹配法來生成第2視差信息。
步驟S6中，從機構(gòu)視差計算單元30輸出的第I視差信息與從立體匹配單元31輸出的第2視差信息被輸入至視差修正單元32。
判定步驟S7中，參照輸入到視差修正單元32中的第I視差信息與第2視差信息，來判定是否進行視差移位，若進行視差移位，則進入步驟S8，若不進行視差移位，則進入步驟S10。
這里，對視差移位進行說明。在進行立體顯示的情況下，通常，若采用幀序列的方式，則將相同大小的左眼用圖像數(shù)據(jù)與右眼用圖像數(shù)據(jù)顯示到同一位置上，若采用視差屏障，則在縱向上以像素為單位或子像素為單位并以左右圖像交替排列的方式進行顯示。此時，通過在整個畫面上分別統(tǒng)一將左右圖像中的至少一個相對于原來的顯示位置向左或向右移位，從而使左右圖像的對應點的視差發(fā)生變化，這被稱為視差移位。是否進行視差移位可由用戶選擇。例如，可在沒有視差移位的狀態(tài)下立體顯示圖像，用戶也可以將圖像移位以使其成為所希望的視差。
另外，也可以從第I視差信息的第I最大視差信息與第I最小視差信息、和第2視差信息的第2最大視差信息與第2最小視差信息這四個視差信息中，選擇出至少一個視差信息，并在判斷為所選出的視差信息的絕對值大于規(guī)定值的情況下，進行視差移位，使得所選出的視差信息的絕對值變得小于規(guī)定值。
另外，也可以在上述四個視差信息中，對是否所有被攝體均從顯示面向前方突出，或者均向里側(cè)縮入進行判定，在所有被攝體均突出或縮入的情況下，進行視差移位使得圖像包含突出被攝體及向里側(cè)縮入被攝體這兩種被攝體。例如，在利用平行法進行拍攝時，處于無限遠處的背景顯示于顯示面上，而處于背景前方的所有被攝體顯示為從顯示面向前方突出。此時，可以統(tǒng)一將整個畫面向處于背景前方的所有被攝體的視差變小的方向移位。
步驟S8中，通過圖7的視差修正單元32，使第I視差信息與第2視差信息分別減去移位視差量，由此對于所輸入的第I視差信息與第2視差信息進行修正，并將所生成的第I視差信息與第2視差信息修正作為新的第I視差信息與第2視差信息，將第I視差信息與第2視差信息和視點信息輸出至圖1的3D信息生成單元3，并將經(jīng)修正的視差量輸出至圖像剪切單元33。
步驟S9中，利用圖7的圖像剪切單元33，并使用來自視差修正單元32的經(jīng)修正后的視差量，對左眼用圖像數(shù)據(jù)或右眼用圖像數(shù)據(jù)的位置進行移位，切去左眼用圖像數(shù)據(jù)與右眼用圖像數(shù)值的左右端上各自的對應點不存在的區(qū)域，從而對圖像進行剪切。利用圖8及圖9對此時的視差移位的情況進行詳細說明。
圖8是進行視差移位前的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)的一個示例。圖8 (a)是左眼用圖像數(shù)據(jù)的示例。左眼用圖像數(shù)據(jù)34中，在進行立體顯示時，具有向顯示面最前方突出的被攝體35、以及向顯示面最里側(cè)縮入的被攝體36。另一方面，圖8 (b)是右眼用圖像數(shù)據(jù)的示例。右眼用圖像數(shù)據(jù)37中，與被攝體35相對應的被攝體成為被攝體38、而與被攝體36相對應的被攝體成為被攝體39。這里，將被攝體35與被攝體38之間的視差設為Dnl，將被攝體36與被攝體39之間的視差設為Dfl。
接下來，對統(tǒng)一將左眼用圖像數(shù)據(jù)或右眼用圖像數(shù)據(jù)中的一個在整個畫面上移位，由此來改變視差的方式進行說明。此外，一般地，在相對于右圖像用數(shù)據(jù)，將左眼用圖像數(shù)據(jù)的顯示位置向左側(cè)移位，來進行立體顯示時，所有被攝體較進行視差移位前、整體向里側(cè)縮進顯示，而在將左眼用圖像數(shù)據(jù)的顯示位置向右側(cè)移位，來進行立體顯示時，所有被攝體較進行視差移位前、整體向前方突出顯示。
圖9是進行視差移位后的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)的一個示例。這里，例如，為了使左眼用圖像數(shù)據(jù)34的被攝體35的視差為0，將左眼用圖像數(shù)據(jù)34向左側(cè)移位D ηI，在該情況下，被攝體35與被攝體38之間的視差D η 2變?yōu)?，被攝體36與被攝體39之間的視差Df 2變?yōu)镈 f I +D η 1，被攝體35顯示于顯示面上，而被攝體36顯示于較進行視差移位前更向里側(cè)縮入的位置。
這里，通過使左眼用圖像數(shù)據(jù)向左移位D η 1，從而由左眼用圖像數(shù)據(jù)34中的粗框包圍的區(qū)域40及由右眼用圖像數(shù)據(jù)37中的粗框包圍的區(qū)域41分別產(chǎn)生沒有對應點的區(qū)域。此時，由于分別露出的區(qū)域40及區(qū)域41中的圖像沒有對應點，因此將其切去。顯示時，使水平方向上的顯示區(qū)域變窄所切除的量，來進行顯示。通過這樣進行視差移位來進行視差調(diào)整的方法較為普通，但在調(diào)整視差時，將第I視差信息或第2視差信息的值修正相當于視差移位的量。
上述中，對經(jīng)剪切后的左右圖像比進行立體顯示的顯示器的顯示尺寸小的情況進行了說明，但也可以預先使攝像機的CXD比實際顯示的圖像大，由此，即使進行視差調(diào)整，也不會小于進行立體顯示的顯示器的顯示尺寸。在該情況下，也可以不對畫面進行移位，而通過分別使左右圖像的位置進行移位并進行剪切，從而進行視差移位。
步驟SlO中，將由圖7的圖像剪切單元33剪切出的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)向圖1的3D信息生成單元3輸出，并進入步驟S11。這里，上述中，對圖像剪切單元33分別輸出左右眼用圖像的情況進行了闡述，然而也可以生成并輸出一般被稱作為并排(side-by-side)方式的、左右眼用圖像水平排列的一張圖像；或被稱作為上下(top-and-bottom)方式的、左右眼用圖像上下排列的一張圖像。
步驟Sll中，利用圖1的3D信息生成單元3，并使用從視差計算單元2輸出的第I視差信息及第2視差信息、和視點信息等來生成3D信息。該3D信息被輸出到多路復用單元5。這里，對上述3D信息進行說明。
圖10是表不3D彳目息的一個不例的圖。3D /[目息包含第I最大視差、第2最大視差、第I最小視差、以及第2最小視差。另外，作為3D信息所包含的其他信息，還可以包含:視差對象圖像 目息；該視差對象圖像彳目息表不作為第I最大視差、第2最大視差、第I最小視差、及第2最小視差的對象的視點圖像的組合；視差單位信息，該視差單位信息表示第I最大視差、第2最大視差、第I最小視差、及第2最小視差的單位；以及假定顯示器尺寸等，該假定顯示器尺寸表示進行立體顯示時，以多大尺寸的顯示器來進行立體顯示。此時，關于視差單位/[目息，可以對于第I最大視差、第2最大視差、第I最小視差、以及第2最小視差各自視差的每個視差使用不同的視差單位信息，也可以所有都統(tǒng)一為相同的單位信息，來生成3D信肩、O
另外，假定顯示器尺寸可以另行從外部由用戶輸入至3D信息生成單元3，也可以作為攝像機機構(gòu)信息的一部分，從攝像機輸入至3D信息生成單元3。這里，在記錄左右2個視點的圖像時，不需要視差對象圖像信息，而在處理3視點以上的圖像時，變?yōu)樾枰撔畔?。由于視差是根?jù)2個視點的圖像來求得的，因此需要指定是根據(jù)3視點以上的圖像中的哪2個視點圖像來計算出的視差。
另外，這里，對視差單位信息進行說明。視差單位信息是表示在記錄第I及第2最大視差、第I及第2最小視差的大小時所使用的單位的信息。可以以像素為單位來處理第I及第2最大視差、第I及第2最小視差的大小，也可以以“mm”或“cm”等絕對單位來處理，也可以以相對于畫面的水平寬度的百分比來處理。例如，可以在視差單位信息為O的情況下，以像素為單位，在視差單位信息為I的情況下，使用“mm”或“cm”等絕對單位，在視差單位信息為2的情況下，使用相對于畫面的水平寬度的百分比。
圖10中，將視差單位信息、第I及第2最大視差、第I及第2最小視差作為一個組來插入到3D信息中，然而也可以是包含多個這樣的組在內(nèi)的3D信息。
如上所述，在采用包含多個組的結(jié)構(gòu)的情況下，能夠根據(jù)使用情況，來區(qū)分使用視差單位信息組。例如，在像素間距不明的情況、或不進行縮小放大顯示等點對點(dot-by-dot)顯示的情況等情況下，使用由相對于畫面的水平寬度的百分比來表現(xiàn)的視差信息。另外，在顯示側(cè)進行視差移位時等、以像素為單位對視差進行處理的簡單情況下，使用以像素為單位的視差信息。另外，在確定了縮入方向上進行立體顯示的視差未超過人類的兩眼瞳孔間間距的寬度的情況等情況下，優(yōu)選以絕對值來處理視差。
如上所述，在采用3D信息中包含多組視差單位信息的結(jié)構(gòu)的情況下，無需在重放側(cè)變換視差單位，就能獲得所希望的單位的視差信息，因此十分方便。
步驟S12中，利用圖像壓縮編碼單元4并使用從圖1的視差計算單元2輸入的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)，對上述圖像進行壓縮及編碼，從而生成壓縮圖像數(shù)據(jù)。這里，可以從視差計算單元2分別輸入左右圖像，也可以輸入被稱作為并排方式的、左右眼用圖像水平排列的一張圖像；或被稱作為上下方式的、左右眼用圖像上下排列的一張圖像。另外，這里，作為圖像壓縮編碼方法，對于靜態(tài)圖像，采用J PEG, J PEG 2000等國際標準方法，對于動態(tài)圖像，使用MP EG — 1、M P EG —2、M P EG —4 A VC等國際標準方法。作為動態(tài)圖像的編碼，在僅使用幀內(nèi)編碼的情況下，也可以使用M o t i ο n J P E G等方法。作為圖像壓縮編碼方法，不局限于上述，也可以使用非標準的方法。
步驟S13中，通過圖1的多路復用單元5來生成多路復用數(shù)據(jù)。多路復用單元5中，使用所輸入的由3D信息生成單元3生成的3D信息及由圖像壓縮單元4生成的壓縮圖像數(shù)據(jù)，轉(zhuǎn)換成規(guī)定格式，從而生成并輸出多路復用數(shù)據(jù)。另外，雖未圖示，但在對聲音或音樂進行多路復用時，這些數(shù)據(jù)也是通過多路復用單元5來進行多路復用的。另外，這里，多路復用單元5的輸出端連接有IC存儲器或光盤、磁帶、硬盤等記錄設備、LAN或調(diào)制調(diào)解器等通信設備。這里，IC存儲器與多路復用單元5相連。
下面，對在IC存儲器中記錄多路復用數(shù)據(jù)時的記錄格式進行說明。一般在將IC存儲器用作記錄介質(zhì)時，在IC存儲器上構(gòu)建有FAT (F ileAllocationTab
Ie:文件配置表)等文件系統(tǒng)，數(shù)據(jù)被記錄成文件。這里所使用的文件格式可以使用既有的格式，也可以使用新定的獨有格式。
圖11是表示記錄多路復用數(shù)據(jù)的文件格式的圖。圖11中，數(shù)據(jù)按附圖的上方至下方的順序被記錄到文件中。圖11 (a)是使用既有的格式的情況，而圖11 (b)是使用新的格式的情況。在使用圖11 (a)的既有格式的情況下，3D信息被記錄于擴展頭的區(qū)域，該擴展頭為擴展文件頭而設置。擴展名被記錄為既有的文件頭的一部分，在該情況下，原樣使用一般所使用的擴展名。例如，在JPEG文件的情況下，一般使用擴展名.jpg。由此，即使是未帶有三維圖像顯示功能的現(xiàn)有的重放裝置也能作為既有格式的文件進行識別，并作為二維圖像進行顯示。
另一方面，在如圖11 (b)那樣使用新的格式的情況下，將3D信息記錄于文件的開頭。并且，為了獲知新格式的文件，對其附加能與既有格式的文件相區(qū)別的獨特的擴展名。此夕卜，圖11 (a)、(b)中記載的管理信息用于記錄生成日或生成者等、與三維圖像無直接關系的信息。
圖12是表示在記錄多路復用數(shù)據(jù)時，使用既有文件格式時的一個示例的圖。作為既有文件格式，對使用圖11 (a)所示的既有格式時的左右圖像的保存方法進行說明。
圖12 (a)中，示出了作為左眼用圖像數(shù)據(jù)與右眼用圖像數(shù)據(jù)在圖11 (a)的圖像數(shù)據(jù)的區(qū)域中合二為一的圖像數(shù)據(jù)進行記錄的示例。另外，圖12 (b)中，示出了左右兩個圖像數(shù)據(jù)被記錄成為不同文件的示例。
并且，圖12 (c)中，示出了將圖12 (b)的2個文件記錄成為I個文件的示例。此時，文件頭對于左右圖像分別存在。此外，也可以像圖12 (d)那樣，公用一個文件頭，即成為圖
11(a)中的既有文件格式的變形。
此外，如圖12 (b)所示那樣，左右兩個圖像數(shù)據(jù)被記錄為不同的文件時，為了表示這2個文件是形成同一 3D圖像的左右眼用圖像數(shù)據(jù)組，可以生成這些文件專用的文件夾，并將
2個文件保存于該文件夾中進行管理。另外，為了表示這2個文件是形成同一 3D圖像的左右眼用圖像數(shù)據(jù)組，也可以對各個文件名使用規(guī)定的命名規(guī)則。例如，可以將某個3D圖像I的左眼用和右眼用圖像數(shù)據(jù)的文件名分別設為“3D圖像I左.jpg”、“3D圖像I右.jpg”，并將另一個3D圖像2的左眼用和右眼用圖像數(shù)據(jù)的文件名分別設為“3D圖像2左.jpg”、“3D圖像2右.jpg”，由此通過文件名來區(qū)別用于3D圖像I與3D圖像2的文件組。并且，也可以將用于表示這2個文件是形成同一 3D圖像的左右側(cè)的圖像數(shù)據(jù)組的管理信息生成為另一個文件。例如，可以將記述這2個文件名的文件生成為3D管理信息文件。另外，可以在像PC上使用的“RAM”或“ASX”等元文件內(nèi)，對這2個文件名進行記述來生成該3D管理信息文件。另外，也可以使左右側(cè)圖像的2個文件、上述所說明的公用3D信息文件、或3D管理信息文件中的至少I個在作為這些文件的專用文件夾所生成的文件夾中進行處理。
圖13是表示在記錄多路復用數(shù)據(jù)時，使用新的文件格式時的一個示例的圖。如圖12(c)及圖12 (d)所示，在將形成3D圖像的左右眼用圖像數(shù)據(jù)組形成為I個文件時，將各個圖像數(shù)據(jù)的3D信息分成能公用的信息、以及無法公用的個別信息，僅將能公用的部分保存于公用3D信息的保存區(qū)域中，將個別信息保存于左右眼用圖像數(shù)據(jù)的3D信息的保存區(qū)域中。圖13 (a)是將圖12 (c)的3D信息的公用信息和個別信息保存到不同區(qū)域時的文件格式。另外，圖13 (b)是將圖12 (d)的3D信息的公用信息和個別信息保存到不同區(qū)域時的文件格式。
另外，作為以靜態(tài)圖像進行記錄時的文件格式，可以將3D信息插入到CIPA標準“CIPADC-006數(shù)字相機用立體靜態(tài)圖像格式”、或“CIPA DC-007多圖像格式”。
此外，雖然對左右圖像的配置順序或保存到文件中的順序固定的情況進行了說明，但也可以使這些順序可變。在可變的情況下，可以將順序信息記錄到3D信息中。
在圖6的判定步驟S14中，判定輸入到立體圖像數(shù)據(jù)生成裝置I中的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)是否為最后一幀的數(shù)據(jù)，若是最后一幀，則進入步驟S15，若不是，則返回到步驟S2。
在步驟S15中，由于沒有圖像數(shù)據(jù)被輸入到立體圖像數(shù)據(jù)生成裝置1，因此處理結(jié)束。
如上所述，立體圖像數(shù)據(jù)生成裝置I生成包含3D信息及壓縮圖像數(shù)據(jù)在內(nèi)的多路復用數(shù)據(jù)以作為立體圖像數(shù)據(jù)，該3D信息包含由第I最大視差及第I最小視差組成的第I視差信息、和由第2最大視差及第2最小視差組成的第2視差信息，由此，能夠生成包含根據(jù)攝像機的機構(gòu)性信息求出的作為界限最大視差信息的第I視差信息、以及實際產(chǎn)生的第2視差信息在內(nèi)的多路復用數(shù)據(jù)。
另外，上述中，示出了對3D信息和由圖像壓縮編碼單元4生成的壓縮圖像數(shù)據(jù)進行多路復用的示例，然而也可以省略圖像壓縮編碼單元4，不對所輸入的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)進行壓縮，而對原樣使用的未壓縮的圖像數(shù)據(jù)、和3D信息進行多路復用。另外，上述中，對將第I最大視差、第2最大視差、第I最小視差、第2最小視差全部進行記錄的情況進行了說明，然而也可以僅記錄這些視差中的、至少一個以上的最大視差或最小視差。
另外，上述中，也可以在3D信息內(nèi)記錄可否記錄視差標記，該可否記錄視差標記表示3D信息內(nèi)是否分別記錄有第I最大視差、第2最大視差、第I最小視差、及第2最小視差的值。此時，通過上述可否記錄視差標記的值，使得在3D信息內(nèi)僅記錄第I最大視差、第2最大視差、第I最小視差、及第2最小視差中、設定為其值被記錄于3D信息內(nèi)的視差。
接下來，對用于將由立體圖像數(shù)據(jù)生成裝置I生成的圖像數(shù)據(jù)作為三維圖像來進行立體顯示的重放裝置進行說明。
圖14是表示本發(fā)明的實施方式I的立體圖像數(shù)據(jù)重放裝置的簡要結(jié)構(gòu)的框圖。圖14中，立體圖像數(shù)據(jù)重放裝置100由如下部分構(gòu)成:逆多路復用單元101，該逆多路復用單元101分離多路復用數(shù)據(jù)；3D信息分析單元102，該3D信息分析單元102分析3D信息；圖像解碼單元103，該圖像解碼單元103對經(jīng)壓縮編碼后的壓縮圖像數(shù)據(jù)進行解碼；以及立體強度轉(zhuǎn)換單元104，該立體強度轉(zhuǎn)換單元104利用來自3D信息分析單元102及圖像解碼單元103的輸入數(shù)據(jù)來生成三維影像。對上述那樣構(gòu)成的立體圖像數(shù)據(jù)重放裝置100的動作進行說明。
逆多路復用單元101從記錄設備或通信設備讀取多路復用成規(guī)定格式的多路復用數(shù)據(jù)，并將其分離成壓縮圖像數(shù)據(jù)與3D信息。雖未圖示于圖14，但在對聲音或音樂進行多路復用時，這些數(shù)據(jù)也是通過逆多路復用單元101來進行分離的。這里，IC存儲器與逆多路復用單元101相連。如上所述，IC存儲器中，圖像文件以既有格式或新的格式進行記錄。能夠通過文件的擴展名來區(qū)分既有格式與新的格式，在重放的文件為圖11 (a)所示的既有格式的文件的情況下，從文件頭的擴展區(qū)域讀取3D信息。另外，在圖11 (b)所示的新的格式的情況下，從文件的開頭讀取出3D信息。
3D信息分析單元102分析3D信息，并提取出視差對象圖像信息、視差單位信息、第I最大視差、第2最大視差、第I最小視差、第2最小視差、假定顯示器尺寸的設定值，并輸出至立體強度轉(zhuǎn)換單元104。
圖像解碼單元103對所輸入的壓縮圖像數(shù)據(jù)進行解碼，并將解碼后的圖像數(shù)據(jù)輸出至立體強度轉(zhuǎn)換單元104。
立體強度轉(zhuǎn)換單元104將如下數(shù)據(jù)作為輸入:視差對象圖像信息、視差單位信息、第I最大視差、第2最大視差、第I最小視差、第2最小視差、假定顯示器尺寸、以及解碼后的圖像數(shù)據(jù)，并使用視差對象圖像信息、視差單位信息、第I最大視差、第2最大視差、第I最小視差、第2最小視差、假定顯示器尺寸，來生成對解碼后的圖像數(shù)據(jù)進行視差調(diào)整后的三維影像，并輸出給外部的顯示裝置。
對此時的立體強度轉(zhuǎn)換單元104中的視差調(diào)整進行詳細說明。
也可以使用根據(jù)攝像機的機構(gòu)性信息求出的第I視差信息、以及通過立體匹配等實際廣生的第2視差/[目息來調(diào)整視差。
例如，將第I最大視差與第2最大視差進行比較，若第2最大視差下的立體影像的呈現(xiàn)位置比第I最大視差的還處于更里側(cè)，則判斷為第2最大視差不適當，不使用第2最大視差，而使用第I最大視差。根據(jù)該第I最大視差、及假定顯示器尺寸和視差單位信息，來求出第I最大視差的大小，并對視差進行調(diào)整，使得該值不超過人眼的寬度。如非專利文獻I中所記載的那樣，此時的人眼寬度將兒童的眼寬考慮在內(nèi)，設為5cm。
另外，將第I最小視差與第2最小視差進行比較，若第2最小視差下的立體影像的顯呈現(xiàn)位置比第I最小視差的還處于更前方，則表示被攝體的位置處于比攝像機的使用說明書等中的攝像機固有的推薦拍攝距離更前方處，因此立體強度轉(zhuǎn)換單元104判定為不適于立體觀看該圖像，可以通過將整個畫面向左右側(cè)進行視差移位來進行視差調(diào)整，使得第2最小視差大于第I最小視差，也可以通過縮小顯示立體影像，來進行視差調(diào)整，也可以放棄立體顯示，而進行2D顯示，也可以使用單眼圖像進行2D - 3D轉(zhuǎn)換，來進行立體顯示。
另外，將上述第I最大視差與上述第2最大視差的大小進行比較，在上述第2最大視差小于上述第I最大視差的情況下，也可以基于上述第2最大視差的值來進行視差調(diào)整。
另外，將上述第I最小視差與上述第2最小視差的大小進行比較，在上述第2最小視差大于上述第I最小視差的情況下，也可以基于上述第2最小視差的值來進行視差調(diào)整。
另外，在進行上述視差調(diào)整時，利用假定顯示器尺寸來進行計算，但在進行顯示的顯示器尺寸與假定顯示器尺寸不同的情況下，可以通過用戶手工輸入、或設備間進行通信等，從外部將進行顯示的顯示器的尺寸輸入至立體圖像數(shù)據(jù)重放裝置100，并利用所輸入的進行顯示的顯示器的尺寸來求出視差。此外，此時的觀看距離假設為在假定顯示器尺寸或?qū)嶋H顯示的顯示器尺寸的高度的3倍處觀看。
另外，上述中，對將第I最大視差、第2最大視差、第I最小視差、第2最小視差全部用于調(diào)整視差的情況進行了說明，然而也可以使用這些視差中、至少一個以上的最大視差或最小視差來調(diào)整視差。另外，在3D信息內(nèi)未記錄有第I最大視差、第2最大視差、第I最小視差、第2最小視差的所有視差的情況下，也可以使用所記錄的視差中、至少一個以上的最大視差或最小視差來調(diào)整視差。
此外，上述中，在輸入到逆多路復用單元101的多路復用數(shù)據(jù)由3D信息及未經(jīng)壓縮的圖像數(shù)據(jù)構(gòu)成時，圖像解碼單元103可以不特別進行解碼處理，而只要將所輸入的未經(jīng)壓縮的圖像數(shù)據(jù)原樣替換經(jīng)解碼后的圖像數(shù)據(jù)并將其輸出即可。如上所述，能夠通過由本發(fā)明實施方式I中的立體圖像數(shù)據(jù)生成裝置1、及立體圖像數(shù)據(jù)重放裝置100構(gòu)成的系統(tǒng)，并使用第I視差信息及第2視差信息來進行適當?shù)囊暡钫{(diào)整，從而實現(xiàn)更安全、更舒適的立體顯示。另外，在上述實施方式中，對視點數(shù)為2的情況進行了闡述，而本發(fā)明也可以適用于視點數(shù)為3以上的所謂多視點的情況。
實施例2
接下來，作為本發(fā)明的實施方式2，對輸入到立體圖像數(shù)據(jù)生成裝置中的圖像數(shù)為η視點以上(η為3以上的整數(shù))的情況進行說明。
圖15是表示本發(fā)明的實施方式2的立體圖像數(shù)據(jù)生成裝置的簡要結(jié)構(gòu)的框圖。圖15中，立體圖像數(shù)據(jù)生成裝置200具有視差計算單元201、3D信息生成單元3、圖像壓縮編碼單元4、及多路復用單元202而構(gòu)成。視差計算單元201將攝像機機構(gòu)信息、η視點的圖像數(shù)據(jù)作為輸入，并輸出第I視差信息、第2視差信息、視差計算視點信息、及η視點的圖像數(shù)據(jù)，該第I視差信息是根據(jù)上述攝像機機構(gòu)信息并通過在幾何學上計算而求得的，該第2視差信息是從η視點的圖像數(shù)據(jù)中選出2視點的圖像數(shù)據(jù)，并使用所選出的2視點的圖像數(shù)據(jù)來進行對應點檢索而計算出的，該視差計算視點信息表示是根據(jù)哪個視點的圖像來計算視差的。3D彳目息生成單兀3將視差計算視點彳目息、第I視差/[目息、及第2視差彳目息作為輸入，根據(jù)所輸入的視差計算視點信息、第I視差信息、及第2視差信息來生成并輸出3D信息。圖像壓縮編碼單元4將η視點的圖像數(shù)據(jù)作為輸入，對所輸入的η視點的圖像數(shù)據(jù)進行壓縮編碼，生成并輸出壓縮圖像數(shù)據(jù)。多路復用單元202中，將由3D信息生成單元3生成的3D信息及由圖像壓縮編碼單元4生成的壓縮圖像數(shù)據(jù)作為輸入，對所輸入的3D信息及壓縮圖像數(shù)據(jù)進行多路復用，從而生成并輸出多路復用數(shù)據(jù)。
由于構(gòu)成立體圖像數(shù)據(jù)生成裝置200的各個單元中的、3D信息生成單元3及圖像壓縮編碼單元4與實施方式I相同，因此，在這里省略說明，分別對視差計算單元201及多路復用單元202的動作進行說明。
首先，對視差計算單元201進行說明。
圖16是表示本發(fā)明的實施方式2的立體圖像數(shù)據(jù)生成裝置的視差計算單元的簡要結(jié)構(gòu)的框圖。圖16中，視差計算單元201具有機構(gòu)視差計算單元30、圖像選擇單元204、立體匹配單元31、視差修正單元32、及圖像剪切單元205而構(gòu)成。圖16的視差計算單元201是將圖7的視差計算單元2擴展成η視點圖像輸入的單元。構(gòu)成視差計算單元201的各單元中的、機構(gòu)視差計算單元30、立體匹配單元31、視差修正單元32與實施方式I相同，因此，這里省略說明。
首先，η視點的圖像數(shù)據(jù)被輸入到圖像選擇單元204，圖像選擇單元204從所輸入的η視點的圖像數(shù)據(jù)中選擇出2視點的圖像數(shù)據(jù)并輸出。此時，所選出的2視點的圖像數(shù)據(jù)對作為與攝像機機構(gòu)信息相匹配的視點組合的圖像進行選擇。例如，如果攝像機機構(gòu)信息是相鄰視點的攝像機的信息，則可以從與該信息相對應的視點的攝像機組合中的某一組合選出。此時，視差計算單元201將所選出的視點圖像數(shù)據(jù)的信息輸出至3D生成信息單元3，以作為視差計算視點信息。另外，這里，在與上述攝像機機構(gòu)信息相匹配的視點組合存在多組的情況下，圖像選擇單元204也可以選擇多組。在該情況下，立體匹配單元31可以對多個組合的每個組合求出視差，并輸出其中最大的視差。
接下來，對圖像剪切單元205進行說明。η視點的圖像數(shù)據(jù)被輸入到圖像剪切單元205，圖像剪切單元205對所輸入的η視點的圖像數(shù)據(jù)進行視差移位，移位量為視差修正單元32所指定的視差量，之后，將經(jīng)剪切后的各個圖像作為η視點的圖像數(shù)據(jù)進行輸出。此時，進行視差移位時，為了使η視點的視點圖像數(shù)據(jù)的相鄰組合的各個組合間的移位量相同，可以對所有η視點的視點圖像數(shù)據(jù)進行圖像剪切，以使得視差變化相同的量；也可以僅對由視差計算視點信息表示的2個視點圖像數(shù)據(jù)的組合進行視差移位。
圖17是表示記錄多路復用數(shù)據(jù)的文件格式的一個示例的圖，該多路復用數(shù)據(jù)根據(jù)由立體圖像數(shù)據(jù)生成裝置200生成的η視點的視點圖像數(shù)據(jù)而生成。這里，視點圖像信息是與I個視點圖像數(shù)據(jù)相關的信息，由如下數(shù)據(jù)構(gòu)成:文件頭、從各視點圖像數(shù)據(jù)提取出的3D信息、與各視點圖像數(shù)據(jù)相關的管理信息、以及視點圖像數(shù)據(jù)。圖17 (a)中，示出了從文件的開頭將η個視點圖像信息連結(jié)起來并保存為單個文件的示例。另外，圖17 (b)中示出了如下示例:從η個視點圖像信息中均含有的3D信息中，將公用信息另行合并為一個以作為公用的3D信息，并保存到文件的開頭，接下來，將整個文件的管理信息、以及相連結(jié)的η個視點圖像信息進行保存。
如上所述，立體圖像數(shù)據(jù)生成裝置200生成包含3D信息及壓縮圖像數(shù)據(jù)在內(nèi)的多路復用數(shù)據(jù)以作為立體圖像數(shù)據(jù)，該3D信息包含由第I最大視差及第I最小視差組成的第I視差 目息、由第2最大視差及第2最小視差組成的第2視差彳目息、以及視差計算視點彳目息，該壓縮圖像數(shù)據(jù)對η視點的視點圖像數(shù)據(jù)進行了壓縮，由此，能夠生成包含根據(jù)攝像機的機構(gòu)性信息求出的作為界限最大視差信息的第I視差信息、以及實際產(chǎn)生的第2視差信息在內(nèi)的、與η視點的視點圖像數(shù)據(jù)相對應的多路復用數(shù)據(jù)。
接下來，對用于將由立體圖像數(shù)據(jù)生成裝置200生成的圖像數(shù)據(jù)作為三維圖像來進行立體顯示的立體圖像數(shù)據(jù)重放裝置300進行說明。
圖18是表示本發(fā)明的實施方式2的立體圖像數(shù)據(jù)重放裝置的簡要結(jié)構(gòu)的框圖。圖18中，立體圖像數(shù)據(jù)重放裝置300由如下部分構(gòu)成:逆多路復用單元101，該逆多路復用單元101分離多路復用數(shù)據(jù)；3D信息分析單元102，該3D信息分析單元102分析3D信息；圖像解碼單元103，該圖像解碼單元103對經(jīng)壓縮編碼后的壓縮圖像數(shù)據(jù)進行解碼；以及立體強度轉(zhuǎn)換單元301，該立體強度轉(zhuǎn)換單元301利用來自3D信息分析單元102及圖像解碼單元103的輸入數(shù)據(jù)來生成三維影像。構(gòu)成圖18的立體圖像數(shù)據(jù)重放裝置300的各單元中的、逆多路復用單元101、3D信息分析單元102、圖像解碼單元103與實施方式I相同，因此，這里省略說明，對立體強度轉(zhuǎn)換單元301的動作進行如下說明。
立體強度轉(zhuǎn)換單元301中輸入有視差對象圖像信息、視差單位信息、第I最大視差、第2最大視差、第I最小視差、第2最小視差、假定顯示器尺寸以作為由3D信息分析單元102進行分析、并提取出的3D信息；以及經(jīng)圖像解碼單元103進行解碼后的η視點的視點圖像數(shù)據(jù)。立體強度轉(zhuǎn)換單元301中，從所輸入的η視點的視點圖像中選擇出視差對象圖像信息所示出的2視點的圖像數(shù)據(jù)，并與立體強度轉(zhuǎn)換單`元104相同，使用視差單位信息、第I最大視差、第2最大視差、第I最小視差、第2最小視差、以及假定顯示器尺寸對所選出的圖像數(shù)據(jù)進行視差調(diào)整，從而生成并輸出三維影像。此時，立體強度轉(zhuǎn)換單元301也可以對未在上述中選出的其他相鄰視點圖像進行視差移位，且移位相同的量。
如上所述，能夠通過利用本發(fā)明實施方式2中的立體圖像數(shù)據(jù)生成裝置200、及立體圖像數(shù)據(jù)重放裝置300構(gòu)成的系統(tǒng)，并使用第I視差信息及第2視差信息來進行適當?shù)囊暡钫{(diào)整，從而即使在處理η視點圖像數(shù)據(jù)的情況下，也能與2視點的情況相同地實現(xiàn)更安全的立體顯示。
另外，在上述實施方式中，對有多個圖像輸入的情況進行了闡述，而本發(fā)明也可以適用于將立體拍攝用適配器安裝到單眼式拍攝裝置的情況。立體拍攝用的適配器中存在有用于將左右眼用的圖像拍攝在一個畫面上的立體適配器、或在一個畫面上拍攝多個視點圖像的適配器。在該情況下，上述視差計算單元2或視差計算單元201中，對計算視差所需的2張圖像進行分離并計算出視差，并對原樣作為一張圖像進行輸出、還是分離成各個視點來進行輸出進行選擇，從而以與所希望的壓縮圖像數(shù)據(jù)的格式相配合的形式，輸出至圖像壓縮編碼單元4。這里，除了上述視差計算單元2或視差計算單元201的動作以外，進行相同的動作，因此省略說明。如上所述，根據(jù)本發(fā)明的立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置以及文件管理方法，上述立體圖像數(shù)據(jù)生成裝置使用第I最大視差、第I最小視差、第2最大視差、及第2最小視差來生成為3D信息，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最大視差是立體圖像的視差的最大值，該第2最小視差是立體圖像的視差的最小值，并且上述立體圖像數(shù)據(jù)生成裝置生成并發(fā)送對所生成的3D信息、及構(gòu)成立體圖像數(shù)據(jù)的多個圖像數(shù)據(jù)進行多路復用后的多路復用數(shù)據(jù)，上述立體圖像數(shù)據(jù)重放裝置接收上述多路復用數(shù)據(jù)并進行逆多路復用，并通過使用根據(jù)3D信息進行解碼后的上述第I最大視差、上述第I最小視差、上述第2最大視差、及上述第2最小視差，從而能夠以更高的自由度、安全且適當?shù)剡M行與所顯示的顯示器尺寸相配合的視差調(diào)整。
另外，根據(jù)本發(fā)明，通過將第I視差信息及第2視差信息記錄成為3D信息并進行重放，從而能夠使用由攝像機的機構(gòu)得到的視差的界限值、及實際視差值來調(diào)整視差，另外，還能夠得到如下積極效果:能夠通過第I最大視差與第2最大視差的大小的比較、或第I最小視差與第2最小視差的大小的比較，來判斷第2最大視差或最小視差的值是否適合。
另外，根據(jù)本發(fā)明，能夠得到如下積極效果:在大畫面上對立體圖像數(shù)據(jù)進行顯示時等情況下，使用由攝像機的機構(gòu)得到的視差的界限值，來進行視差移位等，從而調(diào)節(jié)立體感強度，由此能進行更安全的立體感調(diào)整。
另外，根據(jù)本發(fā)明，能夠得到如下積極效果:通過對第I最大視差、第2最大視差、第I最小視差、以及第2最小視差進行元數(shù)據(jù)化，能夠使用于進行三維顯示的圖像數(shù)據(jù)具有通用性。
上述中，實施例所有內(nèi)容均為舉例表示，而不是限制性的。例如，本實施方式中，示例出了立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、以及文件管理方法，然而只要能夠生成或重放3D影像信號即可，并未局限于立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置。除立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、以及文件管理方法以外，本發(fā)明還能廣泛應用于3D數(shù)字攝像機、3D數(shù)字電影、3D電視、數(shù)字視頻錄像機、便攜式電影播放器、便攜式電話、導航系統(tǒng)、便攜式DVD播放器、PC等可以輸出或顯示3D影像信號的設備。
工業(yè)上的實用性
本發(fā)明所涉及的立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、以及文件管理方法在顯示立體圖像時，能夠根據(jù)由攝像機機構(gòu)得到的視差的界限值及立體圖像的視差的界限值，來進行與顯示器尺寸相配合的視差調(diào)整，從而進行更安全、更可靠、且自由度較高的視差調(diào)整。
標號說明
1，200...立體圖像數(shù)據(jù)生成裝置、2，201...視差計算單元、3…3 D信息生成單元、4…圖像壓縮編碼單元、5，202…多路復用單元、6，34...左眼用圖像數(shù)據(jù)、7，10...最遠點、8，11...最近點、9，37...右眼用圖像數(shù)據(jù)、12，13…攝像機、14，22，35，36，38，39…被攝體、15...背景、16，17…光軸、18，19…拍攝范圍、20，21…拍攝圖像、23…會聚點、24...特征點、25…線段、26，27，28，29…點、30…機構(gòu)視差計算單元、31…立體匹配單元、32…視差修正單元、33，205…圖像剪切單元、40，41…區(qū)域、100，300...立體圖像數(shù)據(jù)重放裝置、10L...逆多路復用單元、102...3D信息分析單元、103…圖像解碼單元、104，301...立體強度轉(zhuǎn)換單元、204…圖像選擇單元、400…左眼用圖像、401…右眼用圖像、402…主動式快門眼鏡、403…左眼用的鏡片快門、404…右眼用的鏡片快門、410…圖像顯示面板、411…視差屏障、412…左眼、413…右眼、S 1，S 2，S 3，S 5，S 6，S 8，S 9，S 10，S 11，S 12，S 13，S 15…步驟、S 4，S7，S 14…判 定步驟
權(quán)利要求
1.一種立體圖像數(shù)據(jù)生成裝置，根據(jù)分別與多個視點相對應的多個圖像數(shù)據(jù)，來生成規(guī)定文件格式的圖像數(shù)據(jù)，其特征在于， 將第I最大視差、第I最小視差、第2最大視差、及第2最小視差作為輸入，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值， 所述立體圖像數(shù)據(jù)生成裝置包括: 3D信息生成單元，該3D信息生成單元使用所輸入的所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差中的至少一個以上的最大視差或最小視差來生成并輸出3D信息；以及 多路復用單元，該多路復用單元對所述3D信息及所述圖像數(shù)據(jù)進行多路復用，并生成規(guī)定文件格式的立體圖像數(shù)據(jù)。
2.一種立體圖像數(shù)據(jù)生成裝置，根據(jù)分別與多個視點相對應的多個圖像數(shù)據(jù)，來生成規(guī)定文件格式的圖像數(shù)據(jù)，其特征在于， 將第I最大視差、第I最小視差、第2最大視差、及第2最小視差作為輸入，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值， 所述立體圖像數(shù)據(jù)生成裝置包括: 3D信息生成單元，該3D信息生成單元使用所輸入的所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差中的至少一個以上的最大視差或最小視差來生成并輸出3D信息； 圖像壓縮編碼單元，該圖像壓縮編碼單元對所輸入的所述多個圖像數(shù)據(jù)進行壓縮編碼，并輸出壓縮圖像數(shù)據(jù)；以及 多路復用單元，該多路復用單元對所述3D信息及所述壓縮圖像數(shù)據(jù)進行多路復用，并生成規(guī)定文件格式的立體圖像數(shù)據(jù)。
3.如權(quán)利要求1或2所述的立體圖像數(shù)據(jù)生成裝置，其特征在于， 所述規(guī)定文件格式的立體圖像數(shù)據(jù)中包含3個以上的η個視點的所述圖像數(shù)據(jù)，以作為所述多個視點。
4.如權(quán)利要求1至3中的任一項所述的立體圖像數(shù)據(jù)生成裝置，其特征在于， 在根據(jù)所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差來生成3D信息的情況下，所述3D信息生成單元生成視差單位信息，該視差單位信息表示對于所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差的單位，所述規(guī)定文件格式的立體圖像數(shù)據(jù)包含所述視差單位信息。
5.如權(quán)利要求4所述的立體圖像數(shù)據(jù)生成裝置，其特征在于， 所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差的單位為如下的某一個:像素單位、子像素單位、長度、距離單位、或相對于整個圖像的橫寬的百分比。
6.如權(quán)利要求1至3中的任一項所述的立體圖像數(shù)據(jù)生成裝置，其特征在于 在根據(jù)所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差來生成3D信息的情況下，所述3D信息生成單元生成視差對象圖像信息，該視差對象圖像信息表示所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差是通過所述多個圖像數(shù)據(jù)中的哪2個視點圖像數(shù)據(jù)的組合而求得的，并且所述規(guī)定文件格式的立體圖像數(shù)據(jù)包含所述視差對象圖像信息。
7.一種立體圖像數(shù)據(jù)重放裝置，根據(jù)規(guī)定文件格式的圖像數(shù)據(jù)，對分別與多個視點相對應的多個圖像數(shù)據(jù)進行重放，其特征在于，所述立體圖像數(shù)據(jù)重放裝置包括: 逆多路復用單元，該逆多路復用單元根據(jù)所述文件格式將3D信息與圖像數(shù)據(jù)進行分尚，該3D /[目息表不第I最大視差、第2最大視差、第I最小視差、及第2最小視差中的至少一個以上的最大視差或最小視差，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值； 3D信息分析單元，該3D信息分析單元分析所述3D信息；以及 立體強度轉(zhuǎn)換單元，該立體強度轉(zhuǎn)換單元對所述圖像數(shù)據(jù)進行視差調(diào)整， 所述3D信息分析單元分析所述3D信息， 所述立體強度轉(zhuǎn)換單元使用所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差中的 至少一個以上的最大視差或最小視差，來調(diào)整并重放所述圖像數(shù)據(jù)的視差。
8.一種立體圖像數(shù)據(jù)重放裝置，根據(jù)規(guī)定文件格式的圖像數(shù)據(jù)，對分別與多個視點相對應的多個圖像數(shù)據(jù)進行重放，其特征在于，所述立體圖像數(shù)據(jù)重放裝置包括: 逆多路復用單元，該逆多路復用單元根據(jù)所述文件格式將3D信息與壓縮圖像數(shù)據(jù)進行分離，該3D信息表示第I最大視差、第2最大視差、第I最小視差、及第2最小視差中的至少一個以上的最大視差或最小視差，該第I最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值，該第2最大視差是立體圖像的左眼圖像與右眼圖像的視差最大值，該第I最小視差是從拍攝單元的機構(gòu)落入規(guī)定視差范圍內(nèi)、且處于距離拍攝單元最近的位置上的視差，該第2最小視差是立體圖像的左眼圖像與右眼圖像的視差最小值； 3D信息分析單兀，該3D信息分析單兀分析所述3D信息； 圖像解碼單元，該圖像解碼單元對所述壓縮圖像數(shù)據(jù)進行解碼；以及立體強度轉(zhuǎn)換單元，該立體強度轉(zhuǎn)換單元對將所述壓縮圖像數(shù)據(jù)解碼后的圖像數(shù)據(jù)進行視差調(diào)整， 所述3D信息分析單元分析所述3D信息， 所述立體強度轉(zhuǎn)換單元使用所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差中的至少一個以上的最大視差或最小視差來調(diào)整所述圖像數(shù)據(jù)的視差，并對其進行重放。
9.如權(quán)利要求7或8所述的立體圖像數(shù)據(jù)重放裝置，其特征在于， 在對表示所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差的信息進行分析的情況下，所述3D信息分析單元對視差單位信息進行分析，該視差單位信息表示對于所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差的單位，并且所述3D信息分析單元使用經(jīng)分析后的所述視差單位信息，對表示所述第I最大視差、所述第2最大視差、所述第I最小視差、及所述第2最小視差的信息進行分析。
10.如權(quán)利要求7或8所述的立體圖像數(shù)據(jù)重放裝置，其特征在于， 所述3D信息中包含視差對象圖像信息，該視差對象圖像信息表示所述第I最大視差、所述第2最大視 差、所述第I最小視差、及所述第2最小視差是通過所述多個圖像數(shù)據(jù)中的哪2個視點圖像數(shù)據(jù)的組合而求得的， 所述3D信息分析單元對所述視差對象圖像信息進行分析，所述立體強度轉(zhuǎn)換單元對所述視差對象圖像信息所示出的所述圖像數(shù)據(jù)進行視差調(diào)整。
11.如權(quán)利要求7或8所述的立體圖像數(shù)據(jù)重放裝置，其特征在于， 在對所述圖像數(shù)據(jù)進行視差調(diào)整的情況下，所述立體強度轉(zhuǎn)換單元將所述第I最大視差與所述第2最大視差的大小進行比較，在所述第2最大視差大于所述第I最大視差的情況下，判斷為所述第2最大視差值不適當，并基于所述第I最大視差來進行視差調(diào)整。
12.—種文件管理方法，將用于進行立體顯示的屬性信息即3D信息與圖像數(shù)據(jù)一并進行管理，其特征在于， 所述3D信息由如下信息構(gòu)成:視差對象圖像信息，該視差對象圖像信息表示視點圖像的組合；視差單位信息，該視差單位信息表示第I及第2最大視差、和第I及第2最小視差的單位;第I最大視差;第2最大視差；第I最小視差；第2最小視差；以及假定顯示器尺寸，該假定顯示器尺寸表示對所述圖像數(shù)據(jù)進行立體顯示的顯示器尺寸。
13.如權(quán)利要求12所述的文件管理方法，其特征在于， 所述3D信息包含可否記錄視差標記，該可否記錄視差標記表示是否將第I及第2最大視差和第I及第2最小視差的各個視差彳目息記錄于所述3D /[目息。
14.如權(quán)利要求12或13所述的文件管理方法，其特征在于， 所管理的I個文件由文件頭、所述3D信息、記錄與三維圖像無直接關系的信息時使用的管理信息、以及所述圖像數(shù)據(jù)構(gòu)成， 所述文件頭、所述3D信息、所述管理信息、及所述圖像數(shù)據(jù)從所述文件的開頭以所述文件頭、所述3D信息、所述管理信息、所述圖像數(shù)據(jù)的順序進行配置。
15.如權(quán)利要求12或13所述的文件管理方法，其特征在于， 所管理的I個文件由所述3D信息、記錄與三維圖像無直接關系的信息時使用的管理信息、文件頭、以及所述圖像數(shù)據(jù)構(gòu)成， 所述3D信息、所述管理信息、所述文件頭、及所述圖像數(shù)據(jù)從所述文件的開頭以所述3D信息、所述管理信息、所述文件頭、所述圖像數(shù)據(jù)的順序進行配置。
16.如權(quán)利要求12至15中的任一項所述的文件管理方法，其特征在于， 所述圖像數(shù)據(jù)由左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)這兩種圖像數(shù)據(jù)構(gòu)成。
全文摘要
在現(xiàn)有的方法中，由于與三維圖像一同傳輸?shù)淖畲笠暡罴白钚∫暡罘謩e只有一種，因此無法進行安全且自由度較高的立體顯示。本發(fā)明所涉及的立體圖像數(shù)據(jù)生成裝置、立體圖像數(shù)據(jù)重放裝置、及文件管理方法對分別與多個視點相對應的多個圖像數(shù)據(jù)及3D信息進行多路復用，從而作為1個立體圖像數(shù)據(jù)來進行處理，并通過利用上述3D信息，來判斷能否進行視差調(diào)整或立體顯示，從而進行更安全且更舒適的立體顯示，其中，該3D信息包含第1最大視差，該第1最大視差是從拍攝單元的機構(gòu)在幾何學上求出的視差的最大值；第1最小視差，該第1最小視差表示與拍攝單元的機構(gòu)距離適當?shù)囊暡罘秶慕缦蕖⒓磁c拍攝單元距離最近的被攝體位置上的視差；第2最大視差，該第2最大視差是立體圖像的實際產(chǎn)生的視差的最大值；以及第2最小視差，該第2最小視差是立體圖像的實際產(chǎn)生的視差的最小值。
文檔編號H04N13/04GK103190154SQ20118005219
公開日2013年7月3日 申請日期2011年11月2日 優(yōu)先權(quán)日2010年11月5日
發(fā)明者北浦龍二 申請人:夏普株式會社