專利名稱：圖像生成方法、裝置、其程序以及記錄有程序的記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)多個圖像生成高位深度(bit depth)的圖像的技術(shù)。本申請基于2007年10月15日申請的日本專利申請?zhí)卦?007-267613號要求優(yōu) 先權(quán)，并在這里引用其內(nèi)容。
背景技術(shù)：
圖11是表示直線排列的多視點(diǎn)攝像系統(tǒng)的攝影機(jī)配置例的圖，圖12是表示平面 排列的多視點(diǎn)攝像系統(tǒng)的攝影機(jī)配置例的圖，圖13是表示弧形狀排列的多視點(diǎn)攝像系統(tǒng) 的攝影機(jī)配置例的圖，圖14是表示球面排列的多視點(diǎn)攝像系統(tǒng)的攝影機(jī)配置例的圖。已經(jīng)開發(fā)了從不同方向?qū)σ粋€場景(scene)進(jìn)行攝影的多視點(diǎn)攝像系統(tǒng)。在多視 點(diǎn)攝像系統(tǒng)中，攝影機(jī)配置是如圖11所示那樣在直線上一維排列、或如圖12所示那樣在平 面上二維排列、或如圖13所示那樣排列為弧形狀、或如圖14所示那樣排列為球面狀的配置 等各種各樣的。如果利用這樣的多視點(diǎn)攝像系統(tǒng)，就能夠?qū)Χ嗝娴囊曨l圖像場景進(jìn)行歸檔 (匯總為一個)。進(jìn)而，存在根據(jù)在多視點(diǎn)攝影的攝影機(jī)視頻圖像，生成沒有攝影的假想攝影機(jī)位 置的圖像信息的技術(shù)。將其稱為圖像合成技術(shù)。在圖像合成中，假設(shè)已知攝影機(jī)參數(shù)，該攝影機(jī)參數(shù)表示原來的攝影機(jī)視頻圖像 是從空間中的哪個方向攝影的圖像信息。在圖像合成中有各種各樣的方法。例如，存在推定深度信息(cbpth information)來進(jìn)行合成的方法。首先，在原來 的攝影機(jī)視頻圖像之間進(jìn)行圖像信息的對應(yīng)點(diǎn)探索來求取視差信息，根據(jù)視差信息來推定 場景的深度信息。然后，推定假想攝影機(jī)位置的深度信息，根據(jù)原來的攝影機(jī)的圖像信息來 產(chǎn)生對應(yīng)的圖像信息(參照非專利文獻(xiàn)1)。此外，也存在不進(jìn)行深度信息的推定，而利用原來的圖像的視差信息直接產(chǎn)生假 想攝影機(jī)位置的圖像信息的方法(參照非專利文獻(xiàn)2)?；蛘?，也存在預(yù)先根據(jù)多個攝影機(jī)視頻圖像來推定在場景中存在的對象(object) 的三維模型信息，生成從假想攝影機(jī)位置的該模型的投影圖像的方法(參照非專利文獻(xiàn) 3)。在這樣的攝像系統(tǒng)中，通常使用位深度(灰度)相同的攝影機(jī)，但也可以使用位深 度不同的攝影機(jī)。通過組合位深度高的攝影機(jī)和位深度低的攝影機(jī)進(jìn)行使用，從而能夠降 低得到的圖像信息的信息量。作為根據(jù)位深度低的圖像獲得位深度高的圖像的方法，可以舉出色調(diào)映射方法 (參照非專利文獻(xiàn)4)。這是將量化后的值向更高的動態(tài)范圍的信號映射的技術(shù)。非專禾Ij文獻(xiàn) 1 :Keita Takahashi and Takeshi Naemura, “LayeredLight-Field Rendering with Focus Measurement，，，EURASIP SignalProcessing Image Communication, vol. 21，no. 6，pp. 519-530 (2006. 7).非專利文獻(xiàn) 2 :M. Droese，T. Fujii and M. Tanimoto, “Ray-SpaceInterpolationConstraining Smooth Disparities Based On Loopy BeliefPropagation", Proc.of IWSSIP2004, pp. 247-250，Poznan, Poland, Sept. 2004.非專利文獻(xiàn)3 松山隆司、高井勇志、勺小軍、延原章平「3次元r才映像Θ撮 影·編集·表示」、日本"'一子^ ^ 'J 7 -j r 學(xué)會論文誌、Vol.7, No. 4，pp. 521-532， 2002. 12.:E. Reinhard,M. Stark, P. Shirley and J. Ferwerda,"Photographic Tone Reproduction for Digital Images，，，presented atSIGGRAPH, 2002.

發(fā)明內(nèi)容
本發(fā)明要解決的課題本發(fā)明的目的在于，針對處理位深度不同的多視點(diǎn)視頻圖像這一發(fā)明者著眼的新 技術(shù)，對低位深度的圖像失去的以高動態(tài)范圍表現(xiàn)的信息進(jìn)行復(fù)原，使對于低位深度的圖 像的主觀品質(zhì)提高。用于解決課題的方案在現(xiàn)有技術(shù)中沒有進(jìn)行對位深度不同的多視點(diǎn)視頻圖像的處理。即，本發(fā)明的課 題是從處理位深度不同的多視點(diǎn)視頻圖像這一新的技術(shù)構(gòu)思而產(chǎn)生的課題。在多視點(diǎn)攝像系統(tǒng)中使用位深度不同的攝影機(jī)的情況下，低位深度的圖像和高位 深度的圖像混合存在。此外，即使在以相同位深度的攝影機(jī)進(jìn)行攝影的情況下，由于能夠例 如通過降低一部分的攝影機(jī)視頻圖像的位深度來削減信息量，所以有適于多視點(diǎn)圖像的壓 縮的情況。即使在該情況下，低位深度的圖像和高位深度的圖像也混合存在。在以上那樣的情況下，在低位深度的圖像信息中欠缺以高動態(tài)范圍表現(xiàn)的信息。 因此，以低位深度攝影的攝影機(jī)位置的圖像信息與以高位深度攝影的攝影機(jī)位置中的圖像 信息相比，存在主觀品質(zhì)劣化的問題。因此，本發(fā)明為了解決上述問題，提供一種對低位深度的圖像失去的以高動態(tài)范 圍表現(xiàn)的信息進(jìn)行復(fù)原，使對于低位深度的圖像的主觀品質(zhì)提高的技術(shù)。對本發(fā)明的概要進(jìn)行說明。例如，通過以位深度不同的多個攝影機(jī)對同一場景進(jìn) 行攝影，從而能夠減少處理的圖像信息的總信息量。因此，在該情況下，能夠大幅降低多視 點(diǎn)視頻圖像的碼量。位深度指的是例如8位還是10位等的、信號的動態(tài)范圍(dynamicrange)。當(dāng)存在 沒有攝影的范圍時(即，當(dāng)動態(tài)范圍變窄時)，該部分的信息欠缺，主觀品質(zhì)變差，因此在要 削減多視點(diǎn)視頻圖像的碼量時存在問題。在本發(fā)明中，通過對失去的范圍的信息進(jìn)行復(fù)原，來解決該問題。原來在現(xiàn)有技術(shù) 中并沒有進(jìn)行對位深度不同的多視點(diǎn)視頻圖像的處理。本發(fā)明的課題是從處理位深度不同 的多視點(diǎn)視頻圖像這一新的技術(shù)構(gòu)思而產(chǎn)生的課題。本發(fā)明為了解決該課題，使用以下技術(shù)手段，即利用其它的攝影機(jī)攝影的位深度 高的信息，對目標(biāo)圖像的位深度高的信息進(jìn)行復(fù)原，由此在對以位深度不同的多個攝影機(jī) 攝影的多視點(diǎn)視頻圖像進(jìn)行處理的情況下，能夠不使主觀的圖像品質(zhì)降低，減少處理的圖 像信息的總信息量。本發(fā)明提供一種圖像生成方法，根據(jù)圖像A、和比圖像A位深度高的圖像B來生成圖像C的圖像信息，該圖像生成方法執(zhí)行如下步驟圖像位深度擴(kuò)大步驟，對圖像A進(jìn)行色 調(diào)映射，產(chǎn)生與圖像B具有相同的位深度的圖像C ；對應(yīng)點(diǎn)推定步驟，對圖像C的各像素位 置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定步驟，在對應(yīng) 點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像 fn息ο 根據(jù)該圖像生成方法，能夠使用其它圖像中包含的高動態(tài)范圍的信息，生成對于 所希望的圖像的高位深度的圖像。在這時在其它圖像中不存在對應(yīng)于生成的像素位置的圖 像信號的情況下，通過使用將原來的低位深度以色調(diào)映射擴(kuò)大后的圖像信息，能夠防止圖 像信息的欠缺。在對應(yīng)點(diǎn)的推定中，可以舉出另外輸入對應(yīng)點(diǎn)信息而進(jìn)行賦予的情況，和使用圖 像信息來探索對應(yīng)點(diǎn)的情況。在另外賦予對應(yīng)點(diǎn)信息的情況下，也可以預(yù)先推定場景的深 度信息或幾何信息，然后推定圖像間的對應(yīng)點(diǎn)。在對應(yīng)點(diǎn)的探索中，在對應(yīng)的像素間(對圖像C的各像素的，圖像B的1 多個像 素候補(bǔ))求取差分的絕對值，在該值的最小值比預(yù)先設(shè)定的閾值小的情況下，將成為該最 小值的點(diǎn)推定為對應(yīng)點(diǎn)，在比閾值大的情況下，推定為沒有對應(yīng)點(diǎn)也可。優(yōu)選將該情況下的閾值與低位深度的圖像信息一起進(jìn)行文件化(filing)。在根 據(jù)文件化后的低位深度的圖像信息生成高位深度的圖像信息時，通過使用文件中包含的閾 值，能夠保障在生成時總是得到相同的圖像。在利用位深度不同的攝影機(jī)的圖像，從多個方向攝影某個場景的情況下，對于低 位深度的攝影機(jī)的圖像，能夠利用其它的高位深度的攝影機(jī)的圖像，生成高位深度的圖像。 該方法不僅在多視點(diǎn)圖像中、也能應(yīng)用于單鏡頭(single camera)的活動圖像。即，在活動 圖像中的各幀的位深度不同的情況下，對于低位深度的幀的圖像，能夠利用其它的高位深 度的幀的圖像，生成高位深度的圖像。在上述方法中，可以進(jìn)一步設(shè)置圖像內(nèi)插步驟，在該步驟中，根據(jù)在對應(yīng)圖像設(shè)定 步驟中設(shè)定的圖像信息，產(chǎn)生在對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、圖像C中的像素 位置的圖像信息。在該情況下，在其它的圖像中不存在對應(yīng)于生成的像素位置的圖像信號的情況 下，通過根據(jù)在周圍的、生成的高位深度的圖像信號進(jìn)行內(nèi)插而產(chǎn)生，能夠防止圖像信息的 欠缺。此外，本發(fā)明的圖像生成方法，根據(jù)圖像A、和比圖像A位深度高的圖像B來生成圖 像C的圖像信息，該圖像生成方法執(zhí)行如下步驟圖像位深度擴(kuò)大步驟，對圖像A進(jìn)行色調(diào) 映射，產(chǎn)生與圖像B具有相同位深度的圖像D ；對應(yīng)點(diǎn)推定步驟，對圖像D的各像素位置與 圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在圖像E中的像 素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn) 推定步驟中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在對應(yīng)圖像 設(shè)定步驟中設(shè)定的圖像信息，產(chǎn)生圖像E中的像素位置的圖像信息，其中，該圖像E中的像 素位置與在對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像位深 度縮小步驟，對圖像E進(jìn)行色調(diào)映射，產(chǎn)生與圖像A具有相同位深度的圖像F ；差分產(chǎn)生步 驟，在圖像A的各像素位置中，求取圖像A的圖像信息和相同像素位置的圖像F的圖像信息的差分；以及圖像信息設(shè)定步驟，在差分產(chǎn)生步驟中求取的各像素位置中的差分小的情況 下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生步驟中求取的各像 素位置中的差分大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定基于圖像D的圖像信息 的圖像信息。 作為典型例子，在上述圖像信息設(shè)定步驟中，在上述差分產(chǎn)生步驟中求取的各像 素位置中的差分比閾值大的情況下，(i)在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像信息，或(ii)在對應(yīng)的圖像C的各像素位置中，設(shè)定對圖像D的圖像信息和圖像E的圖像 信息進(jìn)行加權(quán)平均后的值。根據(jù)該圖像生成方法，在所希望的圖像與其它圖像的對應(yīng)點(diǎn)的推定中存在誤差的 情況下，代替使用與上述發(fā)明同樣地生成的高位深度的圖像，而使用將原來的低位深度以 色調(diào)映射擴(kuò)大后的圖像信息，或使用生成的高位深度的圖像信息、和將原來的低位深度以 色調(diào)映射擴(kuò)大后的圖像信息的加權(quán)平均值，由此能夠降低推定誤差導(dǎo)致的畫質(zhì)的劣化。此外，本發(fā)明提供一種圖像生成方法，其中，具有相同位深度的圖像生成裝置根據(jù) 圖像A和圖像B來生成圖像C的圖像信息，其中，該圖像生成方法執(zhí)行如下步驟基準(zhǔn)圖像 位深度縮小步驟，對圖像A進(jìn)行色調(diào)映射來產(chǎn)生位深度小的圖像G ；圖像位深度擴(kuò)大步驟， 對圖像G進(jìn)行色調(diào)映射，產(chǎn)生與圖像A具有相同位深度的圖像D ；對應(yīng)點(diǎn)推定步驟，對圖像D 的各像素位置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟， 在圖像E中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，該圖像E中的像素 位置與在對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像內(nèi)插步驟， 根據(jù)在對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息，產(chǎn)生圖像E中的像素位置的圖像信息，其中， 該圖像E中的像素位置與在對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、圖像D中的像素位置 相同；圖像位深度縮小步驟，對圖像E進(jìn)行色調(diào)映射，產(chǎn)生與圖像G具有相同位深度的圖像 F ；以及差分產(chǎn)生步驟，在圖像G的各像素位置中，求取圖像G的圖像信息和相同像素位置的 圖像F的圖像信息的差分，而且，一邊改變閾值一邊執(zhí)行如下步驟閾值設(shè)定步驟，在預(yù)先 設(shè)定的范圍中設(shè)定閾值；圖像信息設(shè)定步驟，在差分產(chǎn)生步驟中求取的各像素位置中的差 分比閾值小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生 步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè) 定基于圖像D的圖像信息的圖像信息；以及生成差分合計步驟，計算在圖像選擇步驟中得 到的圖像C和圖像A的各像素位置中的圖像信息的差分的合計，執(zhí)行閾值決定步驟，決定在 生成差分合計步驟中得到的差分的合計變得最小的閾值。作為典型例子，在上述圖像信息設(shè)定步驟中，在上述差分產(chǎn)生步驟中求取的各像 素位置中的差分比閾值大的情況下，(i)在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像信息，或(ii)在對應(yīng)的圖像C的各像素位置中，設(shè)定對圖像D的圖像信息和圖像E的圖像 信息進(jìn)行加權(quán)平均后的值。根據(jù)該圖像生成方法，在將圖像變換到低位深度然后變換到高位深度的情況下， 在以上述方法生成高位深度的圖像時，檢測出對應(yīng)點(diǎn)的推定誤差導(dǎo)致的劣化的大小，以劣 化變得最小的方式，決定對與上述方法同樣地生成的高位深度的圖像進(jìn)行選擇的閾值。由于也存在原來的高位深度的圖像信息，所以能夠檢測出劣化的大小。該閾值參數(shù)能夠以如下方式利用。首先，預(yù)先推定該閾值，作為閾值參數(shù)對低位深 度的圖像附加。例如，與低位深度的圖像和其它圖像一起，該閾值參數(shù)也進(jìn)行文件化。在該 文件中不包含變換到低位深度之前的圖像信息。因此，由于對與原來的圖像相比低位深度 的圖像信息進(jìn)行文件化，所以能夠減小文件大小。在再生該文件時，根據(jù)低位深度的圖像和 其它圖像，利用上述閾值參數(shù)，能夠生成高位深度的圖像。這時，能夠生成將主觀品質(zhì)的劣 化最小化了的高位深度的圖像。此外，在上述圖像信息設(shè)定步驟中，在上述差分產(chǎn)生步驟中求取的各像素位置中 的差分比閾值大的情況下，在使用上述(ii)的方法時，不是在生成的圖像的信號中使用將 低位深度的圖像以色調(diào)映射擴(kuò)大后的圖像，而是使用與高位深度的圖像加權(quán)平均后的值， 因此能夠降低對低位深度的圖像進(jìn)行色調(diào)映射擴(kuò)大而導(dǎo)致的圖像的模糊。本發(fā)明此外也提供利用上述各方法生成圖像的圖像生成裝置。
發(fā)明的效果根據(jù)本發(fā)明，能夠?qū)σ缘臀簧疃葦z影的攝影機(jī)位置的圖像信息，利用以其它的高 位深度攝影的攝影機(jī)位置的圖像信息，生成高位深度的圖像信息。由此，能夠降低主觀品質(zhì) 的劣化。


圖1是表示本發(fā)明的第一實施例的圖像生成裝置的結(jié)構(gòu)的圖。圖2是表示同實施例的圖像生成裝置的工作的流程圖。圖3是表示本發(fā)明的第二實施例的圖像生成裝置的結(jié)構(gòu)的圖。圖4是表示同實施例的圖像生成裝置的工作的流程圖。圖5是表示本發(fā)明的第三實施例的圖像生成裝置的結(jié)構(gòu)的圖。圖6是表示同實施例的圖像生成裝置的工作的流程圖。圖7是表示同實施例的變形例的圖像生成裝置的結(jié)構(gòu)的圖。圖8是表示本發(fā)明的第四實施例的圖像生成裝置的結(jié)構(gòu)的圖。圖9是表示同實施例的圖像生成裝置的工作的流程圖。圖10是表示同實施例的變形例的圖像生成裝置的結(jié)構(gòu)的圖。圖11是表示直線排列的多視點(diǎn)攝像系統(tǒng)的圖。圖12是表示平面排列的多視點(diǎn)攝像系統(tǒng)的圖。圖13是表示弧形狀排列的多視點(diǎn)攝像系統(tǒng)的圖。圖14是表示球面排列的多視點(diǎn)攝像系統(tǒng)的圖。附圖標(biāo)記說明101、201、301、401圖像位深度擴(kuò)大部102、202、302、402 對應(yīng)點(diǎn)推定部103、203、303、403對應(yīng)圖像設(shè)定部204、304、404 圖像內(nèi)插部305、405圖像位深度縮小部306,406差分產(chǎn)生部
307、407圖像選擇部308、408圖像生成部409生成差分合計部410閾值設(shè)定部411閾值決定部412基準(zhǔn)圖像位深度縮小部
具體實施例方式使用附圖對本發(fā)明的圖像生成裝置的實施例進(jìn)行說明。[第一實施例]作為第一實施例，表示如下情況的例子，即根據(jù)以其它的攝影機(jī)攝影的低位深度 的圖像A和高位深度的圖像B，生成對應(yīng)于圖像A的高位深度(對應(yīng)于圖像B的位深度)的 圖像C。在這里，假設(shè)以攝影機(jī)攝影的信號全部是利用YUV信號(亮度Y，色差U、V)設(shè)定了 彩色信號的信號，在實施例中，假設(shè)僅處理Y信號。在圖1中表示裝置概要。本實施例中的圖像生成裝置具備圖像位深度擴(kuò)大部 101，擴(kuò)大圖像A的位深度，產(chǎn)生與圖像B具有相同的位深度的圖像C;對應(yīng)點(diǎn)推定部102，對 圖像C的各像素位置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像 設(shè)定部103，在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的圖像C中的像素位置中，設(shè)定圖像B 中的對應(yīng)位置的圖像信息。在這里，在圖像位深度擴(kuò)大部101中，利用非專利文獻(xiàn)4中表示的方法(色調(diào)映 射，tone mapping)對圖像的位深度進(jìn)行擴(kuò)大來產(chǎn)生圖像。此外，在對應(yīng)點(diǎn)推定部102中，使用攝影機(jī)參數(shù)或已知的匹配(matching)技術(shù)，針 對圖像C的各像素假定(圖像B中的)對應(yīng)的像素的候補(bǔ)(1 多個)，在對應(yīng)的像素之間 求取差分的絕對值，在這些絕對值的最小值比預(yù)先設(shè)定的閾值小的情況下，將成為最小值 的點(diǎn)推定為對應(yīng)點(diǎn)，在比閾值大的情況下，針對圖像C的相應(yīng)像素推定為沒有對應(yīng)點(diǎn)。以上述為前提，圖1所示的圖像生成裝置以下述方式工作。圖2表示其流程圖。首先，圖像位深度擴(kuò)大部101對圖像A進(jìn)行色調(diào)映射擴(kuò)大來產(chǎn)生圖像C(步驟 S10)。然后，對應(yīng)點(diǎn)推定部102以上述方法來推定圖像C與圖像B的對應(yīng)點(diǎn)的有無、以及位 置(步驟Sll)。對應(yīng)圖像設(shè)定部103對于在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的圖像C 的各像素，設(shè)定圖像B的對應(yīng)點(diǎn)的圖像信息(步驟S12)。通過以上方式生成圖像C。再有，在圖像位深度擴(kuò)大部101中，也可以使用其它的色調(diào)映射方法。此外，在對應(yīng)點(diǎn)推定部102中，在像素之間求取差分的絕對值，但也可以使用由將 推定的對象的像素作為中心的多個像素構(gòu)成的塊(block)來進(jìn)行推定。例如，針對圖像C 的各像素，假定圖像B中的對應(yīng)的像素的候補(bǔ)(1 多個)，求取與由將各候補(bǔ)作為中心的多 個像素構(gòu)成的塊內(nèi)的像素的差分的絕對值的合計，將該合計值成為最小的候補(bǔ)的位置作為 對應(yīng)點(diǎn)進(jìn)行推定。在以上的例子中，根據(jù)以其它的攝影機(jī)攝影的低位深度的圖像A和高位深度的圖 像B來生成高位深度的圖像C，但也可以根據(jù)以相同攝影機(jī)攝影的、某個時刻的低位深度的 圖像A、和其它時刻的高位深度的圖像B，來生成高位深度的圖像C。
此外，如上述那樣，根據(jù)圖像A和圖像B，產(chǎn)生對應(yīng)于圖像A的圖像C，但圖像B是 多個也可。下面表示圖像B是2個(Bi和B2)的情況下的例子。結(jié)構(gòu)是相同的，以如下方
式工作。首先，圖像位深度擴(kuò)大部101對圖像A進(jìn)行色調(diào)映射擴(kuò)大來產(chǎn)生圖像C。然后，對應(yīng)點(diǎn)推定部102以與上述相同的方法來推定圖像C和圖像Bl的對應(yīng)點(diǎn)的 有無、以及位置。對應(yīng)圖像設(shè)定部103將在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的各位置 中的圖像Bl的圖像信息向圖像C設(shè)定。接著，對應(yīng)點(diǎn)推定部102同樣地推定圖像C和圖像B2的對應(yīng)點(diǎn)的有無、以及位置。 對應(yīng)圖像設(shè)定部103將在對應(yīng)點(diǎn)推定部102中推定為有對應(yīng)點(diǎn)的各位置中的圖像B2的圖 像信息向圖像C設(shè)定。通過以上方式生成圖像C。在推定為在圖像Bl和圖像B2的雙方中有對應(yīng)點(diǎn)的情況下，使預(yù)先決定的任一個 的圖像信息優(yōu)先而設(shè)定到圖像C也可，將與對應(yīng)的圖像C的像素的差分較小的圖像Bl或圖 像B2的圖像信息設(shè)定到圖像C也可，將圖像Bl與圖像B2的圖像信息的平均值設(shè)定到圖像 C也可。在圖像B是3個以上的情況下也能夠同樣地生成高位深度的圖像C。關(guān)于以下說明的其它實施例，在存在多個圖像B的情況下，也能夠同樣地實施。[第二實施例]接著，作為第二實施例，表示如下情況的例子，即與第一實施例同樣地，根據(jù)以其 它的攝影機(jī)攝影的低位深度的圖像A和高位深度的圖像B，生成對應(yīng)于圖像A的高位深度圖 像C。其中，表示如下例子，即，在沒有對應(yīng)點(diǎn)的情況下，根據(jù)周圍的高位深度的圖像信息進(jìn) 行內(nèi)插而生成。在圖3中表示裝置概要。本實施例中的圖像生成裝置具備圖像位深度擴(kuò)大部 201，擴(kuò)大圖像A的位深度，產(chǎn)生圖像C ；對應(yīng)點(diǎn)推定部202，對圖像C的各像素位置與圖像B 中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部203，在對應(yīng)點(diǎn)推定部202 中推定為有對應(yīng)點(diǎn)的圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息；以及圖 像內(nèi)插部204，根據(jù)在對應(yīng)圖像設(shè)定部203中設(shè)定的圖像信息，產(chǎn)生在對應(yīng)點(diǎn)推定部202中 推定為沒有對應(yīng)點(diǎn)的圖像C中的像素位置的圖像信息。在圖像內(nèi)插部204中，根據(jù)假設(shè)有對應(yīng)點(diǎn)而從圖像B設(shè)定了圖像信息的像素位置 的相應(yīng)圖像信息，來產(chǎn)生在圖像C中的像素中的、推定為沒有對應(yīng)點(diǎn)的像素的圖像信息。這 時，與從圖像B設(shè)定了圖像信息的像素位置起的距離對應(yīng)地進(jìn)行線性內(nèi)插。以上述為前提，圖3所示的圖像生成裝置以下述方式工作。圖4表示其流程圖。首先，圖像位深度擴(kuò)大部201對圖像A進(jìn)行色調(diào)映射擴(kuò)大來產(chǎn)生圖像C(步驟 S20)。然后，對應(yīng)點(diǎn)推定部202推定圖像C和圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟S21)。 對應(yīng)圖像設(shè)定部203對于在對應(yīng)點(diǎn)推定部202中推定為有對應(yīng)點(diǎn)的圖像C的各像素，設(shè)定 圖像B的對應(yīng)點(diǎn)的圖像信息(步驟S22)。圖像內(nèi)插部204針對在對應(yīng)點(diǎn)推定部202中推定 為沒有對應(yīng)點(diǎn)的像素位置，根據(jù)在對應(yīng)圖像設(shè)定部203中已經(jīng)設(shè)定的圖像信息進(jìn)行內(nèi)插來 產(chǎn)生圖像信息(步驟S23)。通過以上生成圖像C。在圖像內(nèi)插部204中，通過線性內(nèi)插來生成圖像信息，但使用非線性處理來生成圖像信息也可。這些情況均利用在對應(yīng)圖像設(shè)定部203中設(shè)定的圖像信息來生成。[第三實施例]接著，作為第三實施例，表示如下情況的例子，與第一實施例同樣地，即根據(jù)以其 它的攝影機(jī)攝影的低位深度的圖像A和高位深度的圖像B，生成對應(yīng)于圖像A的高位深度 (對應(yīng)于圖像B的位深度)的圖像C。其中，表示如下例子，即僅在將生成的圖像信息的動 態(tài)范圍縮小后的圖像和原來的圖像A的差較小的像素位置，應(yīng)用生成的圖像信息。在以下的說明中，圖像D是最初將圖像A色調(diào)映射擴(kuò)大后的圖像，圖像E是與圖像 D相同尺寸(相同像素結(jié)構(gòu))的臨時處理用圖像。此外，圖像F是將圖像E色調(diào)映射縮小而產(chǎn)生的、位深度小的 圖像(與圖像A具有 相同的位深度的、臨時處理用圖像)。在圖5中表示裝置概要。本實施例中的圖像生成裝置具備圖像位深度擴(kuò)大部 301，對圖像A的位深度進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生圖像D ；對應(yīng)點(diǎn)推定部302，對圖像D的各像 素位置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部303，在圖 像E中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，圖像E中的像素位置與 在對應(yīng)點(diǎn)推定部302中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；圖像內(nèi)插部304，根 據(jù)在對應(yīng)圖像設(shè)定部303中設(shè)定的圖像信息，產(chǎn)生圖像E中的像素位置的圖像信息，其中， 圖像E中的像素位置與在對應(yīng)點(diǎn)推定部302中推定為沒有對應(yīng)點(diǎn)的、圖像D中的像素位置 相同；圖像位深度縮小部305，對圖像E進(jìn)行色調(diào)映射，產(chǎn)生位深度小的圖像F ；差分產(chǎn)生部 306，在圖像A的各像素位置中，求取圖像A的圖像信息、與相同像素位置的圖像F的圖像信 息的差分；以及圖像選擇部307，在差分產(chǎn)生部306中求取的各像素位置中的差分比閾值小 的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生部306中求 取的各像素位置中的差分大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像 fn息ο在圖像位深度縮小部305中，例如按照非專利文獻(xiàn)4所示的方法，生成位深度小的 圖像信息(即，圖像F)。在差分產(chǎn)生部306中，在各像素位置產(chǎn)生上述差分。在圖像選擇部307中，預(yù)先設(shè)定差分的閾值，進(jìn)行與在差分產(chǎn)生部306中得到的差 分的比較。以上述為前提，圖5所示的圖像生成裝置以下述方式工作。圖6表示其流程圖。首先，圖像位深度擴(kuò)大部301對圖像A進(jìn)行色調(diào)映射擴(kuò)大來產(chǎn)生圖像D(步驟 S30)。然后，對應(yīng)點(diǎn)推定部302推定圖像D和圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟S31)。 對應(yīng)圖像設(shè)定部303將在對應(yīng)點(diǎn)推定部302中推定為有對應(yīng)點(diǎn)的位置中的圖像B的圖像信 息向圖像E設(shè)定(步驟S32)。圖像內(nèi)插部304針對在對應(yīng)點(diǎn)推定部302中推定為沒有對應(yīng)點(diǎn)的位置，根據(jù)在對 應(yīng)圖像設(shè)定部303中已經(jīng)設(shè)定的圖像信息進(jìn)行內(nèi)插來產(chǎn)生圖像E的圖像信息(步驟S33)。圖像位深度縮小部305對圖像E進(jìn)行色調(diào)映射縮小，產(chǎn)生位深度小的圖像F (步驟 S34)。差分產(chǎn)生部306產(chǎn)生圖像A和圖像F的差分(步驟S35)。在圖像選擇部307中，按照在差分產(chǎn)生部306中得到的差分，針對各像素位置，選 擇圖像E或圖像D來生成圖像C (步驟S36)。
再有，在圖像位深度縮小部305中，也可以使用其它方法來產(chǎn)生位深度小的圖像。此外，在差分產(chǎn)生部306中，也可以產(chǎn)生將對象像素作為中心的塊之間的差分(參照第一實施例)?？墒牵趫D像選擇部307中，在差分產(chǎn)生部306中求取的各像素位置中的差分小的 情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生部306中求取 的各像素位置中的差分大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像D的圖像信 肩、ο也可以代替該圖像選擇部307，設(shè)置圖7所示的圖像生成部308。在圖7中表示裝置概要。在該情況下，在圖像生成部308中，在差分產(chǎn)生部306中 求取的各像素位置中的差分比閾值小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像 E的圖像信息，在差分產(chǎn)生部306中求取的各像素位置中的差分大的情況下，在對應(yīng)的圖像 C的各像素位置中設(shè)定對圖像D的圖像信息和圖像E的圖像信息進(jìn)行加權(quán)平均后的值。由此，在差分大的情況下不是使用色調(diào)映射擴(kuò)大后的圖像D，而能夠使用色調(diào)映射 擴(kuò)大后的圖像D和根據(jù)其它圖像生成的圖像E的加權(quán)平均。本方法在色調(diào)映射擴(kuò)大后的圖 像D的劣化大的情況下是優(yōu)選的。[第四實施例]接著，作為第四實施例，表示以下情況下的例子，S卩，有以其它的攝影機(jī)攝影的相 同位深度的圖像A和B，根據(jù)圖像A的縮小圖像和圖像B來生成接近于圖像A的圖像C。在 這里，表示如下例子，即僅在將生成的圖像信息的動態(tài)范圍縮小后的圖像和原來的圖像A 的差較小的像素位置，應(yīng)用生成的圖像信息。在本實施例中，其特征在于對各像素位置中的 2圖像間的差分的閾值也進(jìn)行推定。在圖8中表示裝置概要。本實施例的圖像生成裝置具備·基準(zhǔn)圖像位深度縮小部412，對圖像A進(jìn)行色調(diào)映射，產(chǎn)生位深度小的圖像G ；·圖像位深度擴(kuò)大部401，對圖像G進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像A、B相同位深 度的圖像D ；·對應(yīng)點(diǎn)推定部402，對圖像D的各像素位置和圖像B中的對應(yīng)點(diǎn)的有無、以及對 應(yīng)點(diǎn)位置進(jìn)行推定；·對應(yīng)圖像設(shè)定部403，在圖像E(與圖像D同尺寸的臨時處理圖像)中的像素位 置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推定 部402中推定為有對應(yīng)點(diǎn)的、圖像D中的像素位置相同；·圖像內(nèi)插部404，根據(jù)在對應(yīng)圖像設(shè)定部403中設(shè)定的圖像信息，產(chǎn)生圖像E中 的像素位置的圖像信息，其中，該圖像E中的像素位置與在對應(yīng)點(diǎn)推定部402中推定為沒有 對應(yīng)點(diǎn)的、圖像D中的像素位置相同；·圖像位深度縮小部405，對圖像E進(jìn)行色調(diào)映射，產(chǎn)生位深度小(與圖像G相同 位深度的)的圖像F; 差分產(chǎn)生部406，在圖像G的各像素位置中，求取圖像G的圖像信息、與相同像素 位置的圖像F的圖像信息的差分；·閾值設(shè)定部410，在預(yù)先設(shè)定的范圍中設(shè)定多個閾值；·圖像選擇部407，對于在閾值設(shè)定部410中設(shè)定的各閾值，在差分產(chǎn)生部406中求取的各像素位置中的差分比閾值小的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像 E的圖像信息，在差分產(chǎn)生部406中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng) 的圖像C的各像素位置中設(shè)定圖像D的圖像信息； 生成差分合計部409，對在圖像選擇部407中得到的圖像C和圖像A的各像素位 置中的圖像信息的差分的合計進(jìn)行計算；以及 閾值決定部411，決定在生成差分合計部409中得到的差分的合計變得最小的閾值。在閾值設(shè)定部410中，作為閾值從10到50以10為單位使閾值增加。以上述為前提，圖8所示的圖像生成裝置以下述方式工作。圖9表示其流程圖。首先，基準(zhǔn)圖像位深度縮小部412從圖像A利用色調(diào)映射來產(chǎn)生位深度小的圖像 G (步驟 S40)。圖像位深度擴(kuò)大部401根據(jù)圖像G產(chǎn)生位深度大(與圖像A、B具有相同的位深 度)的圖像D(步驟S41)。然后，對應(yīng)點(diǎn)推定部402推定圖像D和圖像B的對應(yīng)點(diǎn)的有無、以及位置(步驟 S42)。對應(yīng)圖像設(shè)定部403將在對應(yīng)點(diǎn)推定部402中推定為有對應(yīng)點(diǎn)的位置中的圖像B 的圖像信息向圖像E設(shè)定(步驟S43)。圖像內(nèi)插部404針對在對應(yīng)點(diǎn)推定部402中推定為沒有對應(yīng)點(diǎn)的位置，根據(jù)在對 應(yīng)圖像設(shè)定部403中已經(jīng)設(shè)定的圖像信息進(jìn)行內(nèi)插來產(chǎn)生圖像E的圖像信息(步驟S44)。圖像位深度縮小部405根據(jù)圖像E來產(chǎn)生位深度小的圖像F(步驟S45)。差分產(chǎn)生部406產(chǎn)生圖像G和圖像F的差分(步驟S46)。接著，在閾值設(shè)定部410中，將閾值設(shè)定為10(步驟S47)。在圖像選擇部407中，對在差分產(chǎn)生部406中得到的差分與閾值進(jìn)行比較，按各像 素位置的每一個選擇圖像E或圖像D來生成圖像C(步驟S48)。生成差分合計部409求取圖像C和圖像A的差分的合計(步驟S49)。在50之前一邊使閾值以10為單位增加，一邊反復(fù)執(zhí)行以上的閾值設(shè)定部410和 圖像選擇部407和生成差分合計部409的處理(步驟S50、S51)。接著，閾值決定部411決定在生成差分合計部409中得到的值變得最小的情況下 的閾值(步驟S52)。在上述結(jié)構(gòu)中，也可以代替圖像選擇部407而使用圖像生成部408。在圖10中表 示裝置概要。在圖像選擇部408中，在差分產(chǎn)生部406中求取的各像素位置中的差分小的情況 下，在對應(yīng)的圖像C的各像素位置中設(shè)定圖像E的圖像信息，在差分產(chǎn)生部406中求取的各 像素位置中的差分大的情況下，在對應(yīng)的圖像C的各像素位置中設(shè)定將圖像D的圖像信息 和圖像E的圖像信息加權(quán)平均后的值。在以上的實施例中，說明了針對多個攝影機(jī)輸入視頻圖像的處理。該方法不僅在多視點(diǎn)圖像中、也能應(yīng)用于單鏡頭的活動圖像。S卩，在活動圖像中的各幀的位深度不同的情況下，對于低位深度的幀的圖像，能夠 利用其它的高位深度的幀的圖像，生成高位深度的圖像。
例如，在將低位深度的幀作為圖像A，將其它的高位深度的幀作為圖像B，生成高 位深度的圖像C的處理中能夠應(yīng)用。此外，在本實施例中，將處理的信號作為Y信號，但其是RGB等的其它的彩色信號 也可。此外，在YUV信號的Y信號的位深度相同，但UV信號的位深度不同的情況下也能 應(yīng)用。在該情況下，在圖像擴(kuò)大部中僅擴(kuò)大UV信號，直接復(fù)制Y信號。而且，不利用擴(kuò)大U 或V信號后的信號，而利用Y信號進(jìn)行在對應(yīng)點(diǎn)推定部中的對應(yīng)點(diǎn)推定的處理也可。以上的圖像生成的處理，能夠通過計算機(jī)和軟件程序來實現(xiàn)，也能夠?qū)⒃摮绦蛴?錄在計算機(jī)能夠讀取的記錄介質(zhì)中進(jìn)行提供，或通過網(wǎng)絡(luò)進(jìn)行提供。產(chǎn)業(yè)上的利用可能性根據(jù)本發(fā)明，對以低位深度攝影的攝影機(jī)位置的圖像信息，能夠利用其它的以高位深度攝影的攝影機(jī)位置的圖像信息，生成高位深度的圖像信息。由此，能夠降低主觀品質(zhì) 的劣化。
權(quán)利要求
一種圖像生成方法，根據(jù)第一圖像A、和比圖像A位深度高的第二圖像B，生成第三圖像C的圖像信息，其特征在于，執(zhí)行如下步驟圖像位深度擴(kuò)大步驟，對第一圖像A進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像B具有相同的位深度的第三圖像C；對應(yīng)點(diǎn)推定步驟，對第三圖像C的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定步驟，在所述對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、第三圖像C中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像信息。
2.根據(jù)權(quán)利要求1所述的圖像生成方法，其特征在于，還執(zhí)行圖像內(nèi)插步驟，根據(jù)在所述對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生在所 述對應(yīng)點(diǎn)推定步驟中推定為沒有對應(yīng)點(diǎn)的、第三圖像C中的像素位置的圖像信息。
3.一種圖像生成方法，根據(jù)第一圖像A、和比圖像A位深度高的第二圖像B，生成第三圖 像C的圖像信息，其特征在于，執(zhí)行如下步驟圖像位深度擴(kuò)大步驟，對第一圖像A進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像B具有相同位深度 的第四圖像D ；對應(yīng)點(diǎn)推定步驟，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對 應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖 像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、 第四圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在所述對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五 圖像E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步 驟中推定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像位深度縮小步驟，對第五圖像E進(jìn)行色調(diào)映射縮小，產(chǎn)生與圖像A具有相同位深度 的第六圖像F;差分產(chǎn)生步驟，在第一圖像A的各像素位置中，求取第一圖像A的圖像信息、和相同像 素位置的第六圖像F的圖像信息的差分；以及圖像信息設(shè)定步驟，在所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值小的情 況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生步 驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中 設(shè)定基于第四圖像D的圖像信息的圖像信息。
4.根據(jù)權(quán)利要求3所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中設(shè)定第四圖像D的圖像信息。
5.根據(jù)權(quán)利要求3所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后的 值。
6.一種圖像生成方法，根據(jù)具有相同位深度的第一圖像A和第二圖像B，使用第四 第七圖像D G生成第三圖像C的圖像信息，其特征在于，執(zhí)行如下步驟基準(zhǔn)圖像位深度縮小步驟，對第一圖像A進(jìn)行色調(diào)映射縮小來產(chǎn)生位深度小的第七圖 像G;圖像位深度擴(kuò)大步驟，對第七圖像G進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像A具有相同位深度 的第四圖像D ；對應(yīng)點(diǎn)推定步驟，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對 應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定步驟，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖 像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步驟中推定為有對應(yīng)點(diǎn)的、 第四圖像D中的像素位置相同；圖像內(nèi)插步驟，根據(jù)在所述對應(yīng)圖像設(shè)定步驟中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五 圖像E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定步 驟中推定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像位深度縮小步驟，對第五圖像E進(jìn)行色調(diào)映射縮小，產(chǎn)生與圖像G具有相同位深度 的第六圖像F;差分產(chǎn)生步驟，在第七圖像G的各像素位置中，求取第七圖像G的圖像信息、和相同像 素位置的第六圖像F的圖像信息的差分；閾值設(shè)定步驟，設(shè)定閾值；圖像信息設(shè)定步驟，在所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值小的情 況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生步 驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中 設(shè)定基于第四圖像D的圖像信息的圖像信息；生成差分合計步驟，計算在所述圖像選擇步驟中得到的第三圖像C和第一圖像A的各 像素位置中的圖像信息的差分的合計；以及閾值決定步驟，一邊將在所述閾值設(shè)定步驟中設(shè)定的閾值在預(yù)先決定的范圍內(nèi)改變， 一邊反復(fù)進(jìn)行所述圖像選擇步驟和所述生成差分合計步驟，根據(jù)其結(jié)果決定在所述生成差 分合計步驟中得到的差分的合計變得最小的閾值。
7.根據(jù)權(quán)利要求6所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中設(shè)定第四圖像D的圖像信息。
8.根據(jù)權(quán)利要求6所述的圖像生成方法，其特征在于，在所述圖像信息設(shè)定步驟中，在 所述差分產(chǎn)生步驟中求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C 的各像素位置中，設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后 的值。
9.一種圖像生成裝置，根據(jù)第一圖像A、和比圖像A位深度高的第二圖像B，生成第三圖 像C的圖像信息，其特征在于，具備圖像位深度擴(kuò)大部，對第一圖像A進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像B具有相同的位深度 的第三圖像C;對應(yīng)點(diǎn)推定部，對第三圖像C的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；以及對應(yīng)圖像設(shè)定部，在所述對應(yīng)點(diǎn)推定部中推定為有對應(yīng)點(diǎn)的、第三圖像C中的像素位 置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像信息。
10.根據(jù)權(quán)利要求9所述的圖像生成裝置，其特征在于，還具備圖像內(nèi)插部，根據(jù)在所述對應(yīng)圖像設(shè)定部中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生在所述對 應(yīng)點(diǎn)推定部中推定為沒有對應(yīng)點(diǎn)的、第三圖像C中的像素位置的圖像信息。
11.一種圖像生成裝置，根據(jù)第一圖像A、和比圖像A位深度高的第二圖像B，生成第三 圖像C的圖像信息，其特征在于，具備圖像位深度擴(kuò)大部，對第一圖像A進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像B具有相同位深度的 第四圖像D;對應(yīng)點(diǎn)推定部，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng) 點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像 信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推定為有對應(yīng)點(diǎn)的、第四 圖像D中的像素位置相同；圖像內(nèi)插部，根據(jù)在所述對應(yīng)圖像設(shè)定部中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五圖像 E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推 定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像位深度縮小部，對第五圖像E進(jìn)行色調(diào)映射縮小，產(chǎn)生與圖像A具有相同位深度的 第六圖像F;差分產(chǎn)生部，在第一圖像A的各像素位置中，求取第一圖像A的圖像信息、和相同像素 位置的第六圖像F的圖像信息的差分；以及圖像信息設(shè)定部，在所述差分產(chǎn)生部中求取的各像素位置中的差分比閾值小的情況 下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生部中 求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定 基于第四圖像D的圖像信息的圖像信息。
12.根據(jù)權(quán)利要求11所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中設(shè)定第四圖像D的圖像信息。
13.根據(jù)權(quán)利要求11所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后的值。
14.一種圖像生成裝置，根據(jù)具有相同位深度的第一圖像A和第二圖像B，使用第四 第七圖像D G生成第三圖像C的圖像信息，其特征在于，具備基準(zhǔn)圖像位深度縮小部，對第一圖像A進(jìn)行色調(diào)映射縮小來產(chǎn)生位深度小的第七圖像G ；圖像位深度擴(kuò)大部，對第七圖像G進(jìn)行色調(diào)映射擴(kuò)大，產(chǎn)生與圖像A具有相同位深度的 第四圖像D;對應(yīng)點(diǎn)推定部，對第四圖像D的各像素位置與第二圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定；對應(yīng)圖像設(shè)定部，在第五圖像E中的像素位置中，設(shè)定第二圖像B中的對應(yīng)位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推定為有對應(yīng)點(diǎn)的、第四 圖像D中的像素位置相同；圖像內(nèi)插部，根據(jù)在所述對應(yīng)圖像設(shè)定部中設(shè)定的圖像信息進(jìn)行內(nèi)插，產(chǎn)生第五圖像 E中的像素位置的圖像信息，其中，該第五圖像E中的像素位置與在所述對應(yīng)點(diǎn)推定部中推 定為沒有對應(yīng)點(diǎn)的、第四圖像D中的像素位置相同；圖像位深度縮小部，對第五圖像E進(jìn)行色調(diào)映射縮小，產(chǎn)生與圖像G具有相同位深度的 第六圖像F;差分產(chǎn)生部，在第七圖像G的各像素位置中，求取第七圖像G的圖像信息、和相同像素 位置的第六圖像F的圖像信息的差分；閾值設(shè)定部，設(shè)定閾值；圖像信息設(shè)定部，在所述差分產(chǎn)生部中求取的各像素位置中的差分比閾值小的情況 下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定第五圖像E的圖像信息，在所述差分產(chǎn)生部中 求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各像素位置中設(shè)定 基于第四圖像D的圖像信息的圖像信息；生成差分合計部，計算在所述圖像選擇部中得到的第三圖像C和第一圖像A的各像素 位置中的圖像信息的差分的合計；以及閾值決定部，一邊將在所述閾值設(shè)定部中設(shè)定的閾值在預(yù)先決定的范圍內(nèi)改變，一邊 反復(fù)進(jìn)行利用所述圖像選擇部和所述生成差分合計部的處理，根據(jù)其結(jié)果決定在所述生成 差分合計部中得到的差分的合計變得最小的閾值。
15.根據(jù)權(quán)利要求14所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中，設(shè)定第四圖像D的圖像信息。
16.根據(jù)權(quán)利要求14所述的圖像生成裝置，其特征在于，在所述圖像信息設(shè)定部中，在 所述差分產(chǎn)生部求取的各像素位置中的差分比閾值大的情況下，在對應(yīng)的第三圖像C的各 像素位置中，設(shè)定對第四圖像D的圖像信息和第五圖像E的圖像信息進(jìn)行加權(quán)平均后的值。
17.一種圖像生成程序，用于使計算機(jī)執(zhí)行權(quán)利要求1、3、和6的任一項所述的圖像生 成方法。
18.一種計算機(jī)能夠讀取的記錄介質(zhì)，記錄有圖像生成程序，該圖像生成程序用于使計 算機(jī)執(zhí)行權(quán)利要求1、3、和6的任一項所述的圖像生成方法。
全文摘要
一種圖像生成方法，根據(jù)圖像A、和比圖像A位深度高的圖像B，生成圖像C的圖像信息，對圖像A進(jìn)行色調(diào)映射，產(chǎn)生與圖像B具有相同的位深度的圖像C，對圖像C的各像素位置與圖像B中的對應(yīng)點(diǎn)的有無、以及對應(yīng)點(diǎn)位置進(jìn)行推定，在推定為有對應(yīng)點(diǎn)的、圖像C中的像素位置中，設(shè)定圖像B中的對應(yīng)位置的圖像信息。也可以根據(jù)推定為有對應(yīng)點(diǎn)而設(shè)定的圖像信息，產(chǎn)生在對應(yīng)點(diǎn)推定中推定為沒有對應(yīng)點(diǎn)的、圖像C中的像素位置的圖像信息。
文檔編號H04N1/387GK101821770SQ20088011154
公開日2010年9月1日 申請日期2008年10月9日 優(yōu)先權(quán)日2007年10月15日
發(fā)明者上倉一人, 八島由幸, 志水信哉, 木全英明 申請人:日本電信電話株式會社