專利名稱：三維圖像插補裝置、三維攝像裝置以及三維圖像插補方法
技術領域：
本發(fā)明涉及對三維運動圖像進行幀插補的三維圖像插補裝置，三維攝像裝置以及三維圖像插補方法。
背景技術：
近幾年，使用CO)圖像傳感器(Charge Coupled Device Image Sensor :電荷藕合器件圖像傳感器)或者CMOS圖像傳感器(Complementary Metal Oxide SemiconductorImage Sensor :互補金屬氧化物半導體圖像傳感器)等的固體攝像元件(下面有時簡單稱為“攝像元件”)的數(shù)字圖片相機或者數(shù)字攝像機的高功能化以及高性能化令人震驚。尤其是隨著半導體制造技術的進步，固體攝像元件的像素構造的細微化得到發(fā)展。其結果，固體攝像元件的像素以及驅(qū)動電路不斷向著高集成化發(fā)展。因此，僅用幾 年的時間，攝像元件的像素數(shù)從100萬像素左右大大增加到1000萬像素以上。加之，通過攝像獲得的圖像的質(zhì)量也有了飛躍性的提高。另ー方面，通過液晶顯示器或者等離子顯示器等的薄型顯示裝置，實現(xiàn)了不占地方、能夠以高分辨率且高對比度來顯示圖像。這樣的圖像高品質(zhì)化的趨勢，從ニ維圖像擴大到三維圖像。最近已經(jīng)開始對采用偏振光眼鏡或者具有高速快門的眼鏡，顯示高畫質(zhì)的三維圖像的三維顯示裝置進行了開發(fā)。用于獲得在三維顯示裝置上顯示的高畫質(zhì)的三維圖像或者三維影像的三維攝像裝置的開發(fā)也有了發(fā)展。作為獲得三維圖像并在三維顯示裝置上顯示的單純的方法，可以考慮以具備了位置不同的2個光學系(透鏡和攝像元件)的攝像裝置來拍攝圖像或者影像的方法。使用各光學系被拍攝的圖像作為左眼用圖像以及右眼用圖像被輸入到三維顯示裝置。通過三維顯示裝置將拍攝的左眼用圖像和右眼用圖像高速地切換來顯示，戴眼鏡的用戶能夠立體地感覺圖像。另外，還有這樣的方法，利用多臺相機構成的攝像系算出場景的深度信息，根據(jù)深度信息和紋理(texture)信息生成左眼用圖像以及右眼用圖像。此外，還有這樣的方法，改變光照方法等場景的幾何條件或者光學條件或者攝像裝置的光學系的條件(光圈的大小等)，根據(jù)I臺相機拍攝的多張圖像算出深度信息，從而生成左眼用圖像以及右眼用圖像。作為有關前者的方法有同時利用從多個相機獲得的圖像求出各像素的深度的非專利文獻I中記載的多基線立體(Multi-baseline Stereo)法。該多基線立體法與一般的雙目立體相比能夠以高精度來推定場景的深度。作為一例說明相機的臺數(shù)是2臺(雙目立體)時的左眼用圖像以及右眼用圖像(視差圖像)的生成方法。在雙目立體中利用2臺相機從互相不同的視點拍攝2張圖像，從被拍攝的各圖像提取特征點，通過求出特征點間的對應關系來確定對應點。這樣被確定的對應點間的距離被稱為視差。例如，以2臺相機拍攝的2張圖像中，對應的特征點的坐標(X，y)分別為(5，10)，(10，10)時，視差成為5。在這里設相機被平行地配置，視差設為d，2臺相機的焦點距離設為f，相機間的距離(基線長baseline)設為B時，根據(jù)(公式I)能夠求出從相機到被攝體的距離。(公式I)
^ - BfZ = L (式 I)
d在2臺相機間的距離長時，在一個相機觀測的特征點不能在另一個相機觀測。即使是那樣的情況下，多基線立體法利用3臺以上的相機，從而能夠減少對應點搜索的含糊性，所以減少視差推定的誤差。在求出深度時，例如像非專利文獻2所述的方法一樣，利用深度的信息和場景的紋理，能夠生成左眼用圖像以及右眼用圖像。根據(jù)非專利文獻2所述的方法，利用推定的深 度和從攝像裝置獲得的場景的紋理，能夠生成將虛擬相機位置(左眼用相機位置和右眼用相機位置)作為新的視點位置的圖像。這樣，能夠獲得與攝影時不同的視點位置的圖像。新的視點位置的圖像能夠通過(公式2)生成。在這里各記號與(公式I)相同。求深度的相機的X坐標設為Xe，在新生成的視點位置上的相機的X坐標設為XI，Xr0xl, xr分別是左眼用以及右眼用的相機(虛擬相機)的X坐標。將虛擬相機間的距離(基線長baseline)設為 tx。(公式2)
J txfXi=XC +
2Z(式2)
txfxr-Xe ——
TZ根據(jù)上述，使用多臺相機算出深度，則能夠生成左眼用圖像以及右眼用圖像。在與后者有關的深度的算出方法中，作為變更與場景有關的條件的方法有非專利文獻3示出的光度立體(Photometric Stereo)法。改變照明的位置拍攝被攝體的多張圖像被輸入時，根據(jù)被攝體的像素值和照明的位置的三維關系，求出被攝體的三維位置。此外，作為改變攝像裝置的光學條件的方法有非專利文獻4示出的D印th From Defocus (散焦測距)法。在這個方法中，利用改變相機的焦點距離拍攝的多張圖像的各像素的模糊的變化量、相機的焦點距離、光圈的大小(開口直徑)，能夠求出從相機到被攝體為止的距離(深度)。這樣，從以前就開始研究了獲得場景的深度信息的各種各樣的方法。特別是D印thFrom Defocus法有這樣的特征，能夠?qū)z像裝置做成小型且輕量，不需要照明裝置等其他的裝置。(現(xiàn)有技術文獻)(專利文獻)專利文獻I :日本特開平7-262382號公報專利文獻2 :日本特開2010-16743號公報(非專利文獻 1)“A Multiple-baseline Stereo, ^IEEE Trans. Pattern Analysisand Machine Intelligence，Vol. 15，No. 4，pp. 353-363，1993，M. Okutomi and T. Kanade.(非專利文獻2)“Stereoscopic Image Generation Based on Depth Images for3D TV. ” IEEE Trans. On Broadcasting, Vol. 51，No. 2，June2005，L Zhang and W. J. Tam.
(非專利文獻 3) “Photometric method for determining surface orientationfrom multiple images.，，Optical Engineerings 19, 1,139-144, 1980, R. J. ffoodham.(非專利文獻 4) “A new sense for depth of field”，IEEE Transaction onPattern Analysis and Machine Intelligence, 2,4, pp. 523-531 1987, A.P.Pentland.(非專利文獻 5) " Depth from Defocus : A Spatial DomainApproach, " International Journal of Computer Vision, Vol. 13, No. 3,pp. 271-294, 1994 M. Subbarao and G. Surya.(非專利文獻6)“3DC安全方針” 3D consortium, 2010年4月20日修訂版·如上所述,通過采用Depth From Defocus法，以單眼且小型的系統(tǒng)就能獲得場景的深度信息。然而，在Depth From Defocus法中，需要改變相機的焦點距離拍攝2張以上的圖像。即，在攝影時為了改變相機的焦點距離，就需要前后驅(qū)動透鏡(或攝像元件)。因此，在I次的攝影中需要的時間，很大地依存于驅(qū)動時間以及在驅(qū)動之后透鏡或者攝像元件的 振動消失為止的時間。根據(jù)上述,在Depth From Defocus法中存在這樣的課題，I秒鐘只能拍攝少量的圖像。因此在Depth From Defocus法中，ー邊算出深度信息一邊拍攝運動圖像的情況下,運動圖像的幀速率變低。作為從幀速率低的運動圖像生成高幀速率的運動圖像的方法有根據(jù)2張圖像生成在時間方向插補的圖像，從而提高時間分辨率的方法。此方法作為例如使顯示器的顯示流暢而提高時間分辨率的方法來利用。然而，采用為了利用D印th From Defocus法的模糊存在的圖像進行時間方向的插補時，雖然能夠生成包含模糊的插補圖像，不過該插補沒有考慮深度信息。因此，從包含模糊的插補圖像中不能算出根據(jù)Depth From Defocus法的深度信息。此外，作為提高ニ維圖像的時間分辨率的方法的延伸，可以考慮這樣的方法，根據(jù)Depth From Defocus法對各個靜止圖像，生成左眼用圖像以及右眼用圖像之后，在每個視點進行圖像的插補，從而提高時間分辨率。然而，通過插補被生成的左眼用圖像以及右眼用圖像，因為在左右獨立地進行了插補，所以不能保證三維幾何性位置關系正確。因此存在這樣的課題，作為每ー個靜止圖像來看的時候沒有不協(xié)調(diào)感，不過，在三維顯示裝置上看的時候成為有不協(xié)調(diào)感的三維運動圖像。根據(jù)專利文獻I所述的方法，定義了攝影被攝體的運動模式，進行了坐標信息的插補和運動信息的插補。根據(jù)這個方法，不但能進行ニ維坐標信息的插補，還能進行三維的運動信息的插補。然而，存在這樣的課題，因為一般的場景動作復雜，難以進行模式化，所以適用該方法比較困難。

發(fā)明內(nèi)容
本發(fā)明是解決所述以往的課題的發(fā)明，其目的在于提供能夠高精度地進行三維運動圖像的幀插補的三維圖像插補裝置、三維攝像裝置以及三維圖像插補方法。為了達成上述目的，本發(fā)明的一個方案涉及的三維圖像插補裝置，進行三維運動圖像的幀插補，該三維圖像插補裝置具備距離圖像插補部，生成在第一距離圖像和第二距離圖像之間進行插補的至少一張插補距離圖像，所述第一距離圖像和所述第二距離圖像分別表示所述三維運動圖像中包含的第一圖像以及第二圖像的深度；圖像插補部，生成在所述第一圖像和所述第二圖像之間進行插補的至少一張插補圖像；以及插補視差圖像生成部，根據(jù)所述插補圖像，生成具有與所述插補距離圖像表示的深度對應的視差的至少一組插補視差圖像。根據(jù)本構成在進行三維運動圖像的幀插補的情況下，分別進行二維圖像的插補和距離圖像的插補之后，生成插補視差圖像。因此與各自進行左眼用圖像的插補和右眼用圖像的插補來生成插補視差圖像的情況相比，能抑制深度方向的插補錯誤，能夠高精度地進行三維運動圖像的幀插補。此外，左眼用插補圖像和右眼用插補圖像，利用相同的插補距離圖像及插補圖像被生成，所以有這樣的效果，針對觀看進行了幀插補的三維圖像的用戶，難以帶來因插補引起的不快感。此外，優(yōu)選的是，所述三維圖像插補裝置，還具備距離運動矢量算出部，根據(jù)所述第一距離圖像以及所述第二距離圖像算出運動矢量，以作為距離運動矢量；圖像運動矢量算出部，根據(jù)所述第一圖像以及所述第二圖像算出運動矢量，以作為圖像運動矢量；矢量 相似度算出部，算出矢量相似度，該矢量相似度是表示所述圖像運動矢量和所述距離運動矢量的相似性的程度的值；以及插補圖像數(shù)決定部，以被算出的所述矢量相似度越大則數(shù)量越多的方式，決定插補的上限數(shù)，所述插補視差圖像生成部，生成被決定的所述上限數(shù)以下的數(shù)量的所述插補視差圖像。根據(jù)這個構成，能夠按照距離運動矢量與圖像運動矢量之間的相似度來決定插補的上限數(shù)。在距離運動矢量與圖像運動矢量之間的相似度低的情況下，距離運動矢量或者圖像運動矢量沒有被正確算出的可能性高。因此，在這樣的情況下，通過減少插補的上限數(shù)，從而能夠抑制因插補視差圖像導致三維運動圖像的畫質(zhì)惡化。此外，優(yōu)選的是，所述距離運動矢量算出部，按第一尺寸的每個塊算出所述距離運動矢量，所述圖像運動矢量算出部，按所述第一尺寸的每個塊算出所述圖像運動矢量，所述矢量相似度算出部，按比所述第一尺寸大的第二尺寸的每個塊，生成所述距離運動矢量的方向以及強度中的至少一方的直方圖，按所述第二尺寸的每個塊，生成所述圖像運動矢量的方向以及強度中的至少一方的直方圖，根據(jù)所述距離運動矢量與所述圖像運動矢量的方向的直方圖之間的相似性以及所述距離運動矢量與所述圖像運動矢量的強度的直方圖之間的相似性中的至少一方，算出所述矢量相似度。根據(jù)這個構成，能夠根據(jù)運動矢量的方向與強度中的至少一方的直方圖，算出矢量相似度。據(jù)此，使運動矢量沒有被正確算出的可能性與矢量相似度的相關度提高，能夠恰當?shù)貨Q定插補的上限數(shù)。此外，優(yōu)選的是，所述插補圖像數(shù)決定部，將由用戶輸入的所述上限數(shù)以下的數(shù)量決定為插補數(shù)，所述插補視差圖像生成部，生成被決定的所述插補數(shù)的所述插補視差圖像。根據(jù)這個構成，能夠由用戶的輸入來決定插補數(shù)，能夠抑制因幀插補給用戶帶來的不快感。此外，優(yōu)選的是，所述三維圖像插補裝置，還具備距離圖像獲得部，根據(jù)第一攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得所述第一距離圖像，且根據(jù)時間上位于所述第一攝影圖像群的后邊的第二攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得所述第二距離圖像。根據(jù)這個構成，作為輸入能夠利用焦點距離互不相同的多個攝影圖像，所以能夠貢獻于攝像裝置的小型化。此外，優(yōu)選的是，所述三維圖像插補裝置，還具備紋理圖像獲得部，利用表示所述第一攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而將第一紋理圖像作為所述第一圖像來獲得，且利用表示所述第二攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而將第二紋理圖像作為所述第二圖像來獲得。根據(jù)這個構成，能夠根據(jù)紋理圖像生成插補視差圖像。此外，所述三維圖像插補裝置可以被構成為集成電路。此外，本發(fā)明的一個方案涉及的三維攝像裝置，具備攝像部；以及上述三維圖像 插補裝置。這樣，能夠達到與所述三維圖像插補裝置同樣的效果。另外，本發(fā)明不僅能夠作為上述的三維圖像插補裝置來實現(xiàn)，而且還可以作為上述的三維圖像插補裝置具備的特征性的構成要素的動作為步驟的三維圖像插補方法來實現(xiàn)。此外，本發(fā)明能夠作為使計算機執(zhí)行三維圖像插補方法包含的各步驟的程序來實現(xiàn)。而且，上述的程序，當然可以經(jīng)由⑶-ROM (Compact Disc Read Only Memory)等的非一時的記錄介質(zhì)或者互聯(lián)網(wǎng)等傳輸介質(zhì)來分發(fā)。根據(jù)本發(fā)明能夠高精度地進行三維運動圖像的幀插補。


圖I是表示本發(fā)明的實施例的三維攝像裝置的全體結構的圖。圖2是表示本發(fā)明的實施例的三維圖像插補部的結構的方框圖。圖3是表示本發(fā)明的實施例的三維圖像插補部的處理動作的流程圖。圖4是表示本發(fā)明的實施例的距離圖像獲得部的處理動作的流程圖。圖5是用于說明本發(fā)明的實施例的運動矢量算出方法的一例的圖。圖6是表不ネ旲糊圖像和全焦點圖像和PSF之間的關系的圖。圖7是表示本發(fā)明的實施例的模糊內(nèi)核的尺寸的求出方法的圖。圖8是表示本發(fā)明的實施例的矢量相似度算出部的處理動作的流程圖。圖9是表示本發(fā)明的實施例的插補數(shù)的輸入方法的一例的圖。圖10是用于說明本發(fā)明的實施例的插補距離圖像以及插補紋理圖像的生成方法的圖。圖11是用于說明本發(fā)明的實施例的視差圖像生成方法的一例的圖。圖12是表示本發(fā)明的一個方案涉及的三維圖像插補裝置的功能結構的方框圖。圖13是表示本發(fā)明的一個方案涉及的三維圖像插補裝置的處理動作的流程圖。
具體實施例方式下面，參照

本發(fā)明的實施例。另外，下面說明的實施例都是表示本發(fā)明優(yōu)選的ー個具體例子。換言之，以下的實施例中示出的數(shù)值、形狀、材料、構成要素、構成要素的配置以及連接形式、步驟、步驟的順序等，都是本發(fā)明的一個例子，主旨不是限制本發(fā)明。本發(fā)明根據(jù)權利要求書的記載所確定。因此，以下的實施例的構成要素中，在表示本發(fā)明的最上位概念的獨立權利要求中沒有記載的構成要素，不是為了達成本發(fā)明的課題而必需的，可以說明是構成更好的形式的構成要素。此外，在以下的說明中，“圖像(image)”是指以二維形式來表示場景的亮度或者顏色等的信號或者信息。此外，“距離圖像(range image)”是指以二維形式來表示場景的離相機的距離(深度)的信號或者信息。此外，“視差圖像(parallax image)”是指與互相不同的多個視點位置對應的多個圖像(例如，右眼用圖像以及左眼用圖像)。圖I是表示本發(fā)明的實施例的三維攝像裝置10的全體結構的方框圖。本實施例的三維攝像裝置10是數(shù)字式的電子攝像機，具備攝像部100、信號處理部200、以及顯示部300。下面詳細說明攝像部100、信號處理部200以及顯示部300。攝像部100拍攝場景的圖像。場景(scene)是指由攝像部100拍攝的圖像上映現(xiàn)的全部，除了被攝體還包括背景。 如圖I所示，攝像部100具備攝像元件101、光學透鏡103、濾光器104、控制部105、以及元件驅(qū)動部106。攝像元件101是例如CXD圖像傳感器或者CMOS圖像傳感器等的固體攝像元件，由公知的半導體制造技術所制造。例如，攝像元件101具備在攝像面上布置為矩陣狀的多個光感知單元。光學透鏡103在攝像元件101的攝像面上形成像。在本實施例中攝像部100具備I塊光學透鏡103,不過也可以具備多塊光學透鏡。濾光器104是透過可見光，遮斷近紅外光(IR)的紅外遮斷濾光器4。另外，攝像部100不必一定要具備濾光器104?？刂撇?05生成用于驅(qū)動攝像元件101的基本信號。加之，控制部105接收來自攝像元件101的輸出信號，發(fā)送到信號處理部200。元件驅(qū)動部106根據(jù)由控制部105生成的基本信號，驅(qū)動攝像元件101。另外，這些控制部105以及元件驅(qū)動部106,由例如CO)驅(qū)動器等的LSI (Large Scale Integration 大規(guī)模集成)構成。信號處理部200根據(jù)從攝像部100輸出的信號，生成圖像信號。如圖I所示，信號處理部200具備存儲器201、三維圖像插補部202、以及接口部203。三維圖像插補部202進行三維運動圖像的幀插補。該三維圖像插補部202，通過公知的數(shù)字信號處理處理器(DSP)等的硬件和執(zhí)行包含圖像信號生成處理的圖像處理的軟件的組合，能夠恰好地實現(xiàn)。另外，關于三維圖像插補部202的詳細內(nèi)容，利用附圖在后面敘述。存儲器201由例如DRAM(Dynamic Random Access Memory :動態(tài)隨機存取存儲器)等構成。在存儲器201中記錄有從攝像部100獲得的信號，并且暫時地記錄有由三維圖像插補部202生成的圖像數(shù)據(jù)或者其壓縮圖像數(shù)據(jù)。這些圖像數(shù)據(jù)經(jīng)由接口部203，發(fā)送到未圖示的記錄介質(zhì)或者顯示部300等。顯示部300顯示攝影條件或者被拍攝的圖像等。此外，顯示部300是靜電電容方式或者電阻膜方式等的觸摸面板，作為接受來自用戶的輸入的輸入部也發(fā)揮作用。由用戶輸入的信息，通過接ロ部203，反映到信號處理部200以及攝像部100的控制。另外，本實施例的三維攝像裝置10，還可以具備電子快門，尋像器(view Finder),電源(電池)，閃光等的公知的構成要素，不過，這些構成要素的說明對理解本發(fā)明沒有特別的需要，所以省略其說明。圖2是表示本發(fā)明的實施例的三維圖像插補部202的結構的方框圖。如圖2所示，三維圖像插補部202具備距離圖像獲得部400、距離運動矢量算出部401、圖像運動矢量算出部402、矢量相似度算出部403、插補圖像數(shù)決定部404、距離圖像插補部405、圖像插補部406、以及插補視差圖像生成部407。距離圖像獲得部400獲得表示第一圖像以及第ニ圖像的深度的第一距離圖像以及第ニ距離圖像。第一圖像以及第ニ圖像是三維運動圖像中包含的相同視點的圖像，是成為幀插補的對象的圖像。在本實施例中，距離圖像獲得部400，根據(jù)第一攝影圖像群中包含的焦點距離互不 相同的多個攝影圖像間的模糊的相關性，獲得第一距離圖像。此外，距離圖像獲得部400，根據(jù)第二攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得第ニ距離圖像。另外，第一攝影圖像群以及第ニ攝影圖像群分別包含由攝像部100邊改變焦點距離邊拍攝的多個攝影圖像。此外，第二攝影圖像群是在時間上位于第一攝影圖像群的后邊的圖像群。紋理圖像獲得部408，利用表示第一攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而將第一紋理圖像作為第一圖像來獲得。此外，紋理圖像獲得部408，利用表示第二攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而將第二紋理圖像作為第二圖像來獲得。在本實施例中，紋理圖像是指利用表示攝影圖像的模糊的特征的模糊信息對攝影圖像進行復原處理，而得到的圖像。換言之，紋理圖像是除去攝影圖像中包含的模糊的圖像。即，紋理圖像是在全部的像素上對焦的圖像。另外，作為第一圖像以及第ニ圖像沒有必要利用第一紋理圖像以及第ニ紋理圖像。換言之，第一圖像以及第ニ圖像可以是具有模糊的圖像。這個情況下，三維圖像插補部202可以不具備紋理圖像獲得部408。距離運動矢量算出部401根據(jù)第一距離圖像以及第ニ距離圖像算出運動矢量。在這里，將這樣根據(jù)第一距離圖像以及第ニ距離圖像算出的運動矢量稱為距離運動矢量。圖像運動矢量算出部402根據(jù)第一圖像以及第ニ圖像算出運動矢量。在這里，將這樣根據(jù)第一圖像以及第ニ圖像算出的運動矢量稱為圖像運動矢量。矢量相似度算出部403算出矢量相似度,該矢量相似度是表不距尚運動矢量與圖像運動矢量的相似性的程度的值。矢量相似度的算出方法的細節(jié)在后面敘述。插補圖像數(shù)決定部404以被算出的相似度越大則數(shù)量越多的方式，決定插補的上限數(shù)。距離圖像插補部405生成在第一距離圖像與第二距離圖像之間進行插補的至少I張插補距離圖像。具體而言，距離圖像插補部405生成由插補圖像數(shù)決定部404決定的插補的上限數(shù)以下的數(shù)量的插補距離圖像。圖像插補部406生成在第一圖像與第二圖像之間進行插補的至少I張插補圖像。在本實施例中，圖像插補部406生成在第一紋理圖像與第二紋理圖像之間進行插補的至少I張插補紋理圖像。具體而言，圖像插補部406生成由插補圖像數(shù)決定部404決定的插補的上限數(shù)以下的數(shù)量的插補圖像。插補視差圖像生成部407根據(jù)插補圖像，生成具有與插補距離圖像表示的深度對應的視差的至少I組插補視差圖像。在本實施例中，插補視差圖像生成部407生成由插補圖像數(shù)決定部404決定的插補的上限數(shù)以下的數(shù)量的插補視差圖像。三維圖像插補部202，通過這樣生成插補視差圖像，從而進行三維運動圖像的幀插補。另外，這樣進行了幀插補的三維運動圖像，例如輸出到未圖示的立體顯示裝置。立體顯示裝置，根據(jù)例如眼鏡式的立體顯示方式顯示三維運動圖像。眼鏡式的立體顯示方式是對 戴眼鏡(例如液晶快門眼鏡或者偏振光眼鏡等)的用戶，顯示具有視差的左眼用圖像以及右眼用圖像的方式。另外，立體顯示裝置，沒有必要一定根據(jù)眼鏡式的立體顯示方式來顯示視差圖像，也可以根據(jù)裸眼式的立體顯示方式來顯示視差圖像。裸眼式的立體顯示方式是不使用眼鏡的立體顯示方式(例如，視差屏障(Parallax Barrier)方式或者柱狀透鏡(lenticularlens)方式等)。接著說明如上述構成的三維圖像插補部202的處理動作。圖3是表示本發(fā)明的實施例的三維圖像插補部202的處理動作的流程圖。以下對第一圖像以及第二圖像是第一紋理圖像以及第二紋理圖像的情況進行說明。首先，距離圖像獲得部400獲得第一距離圖像以及第二距離圖像(S102)。距離運動矢量算出部401從第一距離圖像以及第二距離圖像算出運動矢量(距離運動矢量)(S104)。紋理圖像獲得部408獲得第一紋理圖像以及第二紋理圖像(S105)。圖像運動矢量算出部402從第一紋理圖像及第二紋理圖像算出運動矢量(圖像運動矢量)(S106)。矢量相似度算出部403算出距離運動矢量與圖像運動矢量的相似度(S108)。插補圖像數(shù)決定部404以被算出的相似度越大則數(shù)量越多的方式，決定插補的上限數(shù)(S110)。距離圖像插補部405生成對第一距離圖像與第二距離圖像之間進行插補的、數(shù)量為插補的上限數(shù)以下的插補距離圖像(S112)。圖像插補部406生成對第一紋理圖像與第二紋理圖像之間進行插補的、數(shù)量為插補的上限數(shù)以下的插補紋理圖像(S114)。插補視差圖像生成部407根據(jù)插補紋理圖像，生成具有與對應的插補距離圖像表示的深度對應的視差的插補視差圖像(S116)。如上所述，生成了插補視差圖像，進行了三維運動圖像的幀插補。另外，一邊變更成為插補的對象的圖像(第一紋理圖像及第二紋理圖像)一邊重復進行步驟S102 S116的處理。接著說明圖3表示的各步驟的處理的細節(jié)。〈距離圖像獲得處理(S102)>首先說明步驟S102的距離圖像獲得處理的細節(jié)。在本實施例中，距離圖像獲得部400根據(jù)從攝像部100獲得的多個攝影圖像，獲得表示場景離相機的距離的距離圖像。下面作為一例說明根據(jù)專利文獻2記載的D印th FromDefocus法按每個像素測量距離的方法。另外，距離圖像獲得部400也可以根據(jù)其他的方法(例如使用多臺相機的立體法、光度立體(photometric stereo)、或者使用有源感應器的TOF法等)獲得距離圖像。在Depth From Defocus法中，首先,攝像部100作為I個圖像群拍攝通過改變透鏡和光圈的設定而模糊互不相同的多張圖像。攝像部100，通過重復圖像群的攝影而獲得多個圖像群。在這里，稱這樣獲得的多個圖像群中的I個圖像群為第一圖像群，在時間上位于第一圖像群的下一個圖像群稱為第二圖像群。下面作為一例，說明距離圖像獲得部400從I個圖像群獲得I個距離圖像的處理。距離圖像獲得部400按每個像素算出第一圖像群中包含的多張攝影圖像之間的模糊的相關量。距離圖像獲得部400，通過按每個像素參考預先決定了該模糊的相關量與被攝體距離之間的關系的參考表，來獲得距離圖像。

圖4是表示本發(fā)明的實施例的距離圖像獲得部400的處理動作的一例的流程圖。具體而言，圖4表示根據(jù)Depth From Defocus法的距離測量方法。首先，距離圖像獲得部400，從攝像部100獲得拍攝了相同的場景的2張攝影圖像且焦點距離互不相同的2張攝影圖像(S202)。設該2張攝影圖像包含在第一圖像群中。另夕卜，焦點距離能夠通過移動透鏡或者攝像元件的位置來變更。接著，距離圖像獲得部400將包含成為測距對象的像素和其近旁區(qū)域的像素群的區(qū)域設定為DFD內(nèi)核(S204)。該DFD內(nèi)核成為測距處理的對象。DFD內(nèi)核的尺寸和形式?jīng)]有特別限制，不過，能夠?qū)⒗缫詼y距對象像素為中心的10x10矩形區(qū)域等設定為DFD內(nèi)核。而且，距離圖像獲得部400，從改變焦點距離而拍攝的2張攝影圖像提取設定為DFD內(nèi)核的區(qū)域，并按DFD內(nèi)核的每個像素算出模糊相關量(S206)。在這里，距離圖像獲得部400利用針對DFD內(nèi)核預先被規(guī)定的加權系數(shù)，對按DFD內(nèi)核的每個像素求出的模糊相關量進行加權(S208)。該加權系數(shù)是例如越是DFD內(nèi)核的中心該值越大，越是DFD內(nèi)核的邊緣該值越小的系數(shù)。另外，作為加權系數(shù)可以利用高斯分布等原有的加權分布。通過該加權處理有這樣的特征，對噪聲的影響具有魯棒性。被加權的模糊相關量的和作為DFD內(nèi)核的模糊相關量。最后，距尚圖像獲得部400使用表不距尚和ネ旲糊相關量的關系的一覽表，從ネ旲糊相關量求出距離(S210)。在ー覽表中，模糊相關量對被攝體距離的倒數(shù)具有線形關系(ー覽表算出處理參考非專利文獻5)。另外，如果ー覽表中沒有包含對應的模糊相關量，距離圖像獲得部400可以根據(jù)插補求出被攝體距離。此外，優(yōu)選的是光學系有變更時也對ー覽表進行變更。于是，距離圖像獲得部400可以按照光圈的大小和焦點距離，預先準備多個ー覽表。這些光學系的設定信息在攝像時已經(jīng)知道，所以使用的一覽表可以事先算出。接著說明模糊相關量算出方法。將以互相不同的焦點距離來拍攝的2張攝影圖像作為圖像G1，G2。距離圖像獲得部400選擇測定被攝體距離的測距對象像素，將該測距對象像素的近旁的MXM矩形區(qū)域的像素值作為DFD內(nèi)核分別設定在圖像G1，G2上。分別設圖像G1、G2的DFD內(nèi)核內(nèi)的像素值為gl (u, V), g2 (u, V) {u, V : 1,2,3, “·Μ},測距對象像素的坐標為(cu, cv)。DFD內(nèi)核內(nèi)的任意的像素位置(U，V)的每個像素的模糊相關量G(U，V)在(公式3)表示。(公式3)=(式 3)
Agl(ii,v) + A(g-2(z./,v)在這里C是定數(shù)，被試驗性地決定。Λ表示像素值的2次微分(拉普拉斯算子Laplacian)。這樣，每個像素的模糊相關量是通過在模糊不同的2張圖像的規(guī)定像素的像素值的差分除以在2個圖像的規(guī)定像素的2次微分的平均值而算出的。該模糊相關量表示在圖像內(nèi)的像素單位中的模糊的相關的程度。根據(jù)以上為止的處理，距離圖像獲得部400，針對攝影圖像群獲得表示從相機到被攝體為止的距離的距離圖像。換言之，距離圖像獲得部400，根據(jù)第一攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得第一距離圖像。加之，距離圖像 獲得部400，根據(jù)第二攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得第二距離圖像，所述第二攝影圖像群在時間上位于第一攝影圖像群的后邊。另外，距離圖像獲得部400，不必一定按照以上的處理來獲得距離圖像。例如，距離圖像獲得部400也可以只單純獲得由具有距離感應器的攝像部100生成的距離圖像。<距離運動矢量算出處理(S104) >接著說明步驟S104的距離運動矢量算出處理的細節(jié)。距離運動矢量算出部401從第一距離圖像以及第二距離圖像算出運動矢量。具體而言，距離運動矢量算出部401，首先對第一距離圖像及第二距離圖像的每個像素求出對應點。而且，距離運動矢量算出部401算出連接對應點的矢量，以作為運動矢量。運動矢量表示圖像間的每個像素的移動量和移動方向。關于運動矢量利用圖5來說明。圖5(a)表示時刻t的距離圖像(第一距離圖像)和時刻t+Ι的距離圖像(第二距離圖像)。在圖5 (a)中，從時刻t+Ι的圖像搜索與時刻t的像素A對應的像素，從而像素A和像素B被決定為對應點。在這里，關于對應的像素的搜索方法進行敘述。首先，距離運動矢量算出部401在時刻t+Ι的距離圖像中，為了搜索與像素A對應的像素，算出與像素A對應的區(qū)域和與搜索區(qū)域中包含的像素對應的區(qū)域之間的相關值。相關值,例如利用SAD (Sum Of AbsoluteDifference)或者 SSD (Sum Of Squared Difference))被算出。搜索區(qū)域，例如在圖5(a)的時刻t+Ι的距離圖像用虛線框來表示。另外，場景中的物體的動作快的情況或者時刻t和時刻t+Ι的間隔大的情況下，搜索區(qū)域的尺寸可以設定地較大。此外，場景中的物體的動作慢的情況或者時刻t和時刻t+i的間隔小的情況下，搜索區(qū)域的尺寸可以設定地較小。以下表示利用SAD以及SSD算出相關值的(公式4)。(公式4)
N Mcorsad = \n(u + il, ν + /I) — I2(u + i2, v + J2)\
M=O Vs=O(式4)M Mcorssd = [2](71(w + iIv + ./I),2(" +/2 \ + /2))2
w=0 v=0在這里，Il(u，V)表示在時刻t的圖像Il的像素(U，V)的像素值。12 (U，V)表示在時刻t+Ι的圖像12的像素(U，V)的像素值。距離運動矢量算出部401為了搜索與以圖像Il的像素為基準的NXM像素的區(qū)域類似的區(qū)域，利用(公式4)，求出以圖像Il的像素(il，jl)為基準的NXM像素的區(qū)域和以圖像12的像素(i2, j2)為基準的NXM像素的區(qū)域之間的相關值。corsad是以SAD求出的相關值，corssd是以SSD求出的相關值，不過，作為相關值利用哪ー個都可以。另外，相關性越高corsad以及corssd的值越小。距離運動矢量算出部401在捜索區(qū)域內(nèi)一邊改變像素(i2，j2) —邊算出相關值。距離運動矢量算出部401，將這樣被算出的相關值中成為最小的相關值被算出的像素(i2, J2)決定為與像素A對應的像素。在這里說明了假定2張圖像間的照明的變動或者對比的變動小，利用SAD，SDD算出相關值的方法。另外，在2張圖像間的照明的變動或者對比的變動大的情況下，優(yōu)選的是例如利用正規(guī)化相互相關法來算出相關值。這樣，能夠更加可靠地搜索對應點。距離運動矢量算出部401通過對所有的像素進行以上的處理，能夠求出2張距離圖像的各像素的運動矢量。另外，在求出運動矢量之后可以進行中值濾波器(medianFilter)等的干擾信號消除處理。另外，運動矢量不必一定按每個像素被算出。例如，距離運動矢量算出部401，可以按分割圖像而得到的第一尺寸的每個塊來算出距離運動矢量。這個情況下，能夠比按每個像素算出運動矢量的情況減輕用于算出運動矢量的負荷。<紋理圖像獲得處理(S105) >接著說明步驟S105的紋理圖像獲得處理的細節(jié)。在本實施例中，紋理圖像獲得部408，首先利用第一圖像群和第一距離圖像算出第一紋理圖像。加之，紋理圖像獲得部408利用第二圖像群和第二距離圖像算出第二紋理圖像。具體而言，紋理圖像獲得部408利用表示第一攝影圖像群中包含的ー個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而獲得第一紋理圖像。加之，紋理圖像獲得部408利用表示第二攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而獲得第二紋理圖像。下面，參考附圖來說明這些處理的細節(jié)。首先，關于紋理圖像的算出方法進行說明。本實施例表示的紋理圖像是指利用根據(jù)Depth From Defocus法得到的距離圖像，除去攝影圖像中包含的模糊的圖像。換言之，紋理圖像是在所有像素都對焦的圖像(全焦點圖像)。首先對根據(jù)攝影圖像生成紋理圖像的方法進行說明。在本實施例，紋理圖像獲得部408利用距離圖像和透鏡的公式，算出表示各像素的模糊的大小的模糊信息(模糊內(nèi)核)。紋理圖像獲得部408通過對攝影圖像的各像素利用模糊內(nèi)核進行反卷積演算(復原處理)，從而生成在所有像素都對焦的紋理圖像(全焦點圖像)。為了說明以上的處理，首先對圖像的模糊的生成過程進行說明。設沒有模糊的全焦點圖像的亮度分布為s(x, y),表示模糊的大小的模糊函數(shù)(PSF Point SpreadFunction)為f(x,y)。在這里為了說明簡單，假定圖像全體以一樣的模糊函數(shù)f產(chǎn)生模糊。如果忽視噪聲的影響，則以下的(公式5)成立。(公式5)i(x, y) = s(x, y)*f (x, y)(式 5)在這里,記號「*」表示卷積演算(convolution)。圖6是以圖像來表現(xiàn)(公式5)的例子。如圖6—樣地全焦點圖像是點時，通過以圓形狀的模糊函數(shù)(細節(jié)在后邊進行定義)來卷積，從而獲得模糊圖像i(x，y)。該模糊函數(shù)也稱為模糊內(nèi)核。將模糊函數(shù)的圓的直徑稱為內(nèi)核尺寸。(公式5)的右邊通常以以下的(公式6)來表示。(公式6)
OQ C $(:，y) * /*(:，y) = J Jj k)f (x 一 j,y - k)djdk (式 6)在圖像由MXN個像素組成的情況下，所述的(公式6)能夠以以下的(公式7)來表不。(公式7)
I M-] N-I y) * /0:，y) = Tj— 2] Σ O，A..)/(x -1;-幻(式 7)
M X JS j=Q k=Q通常，2個函數(shù)的卷積的傅立葉變換，由各函數(shù)的傅立葉變換的積來表示。因此，將i (X，y)，s (X, y), f (X, y)的傅立葉變換,分別以I (u, v), S (u, v), F (u, V)表示時,從(公式5)能夠?qū)С鲆韵碌?公式8)。另外，(U，V)是頻域中的坐標，分別與實圖像的X方向以及y方向的空間頻率對應。(公式8)I(u, V) = S(u, v) · F (u, v)(式 8)在這里，記號“ · ”表示在頻域中的函數(shù)的“積”。變形(公式8)時，能得到以下的(公式9)。(公式9)
r" 、 UlL V)6 (W，V) 二 —__-(式 9)
F[li, V)該(公式9)表示由相機攝影而得到的圖像i (X，y)的傅立葉變換I (U，V)除以作為模糊函數(shù)PSF的f(x,y)的傅立葉變換F (u, V)所得到的函數(shù),相當于全焦點圖像s(x,y)的傅立葉變換S (u，V)。根據(jù)以上，如果知道作為各像素的模糊函數(shù)PSF的f (X，y)，則能夠從攝影圖像i (X，y)求出全焦點圖像s(x, y)。于是，說明各像素的模糊函數(shù)PSF的求出方法的一例。圖7表示透鏡的模式圖。設對離相機的距離為d的被攝體進行拍攝時的模糊內(nèi)核的尺寸為B，到攝像面為止的距離為C。根據(jù)相機的設定條件，光圈的直徑(開口直徑)A和焦點距離f是已知的。此時，開口直徑A與焦點距離f的關系，以及模糊內(nèi)核B與到攝像面為止的距離C及焦點距離f的差的關系是相似的，所以能夠得到(公式10)。
(公式10)A B = f C-f(式 10)根據(jù)(公式10)，模糊內(nèi)核的尺寸B可以表示為(公式11)。(公式11)
權利要求
1.ー種三維圖像插補裝置，進行三維運動圖像的幀插補，該三維圖像插補裝置具備 距離圖像插補部，生成在第一距離圖像和第二距離圖像之間進行插補的至少ー張插補距離圖像，所述第一距離圖像和所述第二距離圖像分別表示所述三維運動圖像中包含的第一圖像以及第ニ圖像的深度； 圖像插補部，生成在所述第一圖像和所述第二圖像之間進行插補的至少ー張插補圖像；以及 插補視差圖像生成部，根據(jù)所述插補圖像，生成具有與所述插補距離圖像表示的深度對應的視差的至少ー組插補視差圖像。
2.如權利要求I所述的三維圖像插補裝置， 所述三維圖像插補裝置，還具備 距離運動矢量算出部，根據(jù)所述第一距離圖像以及所述第二距離圖像算出運動矢量，以作為距離運動矢量； 圖像運動矢量算出部，根據(jù)所述第一圖像以及所述第二圖像算出運動矢量，以作為圖像運動矢量； 矢量相似度算出部，算出矢量相似度，該矢量相似度是表示所述圖像運動矢量和所述距離運動矢量的相似性的程度的值；以及 插補圖像數(shù)決定部，以被算出的所述矢量相似度越大則數(shù)量越多的方式，決定插補的上限數(shù)， 所述插補視差圖像生成部，生成被決定的所述上限數(shù)以下的數(shù)量的所述插補視差圖像。
3.如權利要求2所述的三維圖像插補裝置， 所述距離運動矢量算出部，按第一尺寸的每個塊算出所述距離運動矢量， 所述圖像運動矢量算出部，按所述第一尺寸的每個塊算出所述圖像運動矢量， 所述矢量相似度算出部， 按比所述第一尺寸大的第二尺寸的每個塊，生成所述距離運動矢量的方向以及強度中的至少一方的直方圖， 按所述第二尺寸的每個塊，生成所述圖像運動矢量的方向以及強度中的至少一方的直方圖， 根據(jù)所述距離運動矢量與所述圖像運動矢量的方向的直方圖之間的相似性以及所述距離運動矢量與所述圖像運動矢量的強度的直方圖之間的相似性中的至少一方，算出所述矢量相似度。
4.如權利要求2或者3所述的三維圖像插補裝置， 所述插補圖像數(shù)決定部，將由用戶輸入的所述上限數(shù)以下的數(shù)量決定為插補數(shù)， 所述插補視差圖像生成部，生成被決定的所述插補數(shù)的所述插補視差圖像。
5.如權利要求I至4的任一項所述的三維圖像插補裝置， 所述三維圖像插補裝置，還具備 距離圖像獲得部，根據(jù)第一攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得所述第一距離圖像，且根據(jù)時間上位于所述第一攝影圖像群的后邊的第二攝影圖像群中包含的焦點距離互不相同的多個攝影圖像間的模糊的相關性，獲得所述第二距離圖像。
6.如權利要求5所述的三維圖像插補裝置， 所述三維圖像插補裝置，還具備 紋理圖像獲得部，利用表示所述第一攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而將第一紋理圖像作為所述第一圖像來獲得，且利用表示所述第二攝影圖像群中包含的一個攝影圖像的模糊的特征的模糊信息，對該ー個攝影圖像進行復原處理，從而將第二紋理圖像作為所述第二圖像來獲得。
7.如權利要求I至6的任一項所述的三維圖像插補裝置， 所述三維圖像插補裝置被構成為集成電路。
8.—種三維攝像裝置，具備 攝像部；以及 權利要求I至7的任一項所述的三維圖像插補裝置。
9.ー種三維圖像插補方法，進行三維運動圖像的幀插補，該三維圖像插補方法包括 距離圖像插補步驟，生成在第一距離圖像和第二距離圖像之間進行插補的至少ー張插補距離圖像，所述第一距離圖像和所述第二距離圖像分別表示所述三維運動圖像中包含的第一圖像以及第ニ圖像的深度； 圖像插補步驟，生成在所述第一圖像和所述第二圖像之間進行插補的至少ー張插補圖像；以及 插補視差圖像生成步驟，根據(jù)所述插補圖像，生成具有與所述插補距離圖像表示的深度對應的視差的至少ー組插補視差圖像。
10.ー種程序，用于使計算機執(zhí)行權利要求9所述的三維圖像插補方法。
全文摘要
進行三維運動圖像的幀插補的三維圖像插補裝置，具備距離圖像插補部(501)，生成在第一距離圖像和第二距離圖像之間進行插補的至少1張插補距離圖像，所述第一距離圖像和所述第二距離圖像分別表示三維運動圖像中包含的第一圖像以及第二圖像的深度；圖像插補部(502)，生成在第一圖像和第二圖像進行之間插補的至少1張插補圖像；以及插補視差圖像生成部(503)，根據(jù)插補圖像，生成具有與插補距離圖像表示的深度對應的視差的至少1組插補視差圖像。
文檔編號G06T7/20GK102687515SQ20118000512
公開日2012年9月19日 申請日期2011年10月26日 優(yōu)先權日2010年10月27日
發(fā)明者石井育規(guī) 申請人:松下電器產(chǎn)業(yè)株式會社