圖像處理設備和圖像處理方法
【專利摘要】本發(fā)明涉及一種圖像處理設備和圖像處理方法，其實現(xiàn)了使用關于預定視點的彩色圖像和深度圖像來生成顯示視點的彩色圖像。用于生成視點的信息生成單元根據(jù)用于生成通過使用多視點校正彩色圖像和多視點深度圖像執(zhí)行翹曲而獲得的顯示視點的彩色圖像的方法，生成當生成顯示視點的彩色圖像時所使用的視點生成信息。多視點圖像編碼單元對多視點校正彩色圖像和多視點深度圖像進行編碼，并且將圖像與視點生成信息一起進行傳送。本發(fā)明可以應用于例如用于多視點圖像的圖像處理設備。
【專利說明】圖像處理設備和圖像處理方法
【技術領域】
[0001]本技術涉及一種圖像處理設備和圖像處理方法，更具體地，涉及一種能夠使用預定視點的彩色圖像和深度圖像來生成顯示視點的彩色圖像的圖像處理設備和圖像處理方法。
【背景技術】
[0002]近年來，3D圖像引起了注意。用于觀看3D圖像的常用方法是使得人佩戴在顯示兩個視點的圖像之一期間打開左眼快門并且在顯示另一圖像期間打開右眼快門的眼鏡，并且人觀看交替顯示的兩個視點的圖像(下文中稱為“使用眼鏡的方法”)。
[0003]然而，對于這種使用眼鏡的方法，除了 3D圖像顯示裝置之外，觀看者需要購買眼鏡，這降低了購買的欲望。另外，觀看者需要在觀看期間佩戴眼鏡，這是麻煩的。因此，需要用于在不佩戴眼鏡的情況下觀看3D圖像的觀看方法(下文中稱為“不用眼鏡的方法”)。
[0004]在不用眼鏡的方法中，以使得可觀看角度對每個視點不同的方式來顯示三個或更多個視點的圖像，并且當觀看者利用右眼和左眼看到兩個視點的圖像時，觀看者可以在不佩戴眼鏡的情況下看到3D圖像。
[0005]以下方法已成為根據(jù)不用眼鏡的方法的3D圖像顯示方法。在該方法中，獲得預定視點的彩色圖像和深度圖像，并且使用彩色圖像和深度圖像，生成并顯示多個視點的彩色圖像，這多個視點是包括除預定視點之外的視點的顯示視點。應注意，“多個視點”表示三個或更多個視點。
[0006]作為用于對多個視點的彩色圖像和深度圖像進行編碼的方法，提出了用于對彩色圖像和深度圖像分開進行編碼的方法(例如，參見專利文獻I)。
[0007]引用列表
[0008]非專利文獻
[0009]非專利文獻I INTERNATIONAL ORGANISATION FOR STANDARDISATIONORGANISATION INTERNATIONALE DE NORMALISATION IS0/IEC JTC1/SC29/WG11C0DING OFMOVING PICTURES AND AUDIO,廣州，中國，2010 年 10 月

【發(fā)明內(nèi)容】

[0010]本發(fā)明要解決的問題
[0011]在傳統(tǒng)的編碼標準等中，沒有考慮適合于根據(jù)不用眼鏡的方法的3D圖像顯示的信息傳送。因此，在傳統(tǒng)編碼標準中，傳送大量信息，這對于使用預定視點的彩色圖像和作為與視差有關的圖像(深度圖像)的視差相關圖像(諸如深度圖像)生成多個視點的彩色圖像是不必要的，并且此外，傳送所需信息，這多個視點是包括除預定視點之外的視點的顯示視點。
[0012]結果，接收側無法使用預定視點的彩色圖像和視差相關圖像生成除預定視點之外的視點的彩色圖像。[0013]本技術是鑒于這樣的情形而做出的，并且允許使用預定視點的彩色圖像和視差相關圖像生成顯示視點的彩色圖像。
[0014]問題的解決方案
[0015]根據(jù)本技術的第一方面的圖像處理設備是包括如下單元的圖像處理設備:編碼單元，用于通過對視點的彩色圖像和該視點的深度圖像進行編碼而生成位流；生成單元，用于根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點的彩色圖像的生成方法，生成用于生成顯示視點的彩色圖像的視點生成信息；傳送單元，用于傳送編碼單元生成的位流和生成單元生成的視點生成信息。
[0016]根據(jù)本技術的第一方面的圖像處理方法對應于根據(jù)本技術的第一方面的圖像處
理設備。
[0017]在本技術的第一方面，通過對視點的彩色圖像和該視點的深度圖像進行編碼來生成位流，并且根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點的彩色圖像的生成方法，生成用于生成顯示視點的彩色圖像的視點生成信息，并且傳送位流和視點生成信息。
[0018]根據(jù)本技術的第二方面的圖像處理設備是包括如下單元的圖像處理設備:接收單元，用于接收作為對視點的彩色圖像和該視點的深度圖像進行編碼的結果而獲得的位流以及用于生成顯示視點的彩色圖像的視點生成信息，該視點生成信息是根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點的彩色圖像的生成方法所生成的；解碼單元，用于通過對接收單元接收的位流進行解碼而生成彩色圖像和深度圖像；以及生成單元，用于通過使用解碼單元生成的彩色圖像和深度圖像以及接收單元接收的視點生成信息執(zhí)行翹曲處理而生成顯示視點的彩色圖像。
[0019]根據(jù)本技術的第二方面的圖像處理方法對應于根據(jù)本技術的第二方面的圖像處
理設備。
[0020]在本技術的第二方面，接收作為對視點的彩色圖像和該視點的深度圖像進行編碼的結果而獲得的位流以及用于生成顯示視點的彩色圖像的視點生成信息，該視點生成信息是根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點的彩色圖像的生成方法所生成的，并且通過對在接收步驟的處理中接收的位流進行解碼而生成彩色圖像和深度圖像，并通過使用彩色圖像和深度圖像以及視點生成信息執(zhí)行翹曲處理而生成顯示視點的彩色圖像。
[0021]根據(jù)第一和第二方面的圖像處理設備可以通過使得計算機執(zhí)行程序來實現(xiàn)。
[0022]為了實現(xiàn)根據(jù)第一和第二方面的圖像處理設備，可以通過經(jīng)由傳送介質傳送程序或將程序記錄到記錄介質來提供計算機執(zhí)行的程序。
[0023]本發(fā)明的效果
[0024]根據(jù)本技術的第一方面，可以傳送用于使用預定視點的彩色圖像和深度圖像生成顯示視點的彩色圖像的必要信息。
[0025]根據(jù)本技術的第二方面，可以使用預定視點的彩色圖像和深度圖像生成顯示視點的彩色圖像。
【專利附圖】

【附圖說明】[0026]圖1是示出多視點獲取信息SEI的語法的圖。
[0027]圖2是示出用作應用本技術的圖像處理設備的編碼裝置的第一實施例的配置示例的框圖。
[0028]圖3是示出編碼位流的訪問單位的配置示例的圖。
[0029]圖4是示出SEI的一部分的描述示例的圖。
[0030]圖5是說明圖2的編碼裝置的編碼處理的流程圖。
[0031]圖6是說明圖5的多視點編碼處理的細節(jié)的流程圖。
[0032]圖7是示出用作應用本技術的圖像處理設備的解碼裝置的第一實施例的配置示例的框圖。
[0033]圖8是說明深度圖像的翹曲處理的圖。
[0034]圖9是說明圖7的解碼裝置的解碼處理的流程圖。
[0035]圖10是說明圖9的多視點解碼處理的細節(jié)的流程圖。
[0036]圖11是示出用作應用本技術的圖像處理設備的編碼裝置的第二實施例的配置示例的框圖；
[0037]圖12是說明視點生成信息的視差相關最大值和視差相關最小值的圖。
[0038]圖13是說明視點生成信息的視差精度參數(shù)的圖。
[0039]圖14是說明視點生成信息的攝像裝置間距離的圖。
[0040]圖15是示出圖11的多視點圖像編碼單元的配置示例的框圖。
[0041]圖16是示出編碼位流的配置示例的圖。
[0042]圖17是示出圖16的PPS的語法示例的圖。
[0043]圖18是示出切片報頭的語法示例的圖。
[0044]圖19是示出切片報頭的語法示例的圖。
[0045]圖20是說明圖11的編碼裝置的編碼處理的流程圖。
[0046]圖21是說明圖20的多視點編碼處理的流程圖。
[0047]圖22是示出用作應用本技術的圖像處理設備的解碼裝置的第二實施例的配置示例的框圖。
[0048]圖23是示出圖22的多視點圖像解碼單元的配置示例的框圖。
[0049]圖24是說明圖22的多視點圖像解碼單元的多視點解碼處理的流程圖。
[0050]圖25是說明視差和深度的圖。
[0051]圖26是示出計算機的實施例的配置示例的框圖。
[0052]圖27是示出應用本技術的電視機裝置的示意配置示例的圖。
[0053]圖28是示出應用本技術的便攜式電話的示意配置示例的圖。
[0054]圖29是示出應用本技術的記錄/再現(xiàn)裝置的示意配置示例的圖。
[0055]圖30是示出應用本技術的圖像捕獲裝置的示意配置示例的圖。
【具體實施方式】
[0056]<本說明書中關于深度圖像(視差相關圖像)的說明>
[0057]圖25是說明視差和深度的圖。
[0058]如圖25所示，當由設置在位置Cl處的攝像裝置Cl和設置在位置C2處的攝像裝置c2來捕獲主體M的彩色圖像時，作為在深度方向上距攝像裝置Cl (攝像裝置c2)的距離的、主體M的深度Z由以下表達式(a)來定義。
[0059]Z=(L/d) Xf- (a)
[0060]應注意，L表示在水平方向上位置Cl與位置C2之間的距離(下文中稱為攝像裝置間距離)。變量d表示通過從由攝像裝置Cl捕獲的彩色圖像上的對象M的位置在水平方向上距彩色圖像的中心的距離Ul減去由攝像裝置c2捕獲的彩色圖像上的對象M的位置在水平方向上距彩色圖像的中心的距離u2而獲得的值。更具體地，d表示視差。此外，f表示攝像裝置Cl的焦距。在表達式(a)中，攝像裝置Cl和攝像裝置c2的焦距是相同的。
[0061]如表達式(a)所示，視差d和深度Z可以被唯一地轉換。因此，在該說明書中，表示由攝像裝置Cl和攝像裝置c2獲取的兩個視點的彩色圖像的視差d的視差圖像和表示深度Z的深度圖像被共同稱為深度圖像(視差相關圖像)。
[0062]應注意，深度圖像(視差相關圖像河以是表示視差d或深度Z的圖像，并且深度圖像(視差相關圖像)的像素值可以不是視差d或深度Z本身。例如，可采用通過對視差d進行歸一化而獲得的值或者通過對深度Z的倒數(shù)1/Z進行歸一化而獲得的值。
[0063]可以根據(jù)以下表達式(b)獲得通過以8位(O至255)對視差d進行歸一化而獲得的值I。視差d的歸一化位數(shù)不限于八位。可以是諸如10位和12位的位數(shù)。
[0064][數(shù)學式4]
【權利要求】
1.一種圖像處理設備，包括: 編碼單元，用于通過對視點的彩色圖像和所述視點的深度圖像進行編碼而生成位流； 生成單元，用于根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的顯示視點的彩色圖像的生成方法，生成用于生成所述顯示視點的彩色圖像的視點生成信息；以及 傳送單元，用于傳送所述編碼單元生成的位流和所述生成單元生成的視點生成信息。
2.根據(jù)權利要求1所述的圖像處理設備，其中，所述傳送單元傳送所述視點生成信息作為用于編碼或解碼的編碼參數(shù)。
3.根據(jù)權利要求1所述的圖像處理設備，其中，所述傳送單元傳送所述深度圖像的視點生成信息與按編碼順序位于所述深度圖像之前的深度圖像的視點生成信息之間的差。
4.根據(jù)權利要求3所述的圖像處理設備，其中，當所述位流的切片是幀內(nèi)切片時，所述傳送單元傳送所述切片的視點生成信息，并且當所述切片是幀間切片時，所述傳送單元傳送所述切片的所述差。
5.根據(jù)權利要求3所述的圖像處理設備，還包括:設置單元，用于設置用于標識所述差的存在/不存在的差標識信息， 其中，所述傳送單元傳送所述設置單元設置的差標識信息。
6.根據(jù)權利要求5所述的圖像處理設備，其中，所述傳送單元以使得所述差標識信息包括在所述位流的圖片參 數(shù)集PPS中的方式來傳送所述設置單元設置的差標識信息。
7.根據(jù)權利要求1所述的圖像處理設備，其中，所述生成單元生成用于標識所述彩色圖像的信息或用于標識所述深度圖像的信息作為所述視點生成信息。
8.根據(jù)權利要求1所述的圖像處理設備，其中， 所述深度圖像是包括深度值的深度方向圖像，或者是包括視差值的視差圖像，所述深度值表示在所述彩色圖像的每個像素處主體在深度方向上的位置，所述視差值表示所述彩色圖像的每個像素與在對應于該像素的基點處的彩色圖像的像素之間的距離，以及 所述生成單元生成指示所述深度圖像是所述深度方向圖像還是所述視差圖像的深度圖像標識信息作為所述視點生成信息。
9.根據(jù)權利要求8所述的圖像處理設備，其中， 當所述深度圖像是所述深度方向圖像時，所述生成單元生成指示能夠出現(xiàn)在所述深度圖像中的深度方向上的位置處的世界坐標值的最小值和最大值的信息作為所述視點生成?目息，以及 當所述深度圖像是所述視差圖像時，所述生成單元生成指示在能夠出現(xiàn)在所述視差圖像中的世界坐標的視差的最小值和最大值的信息以及用于標識所述基點的彩色圖像的信息作為所述視點生成信息。
10.根據(jù)權利要求1所述的圖像處理設備，其中， 所述生成單元生成表示能夠作為所述深度圖像的像素值出現(xiàn)的最小值的深度最小值、表示能夠作為所述深度圖像的像素值出現(xiàn)的最大值的深度最大值和作為對應于所述深度圖像的多個彩色圖像的圖像捕獲位置之間的距離的圖像捕獲位置距離作為所述視點生成?目息，以及 所述傳送單元傳送所述視點生成信息作為所述位流的切片報頭。
11.一種用于圖像處理設備的圖像處理方法，包括: 編碼步驟，用于通過對視點的彩色圖像和所述視點的深度圖像進行編碼而生成位流； 生成步驟，用于根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的顯示視點的彩色圖像的生成方法，生成用于生成所述顯示視點的彩色圖像的視點生成信息；以及 傳送步驟，用于傳送在所述編碼步驟的處理中生成的位流和在所述生成步驟的處理中生成的視點生成信息。
12.—種圖像處理設備，包括: 接收單元，用于接收作為對視點的彩色圖像和所述視點的深度圖像的編碼結果而獲得的位流以及用于生成顯示視點的彩色圖像的視點生成信息，所述視點生成信息是根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的所述顯示視點的彩色圖像的生成方法所生成的； 解碼單元，用于通過對所述接收單元接收的位流進行解碼而生成所述彩色圖像和所述深度圖像；以及 生成單元，用于通過使用所述解碼單元生成的彩色圖像和深度圖像以及所述接收單元接收的所述視點生成信息執(zhí)行翹曲處理而生成所述顯示視點的彩色圖像。
13.根據(jù)權利要求12所述的圖像處理設備，其中，所述接收單元接收所述視點生成信息作為用于編碼或解碼的編碼參數(shù) 。
14.根據(jù)權利要求12所述的圖像處理設備，其中， 所述接收單元接收所述深度圖像的視點生成信息與按編碼順序位于所述深度圖像之前的深度圖像的視點生成信息之間的差； 所述生成單元使用所述接收單元接收的、所述差和按編碼順序位于對應于所述差的深度圖像之前的深度圖像的視點生成信息而恢復對應于所述差的所述深度圖像的視點生成信息，并且使用所恢復的視點生成信息、所述彩色圖像和所述深度圖像而執(zhí)行翹曲處理，從而生成所述顯示視點的彩色圖像。
15.根據(jù)權利要求14所述的圖像處理設備，其中，當所述位流的切片是幀內(nèi)切片時，所述接收單元接收所述切片的視點生成信息，并且當所述切片是幀間切片時，所述接收單元接收所述切片的所述差。
16.根據(jù)權利要求14所述的圖像處理設備，其中， 所述接收單元接收用于標識所述差的存在/不存在的差標識信息，以及 所述生成單元基于所述接收單元接收的差標識信息而恢復所述視點生成信息。
17.根據(jù)權利要求16所述的圖像處理設備，其中，所述接收單元接收包括在所述位流的圖片參數(shù)集PPS中的差標識信息。
18.根據(jù)權利要求12所述的圖像處理設備，其中， 所述接收單元接收用于標識所述彩色圖像的信息或用于標識所述深度圖像的信息作為所述視點生成信息，以及 所述生成單元基于所述視點生成信息而標識所述接收單元接收的彩色圖像和深度圖像，對所述深度圖像執(zhí)行翹曲處理，并且通過使用已經(jīng)受所述翹曲處理的所述顯示視點的深度圖像對所述彩色圖像執(zhí)行翹曲處理而生成所述顯示視點的彩色圖像。
19.根據(jù)權利要求12所述的圖像處理設備，其中， 所述深度圖像是包括深度值的深度方向圖像，或者是包括視差值的視差圖像，所述深度值表示在所述彩色圖像的每個像素處主體在深度方向上的位置，所述視差值表示所述彩色圖像的每個像素與對應于該像素的基點處的彩色圖像的像素之間的距離，以及 所述接收單元接收指示所述深度圖像是深度方向圖像還是視差圖像的信息作為所述視點生成信息。
20.根據(jù)權利要求19所述的圖像處理設備，其中，當所述深度圖像是所述深度方向圖像時，所述接收單元接收指示能夠出現(xiàn)在所述深度圖像中的所述深度方向上的位置的世界坐標值的最小值和最大值的信息作為所述視點生成信息，并且當所述深度圖像是所述視差圖像時，所述接收單元接收能夠出現(xiàn)在所述視差圖像中的世界坐標的視差的最小值和最大值的信息以及用于標識所述基點的彩色圖像的信息。
21.根據(jù)權利要求12所述的圖像處理設備，其中，所述接收單元接收包括深度最小值、深度最大值和圖像捕獲位置距離的視點生成信息作為所述位流的切片報頭，所述深度最小值表示能夠作為所述深 度圖像的像素值出現(xiàn)的最小值，所述深度最大值表示能夠作為所述深度圖像的像素值出現(xiàn)的最大值，所述圖像捕獲位置距離是對應于所述深度圖像的多個彩色圖像的圖像捕獲位置之間的距離。
22.一種用于圖像處理設備的圖像處理方法，包括: 接收步驟，用于接收作為對視點的彩色圖像和所述視點的深度圖像的編碼結果而獲得的位流以及用于生成顯示視點的彩色圖像的視點生成信息，所述視點生成信息是根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的所述顯示視點的彩色圖像的生成方法所生成的； 解碼步驟，用于通過對在所述接收步驟的處理中接收的位流進行解碼而生成所述彩色圖像和所述深度圖像；以及 生成步驟，用于通過使用在所述解碼步驟的處理中生成的彩色圖像和深度圖像以及在所述接收步驟的處理中接收的視點生成信息執(zhí)行翹曲處理而生成所述顯示視點的彩色圖像。
【文檔編號】G06T19/00GK103430529SQ201280012933
【公開日】2013年12月4日 申請日期:2012年3月9日 優(yōu)先權日:2011年3月18日
【發(fā)明者】高橋良知, 服部忍, 櫻井裕音 申請人:索尼公司