專利名稱：3d人機(jī)接口的混合現(xiàn)實(shí)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及多媒體數(shù)據(jù)的處理和呈現(xiàn)，且更特定來說，涉及處理和呈現(xiàn)具有虛擬對(duì)象和真實(shí)對(duì)象兩者的三維(3D)圖片和視頻數(shù)據(jù)。
背景技術(shù)：
立體視頻處理的計(jì)算復(fù)雜性是三維(3D)圖形的呈現(xiàn)過程，尤其是低功率裝置中或?qū)崟r(shí)環(huán)境中3D場(chǎng)景的視覺化過程中的重要考慮因素。一般來說，在具有立體功能的顯示器(例如，自動(dòng)立體或立體顯示器)上呈現(xiàn)3D圖形的困難可歸因于立體視頻處理的計(jì)算復(fù)雜性而產(chǎn)生。計(jì)算復(fù)雜性對(duì)于產(chǎn)生具有真實(shí)對(duì)象和虛擬對(duì)象兩者的混合現(xiàn)實(shí)場(chǎng)景的實(shí)時(shí)混合-現(xiàn)實(shí)視頻裝置可能是特別重要的考慮因素?；旌犀F(xiàn)實(shí)3D場(chǎng)景的視覺化可用于例如視頻游戲、用戶接口和其它3D圖形應(yīng)用等許多應(yīng)用中。低功率裝置的有限計(jì)算資源可致使3D圖形的呈現(xiàn)成為過分耗時(shí)的例程，且耗時(shí)的例程通常與實(shí)時(shí)應(yīng)用不兼容。

發(fā)明內(nèi)容
三維(3D)混合現(xiàn)實(shí)組合例如由3D相機(jī)俘獲的真實(shí)3D圖像或視頻與由計(jì)算機(jī)或其它機(jī)器呈現(xiàn)的虛擬3D圖像。3D相機(jī)可獲取共同場(chǎng)景的兩個(gè)單獨(dú)圖像(例如，左和右)，且將所述兩個(gè)單獨(dú)圖像疊加以形成具有3D深度效果的真實(shí)圖像。虛擬3D圖像通常不從相機(jī)獲取的圖像產(chǎn)生，而是通過例如OpenGL等計(jì)算機(jī)圖形程序繪制。利用組合真實(shí)和虛擬3D圖像兩者的混合現(xiàn)實(shí)系 統(tǒng)，用戶可感到置身于由通過計(jì)算機(jī)繪制的虛擬對(duì)象和由3D相機(jī)俘獲的真實(shí)對(duì)象兩者組成的空間中。本發(fā)明描述可用于以計(jì)算高效方式產(chǎn)生混合場(chǎng)景的技術(shù)。在一個(gè)實(shí)例中，一種方法包含:確定到真實(shí)三維(3D)圖像的零視差平面的距離；至少部分基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)；至少部分基于投影矩陣呈現(xiàn)虛擬3D對(duì)象；以及組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。在另一實(shí)例中，一種用于處理三維(3D)視頻數(shù)據(jù)的系統(tǒng)包含:真實(shí)3D圖像源，其中所述真實(shí)圖像源經(jīng)配置以確定到所俘獲的3D圖像的零視差平面的距離；虛擬圖像源，其經(jīng)配置以至少基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)，且至少部分基于投影矩陣呈現(xiàn)虛擬3D對(duì)象；以及混合場(chǎng)景合成單元，其經(jīng)配置以組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。在另一實(shí)例中，一種設(shè)備包含:用于確定到真實(shí)三維(3D)圖像的零視差平面的距離的裝置；用于至少部分基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)的裝置；用于至少部分基于投影矩陣呈現(xiàn)虛擬3D對(duì)象的裝置；以及用于組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像的裝置。本發(fā)明中所描述的技術(shù)可以硬件、軟件、固件或其任一組合來實(shí)施。如果以硬件實(shí)施，那么設(shè)備可作為集成電路、處理器、離散邏輯或其任何組合而實(shí)現(xiàn)。如果以軟件來實(shí)施，則可在例如微處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或數(shù)字信號(hào)處理器(DSP)等一個(gè)或一個(gè)以上處理器中執(zhí)行軟件?？勺畛鯇?zhí)行所述技術(shù)的軟件存儲(chǔ)于計(jì)算機(jī)可讀媒體中且在處理器中加載并執(zhí)行。因此，在另一實(shí)例中，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體有形地存儲(chǔ)一個(gè)或一個(gè)以上指令，所述指令當(dāng)由一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器確定到真實(shí)三維(3D)圖像的零視差平面的距離；至少部分基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)；至少部分基于投影矩陣呈現(xiàn)虛擬3D對(duì)象；且組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。本發(fā)明的一個(gè)或一個(gè)以上方面的細(xì)節(jié)在附圖及以下描述中陳述。從描述和圖式并從權(quán)利要求書將明白本發(fā)明中所描述的技術(shù)的其它特征、目的和優(yōu)點(diǎn)。



圖1是說明經(jīng)配置以執(zhí)行本發(fā)明的技術(shù)的實(shí)例系統(tǒng)的框圖。圖2是說明根據(jù)本發(fā)明的技術(shù)其中源裝置將三維(3D)圖像數(shù)據(jù)發(fā)送到目的地裝置的實(shí)例系統(tǒng)的框圖。圖3A-3C分別是說明基于像素的深度的正、零和負(fù)視差值的實(shí)例的概念圖。圖4A是用于獲取真實(shí)場(chǎng)景的立體圖和所得3D圖像所涵蓋的視場(chǎng)的兩個(gè)相機(jī)系統(tǒng)的概念俯視圖。圖4B是如圖4A所示的相同兩個(gè)相機(jī)系統(tǒng)的概念側(cè)視圖。圖5A是虛擬顯示場(chǎng)景的概念俯視圖。圖5B是如圖5A所示的相同虛擬顯示場(chǎng)景的概念側(cè)視圖。圖6是用于呈現(xiàn)混合現(xiàn)實(shí)場(chǎng)景的3D視見平截頭體的3D說明。圖7是圖6的視見平截頭體的概念俯視圖。圖8是說明本發(fā)明的技術(shù)的流程圖。
具體實(shí)施例方式三維(3D)混合現(xiàn)實(shí)組合例如由3D相機(jī)俘獲的真實(shí)3D圖像或視頻與由計(jì)算機(jī)或其它機(jī)器呈現(xiàn)的虛擬3D圖像。3D相機(jī)可獲取共同場(chǎng)景的兩個(gè)單獨(dú)圖像(例如，左和右)，且將所述兩個(gè)單獨(dú)圖像疊加以形成具有3D深度效果的真實(shí)圖像。虛擬3D圖像通常不從相機(jī)獲取的圖像產(chǎn)生，而是通過例如OpenGL等計(jì)算機(jī)圖形程序繪制。利用組合真實(shí)和虛擬3D圖像兩者的混合現(xiàn)實(shí)系統(tǒng)，用戶可感到置身于由通過計(jì)算機(jī)繪制的虛擬對(duì)象和由3D相機(jī)俘獲的真實(shí)對(duì)象兩者組成的空間中。在單向混合現(xiàn)實(shí)場(chǎng)景的實(shí)例中，觀看者可能夠觀看展示廳中的推銷員(真實(shí)對(duì)象)，其中推銷員與例如計(jì)算機(jī)產(chǎn)生的虛擬3D汽車(虛擬對(duì)象)等虛擬對(duì)象交互。在雙向混合現(xiàn)實(shí)場(chǎng)景的實(shí)例中，在例如虛擬國際象棋游戲等虛擬游戲中，第一計(jì)算機(jī)處的第一用戶可與第二計(jì)算機(jī)處的第二用戶交互。兩個(gè)計(jì)算機(jī)可相對(duì)于彼此位于遠(yuǎn)程物理位置處，且可經(jīng)由例如因特網(wǎng)等網(wǎng)絡(luò)連接。在3D顯示器上，第一用戶可能夠看到第二用戶(真實(shí)對(duì)象)以及計(jì)算機(jī)產(chǎn)生的棋盤和棋子(虛擬對(duì)象)的3D視頻。在不同3D顯示器上，第二用戶可能能夠看到第一用戶(真實(shí)對(duì)象)與相同的計(jì)算機(jī)產(chǎn)生的棋盤(虛擬對(duì)象)的3D視頻。在混合現(xiàn)實(shí)系統(tǒng)中，如上文描述，由虛擬對(duì)象組成的虛擬場(chǎng)景的立體顯示視差需要與由真實(shí)對(duì)象組成的真實(shí)場(chǎng)景的立體顯示視差匹配。術(shù)語“視差”通常描述一個(gè)圖像(例如，左真實(shí)圖像)中的像素相對(duì)于其它圖像(例如，右真實(shí)圖像)中的對(duì)應(yīng)像素的水平偏移以產(chǎn)生3D效果(例如，深度)。真實(shí)場(chǎng)景與虛擬場(chǎng)景之間的視差失配可在真實(shí)場(chǎng)景與虛擬場(chǎng)景組合為混合現(xiàn)實(shí)場(chǎng)景時(shí)導(dǎo)致不合意的效果。舉例來說，在虛擬國際象棋游戲中，視差失配可致使混合場(chǎng)景中的棋盤(虛擬對(duì)象)部分出現(xiàn)在用戶(真實(shí)對(duì)象)后方，或可顯得突出到用戶身體中，而不是出現(xiàn)在用戶前方。作為虛擬國際象棋游戲中的另一實(shí)例，視差失配可致使棋子(虛擬對(duì)象)具有不正確的縱橫比且在與人(真實(shí)對(duì)象)的混合現(xiàn)實(shí)場(chǎng)景中顯得失真。除了虛擬場(chǎng)景和真實(shí)場(chǎng)景的匹配視差外，還需要使真實(shí)場(chǎng)景與虛擬場(chǎng)景的投影尺度匹配。如下文將更詳細(xì)論述，投影尺度通常指代當(dāng)投影到顯示平面上時(shí)圖像的大小和縱橫比。真實(shí)場(chǎng)景與虛擬場(chǎng)景之間的投影尺度失配可致使虛擬對(duì)象相對(duì)于真實(shí)對(duì)象來說太大或太小，或可致使虛擬對(duì)象具有相對(duì)于真實(shí)對(duì)象失真的形狀。本發(fā)明的技術(shù)包含用于實(shí)現(xiàn)真實(shí)場(chǎng)景的真實(shí)圖像與虛擬場(chǎng)景的虛擬圖像之間的投影尺度匹配的方法，以及用于實(shí)現(xiàn)真實(shí)場(chǎng)景的真實(shí)圖像與虛擬場(chǎng)景的虛擬圖像之間的視差尺度匹配的方法。所述技術(shù)可以計(jì)算高效方式例如由3D圖像內(nèi)容的發(fā)送者或3D圖像內(nèi)容的接收者應(yīng)用于通信網(wǎng) 絡(luò)的上游或下游方向上。不同于現(xiàn)有解決方案，本發(fā)明的技術(shù)還可應(yīng)用于顯示鏈中以實(shí)現(xiàn)實(shí)時(shí)應(yīng)用中的真實(shí)場(chǎng)景與虛擬場(chǎng)景之間的正確深度感知。如本發(fā)明中使用的術(shù)語“視差”通常描述一個(gè)圖像中的像素相對(duì)于其它圖像中的對(duì)應(yīng)像素的水平偏移以便產(chǎn)生3D效果。如本發(fā)明中使用的對(duì)應(yīng)像素通常指代當(dāng)左圖像與右圖像合成以呈現(xiàn)3D圖像時(shí)與3D對(duì)象中的相同點(diǎn)相關(guān)聯(lián)的像素(一個(gè)在左圖像中，且一個(gè)在右圖像中)。—對(duì)立體圖像的多個(gè)視差值可存儲(chǔ)在被稱為視差圖的數(shù)據(jù)結(jié)構(gòu)中。與所述對(duì)立體圖像相關(guān)聯(lián)的視差圖表示二維(2D)函數(shù)d(x，y)，其將第一圖像中的像素坐標(biāo)(X，y)映射到視差值(d)，使得第一圖像中的任何給定(X，y)坐標(biāo)處的d的值對(duì)應(yīng)于需要施加到第二圖像中的(x，y)坐標(biāo)處的像素以找到第二圖像中的對(duì)應(yīng)像素的X坐標(biāo)上的移位。舉例來說，作為特定說明，視差圖可存儲(chǔ)第一圖像中的坐標(biāo)(250，150)處的像素的d值6。在此說明中，給定d值6，描述第一圖像中的像素(250，150)的數(shù)據(jù)(例如，色度和量度值)出現(xiàn)在第二圖像中的像素(256，150)處。圖1是說明用于實(shí)施本發(fā)明的各方面的實(shí)例系統(tǒng)(系統(tǒng)110)的框圖。如圖1所示，系統(tǒng)110包含真實(shí)圖像源122、虛擬圖像源123、混合場(chǎng)景合成單元(MSSU) 145和圖像顯示器142。MSSU145接收來自真實(shí)圖像源122的真實(shí)圖像，且接收來自虛擬圖像源123的虛擬圖像。真實(shí)圖像可例如為3D相機(jī)俘獲的3D圖像，且虛擬圖像可例如為計(jì)算機(jī)產(chǎn)生的3D圖像。MSSU145產(chǎn)生包含真實(shí)對(duì)象和虛擬對(duì)象兩者的混合現(xiàn)實(shí)場(chǎng)景，且將混合現(xiàn)實(shí)場(chǎng)景輸出到圖像顯示器142。根據(jù)本發(fā)明的技術(shù)，MSSU145確定真實(shí)圖像的多個(gè)參數(shù)，且基于那些參數(shù)產(chǎn)生虛擬圖像，使得虛擬圖像的投影尺度和視差與真實(shí)圖像的投影尺度和視差匹配。圖2是說明用于實(shí)施本發(fā)明的各方面的實(shí)例系統(tǒng)(系統(tǒng)210)的框圖。如圖2所示，系統(tǒng)210可包含源裝置220，源裝置220具有真實(shí)圖像源222、虛擬圖像源223、視差處理單元224、編碼器226和發(fā)射器228 ;且可進(jìn)一步包含目的地裝置240，目的地裝置240具有圖像顯示器242、真實(shí)視圖合成單元244、混合場(chǎng)景合成單元(MSSU) 245、解碼器246和接收器248。圖1和圖2的系統(tǒng)僅是其中可實(shí)施本發(fā)明的各方面的系統(tǒng)的類型的兩個(gè)實(shí)例，且將用于闡釋的目的。如下文將更詳細(xì)論述，在實(shí)施本發(fā)明的各方面的替代系統(tǒng)中，系統(tǒng)210的各個(gè)元件可以不同方式布置，由替代元件代替，或在一些情況下一起省略。在圖2的實(shí)例中，目的地裝置240接收來自源裝置220的經(jīng)編碼圖像數(shù)據(jù)254。源裝置220和/或目的地裝置240可包括個(gè)人計(jì)算機(jī)(PC)、桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、專用計(jì)算機(jī)、例如智能電話等無線通信裝置，或可經(jīng)由通信信道傳送圖片和/或視頻信息的任何裝置。在一些例子中，單一裝置可為支持雙向通信的源裝置和目的地裝置兩者，且因此可包含源裝置220和目的地裝置240兩者的功能性。源裝置220與目的地裝置240之間的通信信道可包括有線或無線通信信道，且可為例如因特網(wǎng)等網(wǎng)絡(luò)連接，或可為直接通信鏈路。目的地裝置240可被稱為三維(3D)顯示器裝置或3D呈現(xiàn)裝置。真實(shí)圖像源222將包含第一視圖250和第二視圖256的一對(duì)立體圖像提供到視差處理單元224。視差處理單元224使用第一視圖250和第二視圖256來產(chǎn)生3D處理信息252。視差處理單元224將3D處理信息252以及兩個(gè)視圖中的一者(圖2的實(shí)例中，第一視圖250)傳遞到編碼器226，編碼器226將第一視圖250和3D處理信息252編碼以形成經(jīng)編碼圖像數(shù)據(jù)254。編碼器226還在經(jīng)編碼圖像數(shù)據(jù)254中包含來自虛擬圖像源223的虛擬圖像數(shù)據(jù)253。發(fā)射器228將經(jīng)編碼圖像數(shù)據(jù)254發(fā)射到目的地裝置240。接收器248接收來自發(fā)射器228的經(jīng)編碼圖像數(shù)據(jù)254。解碼器246將經(jīng)編碼圖像數(shù)據(jù)254解碼以提取第一視圖250且提取3D處理信息252以及來自經(jīng)編碼圖像數(shù)據(jù)254的虛擬圖像數(shù)據(jù)253?；诘谝灰晥D250和3D處理信息252，視圖合成單元244可重建第二視圖256?；诘谝灰晥D250和 第二視圖256，真實(shí)視圖合成單元244可呈現(xiàn)真實(shí)3D圖像。盡管圖1未展示，但第一視圖250和第二視圖256可經(jīng)歷源裝置220或目的地裝置240處的額外處理。因此，在一些實(shí)例中，由視圖合成單元244接收的第一視圖250或由圖像顯示器242接收的第一視圖250及第二視圖256可實(shí)際上為從圖像源256接收的第一視圖250和第二視圖256的經(jīng)修改版本。3D處理信息252可例如包含視差圖，或可含有基于視差圖的深度信息。存在用于基于視差信息確定深度信息的各種技術(shù)，且反之亦然。因此，每當(dāng)本發(fā)明論述編碼、解碼或發(fā)射視差信息時(shí)，也預(yù)期可編碼、解碼或發(fā)射基于視差信息的深度信息。真實(shí)圖像源222可包含圖像傳感器陣列(例如，數(shù)字靜態(tài)圖片相機(jī)或數(shù)字錄像機(jī))、包括一個(gè)或一個(gè)以上所存儲(chǔ)圖像的計(jì)算機(jī)可讀存儲(chǔ)媒體，或用于接收來自外部源的數(shù)字圖像的接口。在一些實(shí)例中，真實(shí)圖像源222可對(duì)應(yīng)于例如桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)或平板計(jì)算機(jī)等個(gè)人計(jì)算裝置的3D相機(jī)。虛擬圖像源223可包含例如通過執(zhí)行視頻游戲或其它交互式多媒體源或其它圖像數(shù)據(jù)源而產(chǎn)生數(shù)字圖像的處理單元。真實(shí)圖像源222可對(duì)應(yīng)于任一類型的所俘獲或預(yù)先俘獲的圖像的源。一般來說，本發(fā)明中對(duì)圖像的參考包含靜態(tài)圖片以及視頻數(shù)據(jù)幀兩者。因此，本發(fā)明的各方面可應(yīng)用于靜態(tài)數(shù)字圖片以及所俘獲數(shù)字視頻數(shù)據(jù)或計(jì)算機(jī)產(chǎn)生的數(shù)字視頻數(shù)據(jù)的幀兩者。真實(shí)圖像源222將一對(duì)立體圖像250和256的圖像數(shù)據(jù)提供到視差處理單元224以計(jì)算圖像之間的視差值。所述對(duì)立體圖像250和256包括第一視圖250和第二視圖256。視差處理單元224可經(jīng)配置以自動(dòng)計(jì)算所述對(duì)立體圖像250和256的視差值，其又可用于計(jì)算3D圖像中的對(duì)象的深度值。舉例來說，真實(shí)圖像源222可以不同視角俘獲場(chǎng)景的兩個(gè)視圖，且接著基于所確定的視差圖計(jì)算場(chǎng)景中的對(duì)象的深度信息。在各個(gè)實(shí)例中，真實(shí)圖像源222可包括標(biāo)準(zhǔn)二維相機(jī)、提供場(chǎng)景的立體視圖的雙相機(jī)系統(tǒng)、俘獲場(chǎng)景的多個(gè)視圖的相機(jī)陣列，或俘獲一個(gè)視圖加深度信息的相機(jī)。真實(shí)圖像源222可提供多個(gè)視圖(即，第一視圖250和第二視圖256)，且視差處理單元224可基于這些多個(gè)視圖計(jì)算視差值。然而，源裝置220可僅發(fā)射第一視圖250加3D處理信息252(即，視差圖，或依據(jù)視差圖確定的場(chǎng)景的每一對(duì)視圖的深度信息)。舉例來說，真實(shí)圖像源222可包括八個(gè)相機(jī)陣列，其希望產(chǎn)生待從不同角度觀看的場(chǎng)景的四對(duì)視圖。源裝置220可計(jì)算每一對(duì)視圖的視差信息或深度信息，且僅將每一對(duì)的一個(gè)圖像加上所述對(duì)的視差信息或深度信息發(fā)射到目的地裝置240。因此，不是發(fā)射八個(gè)視圖，源裝置220可在此實(shí)例中以包含經(jīng)編碼圖像數(shù)據(jù)254的位流的形式發(fā)射四個(gè)視圖加上四個(gè)視圖中的每一者的深度/視差信息(即，3D處理信息252)。在一些實(shí)例中，視差處理單元224可接收來自用戶或來自另一外部裝置的圖像的視差信息。視差處理單元224將第一視圖250和3D處理信息252傳遞到編碼器226。3D處理信息252可包括一對(duì)立 體圖像250和256的視差圖。編碼器226形成經(jīng)編碼圖像數(shù)據(jù)254，經(jīng)編碼圖像數(shù)據(jù)254包含第一視圖250的經(jīng)編碼圖像數(shù)據(jù)、3D處理信息252和虛擬圖像數(shù)據(jù)253。在一些實(shí)例中，編碼器226可應(yīng)用各種無損耗或有損耗譯碼技術(shù)來減少將經(jīng)編碼圖像數(shù)據(jù)254從源裝置220發(fā)射到目的地裝置240所需的位數(shù)目。編碼器226將經(jīng)編碼圖像數(shù)據(jù)254傳遞到發(fā)射器228。當(dāng)?shù)谝灰晥D250為數(shù)字靜態(tài)圖片時(shí)，編碼器226可經(jīng)配置以將第一視圖250編碼為例如聯(lián)合圖像專家組(JPEG)圖像。當(dāng)?shù)谝灰晥D250是視頻數(shù)據(jù)幀時(shí)，編碼器226可經(jīng)配置以根據(jù)視頻譯碼標(biāo)準(zhǔn)編碼第一視圖250，所述視頻譯碼標(biāo)準(zhǔn)例如為運(yùn)動(dòng)圖片專家組(MPEG)、MPEG-2,國際電信聯(lián)盟(ITU) H.263、ITU-T H.264/MPEG-4、H.264 高級(jí)視頻譯碼(AVC)、新興的HEVC標(biāo)準(zhǔn)(有時(shí)稱為ITU-T H.265)，或其它視頻編碼標(biāo)準(zhǔn)。ITU-TH.264/MPEG-4(AVC)標(biāo)準(zhǔn)例如由ITU-T視頻譯碼專家組(VCEG)連同IS0/IEC移動(dòng)圖片專家組(MPEG) 一起被制定為稱為聯(lián)合視頻小組(JVT)的集體合作伙伴的產(chǎn)品。在一些方面中，本發(fā)明中所描述的技術(shù)可應(yīng)用于一般符合H.264標(biāo)準(zhǔn)的裝置。ITU-T研究組在2005年3月在ITU-T推薦H.264 “用于通用視聽服務(wù)的高級(jí)視頻譯碼(Advanced Video Coding forgeneric audiovisual services) ”中描述了 Η.264標(biāo)準(zhǔn),其在本文中可被稱作Η.264標(biāo)準(zhǔn)或H.264規(guī)范或H.264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合視頻小組(JVT)繼續(xù)致力于對(duì)H.264/MPEG-4AVC的擴(kuò)展。例如新興的HEVC標(biāo)準(zhǔn)等新的視頻譯碼標(biāo)準(zhǔn)持續(xù)發(fā)展且涌現(xiàn)。本發(fā)明中描述的技術(shù)可與例如H.264等當(dāng)前代標(biāo)準(zhǔn)以及例如新興的HEVC標(biāo)準(zhǔn)等將來代標(biāo)準(zhǔn)兩者兼容。視差處理單元224可產(chǎn)生呈視差圖的形式的3D處理信息252。編碼器226可經(jīng)配置以將作為位流中發(fā)射的3D內(nèi)容的一部分的視差圖編碼為經(jīng)編碼圖像數(shù)據(jù)254。此過程可產(chǎn)生針對(duì)一個(gè)所俘獲視圖的一個(gè)視差圖或針對(duì)若干所發(fā)射視圖的多個(gè)視差圖。編碼器226可接收一個(gè)或一個(gè)以上視圖以及視差圖，且利用比如可對(duì)多個(gè)視圖聯(lián)合譯碼的H.264或HEVC或可對(duì)深度和紋理聯(lián)合譯碼的可縮放視頻譯碼(SVC)等視頻譯碼標(biāo)準(zhǔn)對(duì)其譯碼。如上所述，圖像源222可將同一場(chǎng)景的兩個(gè)視圖提供到視差處理單元224，以用于產(chǎn)生3D處理信息252的目的。在此類實(shí)例中，編碼器226可編碼視圖的僅一者連同3D處理信息256。一般來說，源裝置220可經(jīng)配置以將第一圖像250連同3D處理信息252 —起發(fā)送到目的地裝置(例如，目的地裝置240)。連同視差圖或深度圖一起發(fā)送僅一個(gè)圖像可減少原本可由于發(fā)送場(chǎng)景的兩個(gè)經(jīng)編碼視圖以產(chǎn)生3D圖像而產(chǎn)生的帶寬消耗和/或存儲(chǔ)空間使用。
發(fā)射器228可將包含經(jīng)編碼圖像數(shù)據(jù)254的位流發(fā)送到目的地裝置240的接收器248。舉例來說，發(fā)射器228可使用例如MPEG-2系統(tǒng)技術(shù)等輸送層級(jí)囊封技術(shù)將經(jīng)編碼圖像數(shù)據(jù)254囊封在位流中。發(fā)射器228可包括(例如)網(wǎng)絡(luò)接口、無線網(wǎng)絡(luò)接口、射頻發(fā)射器、發(fā)射器/接收器(收發(fā)器)或其它發(fā)射單元。在其它實(shí)例中，源裝置220可經(jīng)配置以將包含經(jīng)編碼圖像數(shù)據(jù)254的位流存儲(chǔ)到物理媒體，例如光學(xué)存儲(chǔ)媒體(例如，壓縮光盤、數(shù)字視頻光盤、藍(lán)光光盤)、快閃存儲(chǔ)器、磁性媒體或其它存儲(chǔ)媒體。在此類實(shí)例中，存儲(chǔ)媒體可被物理上輸送到目的地裝置240的位置且由適當(dāng)接口單元讀取以用于檢索數(shù)據(jù)。在一些實(shí)例中，包含經(jīng)編碼圖像數(shù)據(jù)254的位流可在由發(fā)射器228發(fā)射之前由調(diào)制器/解調(diào)器(MODEM)調(diào)制。在接收到具有經(jīng)編碼圖像數(shù)據(jù)254的位流且將數(shù)據(jù)解囊封之后，在一些實(shí)例中，接收器248可將經(jīng)編碼圖像數(shù)據(jù)254提供到解碼器246(或在一些實(shí)例中，提供到對(duì)位流進(jìn)行解調(diào)的MODEM)。解碼器246將來自經(jīng)編碼圖像數(shù)據(jù)254的第一視圖250、3D處理信息252和虛擬圖像數(shù)據(jù)253解碼。舉例來說，解碼器246可從3D處理信息252重新創(chuàng)建第一視圖250以及第一視圖250的視差圖。在解碼視差圖之后，可實(shí)施視圖合成算法以產(chǎn)生尚未發(fā)射的其它視圖的紋理。解碼器246還可將第一視圖250和3D處理信息252發(fā)送到真實(shí)視圖合成單元244。真實(shí)視圖合成單元244基于第一視圖250和3D處理信息252重新創(chuàng)建第二視圖256。一般來說，人類視覺系統(tǒng)(HVS)基于到對(duì)象的收斂角而感知深度。相對(duì)靠近觀看者的對(duì)象被感知為較接近觀看者，因?yàn)橛^看者的眼睛以比相對(duì)遠(yuǎn)離觀看者的對(duì)象大的角在對(duì)象上收斂。為模擬例如圖片和視頻等多媒體中的三維，向觀看者顯示兩個(gè)圖像，針對(duì)觀看者的眼睛中的每一者顯示一個(gè)圖像(左和右)。位于圖像內(nèi)的同一空間位置處的對(duì)象通常將被感知為在與正在上面顯示圖像的屏幕相同的深度處。為產(chǎn)生深度的幻象，可沿著水平軸在圖像中的每一者中的略微不同位置處展示對(duì)象。兩個(gè)圖像中對(duì)象的位置之間的差異被稱為視差。一般來說，為使對(duì)象顯得相對(duì)于屏幕更靠近觀看者，可使用負(fù)視差值，而為使對(duì)象顯得相對(duì)于屏幕更遠(yuǎn)離用戶，可使用正視差值。在一些實(shí)例中，具有正或負(fù)視差的像素可以更多或更少分辨率顯示以增加或減小銳度或模糊度，從而進(jìn)一步產(chǎn)生距焦點(diǎn)的正或負(fù)深度的效果。視圖合成可被視為使用密集取樣的視圖以任意視角產(chǎn)生視圖的取樣問題。然而，在實(shí)際應(yīng)用中，密集取樣的視圖所需的存儲(chǔ)或發(fā)射帶寬可相對(duì)較大。因此，已相對(duì)于視圖合成基于稀疏取樣的視圖及其深度圖執(zhí)行研究。盡管詳細(xì)區(qū)分，但基于稀疏取樣的視圖的算法可很大程度上基于3D翹曲。在3D翹曲中，給定深度和相機(jī)型號(hào)，參考視圖的像素可首先從2D相機(jī)坐標(biāo)返回投影到世界坐標(biāo)中的點(diǎn)P。點(diǎn)P可接著投影到目的地視圖(待產(chǎn)生的虛擬視圖)對(duì)應(yīng)于世界坐標(biāo)中的同一對(duì)象的不同投影的兩個(gè)像素可具有相同顏色強(qiáng)度。真實(shí)視圖合成單元244可經(jīng)配置以基于對(duì)象(例如，像素、塊、像素群組或塊群組)的深度值計(jì)算對(duì)象的視差值，或可接收在具有經(jīng)編碼圖像數(shù)據(jù)254的位流中編碼的視差值。真實(shí)視圖合成單元244可使用所述視差值從第一視圖250產(chǎn)生第二視圖256，這在觀看者用一只眼觀看第一視圖250且用另一只眼觀看第二視圖256時(shí)產(chǎn)生三維效果。真實(shí)視圖合成單元244可將第一視圖250和第二視圖256傳遞到待包含在將在圖像顯示器242上顯示的混合現(xiàn)實(shí)場(chǎng)景中的MSSU245。圖像顯示器242可包括立體顯示器或自動(dòng)立體顯示器。一般來說，立體顯示器通過顯示兩個(gè)圖像而模擬三維。觀看者可佩戴頭戴式單元(例如，護(hù)目鏡或眼鏡)以便將一個(gè)圖像引導(dǎo)到一只眼中且將第二圖像引導(dǎo)到另一只眼中。在一些實(shí)例中，例如通過使用偏光眼鏡或彩色濾光鏡同時(shí)顯示每一圖像。在一些實(shí)例中，圖像快速交替，且眼鏡或護(hù)目鏡與顯示器同步地快速交替快門，以致使僅向?qū)?yīng)的眼睛展示正確圖像。自動(dòng)立體顯示器不使用眼鏡而是可將正確圖像引導(dǎo)到觀看者的對(duì)應(yīng)眼睛中。舉例來說，自動(dòng)立體顯示器可裝備有相機(jī)以確定觀看者的眼睛位于何處，以及用于將圖像引導(dǎo)到觀看者的眼睛的機(jī)械和/或電子裝置。還可使用彩色濾光技術(shù)、偏振濾光技術(shù)或其它技術(shù)將圖像分離和/或引導(dǎo)到用戶的不同眼睛。真實(shí)視圖合成單元244可用相對(duì)于觀看者在屏幕后方、屏幕處和屏幕前方的深度值來配置。真實(shí)視圖合成單元244可用將經(jīng)編碼圖像數(shù)據(jù)254中表示的對(duì)象的深度映射到視差值的函數(shù)來配置。因此，真實(shí)視圖合成單元244可執(zhí)行函數(shù)中的一者以計(jì)算對(duì)象的視差值。在基于3D處理信息252計(jì)算第一視圖250的對(duì)象的視差值之后，真實(shí)視圖合成單元244可從第一視圖250和視差值產(chǎn)生第二視圖256。真實(shí)視圖合成 單元244可用用于在屏幕前方或后方以最大深度顯示對(duì)象的最大視差值來配置。以此方式，真實(shí)視圖合成單元244可用零與最大正和負(fù)視差值之間的視差范圍來配置。觀看者可調(diào)整所述配置以修改由目的地裝置240顯示對(duì)象的屏幕前方或后方的最大深度。舉例來說，目的地裝置240可與觀看者可操縱的遠(yuǎn)程控制或其它控制單元通信。遠(yuǎn)程控制可包括用戶接口，其允許觀看者控制顯示對(duì)象的屏幕前方的最大深度和顯示對(duì)象的屏幕后方的最大深度。以此方式，觀看者可能夠調(diào)整圖像顯示器242的配置參數(shù)以便改進(jìn)觀看體驗(yàn)。通過配置將在屏幕前方和屏幕后方顯示的對(duì)象的最大視差值，視圖合成單元244可能夠使用相對(duì)簡(jiǎn)單的計(jì)算基于3D處理信息252計(jì)算視差值。舉例來說，視圖合成單元244可經(jīng)配置以應(yīng)用將深度值映射到視差值的函數(shù)。所述函數(shù)可包括深度與對(duì)應(yīng)視差范圍內(nèi)的一個(gè)視差值之間的線性關(guān)系，使得具有在收斂深度區(qū)間內(nèi)的深度值的像素被映射到零視差值，而屏幕前方的最大深度處的對(duì)象被映射到最小(負(fù))視差值，因此展示為在屏幕前方，且處于最大深度因此展示為在屏幕后方的對(duì)象被映射到針對(duì)屏幕后方的最大(正)視差值。在真實(shí)世界坐標(biāo)的一個(gè)實(shí)例中，深度范圍可為例如[200，1000]，且收斂深度距離可為例如約400。于是,屏幕前方的最大深度對(duì)應(yīng)于200，且屏幕后方的最大深度為1000，且收斂深度區(qū)間可為例如[395，405]。然而，真實(shí)世界坐標(biāo)系中的深度值可能不可用或可量化到較小動(dòng)態(tài)范圍，所述較小動(dòng)態(tài)范圍可例如為八位值(從O到255的范圍)。在一些實(shí)例中，具有從O到255的值的此類經(jīng)量化深度值可在將存儲(chǔ)或發(fā)射深度圖時(shí)或在估計(jì)深度圖時(shí)的情境中使用。典型的基于深度-圖像的呈現(xiàn)(DIBR)過程可包含將低動(dòng)態(tài)范圍經(jīng)量化深度圖轉(zhuǎn)換為真實(shí)世界深度圖中的圖，隨后計(jì)算視差。注意，常規(guī)上，較小經(jīng)量化深度值對(duì)應(yīng)于真實(shí)世界坐標(biāo)中的較大深度值。然而，在本發(fā)明的技術(shù)中，可能不必執(zhí)行此轉(zhuǎn)換，且因此可能不必知道真實(shí)世界坐標(biāo)中的深度范圍，或從經(jīng)量化深度值到真實(shí)世界坐標(biāo)中的深度值的轉(zhuǎn)換函數(shù)?？紤]實(shí)例性視差范圍[_disn, disp],當(dāng)經(jīng)量化深度范圍包含從dmin(其可為
O)到dmax (其可為255)的值時(shí)，深度值dmin被映射到disp，且深度值dmax (其可為255)被映射到_disn。注意，在此實(shí)例中，disn為正。如果假定收斂深度圖區(qū)間為[Cltl-δ，屯+δ]，那么此區(qū)間中的深度值被映射到視差O。一般來說，在本發(fā)明中，短語“深度值”指代較低動(dòng)態(tài)范圍[dmin，dmax]內(nèi)的值。δ值可被稱作容限值，且無需在每一方向上相同。S卩，Cltl可通過第一容限值S:和第二潛在不同容限值S 2來修改，使得[Cltl- δ 2，d0+ δ J可表示可全部映射到視差值零的深度值的范圍。以此方式，目的地裝置240可在不使用考慮例如焦距、所采取的相機(jī)參數(shù)和真實(shí)世界深度范圍值等額外值的更復(fù)雜程序的情況下計(jì)算視差值。系統(tǒng)210僅是與本發(fā)明一致的一個(gè)實(shí)例性配置。如上文論述，本發(fā)明的技術(shù)可由源裝置220或目的地裝置240執(zhí)行。在一些替代配置中，舉例來說，MSSU245的一些功能性可在源裝置220處而不是目的地裝置240處。在此配置中，虛擬圖像源223可實(shí)施本發(fā)明的技術(shù)以產(chǎn)生對(duì)應(yīng)于實(shí)際虛擬3D圖像的虛擬圖像數(shù)據(jù)223。在其它配置中，虛擬圖像源223可產(chǎn)生描述3D圖像的數(shù)據(jù)，使得目的地裝置240的MSSU245可呈現(xiàn)虛擬3D圖像。另外，在其它配置中，源裝置220可將真實(shí)圖像250和256直接發(fā)射到目的地裝置240，而不是發(fā)射一個(gè)圖像和視差圖。在又其它配置中，源裝置220可產(chǎn)生混合現(xiàn)實(shí)場(chǎng)景且將混合現(xiàn)實(shí)場(chǎng)景發(fā)射到目的地裝置。圖3A-3C是說明基于像素的深度的正、零和負(fù)視差值的實(shí)例的概念圖。一般來說，為產(chǎn)生三維效果，例如在屏幕上展示兩個(gè)圖像。待在屏幕前方或后方顯示的對(duì)象的像素分別具有正或負(fù)視差值，·而待在屏幕的深度處顯示的對(duì)象具有零視差值。在一些實(shí)例中，例如，當(dāng)用戶佩戴頭戴式護(hù)目鏡時(shí)，“屏幕”的深度可對(duì)應(yīng)于共同深度屯。圖3A-3C說明其中屏幕382同時(shí)或快速連續(xù)地顯示左圖像384和右圖像386的實(shí)例。圖3Α描繪像素380Α在屏幕382后方(或內(nèi)部)出現(xiàn)。在圖3Α的實(shí)例中，屏幕382顯示左圖像像素388Α和右圖像像素390Α，其中左圖像像素388Α和右圖像像素390Α通常對(duì)應(yīng)于同一對(duì)象且因此可具有類似或相同像素值。在一些實(shí)例中，左圖像像素388Α和右圖像像素390Α的亮度和色度值可略微不同以進(jìn)一步增強(qiáng)三維觀看體驗(yàn)，(例如)以考慮到可能當(dāng)從略微不同角度觀看對(duì)象時(shí)出現(xiàn)的亮度或顏色差異的略微變化。在此實(shí)例中，當(dāng)由屏幕382顯示時(shí)，左圖像像素388Α的位置出現(xiàn)在右圖像像素90Α的左側(cè)。S卩，左圖像像素388Α與右圖像像素390Α之間存在正視差。假定視差值為d，且左圖像像素392A出現(xiàn)在左圖像384中的水平位置x處，其中左圖像像素392A對(duì)應(yīng)于左圖像像素388A，那么右圖像像素394A出現(xiàn)在右圖像386中的水平位置x+d處，其中右圖像像素394A對(duì)應(yīng)于右圖像像素390A。此正視差可致使當(dāng)用戶的左眼聚焦在左圖像像素88A上且用戶的右眼聚焦在右圖像像素390A上時(shí)觀看者的眼睛在相對(duì)在屏幕后方的點(diǎn)處收斂，從而產(chǎn)生像素80A出現(xiàn)在屏幕382后方的幻象。左圖像384可對(duì)應(yīng)于如圖2中說明的第一圖像250。在其它實(shí)例中，右圖像386可對(duì)應(yīng)于第一圖像250。為了計(jì)算圖3A的實(shí)例中的正視差值，真實(shí)視圖合成單元244可接收左圖像384和左圖像像素392A的深度值，所述深度值指示左圖像像素392A在屏幕382后方的深度位置。真實(shí)視圖合成單元244可復(fù)制左圖像384以形成右圖像386并改變右圖像像素394A的值以與左圖像像素392A的值匹配或相似。即，右圖像像素394A可具有與左圖像像素392A相同或類似的亮度和/或色度值。因此，屏幕382 (其可對(duì)應(yīng)于圖像顯示器242)可大體同時(shí)或快速連續(xù)地顯示左圖像像素388A和右圖像像素390A，以產(chǎn)生像素380A在屏.382后方出現(xiàn)的效果。圖3B說明其中在屏幕382的深度處描繪像素380B的實(shí)例。在圖3B的實(shí)例中，屏幕382在同一位置中顯示左圖像像素388B和右圖像像素390B。即，在此實(shí)例中，左圖像像素388B與右圖像像素390B之間存在零視差。假定左圖像384中的左圖像像素392B(其對(duì)應(yīng)于如屏幕382顯示的左圖像像素388B)出現(xiàn)在水平位置x處，右圖像像素394B(其對(duì)應(yīng)于如屏幕382顯示的右圖像像素390B)出現(xiàn)在右圖像386中的水平位置x處。真實(shí)視圖合成單元244可確定左圖像像素392B的深度值在等效于屏幕382的深度或距屏幕382的深度較小距離δ內(nèi)的深度dQ處。因此，真實(shí)視圖合成單元244可向左圖像像素392B指派零視差值。當(dāng)由左圖像384和視差值構(gòu)建右圖像386時(shí)，真實(shí)視圖合成單元244可讓右圖像像素394B的值與左圖像像素392B相同。

圖3C描繪屏幕382前方的像素380C。在圖3C的實(shí)例中，屏幕382在右圖像像素390C的右側(cè)顯示左圖像像素388C。即，在此實(shí)例中，左圖像像素388C與右圖像像素390C之間存在負(fù)視差。因此，用戶的眼睛可在屏幕382前方的位置處收斂，這可產(chǎn)生像素380C出現(xiàn)在屏幕382前方的幻象。真實(shí)視圖合成單元244可確定左圖像像素392C的深度值處于屏幕382前方的深度。因此，真實(shí)視圖合成單元244可執(zhí)行將左圖像像素392C的深度映射到負(fù)視差值-d的函數(shù)。真實(shí)視圖合成單元244可接著基于左圖像384和負(fù)視差值構(gòu)建右圖像386。舉例來說，當(dāng)構(gòu)建右圖像386時(shí)，假定左圖像像素392C具有水平位置X，真實(shí)視圖合成單元244可將右圖像386中的水平位置x-d處的像素(即，左圖像像素394C)的值改變?yōu)樽髨D像像素392C的值。真實(shí)視圖合成單元244可將第一視圖250和第二視圖256發(fā)射到MSSU245。MSSU245組合第一視圖250和第二視圖256以產(chǎn)生真實(shí)3D圖像。MSSU245還基于虛擬圖像數(shù)據(jù)253將虛擬3D對(duì)象添加到真實(shí)3D圖像以產(chǎn)生混合現(xiàn)實(shí)3D圖像以供圖像顯示器242顯示。根據(jù)本發(fā)明的技術(shù)，MSSU245基于從真實(shí)3D圖像提取的一組參數(shù)呈現(xiàn)虛擬3D對(duì)象。圖4A展示用于獲取真實(shí)場(chǎng)景的立體視圖和由所得3D圖像涵蓋的視場(chǎng)的兩個(gè)相機(jī)系統(tǒng)的圖的俯視圖，且圖4B展示如圖4A所示的相同兩個(gè)相機(jī)系統(tǒng)的側(cè)視圖。兩個(gè)相機(jī)系統(tǒng)可例如對(duì)應(yīng)于圖1中的真實(shí)圖像源122或圖2中的真實(shí)圖像源222。L’表示兩個(gè)相機(jī)系統(tǒng)的左相機(jī)位置，且R’表示兩個(gè)相機(jī)系統(tǒng)的右相機(jī)位置。位于L’和R’處的相機(jī)可獲取上文論述的第一視圖和第二視圖。M’表示顯微鏡相機(jī)位置，且A表示M’與L’之間以及M’與R’之間的距離。因此，L’與R’之間的距離為2*A。Z’表示距零視差平面(ZDP)的距離。當(dāng)在顯示器上呈現(xiàn)時(shí)，ZDP處的點(diǎn)將顯得在顯示器平面上。當(dāng)在顯示器上呈現(xiàn)時(shí)，ZDP后方的點(diǎn)將顯得在顯示器平面后方，且當(dāng)在顯示器上呈現(xiàn)時(shí)，ZDP后前方的點(diǎn)將顯得在顯示器平面前方。從M’到ZDP的距離可由相機(jī)使用激光測(cè)距儀、紅外測(cè)距儀或其它此類測(cè)距工具來測(cè)量。在一些操作環(huán)境中，Z’的值可為無需測(cè)量的已知值。在照相術(shù)中，術(shù)語視角(AOV)通常用于描述由相機(jī)成像的給定場(chǎng)景的角范圍。AVO通?？膳c更一般術(shù)語視場(chǎng)(FOV)互換地使用。相機(jī)的水平視角(e’h)是基于特定相機(jī)的設(shè)置的已知值?；趀’h的已知值和z’的所確定的值，表示相機(jī)設(shè)置俘獲的ZDP的寬度的一半的w’的值可計(jì)算如下:
權(quán)利要求
1.一種方法，其包括 確定到真實(shí)三維3D圖像的零視差平面的距離； 至少部分基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)； 至少部分基于所述投影矩陣呈現(xiàn)虛擬3D對(duì)象； 組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。
2.根據(jù)權(quán)利要求I所述的方法，其進(jìn)一步包括 至少部分基于到所述零視差平面的所述距離確定眼睛間隔值； 至少部分基于所述眼睛間隔值呈現(xiàn)所述虛擬3D對(duì)象。
3.根據(jù)權(quán)利要求I所述的方法，其中通過立體相機(jī)俘獲所述真實(shí)3D圖像。
4.根據(jù)權(quán)利要求3所述的方法，其中所述方法進(jìn)一步包括 確定所述立體相機(jī)的縱橫比；以及， 使用所述縱橫比確定所述投影矩陣的所述一個(gè)或一個(gè)以上參數(shù)中的至少一者。
5.根據(jù)權(quán)利要求I所述的方法，其中所述參數(shù)包括左邊界參數(shù)、右邊界參數(shù)、頂部邊界參數(shù)、底部邊界參數(shù)、近裁剪平面參數(shù)和遠(yuǎn)裁剪平面參數(shù)。
6.根據(jù)權(quán)利要求I所述的方法，其進(jìn)一步包括 確定所述真實(shí)3D圖像的近平面視差值； 以所述近平面視差值呈現(xiàn)所述虛擬3D對(duì)象。
7.根據(jù)權(quán)利要求I所述的方法，其進(jìn)一步包括 確定所述真實(shí)3D圖像的遠(yuǎn)平面視差值； 以所述遠(yuǎn)平面視差值呈現(xiàn)所述虛擬3D對(duì)象。
8.根據(jù)權(quán)利要求I所述的方法，其進(jìn)一步包括 移位所述混合現(xiàn)實(shí)3D圖像的視口。
9.一種用于處理三維3D視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括 真實(shí)3D圖像源，其中所述真實(shí)3D圖像源經(jīng)配置以確定到所俘獲的3D圖像的零視差平面的距離； 虛擬圖像源，其經(jīng)配置以 至少基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)； 至少部分基于所述投影矩陣呈現(xiàn)虛擬3D對(duì)象； 混合場(chǎng)景合成單元，其經(jīng)配置以組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述虛擬圖像源進(jìn)一步經(jīng)配置以， 至少部分基于到所述零視差平面的所述距離確定眼睛間隔值，且至少部分基于所述眼睛間隔值呈現(xiàn)所述虛擬3D對(duì)象。
11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述真實(shí)3D圖像源是立體相機(jī)。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述虛擬圖像源進(jìn)一步經(jīng)配置以確定所述立體相機(jī)的縱橫比，且使用所述縱橫比確定所述投影矩陣的所述一個(gè)或一個(gè)以上參數(shù)中的至少一者O
13.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述參數(shù)包括左邊界參數(shù)、右邊界參數(shù)、頂部邊界參數(shù)、底部邊界參數(shù)、近裁剪平面參數(shù)和遠(yuǎn)裁剪平面參數(shù)。
14.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述虛擬圖像源進(jìn)一步經(jīng)配置以確定所述真實(shí)3D圖像的近平面視差值，且以所述同一近平面視差值呈現(xiàn)所述虛擬3D對(duì)象。
15.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述虛擬圖像源進(jìn)一步經(jīng)配置以確定所述真實(shí)3D圖像的遠(yuǎn)平面視差值，且以所述同一遠(yuǎn)平面視差值呈現(xiàn)所述虛擬3D對(duì)象。
16.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述混合場(chǎng)景合成單元進(jìn)一步經(jīng)配置以移位所述混合現(xiàn)實(shí)3d圖像的視口。
17.—種設(shè)備,其包括 用于確定到真實(shí)三維3D圖像的零視差平面的距離的裝置； 用于至少部分基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)的裝置； 用于至少部分基于所述投影矩陣呈現(xiàn)虛擬3D對(duì)象的裝置； 用于組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像的裝置。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包括 用于至少部分基于到所述零視差平面的所述距離確定眼睛間隔值的裝置； 用于至少部分基于所述眼睛間隔值呈現(xiàn)所述虛擬3D對(duì)象的裝置。
19.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述真實(shí)3D圖像是由立體相機(jī)俘獲。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述設(shè)備進(jìn)一步包括 用于確定所述立體相機(jī)的縱橫比的裝置；以及， 用于使用所述縱橫比確定所述投影矩陣的所述一個(gè)或一個(gè)以上參數(shù)中的至少一者的裝置。
21.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述參數(shù)包括左邊界參數(shù)、右邊界參數(shù)、頂部邊界參數(shù)、底部邊界參數(shù)、近裁剪平面參數(shù)和遠(yuǎn)裁剪平面參數(shù)。
22.根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包括 用于確定所述真實(shí)3D圖像的近平面視差值的裝置； 用于以所述近平面視差值呈現(xiàn)所述虛擬3D對(duì)象的裝置。
23.根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包括 用于確定所述真實(shí)3D圖像的遠(yuǎn)平面視差值的裝置； 用于以所述遠(yuǎn)平面視差值呈現(xiàn)所述虛擬3D對(duì)象的裝置。
24.根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包括 用于移位所述混合現(xiàn)實(shí)3D圖像的視口的裝置。
25.一種有形地存儲(chǔ)一個(gè)或一個(gè)以上指令的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令當(dāng)由一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器 確定到真實(shí)三維3D圖像的零視差平面的距離； 至少部分基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)； 至少部分基于所述投影矩陣呈現(xiàn)虛擬3D對(duì)象； 組合所述真實(shí)圖像與所述虛擬對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。
26.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)可讀存儲(chǔ)媒體,其存儲(chǔ)進(jìn)一步的指令,所述指令當(dāng)由所述一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器 至少部分基于到所述零視差平面的所述距離確定眼睛間隔值；至少部分基于所述眼睛間隔值呈現(xiàn)所述虛擬3D對(duì)象。
27.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述真實(shí)3D圖像是由立體相機(jī)俘獲。
28.根據(jù)權(quán)利要求27所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其存儲(chǔ)進(jìn)一步的指令，所述指令當(dāng)由所述一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器 確定所述立體相機(jī)的縱橫比；以及， 使用所述縱橫比確定所述投影矩陣的所述一個(gè)或一個(gè)以上參數(shù)中的至少一者。
29.根據(jù)權(quán)利要求27所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述參數(shù)包括左邊界參數(shù)、右邊界參數(shù)、頂部邊界參數(shù)、底部邊界參數(shù)、近裁剪平面參數(shù)和遠(yuǎn)裁剪平面參數(shù)。
30.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)可讀存儲(chǔ)媒體,其存儲(chǔ)進(jìn)一步的指令,所述指令當(dāng)由所述一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器 確定所述真實(shí)3D圖像的近平面視差值； 以所述近平面視差值呈現(xiàn)所述虛擬3D對(duì)象。
31.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其存儲(chǔ)進(jìn)一步的指令，所述指令當(dāng)由所述一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器 確定所述真實(shí)3D圖像的遠(yuǎn)平面視差值； 以所述遠(yuǎn)平面視差值呈現(xiàn)所述虛擬3D對(duì)象。
32.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其存儲(chǔ)進(jìn)一步的指令，所述指令當(dāng)由所述一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器 移位所述混合現(xiàn)實(shí)3D圖像的視口。
全文摘要
一種三維3D混合現(xiàn)實(shí)系統(tǒng)組合例如由3D相機(jī)俘獲的真實(shí)3D圖像或視頻與由計(jì)算機(jī)或其它機(jī)器呈現(xiàn)的虛擬3D圖像，以呈現(xiàn)3D混合現(xiàn)實(shí)圖像或視頻。3D相機(jī)可獲取共同場(chǎng)景的兩個(gè)單獨(dú)圖像(左和右)，且將所述兩個(gè)單獨(dú)圖像疊加以形成具有3D深度效果的真實(shí)圖像。所述3D混合現(xiàn)實(shí)系統(tǒng)可確定到所述真實(shí)3D圖像的零視差平面的距離，基于到所述零視差平面的所述距離確定投影矩陣的一個(gè)或一個(gè)以上參數(shù)，基于所述投影矩陣呈現(xiàn)虛擬3D對(duì)象，組合所述真實(shí)圖像與所述虛擬3D對(duì)象以產(chǎn)生混合現(xiàn)實(shí)3D圖像。
文檔編號(hào)H04N13/00GK103238338SQ201180057284
公開日2013年8月7日 申請(qǐng)日期2011年11月28日 優(yōu)先權(quán)日2010年12月3日
發(fā)明者張雪瑞, 畢寧, 齊英勇 申請(qǐng)人:高通股份有限公司