基于全景的3d視頻譯碼的制作方法
【專利摘要】描述了包括對于基于全景的3D視頻譯碼的操作的系統(tǒng)、設(shè)備、物品，以及方法。
【專利說明】基于全景的3D視頻譯碼
[0001]背景
[0002]視頻編碼器壓縮視頻信息，以便可以通過給定帶寬發(fā)送更多信息。然后，可以將壓縮信號傳輸?shù)浇邮掌鳎摻邮掌髟陲@示之前解碼或解壓縮信號。
[0003]3D視頻已經(jīng)變?yōu)榭梢员葌鹘y(tǒng)的2D視頻提供更豐富的視覺體驗(yàn)的新興的媒體。潛在的應(yīng)用包括自由視點(diǎn)視頻(FVV)、自由視點(diǎn)電視(FTV)、3D電視(3DTV)、IMAX電影院、沉浸式電話會議，監(jiān)測等等。為支持這些應(yīng)用，視頻系統(tǒng)通常從不同的視點(diǎn)捕捉場景，這會導(dǎo)致同時(shí)從不同的相機(jī)生成多個(gè)視頻序列。
[0004]3D視頻譯碼(3DVC)是指以服務(wù)于各種3D顯示器為目標(biāo)的新視頻壓縮標(biāo)準(zhǔn)。3DVC正在由IS0/IEC運(yùn)動圖像專家組(MPEG)開發(fā)。目前，基于最新的常規(guī)視頻譯碼標(biāo)準(zhǔn)——高效率視頻譯碼(High Efficient Video Coding:HEVC),來構(gòu)建3DVC的一個(gè)分支,計(jì)劃在2012年末之前完成。3DVC的其他分支基于H.264/AVC構(gòu)建。
[0005]IS0/IEC運(yùn)動圖像專家組(MPEG)現(xiàn)在進(jìn)行3D視頻譯碼(3DVC)的標(biāo)準(zhǔn)化。新3DVC標(biāo)準(zhǔn)可能允許從有限量的輸入數(shù)據(jù)生成許多高質(zhì)量視圖。例如，可以使用多視圖視頻加深度(Multiview Video plus Depth:MVD)概念來從有限量的輸入數(shù)據(jù)生成這樣的高質(zhì)量視圖。進(jìn)一步地，可以使用3DVC來用于高級立體處理功能，并用來支持自動立體顯示器和FTV,自動立體顯示器和FTV允許用戶具有3D視覺體驗(yàn)，同時(shí)在3D顯示器前面自由地改變他們的位置。
[0006]一般而言，多視圖視頻加深度(MVD)概念有支持FTV功能，多視圖視頻以及相關(guān)聯(lián)的深度圖信息的兩個(gè)主要組件。這樣的多視圖視頻通常是指場景是通過許多相機(jī)并從不同的視圖位置捕捉的。這樣的相關(guān)聯(lián)的深度圖信息通常是指每一個(gè)紋理視圖與告知從相機(jī)到場景中的對象有多遠(yuǎn)的深度圖相關(guān)聯(lián)。從多視圖視頻和深度信息，可以在任意查看位置生成虛擬視圖。
[0007]多視圖視頻加深度(MVD)概念常常用于表示3D視頻內(nèi)容，其中，若干個(gè)視圖和相關(guān)聯(lián)的深度圖通常被編碼和多路復(fù)用為比特流。每一個(gè)視圖的相機(jī)參數(shù)通常也壓縮到比特流，以便進(jìn)行視圖合成。通常也稱為基礎(chǔ)視圖或獨(dú)立視圖的視圖中的一個(gè)，通常獨(dú)立于其他視圖譯碼。對于依賴的視圖，可以從其他視圖的畫面或同一個(gè)視圖中的預(yù)先譯碼的畫面，來預(yù)測視頻和深度。根據(jù)特定的應(yīng)用，可以通過丟棄非必需的比特流分組，來在解碼器側(cè)提取子比特流。
[0008]附圖簡述
[0009]此處所描述的材料是作為示例說明的，而不僅限于各個(gè)附圖的圖形。為說明簡單和清楚起見，圖形中所示出的元件不一定是按比例繪制的。例如，為了清楚起見，某些元件的尺寸可以相對于其他元件而放大。此外，在合適的情況下，在不同的圖形中參考標(biāo)簽重復(fù)使用，以表示對應(yīng)的或類似的元件。在圖形中:
[0010]圖1是不例3D視頻譯碼系統(tǒng)的說明圖；
[0011]圖2是不例3D視頻譯碼系統(tǒng)的說明圖；
[0012]圖3是不出了不例3D視頻譯碼過程的流程圖；
[0013]圖4是在操作中的示例3D視頻譯碼過程的說明圖；
[0014]圖5是示例基于全景的3D視頻譯碼流程的的說明圖；
[0015]圖6是示例3D視頻譯碼系統(tǒng)的說明圖；
[0016]圖7是示例系統(tǒng)的說明圖；以及
[0017]圖8是示例系統(tǒng)的說明圖，所有都是根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)配置的。
[0018]詳細(xì)描述
[0019]現(xiàn)在將參考所附的圖形來描述一個(gè)或多個(gè)實(shí)施例或?qū)崿F(xiàn)。盡管討論了特定配置和布局，但是，應(yīng)該理解，這只是為了說明。那些精通相關(guān)技術(shù)的人員將認(rèn)識到，在不偏離描述的精神和范圍的情況下，可以使用其他配置和布局。對于那些精通相關(guān)技術(shù)的人來說顯而易見的是，此處所描述的技術(shù)和/或布局也可以用于除此處所描述的以外的各種其他系統(tǒng)和應(yīng)用中。
[0020]盡管下列描述闡述了可以在諸如，例如，片上系統(tǒng)(SoC)體系結(jié)構(gòu)之類的體系結(jié)構(gòu)中表現(xiàn)的各種實(shí)現(xiàn)，但是，此處所描述的技術(shù)和/或布局的實(shí)現(xiàn)不局限于特定體系結(jié)構(gòu)和/或計(jì)算系統(tǒng)，并可以通過用于類似的目的的任何體系結(jié)構(gòu)和/或計(jì)算系統(tǒng)來實(shí)現(xiàn)。例如，使用，例如，多個(gè)集成電路(IC)芯片和/或封裝，和/或各種計(jì)算設(shè)備和/或消費(fèi)者電子(CE)設(shè)備(諸如機(jī)頂盒、智能電話等等)的各種體系結(jié)構(gòu)都可以實(shí)現(xiàn)此處所描述的技術(shù)和/或布局。進(jìn)一步地，盡管下列描述可以闡述諸如邏輯實(shí)現(xiàn)、系統(tǒng)組件的類型和相互關(guān)系、邏輯劃分/集成選擇等等之類的很多具體細(xì)節(jié)，但是，所要求保護(hù)的主題可以在沒有這些具體細(xì)節(jié)的情況下實(shí)施。在其他情況下，沒有詳細(xì)示出諸如，例如，控制結(jié)構(gòu)和完全軟件指令序列之類的某些材料，以便不至于使此處所公開的材料變得模糊。
[0021]此處所公開的材料可以以硬件、固件、軟件，或其任何組合來實(shí)現(xiàn)。此處所公開的材料還可實(shí)現(xiàn)為存儲在機(jī)器可讀取的介質(zhì)中的可以由一個(gè)或多個(gè)處理器讀取和執(zhí)行的指令。機(jī)器可讀的介質(zhì)可以包括用于以機(jī)器(例如，計(jì)算設(shè)備)可讀的形式存儲或傳輸信息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀的介質(zhì)可以包括，只讀存儲器(ROM);隨機(jī)存取存儲器(RAM);磁盤存儲介質(zhì)；光存儲介質(zhì)；閃存設(shè)備；電的、光學(xué)的、聲音或其他形式的傳播信號(例如，載波、紅外信號、數(shù)字信號等等)；及其他。
[0022]說明書中對"一個(gè)實(shí)現(xiàn)"、"實(shí)現(xiàn)"、"示例實(shí)現(xiàn)"等等的引用指示所描述的實(shí)現(xiàn)可包括特定特征、結(jié)構(gòu)或特性，但是，每一個(gè)實(shí)現(xiàn)可以不一定包括該特定特征、結(jié)構(gòu)或特征。此外，這樣的短語不一定是指同一個(gè)實(shí)現(xiàn)。此外，當(dāng)結(jié)合一個(gè)實(shí)現(xiàn)描述特定特征、結(jié)構(gòu)或特性時(shí)，認(rèn)為在本領(lǐng)域技術(shù)人員學(xué)識范圍內(nèi)，可以與其他實(shí)現(xiàn)一起實(shí)施這樣的特征、結(jié)構(gòu)或特性，無論是否對此明確描述。
[0023]下面將描述包括對于基于全景的3D視頻譯碼的操作的系統(tǒng)、設(shè)備、物品，以及方法。
[0024]如上文所描述的，在某些情況下，在常規(guī)3D視頻壓縮編碼中，可以在比特流中譯碼兩個(gè)或三個(gè)視圖和相關(guān)聯(lián)的深度圖，以支持各種3D視頻應(yīng)用。在解碼器端，可以通過使用基于深度圖像的呈現(xiàn)技術(shù)，來生成某些視點(diǎn)的虛擬合成的視圖。為了向后兼容常規(guī)2D視頻編碼器/解碼器，可以將3D視頻的一個(gè)視圖標(biāo)記為獨(dú)立視圖，必須使用常規(guī)2D視頻編碼器/解碼器獨(dú)立地對其進(jìn)行譯碼。除獨(dú)立視圖之外，其他視圖可以是依賴的視圖，它們不僅使視圖間預(yù)測利用視圖間冗余，而且還使視圖內(nèi)預(yù)測利用同一個(gè)視圖中的空間和時(shí)間冗余。然而，與單視圖視頻相比，巨量的3D視頻數(shù)據(jù)推高所需的帶寬。因此，可能需要更有高效地壓縮3D視頻數(shù)據(jù)。
[0025]如下文比較詳細(xì)地描述的，對于3D視頻譯碼的操作可以使用基于全景的3D視頻譯碼方法，在某些實(shí)施例中，該方法可以與常規(guī)2D視頻譯碼器完全兼容。代替譯碼多個(gè)視圖序列和相關(guān)聯(lián)的深度圖序列，可以只譯碼和傳輸全景視頻序列和全景地圖。此外，可以從這樣的全景序列中提取任何任意視場，并可以直接導(dǎo)出任何中間視點(diǎn)處的3D視頻。這樣的基于全景的3D視頻譯碼可以改善3D視頻譯碼系統(tǒng)的譯碼效率和靈活性。
[0026]圖1是根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)配置的示例3D視頻譯碼系統(tǒng)100的說明圖。在所示出的實(shí)現(xiàn)中，3D視頻譯碼系統(tǒng)100可以包括一種或多種類型的顯示器(例如，N視圖顯示器140、立體顯示器142、2D顯示器144等等)、一個(gè)或多個(gè)成像設(shè)備(未示出)、3D視頻編碼器103、3D視頻解碼器105、立體視頻解碼器107、2D視頻解碼器109，和/或比特流提取器110。
[0027]在某些示例中，3D視頻譯碼系統(tǒng)100可以包括為了清楚起見在圖1中而沒有示出的額外的項(xiàng)目。例如，3D視頻譯碼系統(tǒng)100可以包括處理器、射頻類型的(RF)收發(fā)器，和/或天線。進(jìn)一步地，3D視頻譯碼系統(tǒng)100還可以包括為了清楚起見而在圖1中沒有示出的額外的項(xiàng)目，諸如揚(yáng)聲器、麥克風(fēng)、加速度計(jì)、存儲器、路由器、網(wǎng)絡(luò)接口邏輯等等。
[0028]如此處所使用的，術(shù)語“譯碼器(coder) ”可以是指編碼器(encoder)和/或解碼器(decoder)。類似地，如此處所使用的，術(shù)語“譯碼(coding) ”可以是指通過編碼器來編碼和/或通過解碼器來解碼。例如，3D視頻編碼器103和3D視頻解碼器105兩者都可以是能夠進(jìn)行3D譯碼的譯碼器的示例。
[0029]在某些示例中發(fā)送器102可以從多個(gè)成像設(shè)備(未示出)接收多個(gè)視圖。用于3D編碼器103的輸入信號可以包括多個(gè)視圖(例如，視頻畫面112和113)、相關(guān)聯(lián)的深度圖(例如，深度圖114和115)，以及對應(yīng)的相機(jī)參數(shù)(未示出)。然而，還可以在沒有深度數(shù)據(jù)的情況下，操作3D視頻譯碼系統(tǒng)100。通過使用3D視頻編碼器103，輸入分量信號被編碼為比特流，其中，可以使用2D視頻編碼器，例如，H264/AVC編碼器或高效率視頻譯碼(HEVC)編碼器，來編碼基礎(chǔ)視圖。如果通過3D接收器104使用3D視頻解碼器105來解碼來自比特流提取器110的比特流，則可以在給定保真度下重構(gòu)視頻(例如，視頻畫面116和117)、深度數(shù)據(jù)(例如，深度圖118和119)，和/或相機(jī)參數(shù)(未示出)。
[0030]在其他示例中，如果通過立體接收器106解碼來自比特流提取器110的比特流，來供在自動立體顯示器(例如，立體顯示器142)上顯示3D視頻，則可以使用重構(gòu)的視圖和深度數(shù)據(jù)，通過基于深度圖像的呈現(xiàn)(DIBR)算法，來生成額外的中間視圖(例如，兩個(gè)視圖畫面120和121)。如果3D視頻解碼器103被連接到常規(guī)立體顯示器(例如，立體顯示器142)，則中間視圖合成130也可以生成一對立體視圖，以防這樣的對不實(shí)際存在于來自比特流提取器110的比特流中。
[0031]在進(jìn)一步的示例中，如果通過2D接收器108解碼來自比特流提取器110的比特流，則解碼的視圖(例如，獨(dú)立視圖畫面122)中的一個(gè)或任意虛擬相機(jī)位置處的中間視圖也可以用于在常規(guī)2D顯示器(例如，2D顯示器144)上顯示單個(gè)視圖。
[0032]圖1示出了自動立體顯示器的典型的3DV系統(tǒng)的示例。編碼器的輸入信號可以包括多個(gè)紋理視圖、相關(guān)聯(lián)的多個(gè)深度圖，以及對應(yīng)的相機(jī)參數(shù)。應(yīng)該注意，輸入數(shù)據(jù)也可以只是多個(gè)紋理視圖。當(dāng)在接收器側(cè)接收到譯碼的3D視頻比特流時(shí)，可以通過3D視頻解碼器，完全重構(gòu)多個(gè)紋理視圖、相關(guān)聯(lián)的多個(gè)深度圖，以及對應(yīng)的相機(jī)參數(shù)。為在自動立體顯示器上顯示3D視頻，通過基于深度圖像的呈現(xiàn)(DIBR)技術(shù)，使用重構(gòu)的紋理視圖和深度圖,來生成額外的中間視圖。
[0033]圖2是根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)配置的示例2D視頻譯碼系統(tǒng)200的說明圖。在所示出的實(shí)現(xiàn)中，2D視頻譯碼系統(tǒng)200可以實(shí)現(xiàn)對于基于全景的2D視頻譯碼的操作。
[0034]如下文所比較詳細(xì)地描述的，全景視頻210可以包含來自視頻畫面視圖112-113的視頻內(nèi)容，并且可以通過使用圖像拼接算法(image stitching algorithms),通過圖像拼接和全景地圖生成模塊207，來生成全景視頻210。注意，多個(gè)視頻畫面視圖112-113的視頻數(shù)據(jù)可以通過平行相機(jī)陣列或弧形相機(jī)陣列來捕捉。
[0035]全景地圖212可以包含將每一個(gè)原始圖像映射到全景視頻210中的某一區(qū)域的透視投影(perspective proi)矩陣系列、相機(jī)視圖之間的投影矩陣，以及相機(jī)圖像之間的像素對應(yīng)ect關(guān)1n系(pixel correspondence)(例如,6?7像素對應(yīng)關(guān)系)。逆映射可以實(shí)現(xiàn)從全景視頻210到相機(jī)視圖(例如，原始圖像或合成視圖)的映射?？梢酝ㄟ^圖像拼接和全景地圖生成模塊207，通過每一個(gè)視頻畫面視圖112-113和全景視頻210之間的穩(wěn)定像素點(diǎn)對應(yīng)關(guān)系(例如，6?7穩(wěn)定像素點(diǎn))；以及相機(jī)內(nèi)部/外部參數(shù)201-202，來構(gòu)建全景地圖212。為了混合圖像以補(bǔ)償曝光差異及諸如照明變化和重影現(xiàn)象之類的其他錯位，當(dāng)區(qū)域來自多個(gè)不同的原始圖像時(shí)，可以執(zhí)行用于全景的目標(biāo)區(qū)域的視圖混合技術(shù)。視圖混合可以被置于2D視頻編碼器203之前的發(fā)送器側(cè)或2D視頻解碼器204之后的接收器側(cè)，諸如通過3D卷曲(3D warping)和/或視圖混合模塊217的3D卷曲技術(shù)的一部分。如果視圖混合被置于發(fā)送器側(cè)，則可以在生成全景視頻210之后并在2D視頻編碼器203之前處理計(jì)算。另一方面，如果被置于接收器側(cè)，則將在生成全景視頻210之后并在通過3D卷曲和/或視圖混合模塊217的3D卷曲之前處理計(jì)算。
[0036]2D視頻譯碼系統(tǒng)200可以使用典型的2D視頻編碼器203，諸如MPEG-2、H.264/AVC, HEVC等等，來編碼全景視頻210，并且全景地圖212可以通過MPEG-2用戶數(shù)據(jù)語法、H.264/AVC SEI語法，或HEVC SEI語法，來編碼和傳輸。
[0037]在3D接收器104，可以由對應(yīng)的2D視頻解碼器205來完全重構(gòu)全景視頻210和全景地圖212。然后，可以通過3D卷曲和/或視圖混合模塊217，經(jīng)由3D卷曲技術(shù)，生成任何中間查看位置處的任意視圖視頻。例如，自動立體視頻可以顯示在顯示器140上，并且用戶202可以提供指示用戶希望什么視點(diǎn)的輸入。響應(yīng)于所指示的視點(diǎn)，可以通過3D卷曲和/或視圖混合模塊217，經(jīng)由3D卷曲技術(shù)，生成任何中間查看位置處的任意視圖視頻。結(jié)果，可以獲得自動立體視頻?？梢酝ㄟ^2D視頻譯碼系統(tǒng)200的基于全景的3D視頻譯碼來高效地實(shí)現(xiàn)對多個(gè)視圖的輸入域內(nèi)的任意視圖的隨機(jī)訪問。
[0038]如下面比較詳細(xì)地討論的，可以使用3D視頻譯碼系統(tǒng)200來執(zhí)行下文參考圖3和/或4所討論的各種功能中的某些或全部。
[0039]圖3是示出了根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)配置的示例2D視頻譯碼過程200的流程圖。在所示出的實(shí)現(xiàn)中，過程300可以包括一個(gè)或多個(gè)操作、功能或動作，如框302、和/或304中的一個(gè)或多個(gè)所例示的。作為非限制性示例，此處將參考圖2和/或6的示例2D視頻譯碼系統(tǒng)200來描述過程300。
[0040]過程300可以被用作用于基于全景的3D視頻譯碼的計(jì)算機(jī)實(shí)現(xiàn)的方法。過程300可以從框302開始，“解碼至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)所生成的全景視頻和全景地圖”，其中可以解碼全景視頻和全景地圖。例如，可以通過2D解碼器(未示出)來解碼至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)所生成的全景視頻和全景地圖。
[0041]過程可以從操作302繼續(xù)到操作304，“至少部分地基于所生成的全景視頻，提取3D視頻”，其中可以提取3D視頻。例如，可以至少部分地基于所生成的全景視頻和相關(guān)聯(lián)的全景地圖，提取3D視頻。
[0042]可以在下文參考圖4比較詳細(xì)地討論的實(shí)現(xiàn)的一個(gè)或多個(gè)示例中示出涉及過程300的某些額外的和/或替換的細(xì)節(jié)。
[0043]圖4是根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)配置的在操作中的示例2D視頻譯碼系統(tǒng)200和3D視頻譯碼過程400的說明圖。在所例示的實(shí)現(xiàn)中，過程400可以包括一個(gè)或多個(gè)操作、功能或動作，如動作 412、414、416、418、420、422、424、426、428、430、432、434，和 / 或 436 中的一個(gè)或多個(gè)所示出的。作為非限制性示例，此處將參考圖2和/或5的示例2D視頻譯碼系統(tǒng)200來描述過程400。
[0044]在所示出的實(shí)現(xiàn)中，2D視頻譯碼系統(tǒng)200可以包括邏輯模塊406，等等，和/或其組合。例如，邏輯模塊406可以包括全景生成邏輯模塊408、3D視頻提取邏輯模塊410等等，和/或其組合。雖然3D視頻譯碼系統(tǒng)100，如圖4所示，可以包括與特定模塊相關(guān)聯(lián)的一個(gè)特定組的框或動作，但是，這些框或動作可以與這里所示出的特定模塊之外的不同的模塊相關(guān)聯(lián)。
[0045]過程400可以從框412開始，“確定像素對應(yīng)關(guān)系”，其中可以確定像素對應(yīng)關(guān)系。例如，在2D編碼器側(cè)，可以確定能夠通過關(guān)鍵點(diǎn)特征從多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系。
[0046]在某些示例中，在通過使用多視圖視頻和相機(jī)參數(shù)的預(yù)處理期間，可以確立像素對應(yīng)關(guān)系(例如，數(shù)學(xué)關(guān)系)。可以通過關(guān)鍵點(diǎn)特征——諸如例如加速的穩(wěn)健特征(SURF)或尺度不變特征變換(SIFT)—的匹配，來估計(jì)這樣的像素對應(yīng)關(guān)系。
[0047]雖然過程400，如圖所示，涉及解碼，但是可以以與一般而言的譯碼(包括編碼)相同或類似的方式應(yīng)用所描述的概念和/或操作。
[0048]過程可以從操作412持續(xù)到操作414，“估計(jì)相機(jī)外部參數(shù)”，其中可以估計(jì)相機(jī)外部參數(shù)。相機(jī)外部參數(shù)可以包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣，等等，和/或其組合。
[0049]過程可以從操作414持續(xù)到416，“確定投影矩陣”，其中可以確定投影矩陣。例如，可以至少部分地基于相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣。
[0050]在某些示例中，可以從相機(jī)內(nèi)部參數(shù)(先驗(yàn)地給出)和外部參數(shù)(例如，旋轉(zhuǎn)矩陣R和平移矢量t)確立投影矩陣P，如下列公式所示:P = K[R，t]，其中，K是相機(jī)矩陣，其中包含相機(jī)的縮放因子，以及相機(jī)的光心(optical center)。投影矩陣可以從3D場景映射到相機(jī)視圖(例如，原始圖像)。
[0051]過程可以從操作416繼續(xù)到操作418，“生成全景視頻”，其中可以生成全景視頻。例如，可以至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從多個(gè)紋理視圖生成全景視頻。
[0052]在某些示例中，可以通過各種相機(jī)設(shè)置方法，諸如平行相機(jī)陣列、弧形相機(jī)陣列，等等，和/或其組合，來捕捉多個(gè)紋理視圖。在這樣的示例中，全景視頻可以是圓柱形類型的全景或球形類型的全景。
[0053]過程可以從操作416繼續(xù)到操作420，“生成相關(guān)聯(lián)的全景地圖”，其中可以生成相關(guān)聯(lián)的全景地圖。例如，相關(guān)聯(lián)的全景地圖可被生成并且可以能夠在多個(gè)紋理視圖和全景視頻之間映射像素坐標(biāo)，作為從多個(gè)紋理視圖到全景圖像的透視投影。
[0054]過程可以從操作420繼續(xù)到操作422，“編碼全景視頻和相關(guān)聯(lián)的全景地圖”，其中可以編碼全景視頻和相關(guān)聯(lián)的全景地圖。例如，可以通過2D編碼器(未示出)來編碼全景視頻和相關(guān)聯(lián)的全景地圖。
[0055]過程可以從操作420繼續(xù)到操作424，“解碼全景視頻和相關(guān)聯(lián)的全景地圖”，其中可以解碼全景視頻和相關(guān)聯(lián)的全景地圖。例如，可以通過2D解碼器(未示出)，解碼全景視頻和相關(guān)聯(lián)的全景地圖。
[0056]在某些示例中，可以使用常規(guī)2D視頻編碼器/解碼器系統(tǒng)來譯碼全景視頻和全景地圖。例如可以利用MPEG-2、H.264/AVC,HEVC,或其他2D視頻編碼器來譯碼所生成的全景視頻。同時(shí)，例如，通過MPEG-2用戶數(shù)據(jù)語法、H.264/AVC SEI語法表，或HEVC SEI語法表，譯碼所生成的全景地圖，并將其傳輸?shù)浇獯a器。注意，全景地圖可以包含相機(jī)視圖之間的投影矩陣、相機(jī)圖像之間的像素對應(yīng)關(guān)系(例如，6?7)，以及從原始圖像到全景視頻的透視投影矩陣。在此情況下，所生成的3D比特流可以與常規(guī)2D視頻譯碼標(biāo)準(zhǔn)兼容。相應(yīng)地，可以向用戶呈現(xiàn)3D輸出，而不要求使用3D視頻編碼器/解碼器系統(tǒng)。
[0057]過程可以從操作424持續(xù)到操作426，“接收用戶輸入”，其中可以接收用戶輸入。例如，用戶可以提供關(guān)于對全景視圖的什么部分感興趣的輸入。在某些示例中，在接收器側(cè)，可以通過2D視頻解碼器選擇性地解碼任何任意視圖位置處的視頻。在某些示例中，這樣的用戶輸入可以指示相機(jī)內(nèi)部參數(shù)，諸如視場、焦距等等，和/或與原始多視圖視頻中的現(xiàn)有相機(jī)有關(guān)的外部參數(shù)。例如，在全景中，旋轉(zhuǎn)并平移到第一相機(jī)。
[0058]過程可以從操作426持續(xù)到操作428，“確定用戶視圖偏好”，其中可以確定用戶視圖偏好。例如，可以至少部分地基于用戶輸入，確定全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好?？梢酝ㄟ^下列準(zhǔn)則中的一個(gè)或多個(gè)來定義用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場，等等和/或其組合。
[0059]過程可以從操作428持續(xù)到操作430，“設(shè)置虛擬相機(jī)”，其中可以設(shè)置虛擬相機(jī)。例如，可以至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置(previs1nconfigurat1n),來設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍。
[0060]過程可以從操作430持續(xù)到操作432，“執(zhí)行視圖混合”，其中可以執(zhí)行視圖混合。例如，當(dāng)所述目標(biāo)區(qū)域來自多于單個(gè)紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合。在某些示例中，在卷曲之前之前，發(fā)生此類視圖混合，如這里所例示的?？闪磉x地，這樣的視圖混合可以在操作422中的編碼之前進(jìn)行。
[0061]過程可以從操作432繼續(xù)到操作434，“卷曲到輸出紋理視圖”，其中可以進(jìn)行卷曲以產(chǎn)生輸出紋理視圖。例如，可以至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及相關(guān)聯(lián)的全景地圖，通過3D卷曲技術(shù)，將所述全景視頻的目標(biāo)區(qū)域卷曲到輸出紋理視圖。
[0062]過程可以從操作434持續(xù)到操作436，“確定左右視圖”，其中可以確定左視圖和右視圖。例如，可以至少部分地基于所述輸出紋理視圖，確定所述3D視頻的左視圖和右視圖。相應(yīng)地，為在任意視點(diǎn)給觀眾提供逼真3D場景感覺，可以導(dǎo)出這樣的左視圖和右視圖，然后，同時(shí)顯示給向每一個(gè)眼睛。
[0063]可以通過3D顯示器(未示出)，至少部分地基于所確定的左視圖和右視圖，以用戶視圖偏好顯示所述3D視頻。
[0064]附加地或替代地，可以至少部分地基于輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測，如下文參考圖5將更加詳細(xì)地描述的。例如，修改的2D視頻譯碼器可以將經(jīng)譯碼的全景視頻分解為多個(gè)視圖畫面，然后，可以將分解的多個(gè)視圖畫面插入到參考緩沖器中，以便對其他全景畫面進(jìn)行幀間預(yù)測。在這樣的示例中，環(huán)內(nèi)(in-loop)分解模塊可以通過例如從全景視頻和全景地圖產(chǎn)生額外的參考幀，來改善譯碼效率。
[0065]在操作中，過程400(和/或過程300)可以執(zhí)行基于全景的視頻譯碼，以改善視頻譯碼效率，諸如3D視頻編解碼器和/或多視圖視頻編解碼器的譯碼效率。過程400 (和/或過程300)可以通過多個(gè)視圖序列和對應(yīng)的相機(jī)內(nèi)部/外部參數(shù)，來生成全景視頻序列。過程400 (和/或過程300)可以將3D視頻或多視圖視頻轉(zhuǎn)換為全景視頻和全景地圖，以便編碼和傳輸。在解碼器側(cè)，可以使用經(jīng)解碼的全景地圖信息，將經(jīng)解碼的全景視頻分解成多個(gè)視圖視頻。
[0066]在操作中，與現(xiàn)有的3D視頻譯碼方法相比，過程400 (和/或過程300)可能是有利的。例如，過程400(和/或過程300)可以降低通道中的數(shù)據(jù)冗余性和通信流量。具體地說，傳統(tǒng)的多視圖視頻譯碼(MVC)逐個(gè)地編碼所有輸入視圖。雖然在MVC中利用視圖間預(yù)測和視圖內(nèi)預(yù)測，以降低冗余，預(yù)測之后的殘余數(shù)據(jù)仍比全景視頻大得多。
[0067]在另一個(gè)示例中，過程400(和/或過程300)可以生成在某些實(shí)現(xiàn)中可以與傳統(tǒng)的2D編碼器/解碼器完全兼容的比特流，而無需對2D編碼器/解碼器的修改。在某些實(shí)現(xiàn)中，不需要采取硬件改變來支持這樣的基于全景的3D視頻譯碼。而在傳統(tǒng)的3D視頻譯碼(諸如MVC)或當(dāng)前流行的3DV標(biāo)準(zhǔn)(例如，使用多視圖加深度3D視頻格式)中，依賴的視圖可能由于視圖間預(yù)測而不與傳統(tǒng)的2D編碼器/解碼器兼容。
[0068]在另一個(gè)示例中，過程400 (和/或過程300)可以支持頭部運(yùn)動視差，而MVC卻不能支持這樣的特征。通過使用介紹的基于全景的3D視頻譯碼，可以通過過程400 (和/或過程300)，從全景視頻導(dǎo)出任何中間查看位置處的任意視圖視頻。然而，這樣的輸出視圖的數(shù)量在MVC中不能改變(只縮小)。
[0069]在更進(jìn)一步的示例中，過程400(和/或過程300)可能不需要編碼多個(gè)視圖的深度圖。當(dāng)前流行的3DV標(biāo)準(zhǔn)化通常編碼多視圖加深度3D視頻格式。盡管如此，對深度圖的導(dǎo)出仍是一個(gè)模糊點(diǎn)?，F(xiàn)有的深度傳感器和深度估計(jì)算法仍需要發(fā)展，以在這樣的當(dāng)前流行的3DV標(biāo)準(zhǔn)化方法中實(shí)現(xiàn)高質(zhì)量深度圖。
[0070]在更進(jìn)一步的示例中，過程400(和/或過程300)可以通過從全景視頻和全景地圖產(chǎn)生額外的參考幀，來使用環(huán)內(nèi)多視圖分解模塊。由于可以通過視圖混合和3D卷曲技術(shù)來產(chǎn)生所提取的多視圖視頻，因此，視覺質(zhì)量可以維持在高水平。因此，可以通過添加基于全景的參考幀來進(jìn)一步改善譯碼效率。
[0071]盡管如圖3和4所示的示例過程300和400的實(shí)現(xiàn)可以包括按所示出的順序執(zhí)行所示出的全部框，但是，本發(fā)明在這方面不受限制，在各示例中，過程300和400的實(shí)現(xiàn)可以包括只執(zhí)行所示出的框的子集和/或以所示出的不同的順序來執(zhí)行。
[0072]另外，可以響應(yīng)于由一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品所提供的指令，執(zhí)行圖3和4的框中的任何一個(gè)或多個(gè)。這樣的程序產(chǎn)品可以包括提供指令的信號承載介質(zhì)，所述指令當(dāng)由例如，處理器執(zhí)行時(shí)，可以提供此處所描述的功能。計(jì)算機(jī)程序產(chǎn)品可以以任何形式的計(jì)算機(jī)可讀介質(zhì)來提供。如此，例如，包括一個(gè)或多個(gè)處理器核的處理器可以響應(yīng)于由計(jì)算機(jī)可讀介質(zhì)傳輸?shù)教幚砥鞯闹噶?，?zhí)行圖3和4所示出的框中的一個(gè)或多個(gè)。
[0073]如此處所描述的任何實(shí)現(xiàn)中所使用的，術(shù)語“模塊”是指被配置成提供此處所描述的功能的軟件、固件和/或硬件的任何組合。軟件可以作為軟件程序包、代碼和/或指令集或指令來實(shí)現(xiàn)，而此處所描述的任何實(shí)現(xiàn)中所使用的“硬件”可以包括，例如，單獨(dú)地或以任何組合的硬連線的電路、可編程電路、狀態(tài)機(jī)電路和/或存儲由可編程電路執(zhí)行的指令的固件。模塊可以共同地或分別地被實(shí)現(xiàn)為構(gòu)成較大的系統(tǒng)的一部分的電路，例如，集成電路(1C)、芯片上系統(tǒng)(SoC)等等。
[0074]圖5是根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)的修改的2D視頻編碼器500的示例基于全景的3D視頻譯碼流程的的說明圖。在所示出的實(shí)現(xiàn)中，可以至少部分地基于輸出紋理視圖，通過修改的2D視頻譯碼器500，執(zhí)行其他全景視頻的畫面間預(yù)測，如上文在圖4所討論的。
[0075]例如，可以將全景視頻504傳遞到變換和量化模塊508。變換和量化模塊508可以執(zhí)行已知視頻變換和量化過程。變換和量化模塊508的輸出可被提供到熵譯碼模塊509以及去量化和逆變換模塊510。去量化和逆變換模塊510可以實(shí)現(xiàn)由變換和量化模塊508進(jìn)行的操作的逆，以將全景視頻504的輸出提供到環(huán)內(nèi)濾波器514(例如，包括解成塊化濾波器、樣本自適應(yīng)偏移濾波器、自適應(yīng)環(huán)路濾波器等等)、緩沖器520、運(yùn)動估計(jì)模塊522、運(yùn)動補(bǔ)償模塊524和幀內(nèi)預(yù)測模塊526。所屬領(lǐng)域的技術(shù)人員可以認(rèn)識到，如此處所描述的變換和量化模塊以及去量化和逆變換模塊可以使用縮放技術(shù)?？梢詫h(huán)路濾波器514的輸出反饋到多視圖分解模塊518。
[0076]相應(yīng)地，在某些實(shí)施例中，可以使用修改的2D視頻編碼器500，編碼全景視頻，如圖5所示。在編碼器/解碼器側(cè)，可以應(yīng)用環(huán)內(nèi)多視圖分解模塊518，以從經(jīng)譯碼的全景視頻和全景地圖提取多視圖圖片。然后，為改善編碼效率，可以將所提取的多視圖圖像插入到參考緩沖器520中，以便對其他全景圖像進(jìn)行幀間預(yù)測。例如，修改的2D視頻編碼器500可以將編碼的全景視頻分解為多個(gè)視圖圖像，然后，可以將分解的多個(gè)視圖圖像插入到參考緩沖器520中，以便對其他全景畫面進(jìn)行幀間預(yù)測。在這樣的示例中，環(huán)內(nèi)分解模塊518可以通過例如從全景視頻和全景地圖產(chǎn)生額外的參考幀，來改善編碼效率。
[0077]圖6是根據(jù)本發(fā)明的至少某些實(shí)現(xiàn)配置的示例2D視頻譯碼系統(tǒng)200的說明圖。在所示出的實(shí)現(xiàn)中，2D視頻譯碼系統(tǒng)200可以包括顯示器602、成像設(shè)備604、2D視頻編碼器203、2D視頻解碼器205，和/或邏輯模塊406。邏輯模塊406可以包括全景生成邏輯模塊408、3D視頻提取邏輯模塊410等等，和/或其組合。
[0078]如圖所示，顯示器602、2D視頻解碼器205、處理器606和/或存儲器存儲608可以能夠彼此進(jìn)行通信和/或與邏輯模塊406的諸部分進(jìn)行通信。類似地，成像設(shè)備604和2D視頻編碼器203可以能夠彼此進(jìn)行通信和/或與邏輯模塊406的諸部分進(jìn)行通信。相應(yīng)地，2D視頻解碼器205可以包括邏輯模塊406的全部或諸部分，而2D視頻編碼器203可以包括類似的邏輯模塊。雖然2D視頻譯碼系統(tǒng)200，如圖6所示，可以包括與特定模塊相關(guān)聯(lián)的一個(gè)特定組的塊或動作，但是，這些塊或動作可以與這里所示出的特定模塊之外的不同的模塊相關(guān)聯(lián)。
[0079]在某些示例中，顯示設(shè)備602可以被配置成呈現(xiàn)視頻數(shù)據(jù)。處理器606可以可通信地耦合到顯示設(shè)備602。存儲器存儲608可以可通信地耦合到處理器606。全景生成邏輯模塊408可以通信地耦合到處理器606，并可以被配置成生成全景視頻和全景地圖。2D編碼器203可以通信地耦合到全景生成邏輯模塊408，并可以被配置成編碼全景視頻和相關(guān)聯(lián)的全景地圖。2D解碼器205可以通信地耦合到2D編碼器203，并可以被配置成解碼全景視頻和相關(guān)聯(lián)的全景地圖，其中全景視頻和相關(guān)聯(lián)的全景地圖是至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)生成的。3D視頻提取邏輯模塊410可以通信地耦合到2D解碼器205，并可以被配置成至少部分地基于全景視頻和相關(guān)聯(lián)的全景地圖來提取3D視頻。
[0080]在各實(shí)施例中，全景生成邏輯模塊408可以以硬件實(shí)現(xiàn)，而軟件可以實(shí)現(xiàn)3D視頻提取邏輯模塊410。例如，在某些實(shí)施例中，全景生成邏輯模塊408可以通過專用集成電路(ASIC)邏輯來實(shí)現(xiàn)，而3D視頻提取邏輯模塊410可以通過由諸如處理器606之類的邏輯執(zhí)行的軟件指令來提供。然而，本發(fā)明在這方面不受限制，并且全景生成邏輯模塊408和/或3D視頻提取邏輯模塊410可以通過硬件、固件和/或軟件的任何組合來實(shí)現(xiàn)。另外，存儲器存儲608可以是任何類型的存儲器，諸如易失性存儲器(例如，靜態(tài)隨機(jī)存取存儲器(SRAM)、動態(tài)隨機(jī)存取存儲器(DRAM)，等等)或非易失性存儲器(例如，閃存等等)等等。在非限制性示例中，存儲器存儲608可以通過緩存存儲器來實(shí)現(xiàn)。
[0081]圖7示出了根據(jù)本發(fā)明的示例系統(tǒng)700。在各實(shí)現(xiàn)中，系統(tǒng)700可以是媒體系統(tǒng)，雖然系統(tǒng)700不僅限于此上下文。例如，系統(tǒng)700可被納入到個(gè)人計(jì)算機(jī)(PC)、膝上計(jì)算機(jī)、超薄筆記本電腦、平板計(jì)算機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如智能電話、智能平板計(jì)算機(jī)或智能電視機(jī))、移動因特網(wǎng)設(shè)備(MID)、消息接發(fā)設(shè)備、數(shù)據(jù)通信設(shè)備等中。
[0082]在各實(shí)現(xiàn)中，系統(tǒng)700包括耦合到顯示器720的平臺702。平臺702可以從諸如內(nèi)容服務(wù)設(shè)備730、或內(nèi)容遞送設(shè)備740之類的內(nèi)容設(shè)備或其他類似的內(nèi)容源接收內(nèi)容。包括一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器750可以被用來與例如平臺702和/或顯示器720進(jìn)行交互。下面將更詳細(xì)地描述這些組件中的每一個(gè)。
[0083]在各實(shí)現(xiàn)中，平臺702可以包括芯片組705、處理器710、存儲器712、存儲714、圖形子系統(tǒng)715、應(yīng)用程序716、和/或無線電718的任何組合。芯片組705可以在處理器710、存儲器712、存儲714、圖形子系統(tǒng)715、應(yīng)用程序716和/或無線電718之間提供相互通信。例如，芯片集705可包括能夠提供與存儲714的相互通信的存儲適配器(未示出)。
[0084]處理器710可以實(shí)現(xiàn)為復(fù)雜指令集計(jì)算機(jī)(CISC)或精簡指令集計(jì)算機(jī)(RISC)處理器、x86指令集兼容處理器、多核，或任何其他微處理器或中央處理單元(CPU)。在各實(shí)現(xiàn)中，處理器710可以是雙核處理器、雙核移動處理器等等。
[0085]存儲器712可以實(shí)現(xiàn)為易失性存儲器設(shè)備，諸如，但不僅限于，隨機(jī)存取存儲器(RAM)、動態(tài)隨機(jī)存取存儲器(DRAM)，或靜態(tài)RAM(SRAM)。
[0086]存儲714可實(shí)現(xiàn)為非易失性存儲設(shè)備，例如但不限于，磁盤驅(qū)動器、光盤驅(qū)動器、磁帶驅(qū)動器、內(nèi)部存儲設(shè)備、附屬存儲設(shè)備、閃存、電池應(yīng)急SDRAM(同步DRAM)和/或網(wǎng)絡(luò)可訪問存儲設(shè)備。在各實(shí)現(xiàn)中，存儲714可以包括當(dāng)例如包括多個(gè)硬盤驅(qū)動器時(shí)，提高存儲器性能或?qū)τ袃r(jià)值的數(shù)字媒體的增強(qiáng)的保護(hù)的技術(shù)。
[0087]圖形子系統(tǒng)715可執(zhí)行對例如靜止圖像或視頻的圖像的處理以供顯示。圖形子系統(tǒng)715可以例如是圖形處理單元(GPU)或視覺處理單元(VPU)。模擬或數(shù)字接口可用于通信地耦合圖形子系統(tǒng)715和顯示器720。例如，接口可以是高清多媒體接口(HDMI)、顯示器端口、無線HDMI和/或無線HD適應(yīng)技術(shù)中的任何一種。圖形子系統(tǒng)715可以被集成到處理器710或芯片組705中。在一些實(shí)現(xiàn)中，圖形子系統(tǒng)715可以是可通信地耦合到芯片組705的獨(dú)立卡。
[0088]本文中所描述的圖形和/或視頻處理技術(shù)可在各種硬件體系結(jié)構(gòu)中實(shí)現(xiàn)。例如，圖形和/或視頻功能可被集成在芯片集中。替代地，可使用分立的圖形和/或視頻處理器。作為再一個(gè)實(shí)現(xiàn)，圖形和/或視頻功能可以通過通用處理器(包括多核處理器)來提供。在進(jìn)一步的實(shí)施例中，功能可以在消費(fèi)電子產(chǎn)品中實(shí)現(xiàn)。
[0089]無線電718可以包括能夠使用各種合適的無線通信技術(shù)傳輸和接收信號的一個(gè)或多個(gè)無線電。這些技術(shù)可涉及跨一個(gè)或多個(gè)無線網(wǎng)絡(luò)的通信。示例無線網(wǎng)絡(luò)包括(但不僅限于)無線局域網(wǎng)(WLAN)、無線個(gè)人局域網(wǎng)(WPAN)、無線城域網(wǎng)(WMAN)、蜂窩網(wǎng)絡(luò)，以及衛(wèi)星網(wǎng)絡(luò)。在跨這樣的網(wǎng)絡(luò)的通信中，無線電718可以根據(jù)任何版本的一個(gè)或多個(gè)適用的標(biāo)準(zhǔn)來操作。
[0090]在各實(shí)現(xiàn)中，顯示器720可以包括任何電視機(jī)類型監(jiān)視器或顯示器。顯示器720可以包括，例如，計(jì)算機(jī)顯示器屏幕、觸摸屏顯示器、視頻監(jiān)視器、類似于電視機(jī)的設(shè)備，和/或電視機(jī)。顯示器720可以是數(shù)字和/或模擬的。在各實(shí)現(xiàn)中，顯示器720可以是全息顯示器。此外，顯示器720還可以是可接收視覺投影的透明表面。這樣的投影可以傳達(dá)各種形式的信息、圖像，和/或?qū)ο?。例如，這樣的投影可以是用于移動增強(qiáng)的現(xiàn)實(shí)(MAR)應(yīng)用程序的視覺覆蓋。在一個(gè)或多個(gè)軟件應(yīng)用程序716的控制下，平臺702可以在顯示器722上顯示用戶界面720。
[0091]在各實(shí)現(xiàn)中，內(nèi)容服務(wù)設(shè)備730可以由任何國家的，國際的和/或獨(dú)立的服務(wù)來主存(host)，并由此可以被平臺702例如通過因特網(wǎng)來訪問。內(nèi)容服務(wù)設(shè)備730可耦合到平臺702和/或顯示器720。平臺702和/或內(nèi)容服務(wù)設(shè)備730可耦合到網(wǎng)絡(luò)760以向網(wǎng)絡(luò)760以及從網(wǎng)絡(luò)760傳遞(例如，發(fā)送和/或接收)媒體信息。內(nèi)容傳遞設(shè)備740也可耦合到平臺702和/或顯示器720。
[0092]在各實(shí)現(xiàn)中，內(nèi)容服務(wù)設(shè)備730可以包括有線電視盒、個(gè)人計(jì)算機(jī)、網(wǎng)絡(luò)、電話、啟用因特網(wǎng)的設(shè)備或能夠分發(fā)數(shù)字信息和/或內(nèi)容的電器，以及能夠通過網(wǎng)絡(luò)760或直接在內(nèi)容提供商和平臺702和/或顯示器720之間單方向地或雙向地傳遞內(nèi)容的任何其他類似的設(shè)備。將能理解，內(nèi)容可經(jīng)由網(wǎng)絡(luò)760單向和/或雙向地傳遞到和傳遞自系統(tǒng)700中的各組件中的任一個(gè)和內(nèi)容提供者。內(nèi)容的示例可包括任何媒體信息，包括例如視頻、音樂、醫(yī)療和游戲?目息等等。
[0093]內(nèi)容服務(wù)設(shè)備730可以接收內(nèi)容，諸如有線電視節(jié)目，包括媒體信息、數(shù)字信息和/或其他內(nèi)容。內(nèi)容提供者的例子可包括任何有線或衛(wèi)星電視或無線電，或者互聯(lián)網(wǎng)內(nèi)容提供者。所提供的示例不以任何方式限制根據(jù)本發(fā)明的各實(shí)現(xiàn)。
[0094]在各實(shí)現(xiàn)中，平臺702可以從具有一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器750接收控制信號?？刂破?50的導(dǎo)航特征可以被用來，例如，與用戶界面722進(jìn)行交互。在各實(shí)施例中，導(dǎo)航控制器750可以是指示設(shè)備，該指示設(shè)備可以是計(jì)算機(jī)硬件組件(具體地，人機(jī)接口設(shè)備)，其允許用戶向計(jì)算機(jī)中輸入空間(例如，連續(xù)的和多維)數(shù)據(jù)。許多系統(tǒng)——例如圖形用戶接口(GUI)以及電視機(jī)和監(jiān)視器一一允許用戶使用身體姿勢控制并將數(shù)據(jù)提供給計(jì)算機(jī)或電視機(jī)。
[0095]控制器750的導(dǎo)航特征的移動可以通過指針、光標(biāo)、焦點(diǎn)環(huán)，或顯示在顯示器上的其他視覺指示器，在顯示器(例如，顯示器720)上復(fù)制。例如，在軟件應(yīng)用716的控制下，位于導(dǎo)航控制器750上的導(dǎo)航特征可以被映射到例如用戶界面722上顯示的虛擬導(dǎo)航特征。在各實(shí)施例中，控制器750可以不是單獨(dú)的組件，而是可以集成到平臺702和/或顯示器720中。然而，本發(fā)明不僅限于在所示出的或此處所描述的上下文中的元件。
[0096]在各實(shí)現(xiàn)中，驅(qū)動程序(未示出)可以包括允許用戶立即打開和關(guān)閉平臺702的技術(shù)，類似于電視機(jī)，例如，當(dāng)啟用時(shí)，在初始引導(dǎo)之后，按下按鈕。程序邏輯可以允許平臺702甚至在平臺被“關(guān)閉”時(shí)向媒體適配器或其他內(nèi)容服務(wù)設(shè)備730或內(nèi)容分發(fā)設(shè)備740流式播放內(nèi)容。另外，芯片組705還可以包括，例如，對于(6.1)環(huán)繞聲音頻和/或高清晰度(7.1)環(huán)繞聲音頻的硬件和/或軟件支持。驅(qū)動器可包括用于集成圖形平臺的圖形驅(qū)動器。在一些實(shí)施例中，圖形驅(qū)動器可包括快速外圍組件互連(PCI)圖形卡。
[0097]在各實(shí)現(xiàn)中，可以集成系統(tǒng)600所示出的組件的任何一個(gè)或更多。例如，平臺602和內(nèi)容服務(wù)設(shè)備630可被集成，或者平臺602和內(nèi)容傳遞設(shè)備640可被集成，或者平臺602、內(nèi)容服務(wù)設(shè)備630和內(nèi)容傳遞設(shè)備640可被集成。在各實(shí)施例中，平臺602和顯示器620可以是集成單元。例如，顯示器620和內(nèi)容服務(wù)設(shè)備630可被集成，或者顯示器620和內(nèi)容傳遞設(shè)備640可被集成。這些示例不限制本發(fā)明。
[0098]在各實(shí)施例中，系統(tǒng)600可實(shí)現(xiàn)為無線系統(tǒng)、有線系統(tǒng)或兩者的組合。當(dāng)實(shí)現(xiàn)為無線系統(tǒng)時(shí)，系統(tǒng)600可包括適于在無線共享介質(zhì)上通信的組件和接口，例如一個(gè)或多個(gè)天線、發(fā)射機(jī)、接收機(jī)、收發(fā)機(jī)、放大器、過濾器、控制邏輯等等。無線共享媒體的一個(gè)例子可包括無線頻譜的一些部分，例如RF頻譜等。當(dāng)實(shí)現(xiàn)為有線系統(tǒng)時(shí)，系統(tǒng)600可以包括適用于通過有線通信介質(zhì)進(jìn)行通信的組件和接口，諸如輸入/輸出(I/O)適配器、將I/O適配器與相應(yīng)的有線通信介質(zhì)連接的物理連接器、網(wǎng)絡(luò)接口卡(NIC)、光盤控制器、視頻控制器、音頻控制器等等。有線通信介質(zhì)的示例可包括，線路、電纜、金屬導(dǎo)線、印刷電路板(PCB)、后面板、交換機(jī)結(jié)構(gòu)、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等等。
[0099]平臺602可建立一個(gè)或多個(gè)邏輯或物理通道以交換信息。該信息可包括媒體信息和控制信息。媒體信息可指代表針對用戶的內(nèi)容的任何數(shù)據(jù)。內(nèi)容的示例可以包括，例如，來自語音談話、視頻會議、流式視頻、電子郵件(“email”)消息、語音郵件消息、字母數(shù)字符號、圖形、圖像、視頻、文本等等的數(shù)據(jù)。來自語音會話的數(shù)據(jù)可以是，例如，話音信息、靜默時(shí)間長度、背景噪聲、舒適噪聲、音調(diào)等等。控制信息可以是指表示用于自動化系統(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可用于使媒體信息路由通過系統(tǒng)，或指示節(jié)點(diǎn)以預(yù)定方式處理該媒體信息。然而，各實(shí)施例不限于圖6中所示出的或所描述的上下文中的元件。
[0100]如前所述，系統(tǒng)600可表現(xiàn)為不同的物理樣式或形狀因數(shù)。圖8示出其中可體現(xiàn)系統(tǒng)600的小尺寸因數(shù)設(shè)備800的實(shí)現(xiàn)。在一些實(shí)施例中，例如設(shè)備800可被實(shí)現(xiàn)為具有無線能力的移動計(jì)算設(shè)備。移動計(jì)算設(shè)備可指具有處理系統(tǒng)以及移動電源或供電(諸如一個(gè)或多個(gè)電池)的任何設(shè)備。
[0101]如前所述，移動計(jì)算設(shè)備的例子可包括個(gè)人計(jì)算機(jī)(PC)、膝上計(jì)算機(jī)、超薄筆記本電腦、平板計(jì)算機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如智能電話、智能平板計(jì)算機(jī)或智能電視機(jī))、移動互聯(lián)網(wǎng)設(shè)備(MID)、發(fā)消息設(shè)備、數(shù)據(jù)通信設(shè)備等。
[0102]移動計(jì)算設(shè)備的例子也可包括被配置成由人們佩戴的計(jì)算機(jī)，例如手腕式計(jì)算機(jī)、手指式計(jì)算機(jī)、戒指式計(jì)算機(jī)、眼鏡式計(jì)算機(jī)、皮帶夾計(jì)算機(jī)、腕帶式計(jì)算機(jī)、鞋式計(jì)算機(jī)、服飾式計(jì)算機(jī)以及其它可佩戴計(jì)算機(jī)。例如，在各實(shí)施例中，移動計(jì)算設(shè)備可以實(shí)現(xiàn)為能夠執(zhí)行計(jì)算機(jī)應(yīng)用程序以及語音通信和/或數(shù)據(jù)通信的智能電話。盡管已經(jīng)以實(shí)現(xiàn)為智能電話的移動計(jì)算設(shè)備為例描述了一些實(shí)施例，但可理解其他實(shí)施例也可利用其他無線移動計(jì)算設(shè)備來實(shí)現(xiàn)。這些實(shí)施例不限于這種背景。
[0103]如圖8所示，設(shè)備800可以包括外殼802、顯示器804、輸入/輸出(I/O)設(shè)備806，以及天線808。設(shè)備800還可以包括導(dǎo)航特征812。顯示器804可以包括用于顯示適合于移動計(jì)算設(shè)備的信息的任何合適的顯示單元。I/O設(shè)備806可以包括用于向移動計(jì)算設(shè)備中輸入信息的任何合適的I/O設(shè)備。I/O設(shè)備806的示例可以包括字母數(shù)字鍵盤、數(shù)字鍵區(qū)、觸摸板、輸入鍵、按鈕、開關(guān)、往復(fù)式開關(guān)、話筒、揚(yáng)聲器、語音識別設(shè)備以及軟件等等。信息還可以通過麥克風(fēng)(未示出)輸入到設(shè)備800中。這樣的信息可以通過語音識別設(shè)備(未示出)來數(shù)字化。這些實(shí)施例不限于這種背景。
[0104]各個(gè)實(shí)施例可利用硬件部件、軟件部件或兩者的組合來實(shí)現(xiàn)。硬件部件的例子可包括處理器、微處理器、電路、電路元件(例如晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(ASIC)、可編程邏輯器件(PLD)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片集等等。軟件的示例可包括軟件組件、程序、應(yīng)用、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、程序、軟件接口、應(yīng)用程序接口(API)、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、字、值、符號或它們的任意組合。判斷一個(gè)實(shí)施例是否使用硬件元件或軟件元件來實(shí)現(xiàn)可以根據(jù)任意數(shù)量的因素而不同，如所希望的計(jì)算速率、功率級別、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度，及其他設(shè)計(jì)或性能約束。
[0105]至少一個(gè)實(shí)施例的一個(gè)或多個(gè)方面可以由存儲在機(jī)器可讀介質(zhì)上的表征性指令來實(shí)現(xiàn)，該指令表示處理器中的各種邏輯，該指令在被機(jī)器讀取時(shí)使得該機(jī)器制作用于執(zhí)行本文所述的技術(shù)的邏輯。被稱為“IP核”的這樣的表示可以存儲在有形的機(jī)器可讀介質(zhì)中，并提供給各種客戶或生產(chǎn)設(shè)施，以加載到實(shí)際制造邏輯或處理器的制造機(jī)器中。
[0106]盡管參考各種實(shí)現(xiàn)描述了此處所闡述的某些特征，但是，此描述不旨在以限制性方式來解釋。因此，對本發(fā)明涉及的所屬【技術(shù)領(lǐng)域】的專業(yè)人員顯而易見的對此處所描述的實(shí)現(xiàn)的各種修改，以及其他實(shí)現(xiàn)被認(rèn)為在本發(fā)明的精神和范圍內(nèi)。
[0107]下列示例涉及進(jìn)一步的實(shí)施例。
[0108]在一個(gè)示例中，用于視頻譯碼的計(jì)算機(jī)實(shí)現(xiàn)的方法可以包括通過2D解碼器解碼全景視頻和相關(guān)聯(lián)的全景地圖。所述全景視頻和所述相關(guān)聯(lián)的全景地圖是至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)生成的。可以至少部分地基于全景視頻和相關(guān)聯(lián)的全景地圖，提取3D視頻。
[0109]在另一個(gè)示例中，用于視頻譯碼的計(jì)算機(jī)實(shí)現(xiàn)的方法還可以包括，在2D編碼器側(cè)，確定能夠通過關(guān)鍵點(diǎn)特征從多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系。可以估計(jì)相機(jī)外部參數(shù)，其中相機(jī)外部參數(shù)可以包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣?？梢灾辽俨糠值鼗谙鄼C(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣。可以至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從多個(gè)紋理視圖生成全景視頻。相關(guān)聯(lián)的全景地圖可被生成并且可以能夠在多個(gè)紋理視圖和全景視頻之間映射像素坐標(biāo)，作為從多個(gè)紋理視圖到全景圖像的透視投影。可以編碼全景視頻和相關(guān)聯(lián)的全景地圖。在2D解碼器側(cè)，3D視頻的提取還可以包括接收用戶輸入?？梢灾辽俨糠值鼗谒鲇脩糨斎?，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中可以通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場?？梢灾辽俨糠值鼗谙铝袦?zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍。當(dāng)所述目標(biāo)區(qū)域來自多于單個(gè)紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合，其中在卷曲之前或在編碼之前，發(fā)生所述視圖混合?？梢灾辽俨糠值鼗谒鎏摂M相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過3D卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖。可以至少部分地基于所述輸出紋理視圖，確定所述3D視頻的左視圖和右視圖?？梢灾辽俨糠值鼗谒龃_定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述3D視頻?？梢灾辽俨糠值鼗谒鲚敵黾y理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
[0110]在其他示例中，一種用于在計(jì)算機(jī)上進(jìn)行視頻譯碼的系統(tǒng)可以包括顯示設(shè)備、一個(gè)或多個(gè)處理器、一個(gè)或多個(gè)存儲器存儲、2D解碼器、3D視頻提取邏輯模塊、等等，和/或其組合。顯示設(shè)備可以被配置成呈現(xiàn)視頻數(shù)據(jù)。一個(gè)或多個(gè)處理器可以通信地耦合到顯示設(shè)備。一個(gè)或多個(gè)存儲器存儲可以通信地耦合到一個(gè)或多個(gè)處理器。所述2D解碼器可以可通信地耦合到所述一個(gè)或多個(gè)處理器并可以被配置成解碼全景視頻和相關(guān)聯(lián)的全景地圖，其中，所述全景視頻和所述相關(guān)聯(lián)的全景地圖是至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)生成的。所述3D視頻提取邏輯模塊可以可通信地耦合到所述2D解碼器，并可以被配置成至少部分地基于所述全景視頻和所述相關(guān)聯(lián)的全景地圖來提取3D視頻。
[0111]在另一個(gè)示例中，在計(jì)算機(jī)上用于視頻譯碼的系統(tǒng)還可以包括全景生成邏輯模塊，所述全景生成邏輯模塊被配置成確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系；估計(jì)相機(jī)外部參數(shù)，其中，相機(jī)外部參數(shù)包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣；至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣；至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖生成所述全景視頻；以及，生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影。所述系統(tǒng)還可以包括被配置成編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖的2D編碼器。3D視頻提取邏輯模塊可以進(jìn)一步被配置成接收用戶輸入，至少部分地基于用戶輸入，確定全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中可以通過下列準(zhǔn)則中的一個(gè)或多個(gè)，定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場。3D視頻提取邏輯模塊可以進(jìn)一步被配置成至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍；當(dāng)所述目標(biāo)區(qū)域來自一個(gè)以上紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合，其中在卷曲之前或在編碼之前，發(fā)生所述視圖混合；可以至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過3D卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖；以及，至少部分地基于所述輸出紋理視圖來確定所述3D視頻的左視圖和右視圖。所述顯示器可以進(jìn)一步被配置成至少部分地基于所述確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述3D視頻。所述2D解碼器可以進(jìn)一步被配置成至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
[0112]上述示例可以包括特征的特定的組合。然而，這樣的上述示例在這方面不受限制，在各實(shí)現(xiàn)中，上述示例可以包括只執(zhí)行這樣的特征的子集，執(zhí)行這樣的特征的不同的順序，執(zhí)行這樣的特征的不同的組合，和/或執(zhí)行顯式地列出的那些特征之外的附加特征。例如，參考示例方法所描述的所有特征可以相對于示例設(shè)備、示例系統(tǒng)，和/或示例物品來實(shí)現(xiàn)，反之亦然。
【權(quán)利要求】
1.一種用于視頻譯碼的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括: 通過20解碼器解碼全景視頻和相關(guān)聯(lián)的全景地圖，其中所述全景視頻和所述相關(guān)聯(lián)的全景地圖是至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)生成的；以及 至少部分地基于所述全景視頻和所述相關(guān)聯(lián)的全景地圖來提取30視頻。
2.如權(quán)利要求1所述的方法，其特征在于，對所述30視頻的所述提取還包括: 至少部分地基于所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖； 至少部分地基于所述輸出紋理視圖來確定所述30視頻的左視圖和右視圖；以及 至少部分地基于所確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述30視頻。
3.如權(quán)利要求1所述的方法，其特征在于，對所述30視頻的所述提取還包括: 至少部分地基于所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖；以及 至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
4.如權(quán)利要求1所述的方法，其特征在于，對所述30視頻的所述提取還包括: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好； 至少部分地基于所述用戶視圖偏好，設(shè)置虛擬相機(jī)；以及 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖。
5.如權(quán)利要求1所述的方法，其特征在于，對所述30視頻的所述提取還包括: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中能通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場； 至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍；以及 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖。
6.如權(quán)利要求1所述的方法，其特征在于，對所述30視頻的所述提取還包括: 對于所述全景視頻，執(zhí)行視圖混合。
7.如權(quán)利要求1所述的方法，其特征在于，對所述30視頻的所述提取還包括: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中能通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場； 至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍； 當(dāng)所述目標(biāo)區(qū)域來自多于單個(gè)紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合，其中在卷曲之前或在編碼之前，發(fā)生所述視圖混合； 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖； 至少部分地基于所述輸出紋理視圖來確定所述30視頻的左視圖和右視圖； 至少部分地基于所確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述30視頻；以及 至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
8.如權(quán)利要求1所述的方法，其特征在于，所述全景視頻以及所述相關(guān)聯(lián)的全景地圖的生成包括: 通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻；以及生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影。
9.如權(quán)利要求1所述的方法，其特征在于，所述全景視頻以及所述相關(guān)聯(lián)的全景地圖的生成包括: 至少部分地基于所確定的投影矩陣和所確定的像素對應(yīng)關(guān)系，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影；以及編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖。
10.如權(quán)利要求1所述的方法，其特征在于，所述全景視頻以及所述相關(guān)聯(lián)的全景地圖的生成包括: 確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系； 至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣； 至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影；以及編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖。
11.如權(quán)利要求1所述的方法，其特征在于，所述全景視頻以及所述相關(guān)聯(lián)的全景地圖的生成包括: 確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系； 估計(jì)相機(jī)外部參數(shù)，其中所述相機(jī)外部參數(shù)包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣； 至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)來確定投影矩陣； 至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影；以及編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖。
12.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括: 在20編碼器側(cè): 確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系； 估計(jì)相機(jī)外部參數(shù)，其中所述相機(jī)外部參數(shù)包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣； 至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)來確定投影矩陣； 至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影； 編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖； 在所述20解碼器側(cè)，所述30視頻的所述提取還包括: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中能通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場； 至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍； 當(dāng)所述目標(biāo)區(qū)域來自多于單個(gè)紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合，其中在卷曲之前或在編碼之前，發(fā)生所述視圖混合； 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖； 至少部分地基于所述輸出紋理視圖來確定所述30視頻的左視圖和右視圖； 至少部分地基于所述確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述30視頻；以及 至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
13.一種用于在計(jì)算機(jī)上進(jìn)行視頻編碼的系統(tǒng)，包括: 被配置成呈現(xiàn)視頻數(shù)據(jù)的顯示設(shè)備； 通信地耦合到所述顯示設(shè)備的一個(gè)或多個(gè)處理器； 通信地耦合到所述一個(gè)或多個(gè)處理器的一個(gè)或多個(gè)存儲器存儲； 20解碼器，所述20解碼器通信地耦合到所述一個(gè)或多個(gè)處理器并被配置成解碼全景視頻和相關(guān)聯(lián)的全景地圖，其中所述全景視頻和所述相關(guān)聯(lián)的全景地圖是至少部分地基于多個(gè)紋理視圖和相機(jī)參數(shù)生成的；以及 30視頻提取邏輯模塊，所述30視頻提取邏輯模塊通信地耦合到所述20解碼器，并被配置成至少部分地基于所述全景視頻和所述相關(guān)聯(lián)的全景地圖來提取30視頻。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述30視頻提取邏輯模塊進(jìn)一步被配置成: 至少部分地基于所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖； 至少部分地基于所述輸出紋理視圖來確定所述30視頻的左視圖和右視圖；以及其中所述顯示器進(jìn)一步被配置成至少部分地基于所確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述30視頻。
15.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述30視頻提取邏輯模塊進(jìn)一步被配置成: 至少部分地基于所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖；以及 其中所述20解碼器進(jìn)一步被配置成至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
16.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述30視頻提取邏輯模塊進(jìn)一步被配置成: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好； 至少部分地基于所述用戶視圖偏好，設(shè)置虛擬相機(jī)；以及 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖。
17.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述30視頻提取邏輯模塊進(jìn)一步被配置成: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中能通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場； 至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍；以及 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖。
18.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述30視頻提取邏輯模塊進(jìn)一步被配置成: 對于所述全景視頻，執(zhí)行視圖混合。
19.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述30視頻提取邏輯模塊進(jìn)一步被配置成: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中能通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場； 至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍； 當(dāng)所述目標(biāo)區(qū)域來自多于單個(gè)紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合，其中在卷曲之前或在編碼之前，發(fā)生所述視圖混合； 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖； 至少部分地基于所述輸出紋理視圖來確定所述30視頻的左視圖和右視圖； 其中所述顯示器進(jìn)一步被配置成至少部分地基于所確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述30視頻；以及 其中所述20解碼器進(jìn)一步被配置成至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
20.如權(quán)利要求13所述的系統(tǒng)，其特征在于，進(jìn)一步包括全景生成邏輯模塊，所述全景生成邏輯模塊被配置成: 通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻；以及生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影。
21.如權(quán)利要求13所述的系統(tǒng)，其特征在于，進(jìn)一步包括全景生成邏輯模塊，所述全景生成邏輯模塊被配置成: 至少部分地基于所確定的投影矩陣和所確定的像素對應(yīng)關(guān)系，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影；以及 所述系統(tǒng)進(jìn)一步包括被配置成編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖的20編碼器。
22.如權(quán)利要求13所述的系統(tǒng)，其特征在于，進(jìn)一步包括全景生成邏輯模塊，所述全景生成邏輯模塊被配置成: 確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系； 至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣； 至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影；以及 所述系統(tǒng)進(jìn)一步包括被配置成編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖的20編碼器。
23.如權(quán)利要求13所述的系統(tǒng)，其特征在于，進(jìn)一步包括全景生成邏輯模塊，所述全景生成邏輯模塊被配置成: 確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系； 估計(jì)相機(jī)外部參數(shù)，其中所述相機(jī)外部參數(shù)包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣； 至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣； 至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影；以及 所述系統(tǒng)進(jìn)一步包括被配置成編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖的20編碼器。
24.如權(quán)利要求13所述的系統(tǒng)，其特征在于，進(jìn)一步包括全景生成邏輯模塊，所述全景生成邏輯模塊被配置成: 確定能夠通過關(guān)鍵點(diǎn)特征從所述多個(gè)紋理視圖映射像素坐標(biāo)的像素對應(yīng)關(guān)系； 估計(jì)相機(jī)外部參數(shù)，其中所述相機(jī)外部參數(shù)包括下列各項(xiàng)中的一個(gè)或多個(gè):多個(gè)相機(jī)之間的平移矢量和旋轉(zhuǎn)矩陣； 至少部分地基于所述相機(jī)外部參數(shù)和相機(jī)內(nèi)部參數(shù)，確定投影矩陣； 至少部分地基于從所確定的投影矩陣和/或所確定的像素對應(yīng)關(guān)系的幾何映射，通過圖像拼接算法，從所述多個(gè)紋理視圖，生成所述全景視頻； 生成能夠在所述多個(gè)紋理視圖和所述全景視頻之間映射像素坐標(biāo)的所述相關(guān)聯(lián)的全景地圖，作為從所述多個(gè)紋理視圖到所述全景圖像的透視投影； 所述系統(tǒng)進(jìn)一步包括被配置成編碼所述全景視頻和所述相關(guān)聯(lián)的全景地圖的20編碼器； 其中所述30視頻提取邏輯模塊進(jìn)一步被配置成: 接收用戶輸入； 至少部分地基于所述用戶輸入，確定所述全景視頻的任何任意目標(biāo)視圖以及相關(guān)聯(lián)的目標(biāo)區(qū)域處的用戶視圖偏好，其中能通過下列準(zhǔn)則中的一個(gè)或多個(gè)來定義所述用戶視圖偏好:目標(biāo)視圖的視圖方向、視點(diǎn)位置，以及視場； 至少部分地基于下列準(zhǔn)則中的一個(gè)或多個(gè)上的預(yù)知配置，設(shè)置虛擬相機(jī):視點(diǎn)位置、視場，以及所述全景視頻中的確定的視圖范圍； 當(dāng)所述目標(biāo)區(qū)域來自多于單個(gè)紋理視圖時(shí)，對于所述全景視頻的所述目標(biāo)區(qū)域，執(zhí)行視圖混合，其中在卷曲之前或在編碼之前，發(fā)生所述視圖混合； 至少部分地基于所述虛擬相機(jī)的相機(jī)參數(shù)以及所述相關(guān)聯(lián)的全景地圖，通過30卷曲技術(shù)，將所述全景視頻的所述目標(biāo)區(qū)域卷曲到輸出紋理視圖； 至少部分地基于所述輸出紋理視圖來確定所述30視頻的左視圖和右視圖； 其中所述顯示器進(jìn)一步被配置成至少部分地基于所確定的左視圖和右視圖，以所述用戶視圖偏好，顯示所述30視頻；以及 其中所述20解碼器進(jìn)一步被配置成至少部分地基于所述輸出紋理視圖，執(zhí)行其他全景視頻的畫面間預(yù)測。
25.至少一個(gè)機(jī)器可讀介質(zhì)，包括: 多個(gè)指令，響應(yīng)于在計(jì)算設(shè)備上被執(zhí)行，所述指令導(dǎo)致所述計(jì)算設(shè)備執(zhí)行如權(quán)利要求1-12中的任何一項(xiàng)所述的方法。
26.—種設(shè)備，包括: 用于執(zhí)行如權(quán)利要求1-12中的任何一項(xiàng)所述的方法的裝置。
【文檔編號】H04N19/597GK104350745SQ201280073704
【公開日】2015年2月11日 申請日期:2012年7月4日 優(yōu)先權(quán)日:2012年7月4日
【發(fā)明者】鄧智玭, J·李, 徐理東, 江宏 申請人:英特爾公司