專利名稱：計算設(shè)備中的立體3d視頻支持的制作方法
技術(shù)領(lǐng)域：
本公開涉及視頻處理設(shè)備和方法。更特別地，本公開涉及計算設(shè)備中支持立體3D 視頻的方法。
背景技術(shù)：
過去數(shù)年來，對于三維(3D)視頻內(nèi)容的需求隨著日益增大的3D視頻內(nèi)容的可用性以及產(chǎn)生這種內(nèi)容的能力而增加。例如，可用的3D電影、電視劇和視頻游戲的數(shù)量相對于僅僅數(shù)年前可用的數(shù)量大大增加，并且市場上可獲得的許多新的視頻捕獲設(shè)備具有3D 捕獲能力。不同的立體技術(shù)可以用來允許用戶體驗3D視頻。大多數(shù)3D視頻技術(shù)要求用戶配戴允許每只眼睛接收與另一只眼睛所接收圖像稍有偏移的圖像的一套眼鏡。大腦將這兩幅圖像混合在一起并且將它們之間的差異解釋為不同距離的結(jié)果，從而創(chuàng)建出深度錯覺。一種常規(guī)的3D視頻技術(shù)采用顯示補色立體(anaglyph)圖像，其中兩幅不同濾色的彩色圖像彼此疊加以產(chǎn)生深度效果。補色立體視頻利用由不同顏色的左右鏡片組成的眼鏡進行觀看，所述不同顏色與顯示的補色立體圖像中的顏色層相應(yīng)。一種形式的補色立體眼鏡是公知的包括紅色和藍色鏡片的白卡紙框(white cardboard frame)眼鏡，其被電影觀眾使用了大大超過半個世紀(jì)。藍色鏡片讓紅色圖像到達一只眼睛并且紅色鏡片讓藍色圖像到達另一只眼睛。深度錯覺通過紅色圖像與藍色圖像之間的偏移創(chuàng)建。在另一種立體技術(shù)(立體3D技術(shù))中，預(yù)期用于左眼和右眼的圖像快速連續(xù)地交替顯示在顯示器上。立體3D視頻利用與顯示器上左右圖像的顯示同步地交替使得眼鏡的左右鏡片變得不透明和透明的快門眼鏡進行觀看。換言之，當(dāng)顯示左圖像時，左鏡片透明且右鏡片不透明，并且當(dāng)顯示右圖像時，左鏡片不透明且右鏡片透明。再一次地，左右圖像彼此稍微偏移以便創(chuàng)建深度錯覺。補色立體3D視頻如此長時間地廣泛使用的一個原因是其低成本。補色立體眼鏡相對廉價并且補色立體視頻可以在具有常規(guī)視頻卡的常規(guī)顯示器上顯示。形成對照的是， 快門眼鏡花費可能比補色立體眼鏡高一個數(shù)量級或者更多，并且可能需要高端顯示器和優(yōu)質(zhì)視頻卡以便以顯示立體3D視頻所需的增加的幀率顯示和處理幀。除了成本增加之外，立體3D視頻的另一個缺點在于，快門眼鏡經(jīng)常與特定商標(biāo)或型號的顯示器匹配。與一種顯示器匹配的快門眼鏡可能不允許在其他顯示器上觀看立體3D視頻。不管怎樣，對于立體3D的需求是強烈的，因為立體3D視頻可以提供比補色立體視頻更高的顏色質(zhì)量。快門眼鏡典型地允許基本上整個顏色頻譜透射到每只眼睛并且因而不遭受利用補色立體眼鏡可能出現(xiàn)的“鬼影”或“串?dāng)_”。然而，不是所有的用戶都可能希望為立體3D視頻硬件花錢。因此，需要為用戶提供使用常規(guī)技術(shù)觀看來自立體3D視頻源的3D 視頻的能力。

發(fā)明內(nèi)容
5
本發(fā)明內(nèi)容部分被提供以便以簡化的形式引入概念的選擇，這些概念此后在具體實施方式
中進一步加以描述。本發(fā)明內(nèi)容部分并不預(yù)期識別要求保護的主題的關(guān)鍵特征或基本特征，也不預(yù)期用來幫助確定要求保護的主題的范圍。公開了用于在計算設(shè)備中支持立體3D視頻的方法。如果計算設(shè)備接收立體3D視頻以便在顯示器處輸出，那么如果顯示器能夠顯示立體3D視頻，則該設(shè)備將立體3D視頻數(shù)據(jù)傳遞至顯示器。如果不能，則處理器產(chǎn)生用于顯示的補色立體視頻(例如非立體3D視頻) 或者單視場(monoscopic)視頻(例如2D視頻)。在一個實施例中，視頻處理器可以通過將從立體3D視頻數(shù)據(jù)解壓(unpack)的左右視圖組合成單個補色立體視圖而產(chǎn)生補色立體視頻數(shù)據(jù)。立體3D視頻數(shù)據(jù)可以采用YUV 顏色方案和色度子采樣，例如4 2 0或4 2 2色度子采樣?？梢酝ㄟ^對左右視圖執(zhí)行矩陣變換而產(chǎn)生補色立體視頻數(shù)據(jù)。變換矩陣可以與視頻管道配置相應(yīng)，并且變換矩陣系數(shù)可以取決于管道內(nèi)的部件的特性，例如顯示器、視頻捕獲設(shè)備和觀看眼鏡的特性。原始裝備制造商可以提供修改的補色立體變換矩陣系數(shù)，這些系數(shù)調(diào)諧到不同視頻管道配置中使用的特定視頻部件。這些修改的補色立體變換矩陣系數(shù)可以提供給計算設(shè)備并且用于產(chǎn)生補色立體視頻數(shù)據(jù)。在另一個實施例中，用戶可以選擇顯示器處輸出的視頻的格式。選擇的視頻顯示格式可以是立體3D、補色立體或者單視場視頻。該選擇可以基于顯示器或觀看眼鏡的特性或者用戶輸入。用戶可以響應(yīng)于計算設(shè)備呈現(xiàn)的查詢或者獨立于設(shè)備提示而選擇視頻顯示格式。本發(fā)明的前面的和其他的目的、特征和優(yōu)點根據(jù)以下詳細描述將變得更加清楚明白，該描述參照附圖而進行。


圖1為繪出示例性計算設(shè)備的系統(tǒng)圖。圖2示出了其中可以實現(xiàn)所描述的實施例、技巧和技術(shù)的適當(dāng)實現(xiàn)環(huán)境的一般化實例。圖3為示例性視頻管道的框圖。圖4 (a)-4(e)示出了不同的色度采樣方案和色度采樣布置。圖5為選擇視頻顯示格式的示例性方法的流程圖。圖6 (a)-6(b)示出了從使用4:20和4:2 2色度子采樣的立體3D視頻數(shù)據(jù)示例性地產(chǎn)生補色立體視頻數(shù)據(jù)。圖7為從立體3D視頻數(shù)據(jù)產(chǎn)生補色立體視頻數(shù)據(jù)的示例性方法的流程圖。
具體實施例方式當(dāng)在本申請中以及在權(quán)利要求書中使用時，單數(shù)形式“一”、“一個”和“該”包括復(fù)數(shù)形式，除非上下文清楚地另有規(guī)定。類似地，措詞“或”預(yù)期包括“和”，除非上下文清楚地另有規(guī)定。措詞“包括”意味著“包含”；因此，“包括A或B”意味著包含A或B以及同時包含A和B。此外，措詞“包含”意味著“包括”。圖1為繪出示例性計算設(shè)備100的系統(tǒng)圖，該設(shè)備可以用來執(zhí)行本文描述的任何方法。通常，計算設(shè)備100中的部件105可以與其他部件通信，盡管為了便于說明未示出所有的連接。計算設(shè)備100可以包括各種各樣的可選的硬件和軟件部件105。計算設(shè)備可以是各種各樣的移動或非移動計算設(shè)備中的任何計算設(shè)備(例如智能電話；手持式、上網(wǎng)本、 筆記本、平板或臺式計算機；個人數(shù)字助理(PDA)；服務(wù)器)，并且可以允許與一個或多個諸如蜂窩或衛(wèi)星網(wǎng)絡(luò)之類的移動通信網(wǎng)絡(luò)107進行無線雙向通信。所示的計算設(shè)備100可以包括控制器或處理器110(例如信號處理器、圖形處理單元(GPU)、微處理器、ASIC或者其他控制和處理邏輯電路或軟件)，用于執(zhí)行諸如信號編碼、 圖形處理、數(shù)據(jù)處理、輸入/輸出處理、功率控制之類的任務(wù)和/或其他功能。操作系統(tǒng)112 可以控制部件105的分配和使用并且支持一個或多個應(yīng)用程序114。這些應(yīng)用程序可以包括常見的移動計算應(yīng)用程序(例如電子郵件應(yīng)用程序、日歷、聯(lián)系管理器、web瀏覽器、消息傳送應(yīng)用程序)或者任何其他計算應(yīng)用程序。所示出的計算設(shè)備100可以包括存儲器120。存儲器120可以包括不可移除存儲器122和可移除存儲器124。不可移除存儲器122可以包括RAM、ROM、閃存、硬盤驅(qū)動器或者其他公知的記憶存儲技術(shù)。可移除存儲器1 可以包括閃存卡(例如SD (安全數(shù)字)卡)、 記憶棒、GSM (全球移動通信系統(tǒng))系統(tǒng)中公知的訂戶身份模塊(SIM)卡或者其他公知的記憶存儲技術(shù)，例如“智能卡”。存儲器120可以用于存儲用于運行操作系統(tǒng)112和應(yīng)用程序 114的數(shù)據(jù)和/或計算機可執(zhí)行指令。實例數(shù)據(jù)可以包括要由計算設(shè)備100經(jīng)由所述一個或多個有線或無線網(wǎng)絡(luò)107發(fā)送至和/或接收自一個或多個網(wǎng)絡(luò)服務(wù)器或其他設(shè)備的網(wǎng)頁、文本、圖像、聲音文件、視頻數(shù)據(jù)或者其他數(shù)據(jù)集。存儲器120可以用來存儲諸如國際移動訂戶身份(IMSI)之類的訂戶標(biāo)識符以及諸如國際移動裝備標(biāo)識符(IMEI)之類的裝備標(biāo)識符。這樣的標(biāo)識符可以傳送至網(wǎng)絡(luò)服務(wù)器以便識別用戶和裝備。計算設(shè)備100也可以有權(quán)訪問外部存儲器126，該外部存儲器可以包括例如外部硬盤驅(qū)動器或者計算設(shè)備100可通過有線或無線本地或網(wǎng)絡(luò)連接訪問的任何記憶存儲裝置。計算設(shè)備100可以支持一個或多個諸如觸摸屏132、麥克風(fēng)134、照相機136、物理鍵盤138和跟蹤球139之類的輸入設(shè)備130，以及一個或多個諸如揚聲器142、顯示器144 和3D觀看眼鏡146 (例如補色立體或快門眼鏡)之類的輸出設(shè)備140。照相機136可以是能夠捕獲和產(chǎn)生3D圖像或視頻的視頻捕獲設(shè)備。其他可能的輸出設(shè)備(未示出)可以包括壓電或其他觸覺輸出設(shè)備。輸入設(shè)備130和輸出設(shè)備140中的任何一個都可以位于計算設(shè)備100的內(nèi)部、外部或者可移除地可與計算設(shè)備100附接在一起。外部輸入和輸出設(shè)備130 和140可以經(jīng)由有線或無線網(wǎng)絡(luò)連接與計算設(shè)備100通信。一些設(shè)備可以服務(wù)超過一個輸入/輸出功能。例如，觸摸屏132和顯示器144可以組合在單個輸入/輸出設(shè)備中。無線調(diào)制解調(diào)器160可以耦合到無線調(diào)制解調(diào)器天線162并且可以支持計算設(shè)備 100與外部設(shè)備之間的雙向通信，這是本領(lǐng)域中容易理解的。調(diào)制解調(diào)器160和天線162 被籠統(tǒng)地示出，并且可以是用于與移動蜂窩通信網(wǎng)絡(luò)通信的無線蜂窩調(diào)制解調(diào)器。無線調(diào)制解調(diào)器160可以包括其他基于無線電的調(diào)制解調(diào)器，例如Wi-Fi調(diào)制解調(diào)器163或者藍牙調(diào)制解調(diào)器164，其中每一個都可以耦合到其自身的天線(例如Wi-Fi天線168、藍牙天線 169)。無線調(diào)制解調(diào)器160典型地被配置用于與一個或多個諸如GSM網(wǎng)絡(luò)之類的蜂窩網(wǎng)絡(luò)通信以便在單個蜂窩網(wǎng)絡(luò)內(nèi)、在蜂窩網(wǎng)絡(luò)之間或者在計算設(shè)備與公共交換電話網(wǎng)絡(luò)(PSTN) 之間進行數(shù)據(jù)和語音通信。
計算設(shè)備100可以進一步包括至少一個包括物理連接器172的輸入/輸出端口 170 (其可以為例如USB端口、IEEE 1394 (火線)端口和/或RS-232端口)、電源174、諸如 GPS接收器175之類的衛(wèi)星導(dǎo)航系統(tǒng)接收器、陀螺儀176、加速度計177和羅盤178。GPS接收器175可以耦合到GPS天線179。此外，計算設(shè)備100可以包括AM/FM天線180，該天線耦合到AM/FM接收器185以便接收AM/FM無線電信號發(fā)送器廣播的無線電信號。計算設(shè)備 100可以進一步包括耦合到一個或多個附加的接收器、發(fā)送器和/或收發(fā)器195以便允許實現(xiàn)各種不同的附加功能的一個或多個附加的天線190。例如，計算設(shè)備100可以包括耦合到附加的接收器195的附加的天線190，該附加的接收器被配置成接收和處理數(shù)字音頻無線電服務(wù)(DARS)信號以便在計算設(shè)備100或者附接的附件處輸出。盡管不同的天線被示為計算設(shè)備100的單獨的硬件部件，但是可以將它們結(jié)合到其他部件中。例如，可以將GPS天線179結(jié)合到GPS接收器175中。此外，可以將圖1中示為分開的天線實現(xiàn)為單個天線。例如，AM/FM天線180和GPS天線179可以是由GPS接收器175和AM/FM接收器185共享的單個天線。此外，可以將多個天線連接到開關(guān)以便允許將部件耦合到若干天線源之一或者耦合到超過一個天線源。例如，可以將AM/FM接收器185 連接到允許AM/FM天線180或者計算設(shè)備100外部的天線用作AM/FM接收器天線源的開關(guān) (未示出)。該開關(guān)也可以被配置成允許AM/FM天線180和外部天線二者或者多個外部天線同時用作用于AM/FM接收器185的天線源。所示的部件105不是必需的或者包括一切的，因為可以刪除任何部件并且可以添加其他部件。圖2示出了其中可以實現(xiàn)所描述的實施例、技巧和技術(shù)的適當(dāng)實現(xiàn)環(huán)境200的一般化實例。在實例環(huán)境200中，通過云210提供不同類型的服務(wù)(例如計算服務(wù))。例如，云210 可以包括可以位于中心或者為分布式的計算設(shè)備集合，這些計算設(shè)備將基于云的服務(wù)提供給經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)連接的不同類型的用戶和設(shè)備。實現(xiàn)環(huán)境200可以以不同的方式用來完成計算任務(wù)。例如，一些任務(wù)(例如處理用戶輸入和呈現(xiàn)用戶接口)可以在本地計算設(shè)備(例如連接的設(shè)備230、M0、250)上執(zhí)行，而其他任務(wù)(例如存儲要在后續(xù)處理中使用的數(shù)據(jù))可以在云210中執(zhí)行。在實例環(huán)境200中，云210為具有各種各樣的屏幕能力的連接的設(shè)備230、M0、250 提供服務(wù)。連接的設(shè)備230代表具有計算機顯示器235 (例如中等尺寸顯示器)的設(shè)備。例如，連接的設(shè)備230可以是臺式、膝上型、筆記本、上網(wǎng)本或平板計算機等等。連接的設(shè)備 240代表具有計算設(shè)備顯示器245 (例如小尺寸顯示器)的計算設(shè)備。例如，連接的設(shè)備240 可以是移動電話、智能電話、個人數(shù)字助理等等。連接的設(shè)備250代表具有大的顯示器255 的設(shè)備。例如，連接的設(shè)備250可以是具有因特網(wǎng)連接的電視或者連接到另一個設(shè)備的電視，所述另一個設(shè)備能夠連接到云，例如機頂盒、游戲控制臺等等。連接的設(shè)備230、M0、250 中的一個或多個可以包括觸摸屏能力。沒有顯示能力的設(shè)備也可以用在實例環(huán)境200中。 例如，云210可以為沒有顯示器的一個或多個計算機(例如服務(wù)器計算機)提供服務(wù)。
服務(wù)可以由云210通過服務(wù)提供商220或者通過在線服務(wù)的其他提供商(未繪出) 提供。例如，可以根據(jù)特定連接的設(shè)備(例如連接的設(shè)備230、M0、250)的顯示器尺寸、顯示能力和/或觸摸屏能力定制云服務(wù)?？梢杂煞?wù)提供商220提供的服務(wù)包括例如電子郵件、短消息服務(wù)(SMS)、多媒體消息服務(wù)(匪S)、社交網(wǎng)絡(luò)、網(wǎng)站托管以及提供3D視頻內(nèi)容。服務(wù)提供商可以托管提供各種各樣的商品和服務(wù)的在線市場，所述商品和服務(wù)例如軟件應(yīng)用程序和升級以及媒體內(nèi)容，其可以由用戶經(jīng)過購買或者無需購買而獲得以及用于從云下載或者通過郵件遞送。在實例環(huán)境200中，云210至少部分地使用服務(wù)提供商220將本文描述的技術(shù)和解決方案提供給不同的連接的設(shè)備230、對0、250。例如，服務(wù)提供商220可以為不同的基于云的服務(wù)提供集中式解決方案。服務(wù)提供商220可以為用戶和設(shè)備(例如為連接的設(shè)備 230,240,250及其各自用戶)管理服務(wù)訂購。圖3示出了可以用來實現(xiàn)本文描述的不同方法的示例性視頻管道300的框圖。視頻管道300包括立體3D視頻源310、視頻處理器320和顯示器330。任何視頻管道部件都可以在特定計算設(shè)備的內(nèi)部或外部。例如，視頻記錄器、視頻處理器320和顯示器330可以集成到膝上型計算機、平板計算機或者智能電話中。在另一個實例中，視頻處理器320可以在臺式計算機的內(nèi)部，立體3D視頻源可以是可連接到臺式計算機的便攜式手持視頻記錄器，并且顯示器330可以在臺式計算機的外部。在又一個實例中，立體3D視頻源(例如網(wǎng)絡(luò)攝像機)310可以集成到膝上型計算機中，視頻處理器320可以是由基于云的服務(wù)提供商提供的服務(wù)，并且顯示器330可以是相對于膝上型計算機的遠程顯示器，例如電視。盡管未示出，但是3D觀看眼鏡(例如快門眼鏡、補色立體眼鏡)也被認為是視頻管道的一部分。立體3D視頻源310可以是提供或產(chǎn)生立體3D視頻數(shù)據(jù)340的源。立體3D視頻源310可以是例如諸如手持式照相機之類的視頻捕獲設(shè)備、視頻記錄器或網(wǎng)絡(luò)攝像機、內(nèi)部或外部存儲器或者基于云的服務(wù)提供商。立體3D視頻數(shù)據(jù)340和350可以是可以用于產(chǎn)生單獨的左右圖像的數(shù)據(jù)，所述左右圖像在顯示器上觀看時創(chuàng)建深度錯覺。立體3D視頻數(shù)據(jù)340和350可以用來產(chǎn)生快速連續(xù)地在顯示器330上交替地顯示的時間復(fù)用的左右圖像，或者產(chǎn)生空間復(fù)用的左右圖像，所述空間復(fù)用的左右圖像同時且彼此鄰近地(即左右圖像并排(水平平鋪)地顯示)或者一個在另一個上方地(豎直平鋪地)顯示。立體3D視頻數(shù)據(jù)340和350可以遵照任何立體3D視頻標(biāo)準(zhǔn)。例如，立體3D視頻數(shù)據(jù)340和350可以遵照H. 264/MPEG-4部分10編解碼器標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)使用YUV顏色空間并且采用色度子采樣。當(dāng)在本文中使用時，YUV顏色空間指的是可以按照單個視亮度 (brightness)分量(Y)和兩個顏色分量(UV)描述的任何顏色空間。因此，YUV顏色空間可以指例如YCbCr、YPWr顏色空間以及指任何數(shù)量的YUV像素格式，例如YUY2、NV12、UVUY等等。此外，每個YUV分量可以代表經(jīng)過伽瑪壓縮或未經(jīng)過伽瑪壓縮的值。例如，YUV顏色空間可以指Y’ UV顏色空間，其中視亮度分量為亮度(luma)值Y’，該值為光亮度(luminance) 值Y的伽瑪壓縮版本。采用色度子采樣的諸如H. 264標(biāo)準(zhǔn)之類的視頻壓縮標(biāo)準(zhǔn)利用了人眼對于視亮度的變化比對于顏色的變化更加敏感這一事實以便以降低的比特率編碼彩色視頻。通常，色度子采樣方案可以表示為三部分比率J:a:b，其描述J像素寬和2像素高的概念區(qū)中的亮度和色度樣本的數(shù)量。通常，“a”代表在概念區(qū)第一行像素中采取的色度樣本的數(shù)量，并且 “b”代表第二行像素中的附加色度樣本的數(shù)量。圖4 (a) -4 (e)示出了 4像素寬(J=4)和2像素寬的概念區(qū)的不同的色度采樣方案和色度采樣布置，所述概念區(qū)尺寸典型地用于描述色度采樣方案。圖像像素，即作為顯示器處輸出的圖像的一部分的像素，通過具有細線的框表示。色度采樣區(qū)，即其中采取單個色度樣本的區(qū)域，通過具有粗線的框表示。點指示在色度樣本區(qū)內(nèi)的什么地方采取色度樣本。在圖4(a)_4(d)中，色度采樣區(qū)與圖像像素對準(zhǔn)。換言之，色度采樣區(qū)邊界與圖像像素邊界重合。在每個色度采樣方案中，在4x2像素概念區(qū)內(nèi)采取八個亮度樣本，對于每個圖像像素采取一個亮度樣本。圖4(a)示出了 4:4:4色度采樣方案410，例如采樣RGB顏色空間的編碼中使用的方案。在RGB編碼中，在每個圖像像素處采取紅色、綠色和藍色樣本。沿著概念區(qū)的第一行采取四個色度樣本，并且沿著概念區(qū)的第二行采取另外四個色度樣本。因此，對于每個 4:4:4概念區(qū)而言，在八個位置處采取三色樣本，總共M個樣本。圖4(b)示出了使用YUV顏色空間的編碼中使用的4:2:0色度子采樣方案420。在 4:2:0色度子采樣中，沿著第一行像素采取兩個色度樣本，并且在第二行像素中不采取附加的色度樣本。因此，每個概念區(qū)中采取四個色度樣本(2個U，V色度樣本對)，第一 U，V色度樣本對針對四個最左邊的圖像像素，并且第二U，V色度樣本對針對四個最右邊的圖像像素。因此，在4 2 0色度子采樣方案中，對于每個4x2像素區(qū)采取總共十二個樣本——8個亮度樣本和4個色度樣本。圖4(c)示出了 4:2:2色度子采樣方案430。沿著概念區(qū)的第一行采取兩個色度樣本，并且沿著概念區(qū)的第二行采取附加的兩個色度樣本。因此，在每個八像素區(qū)域中采取八個色度樣本(4個U，V色度樣本對)，給出總共16個樣本——8個亮度樣本和8個色度樣本。 因此，4 2 0和4 2 2色度子采樣方案允許分別利用相對于4:4:4色度樣本方案所需比特數(shù)的一半比特數(shù)和三分之二比特數(shù)表示圖像和視頻。因此，使用YUV顏色空間和色度子采樣編碼的視頻數(shù)據(jù)相對于使用RGB顏色空間編碼的視頻數(shù)據(jù)提供了以降低的比特率遞送彩色圖像或視頻。圖4 (a) -4 (c)示出了“居中的”色度采樣布置，其中在色度樣本的各自色度采樣區(qū)的質(zhì)心處采取色度樣本。例如，參照圖4(b)，在色度采樣區(qū)的中心采取U，V樣本，該中心位于四個相應(yīng)圖像像素的中間。存在其他的“非居中的”色度采樣布置，并且這里描述的方法可以對任何色度采樣布置起作用。圖4(d)示出了用于4:2:0色度子采樣方案的非居中的色度采樣布置440，其中在色度采樣區(qū)內(nèi)的最左上圖像像素處采取色度樣本。盡管圖4(a)_4(d)示出了其中色度采樣區(qū)與圖像像素對準(zhǔn)的色度采樣方案，但是這里描述的方法可以用于“非對準(zhǔn)的”色度采樣布置。色度采樣區(qū)可以偏離圖像像素，例如圖4(e)中所示的色度采樣布置450。視頻處理器320能夠接收立體3D視頻數(shù)據(jù)340，從立體3D視頻數(shù)據(jù)340產(chǎn)生補色立體視頻數(shù)據(jù)360或單視場視頻數(shù)據(jù)370，并且將立體3D視頻數(shù)據(jù)350、補色立體視頻數(shù)據(jù) 360或單視場視頻數(shù)據(jù)370傳送給顯示器330。視頻處理器320可以以硬件或軟件實現(xiàn)，并且可以集成到計算設(shè)備或顯示器330中，或者由基于云的服務(wù)提供。在計算設(shè)備內(nèi)，視頻處理器可以集成到控制器110或操作系統(tǒng)112中，或者為獨立的硬件或軟件部件。視頻處理器320可以通過檢查接收的視頻數(shù)據(jù)的內(nèi)容而檢測接收的視頻數(shù)據(jù)包括立體3D視頻數(shù)據(jù)340。例如，視頻處理器320可以包括H. 264解碼器，該解碼器確定接收的數(shù)據(jù)是否與H. 264兼容。如果視頻處理器320檢測到H. 264兼容的視頻，那么它可以注意
10任何補充增強信息(SEI)以便獲得關(guān)于該數(shù)據(jù)的附加信息。例如，具有有效載荷22的SEI 包含立體視頻信息并且具有有效載荷25的SEI包含幀包裝信息。這些有效載荷可以提供關(guān)于視頻數(shù)據(jù)的立體3D性質(zhì)的信息，例如哪個字段或哪個幀用于哪個視圖(左/右視圖)。視頻處理器320也可以處理遵照H. 264標(biāo)準(zhǔn)的多視圖視頻編碼(MVC)特征的立體 3D視頻數(shù)據(jù)。多視圖視頻編碼是H. 264標(biāo)準(zhǔn)的修正，其允許編碼從多個照相機同時捕獲的視頻。多視圖視頻編碼包括支持任意數(shù)量的視圖的多視圖高級規(guī)范(profile)，以及支持兩個視圖的立體高級規(guī)范。視頻處理器320可以接收指示關(guān)于立體3D視頻數(shù)據(jù)340和350的信息的用戶輸入。例如，如果視頻處理器320將立體3D視頻數(shù)據(jù)350傳遞給顯示器330，并且觀看者看見設(shè)置成鄰近彼此的兩個視頻，那么觀看者可以通過用戶接口將該信息提供給計算設(shè)備。例如，用戶可以向計算設(shè)備提供指示顯示器330正在顯示水平或豎直地平鋪的視頻的輸入。除了接收視頻數(shù)據(jù)以及檢測立體3D視頻數(shù)據(jù)的存在之外，視頻處理器可以在將視頻數(shù)據(jù)傳送給顯示器330時選擇要使用的視頻數(shù)據(jù)格式。例如，視頻處理器320可以選擇立體3D、補色立體或者單視場視頻格式。如果視頻處理器選擇了立體3D視頻，那么視頻處理器可以以相同的立體3D視頻格式將接收的立體3D視頻數(shù)據(jù)340傳遞至顯示器330，或者將接收的立體3D視頻數(shù)據(jù)340轉(zhuǎn)換成另一種立體3D視頻格式。當(dāng)在本文中使用時，術(shù)語“視頻數(shù)據(jù)格式”指的是數(shù)據(jù)編碼視頻的格式，而術(shù)語“視頻顯示格式”指的是在顯示器處輸出的視頻的格式。因此，例如，立體3D視頻數(shù)據(jù)格式的數(shù)據(jù)編碼視頻可以用來產(chǎn)生在顯示器處以立體3D視頻顯示格式輸出的視頻?？商鎿Q地，視頻處理器320可以選擇非立體3D視頻顯示格式(例如補色立體或單視場)以便以立體3D視頻數(shù)據(jù)340編碼的視頻進行顯示。視頻處理器320可以基于例如顯示器330的能力和/或用戶輸入340做出該選擇。例如，視頻處理器320可以基于顯示器 330是否能夠顯示立體3D視頻而選擇視頻顯示格式。出于各種不同的原因，立體3D視頻可能不能夠在顯示器330處輸出。例如，顯示器330可能沒有足夠高的刷新率以用于顯示時間復(fù)用的立體3D視頻。此外，視頻管道300 中視頻處理器(例如視頻卡、設(shè)備驅(qū)動程序)下游的其他硬件或軟件部件可能不支持立體3D 視頻。視頻處理器320可以通過向這些下游部件查詢它們的能力或者通過被下游部件通知處理立體3D視頻以便在顯示器330處輸出的嘗試失敗，而確定是否可以在顯示器330處觀看立體3D視頻。例如，視頻處理器320可以嘗試在處理立體3D視頻幀之前分配和準(zhǔn)備輸出視頻緩沖器。如果由于視頻管道的硬件或軟件缺點的原因，視頻處理器320不能分配立體3D視頻緩沖器，那么它可以確定不能在顯示器330處輸出立體3D視頻。 此外，視頻處理器320可以基于3D觀看眼鏡是否處于計算設(shè)備或顯示器330的通信范圍之內(nèi)而選擇視頻顯示格式。例如，立體3D觀看眼鏡可以被配置成將指示眼鏡處于顯示器的通信范圍之內(nèi)的數(shù)據(jù)傳送至顯示器330或計算設(shè)備。眼鏡可以在不同的時間發(fā)送該信號，例如在眼鏡打開時、以周期性間隔或者響應(yīng)于接收到來自顯示器330的同步信號而發(fā)送該信號。 視頻處理器也可以基于用戶輸入而選擇視頻顯示格式。在一些實施例中，計算設(shè)備可以查詢用戶以便選擇顯示器330處的視頻顯示格式。如果可以在顯示器330處輸出立體3D視頻，那么所述查詢可以要求用戶從以下視頻顯示格式中的兩個或更多個格式之中進行選擇立體3D、補色立體或者單視場視頻。如果不能在顯示器330處顯示立體3D視頻， 那么所述查詢可以要求用戶在補色立體與單視場視頻之間進行選擇?？梢栽陲@示器330處或者在計算設(shè)備可訪問的任何用戶接口處向用戶呈現(xiàn)該查詢。可以在例如視頻處理器320 第一次接收到立體3D視頻數(shù)據(jù)340時或者每次接收到立體3D視頻數(shù)據(jù)340時做出該查詢。 此外，用戶可以在單獨的軟件應(yīng)用程序中或者通過設(shè)置諸如操作系統(tǒng)的參數(shù)之類的系統(tǒng)級參數(shù)選擇視頻顯示格式。此外，用戶可以在不被計算設(shè)備查詢的情況下選擇視頻顯示格式。 例如，自己觀看3D視頻的用戶可以在幾個朋友到來并且不存在足夠分配的3D觀看眼鏡的情況下選擇單視場視頻，并且然后在他的朋友離開之后選擇補色立體或立體3D視頻。如果選擇了補色立體或單視場視頻，那么視頻處理器320將立體3D視頻數(shù)據(jù)340轉(zhuǎn)換成補色立體視頻數(shù)據(jù)360或者單視場視頻370。如果選擇了立體3D視頻數(shù)據(jù)，那么視頻處理器將立體3D視頻數(shù)據(jù)340作為立體3D視頻數(shù)據(jù)350傳遞至顯示器330。圖5為用于選擇視頻顯示格式的示例性方法500的流程圖。方法500可以例如由膝上型計算機執(zhí)行，該計算機在電視上輸出外部視頻記錄器捕獲的3D視頻。在510處，在計算設(shè)備處接收采用YUV顏色空間的立體3D視頻數(shù)據(jù)。在該實例中，膝上型計算機接收視頻記錄器捕獲的立體3D視頻數(shù)據(jù)。接收的視頻數(shù)據(jù)可以是從記錄設(shè)備流送的“直播”視頻或者存儲的先前捕獲的視頻數(shù)據(jù)。立體3D視頻是使用YUV顏色空間編碼的。在520處，從以下格式中的至少兩個中選擇視頻顯示格式立體3D視頻、補色立體視頻和單視場視頻。在該實例中，用戶從作為膝上型顯示器或電視上示出的查詢而呈現(xiàn)給他的立體3D、補色立體和單視場視頻顯示格式的列表中選擇補色立體視頻。在530處，以選擇的視頻顯示格式顯示立體3D視頻數(shù)據(jù)中編碼的視頻。在該實例中，在電視處以補色立體形式向用戶顯示視頻捕獲設(shè)備捕獲的視頻。圖6(a)示出了從采用YUV顏色空間和4:2:0色度子采樣的立體3D數(shù)據(jù)示例性地產(chǎn)生補色立體視頻數(shù)據(jù)610。視頻處理器可以通過將立體3D視頻YUV 4:2:0數(shù)據(jù)解壓成左視圖數(shù)據(jù)620和右視圖數(shù)據(jù)630并且然后將左右視圖數(shù)據(jù)620和630組合成單個補色立體視圖或者補色立體視頻數(shù)據(jù)610而產(chǎn)生YUV 4:2:0補色立體視頻數(shù)據(jù)610。YUV 4:2:0補色立體數(shù)據(jù)610可以使用以下方程產(chǎn)生
其中YL0-YL3為左視圖的亮度樣本，UL和VL為左視圖的色度樣本；YR0-YR3為右視圖的亮度樣本，UR和VR為右視圖的色度樣本；Y0-Y3為補色立體視頻數(shù)據(jù)的亮度樣本，并且U 和V為補色立體視頻數(shù)據(jù)的色度樣本；ML_420和MR_420為具有如下形式的補色立體變換矩陣其中3、以(3、(10-(13、6、廠8013、11和1為補色立體變換矩陣系數(shù)。得到的YUV 4:2:0 補色立體視頻數(shù)據(jù)610可以具有正確的最小顯示孔徑以及要正確地在顯示器上顯示的像素高寬比。在多視圖視頻編碼的情況下，無需調(diào)節(jié)像素高寬比。補色立體幀的正確再現(xiàn)可能依賴于再現(xiàn)引擎兌現(xiàn)(honor)高寬比以及用于幀的視頻數(shù)據(jù)中包含的其他標(biāo)志。d0_d3 和g0-g3變換矩陣系數(shù)取決于色度采樣布置。在一些實施例中，色度值縮放為處于[-128， 127]范圍內(nèi)。 在一個實施例中，下面的ML_420和MR_420補色立體變換矩陣可以用于從使用 ITU-R (國際電信聯(lián)盟無線電通信部門)推薦BT. 709色域編碼的立體3D視頻產(chǎn)生補色立體視頻數(shù)據(jù)補色立體變換矩陣(例如ML_420、MR_420)可以與特定視頻管道配置相應(yīng)。視頻管道配置與視頻管道部件的組合以及這些部件的設(shè)置相應(yīng)。例如，一種視頻管道配置可以與和膝上型計算機一起提供的立體3D視頻源、顯示器和觀看眼鏡組合相應(yīng)。補色立體變換矩陣系數(shù)可以取決于視頻管道配置內(nèi)的部件特性。例如，補色立體變換矩陣系數(shù)可以基于以下一個或多個色度采樣方案、色度采樣布置、視頻捕獲設(shè)備特性、顯示器特性和觀看眼鏡特性。例如，不同的視頻捕獲設(shè)備和顯示器可能具有不同的色域，補色立體眼鏡可以具有不同顏色組合(例如紅色-藍色、紅色-綠色、紅色-青色、綠色-品紅色)的鏡片，并且視頻捕獲設(shè)備可以使用不同的色度采樣布置采樣色度值并且可以具有變化的色域?？梢詫⒀a色立體變換矩陣系數(shù)設(shè)置為缺省或修改的系數(shù)。缺省系數(shù)可以與對于一系列視頻管道部件或者對于缺省視頻管道配置(例如與計算設(shè)備一起提供的視頻管道配置)起作用的一般值相應(yīng)。例如，OEM (原始裝備制造商)臺式計算機制造商可以確定說明集成到臺式計算機中的顯示器和照相機使用的色域或光譜的一組缺省補色立體變換矩陣系數(shù)。修改的系數(shù)可以與視頻管道配置的變化相應(yīng)。換言之，色度采樣方案、色度采樣布置、立體3D視頻源、顯示器或觀看眼鏡的任何變化都可能導(dǎo)致修改的補色立體變換矩陣系
權(quán)利要求
1.一種代替立體3D視頻顯示補色立體視頻的方法，該方法包括 接收采用YUV顏色空間的立體3D視頻數(shù)據(jù)(340)；使用計算設(shè)備(100 )從立體3D視頻數(shù)據(jù)(340 )產(chǎn)生補色立體視頻數(shù)據(jù)(360 )，所述產(chǎn)生包括將立體3D視頻數(shù)據(jù)(340)解壓為左視圖和右視圖；以及將左視圖和右視圖組合成單個視圖，補色立體視頻數(shù)據(jù)(360)包括該單個視圖；以及以補色立體形式顯示立體3D視頻數(shù)據(jù)(340)中編碼的視頻。
2.權(quán)利要求1的方法，其中所述組合使用與視頻管道(300)配置相應(yīng)的補色立體變換矩陣，并且補色立體變換矩陣包括取決于視頻管道(300)內(nèi)的部件的特性的補色立體變換矩陣系數(shù)。
3.權(quán)利要求2的方法，其中在顯示器(144，330)上顯示立體3D視頻數(shù)據(jù)(340)中編碼的視頻，并且補色立體變換矩陣系數(shù)中的至少一個取決于以下部件的一個或多個特性顯示器(144，330)、用來捕獲立體3D視頻數(shù)據(jù)(340)中編碼的視頻的視頻捕獲設(shè)備(310)以及用來觀看顯示器(144，330)的補色立體眼鏡(146)。
4.權(quán)利要求2的方法，該方法進一步包括響應(yīng)于視頻管道(300)配置的變化而接收一個或多個修改的補色立體變換矩陣系數(shù)；以及使用所述一個或多個修改的補色立體變換矩陣系數(shù)產(chǎn)生補色立體視頻數(shù)據(jù)(360)。
5.權(quán)利要求4的方法，其中所述一個或多個修改的補色立體變換矩陣系數(shù)用于產(chǎn)生使用第一顏色空間和色度采樣組合的補色立體視頻數(shù)據(jù)(360)，所述方法進一步包括變換所述一個或多個修改的補色立體變換矩陣系數(shù)以便用于產(chǎn)生使用第二顏色空間和色度采樣組合的補色立體視頻數(shù)據(jù)(360 )。
6.權(quán)利要求1的方法，其中立體3D視頻數(shù)據(jù)(340)采用4:2:0色度子采樣并且補色立體視頻數(shù)據(jù)(360)使用以下公式產(chǎn)生其中YL0-YL3為左視圖的亮度樣本，UL和VL為左視圖的色度樣本；YR0-YR3為右視圖的亮度樣本，UR和VR為右視圖的色度樣本；Y0-Y3為補色立體視頻數(shù)據(jù)(360)的亮度樣本， 并且U和V為補色立體視頻數(shù)據(jù)(360)的色度樣本；ML和MR為具有如下形式的補色立體變換矩陣其中a、b、c、d0_d3、e、f、g0_g3、h和i為補色立體變換矩陣系數(shù)。
7.一種計算設(shè)備(100)，被編程為執(zhí)行用于選擇視頻顯示格式的方法，該方法包括在計算設(shè)備(110)處接收采用YUV顏色空間的立體3D視頻數(shù)據(jù)(340)；從以下格式中的至少兩個中選擇視頻顯示格式立體3D視頻、補色立體視頻和單視場視頻；以及以選擇的視頻顯示格式顯示立體3D視頻數(shù)據(jù)中編碼的視頻。
8.權(quán)利要求7的計算設(shè)備(100)，進一步包括如果選擇的視頻顯示格式是補色立體視頻，則將立體3D視頻數(shù)據(jù)(340)轉(zhuǎn)換為補色立體視頻數(shù)據(jù)(360);以及如果選擇的視頻顯示格式是單視場視頻，則將立體3D視頻數(shù)據(jù)(340)轉(zhuǎn)換為單視場視頻數(shù)據(jù)。
9.一種或多種計算機可讀介質(zhì)(120)，存儲了計算機可執(zhí)行指令，這些指令用于使得計算設(shè)備(100)執(zhí)行一種方法，該方法包括接收采用YUV顏色空間的立體3D視頻數(shù)據(jù)(340)；使用計算設(shè)備(100 )從立體3D視頻數(shù)據(jù)(340 )產(chǎn)生補色立體視頻數(shù)據(jù)(360 )，所述產(chǎn)生包括將立體3D視頻數(shù)據(jù)(340)解壓為左視圖和右視圖；以及將左視圖和右視圖組合成單個視圖，補色立體視頻數(shù)據(jù)(360)包括該單個視圖；以及以補色立體形式顯示立體3D視頻數(shù)據(jù)中編碼的視頻。
10.權(quán)利要求9的一種或多種計算機可讀介質(zhì)(120)，其中立體3D視頻數(shù)據(jù)(340)使用 4:2:0色度子采樣進行編碼并且補色立體視頻數(shù)據(jù)(360)使用以下公式產(chǎn)生
全文摘要
公開了用于在計算設(shè)備中支持立體3D視頻的方法。一種計算設(shè)備可以接收采用YUV顏色空間和色度子采樣的立體3D視頻數(shù)據(jù)，并且可以從中產(chǎn)生補色立體視頻數(shù)據(jù)。可以通過將立體3D視頻數(shù)據(jù)解壓為左右視圖并且經(jīng)由矩陣變換將左右視圖組合成單個視圖而產(chǎn)生補色立體視頻數(shù)據(jù)。該組合使用了與視頻管道配置相應(yīng)的變換矩陣。變換矩陣系數(shù)可以取決于視頻管道部件的特性?？梢皂憫?yīng)于視頻管道配置的變化而使用修改的變換矩陣系數(shù)。根據(jù)用戶輸入和/或視頻管道部件的特性，立體3D視頻數(shù)據(jù)中編碼的視頻可以被選擇成以立體3D、補色立體或者單視場形式顯示。
文檔編號H04N13/00GK102572475SQ201110423070
公開日2012年7月11日 申請日期2011年12月16日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者S.薩赫瓦尼, 吳勇軍, 孫式軍, 季剛 申請人:微軟公司