圖像處理設(shè)備、圖像處理方法以及計(jì)算機(jī)程序的制作方法
【專利摘要】提供了一種圖像處理設(shè)備，其包括：組合單元，被配置成在解碼編碼流之前組合多種編碼流和在多種編碼流中檢測信息的丟失；以及替代信息提供單元，被配置成當(dāng)該組合單元檢測到丟失時(shí)，向該組合單元提供用作該丟失的替代物的替代信息，其中該組合單元通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
【專利說明】圖像處理設(shè)備、圖像處理方法以及計(jì)算機(jī)程序
[0001]交叉引用相關(guān)申請
[0002]本申請要求2013年3月26日提交的日本優(yōu)先權(quán)專利申請JP2013-064014的利益，在此通過引用并入其全部內(nèi)容。
【技術(shù)領(lǐng)域】
[0003]本公開涉及圖像處理設(shè)備、圖像處理方法以及計(jì)算機(jī)程序。
【背景技術(shù)】
[0004]由于內(nèi)容的數(shù)字化和能夠發(fā)送圖像的基礎(chǔ)設(shè)施得到了發(fā)展，通過互聯(lián)網(wǎng)分發(fā)圖像越來越常見。近年來，除了個(gè)人計(jì)算機(jī)之外，越來越多可與網(wǎng)絡(luò)連接的電視接收器被做成接收設(shè)備。因此，可以在電視接收器上觀看分發(fā)的運(yùn)動(dòng)圖像內(nèi)容。
[0005]并且，近年來云服務(wù)得到了發(fā)展，使得通過互聯(lián)網(wǎng)為觀眾提供了包括私密內(nèi)容的多種頻道。于是，越來越需要能夠同時(shí)觀看多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)和易于檢索要觀看的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的多圖像再現(xiàn)系統(tǒng)。
[0006]存在一種使用編碼流信息進(jìn)行多屏幕復(fù)合以實(shí)現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)觀看的系統(tǒng)。不用客戶機(jī)執(zhí)行復(fù)雜解碼過程地將通過服務(wù)器壓縮保存的多個(gè)編碼流信息項(xiàng)轉(zhuǎn)換成一個(gè)編碼流信息項(xiàng)。使用編碼流信息的多屏幕復(fù)合可以降低服務(wù)器執(zhí)行過程的負(fù)擔(dān)、要使用的網(wǎng)絡(luò)帶寬、和客戶機(jī)執(zhí)行過程的負(fù)擔(dān)。
【發(fā)明內(nèi)容】
[0007]但是，關(guān)于這個(gè)技術(shù)，如果有的話，當(dāng)要輸入到多屏幕復(fù)合的過程中的編碼流信息項(xiàng)包括一點(diǎn)點(diǎn)丟失時(shí)，客戶機(jī)就不能生成組合畫面。并且，當(dāng)信息延遲到達(dá)時(shí)，必須等待多屏幕復(fù)合所需的每種流的到達(dá)；于是，例如，在視頻聊天的情況下，難以管理實(shí)時(shí)內(nèi)容項(xiàng)。
[0008]于是，本公開的一個(gè)或多個(gè)實(shí)施例提供了新式的和改進(jìn)的、以及即使在發(fā)送通過服務(wù)器壓縮保存的多個(gè)編碼流信息項(xiàng)的時(shí)候選成了丟失或延遲，也可以使客戶機(jī)能夠執(zhí)行多屏幕復(fù)合的過程的圖像處理設(shè)備、圖像處理方法以及計(jì)算機(jī)程序。
[0009]按照本公開的一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，其包括:組合單元，被配置成在解碼編碼流之前組合多種編碼流和在多種編碼流中檢測信息的丟失；以及替代信息提供單元，被配置成當(dāng)該組合單元檢測到丟失時(shí)，向該組合單元提供用作該丟失的替代物的替代信息。該組合單元通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
[0010]按照本公開的另一個(gè)實(shí)施例，提供了一種圖像處理方法，其包括:在解碼編碼流之前組合多種編碼流；在多種編碼流中檢測信息的丟失；以及當(dāng)在檢測步驟中檢測到丟失時(shí)，提供用作該丟失的替代物的替代信息。在組合步驟中，通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
[0011]按照本公開的另一個(gè)實(shí)施例，提供了一種使計(jì)算機(jī)執(zhí)行如下步驟的計(jì)算機(jī)程序:在解碼編碼流之前組合多種編碼流；在多種編碼流中檢測信息的丟失；以及當(dāng)在檢測步驟中檢測到丟失時(shí)，提供用作該丟失的替代物的替代信息。在組合步驟中，通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
[0012]如上所述，按照本公開的一個(gè)或多個(gè)實(shí)施例，可以提供新式的和改進(jìn)的、以及即使在發(fā)送通過服務(wù)器壓縮保存的多個(gè)編碼流信息項(xiàng)的時(shí)候選成了丟失或延遲，也可以使客戶機(jī)能夠執(zhí)行多屏幕復(fù)合的過程的圖像處理設(shè)備、圖像處理方法以及計(jì)算機(jī)程序。
【專利附圖】
【附圖說明】
[0013]圖1示出了按照本公開的一個(gè)實(shí)施例的圖像處理系統(tǒng)I的總體配置例子；
[0014]圖2示出了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子;
[0015]圖3示出了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子;
[0016]圖4示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子；
[0017]圖5示出了在流組合單元105中組合多種編碼流的過程；
[0018]圖6示出了在流組合單元105中組合多種編碼流的過程；
[0019]圖7示出了在流組合單元105中已經(jīng)組合的多種編碼流的狀態(tài)；
[0020]圖8示出了在流組合單元105中組合多種編碼流的過程；
[0021]圖9示出了在流組合單元105中組合多種編碼流的過程；
[0022]圖10示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子；
[0023]圖11示出了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子；
[0024]圖12示出了按照本公開的一個(gè)實(shí)施例的包括在客戶機(jī)終端100中的替代畫面生成單元108的功能配置例子；
[0025]圖13示出了包括在替代畫面生成單元108中的IDR畫面存儲(chǔ)生成單元112的配置例子；
[0026]圖14是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0027]圖15A是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0028]圖15B是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0029]圖15C是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0030]圖16是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0031]圖17A是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0032]圖17B是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖；
[0033]圖18示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100執(zhí)行的組合多種編碼流的過程；
[0034]圖19示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100執(zhí)行的組合多種編碼流的過程；
[0035]圖20示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子;
[0036]圖21示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子;
[0037]圖22示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子;
[0038]圖23示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子;
[0039]圖24示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子;
[0040]圖25示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子;
[0041]圖26示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子；以及
[0042]圖27示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。
【具體實(shí)施方式】
[0043]在下文中，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書及附圖中，具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同標(biāo)號表示，并省略對這些結(jié)構(gòu)元件的重復(fù)說明。
[0044]注意，該描述將按如下次序給出。
[0045]〈1.本公開的實(shí)施例>
[0046][總體配置例子]
[0047][運(yùn)動(dòng)圖像內(nèi)容服務(wù)器的功能配置例子]
[0048][客戶機(jī)終端的功能配置例子]
[0049][客戶機(jī)終端的操作例子]
[0050]<2.結(jié)論〉
[0051]〈1.本公開的實(shí)施例〉
[0052][總體配置例子]
[0053]首先，將參考附圖描述按照本公開的一個(gè)實(shí)施例的系統(tǒng)的總體配置例子。圖1示出了按照本公開的一個(gè)實(shí)施例的圖像處理系統(tǒng)I的總體配置例子。下面將參考圖1描述按照本公開的一個(gè)實(shí)施例的圖像處理系統(tǒng)I的總體配置例子。
[0054]顯示在圖1中的圖像處理系統(tǒng)I具有這樣的配置，其中客戶機(jī)終端100通過像互聯(lián)網(wǎng)那樣的網(wǎng)絡(luò)10接收來自多個(gè)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的編碼流信息，以及包括在顯示在圖1中的圖像處理系統(tǒng)I中的客戶機(jī)終端100解碼來自運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的接收編碼流信息，并組合多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)以便同時(shí)再現(xiàn)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)。
[0055]運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的每一個(gè)都保存轉(zhuǎn)換成編碼流的運(yùn)動(dòng)圖像內(nèi)容，將運(yùn)動(dòng)圖像內(nèi)容轉(zhuǎn)換成編碼流，并依照來自客戶機(jī)終端100的請求將編碼流發(fā)送給客戶機(jī)終端100。在這個(gè)實(shí)施例中，運(yùn)動(dòng)圖像內(nèi)各服務(wù)器2保存作為實(shí)時(shí)拍攝的運(yùn)動(dòng)圖像內(nèi)各項(xiàng)的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A、和作為事先已經(jīng)拍攝的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的累積運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B。并且，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器3保存作為實(shí)時(shí)拍攝的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C、和作為事先已經(jīng)拍攝的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的累積運(yùn)動(dòng)圖像內(nèi)容項(xiàng)D。不用說，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器保存的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的類型和數(shù)量不限于上面的例子。
[0056]這個(gè)實(shí)施例中的編碼流通過，例如，H.264/高級視頻編碼(AVC)方案來編碼。不用說，編碼方案不限于這個(gè)例子。
[0057]客戶機(jī)終端100通過像互聯(lián)網(wǎng)那樣的網(wǎng)絡(luò)10接收從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的多種編碼流，組合該多種編碼流，并解碼該組合編碼流。通過在復(fù)合之后解碼多種編碼流，客戶機(jī)終端100可以同時(shí)再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)。注意，多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)可以由客戶機(jī)終端100來進(jìn)行，或可以由含有顯示屏和有線或無線地與客戶機(jī)終端100連接的另一個(gè)設(shè)備來進(jìn)行。
[0058]假設(shè)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3保存的每個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)具有N個(gè)畫面組(GOP)0運(yùn)動(dòng)圖像內(nèi)容項(xiàng)中的相同GOP使客戶機(jī)終端100能夠組合多種編碼流和解碼該組合編碼流。
[0059]上面參考圖1描述了按照本公開的一個(gè)實(shí)施例的圖像處理系統(tǒng)I的總體配置例子。接著，將描述按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。
[0060][運(yùn)動(dòng)圖像內(nèi)容服務(wù)器的功能配置例子]
[0061]如上所述，按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3每一個(gè)可以保存實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容和累積運(yùn)動(dòng)圖像內(nèi)容的任何一種。于是，將描述在分發(fā)實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的情況下和在分發(fā)累積運(yùn)動(dòng)圖像內(nèi)容的情況下按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。
[0062]圖2示出了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。圖2示出了分發(fā)累積運(yùn)動(dòng)圖像內(nèi)容時(shí)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。
[0063]如圖2所示，按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的每一個(gè)包括控制單元11、處理后編碼流累積單元12、編碼流發(fā)送單元15、和網(wǎng)絡(luò)發(fā)送和接收單元16。
[0064]控制單元11控制運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3中的每個(gè)單元的操作。處理后編碼流累積單元12事先重新編碼運(yùn)動(dòng)圖像內(nèi)容并累積重新編碼編碼流。在控制單元11的控制下將累積在處理后編碼流累積單元12中的運(yùn)動(dòng)圖像內(nèi)容的重新編碼編碼流發(fā)送給編碼流發(fā)送單元15。
[0065]使用H.264/AVC方案方案的編碼流在相同切片中與基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)、幀內(nèi)宏塊(MB)預(yù)測、運(yùn)動(dòng)矢量預(yù)測等存在依賴關(guān)系。編碼從頂部開始沿著每個(gè)水平行和沿著每個(gè)水平行從左邊開始來進(jìn)行。
[0066]處理后編碼流累積單元12累積運(yùn)動(dòng)圖像內(nèi)容的編碼流的宏塊，該宏塊沿著水平方向排列并被重新編碼成相同切片。通過將沿著水平方向排列的宏塊重新編碼成相同切片，沿著垂直方向具有不同位置的宏塊之間的依賴關(guān)系在每個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)中消失了。因此，通過在客戶機(jī)終端100中組合運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的多種編碼流，即使宏塊的編碼次序不同，經(jīng)過解碼的多畫面再現(xiàn)圖像也變成與原始運(yùn)動(dòng)圖像內(nèi)容的圖像相同。
[0067]編碼流發(fā)送單元15在控制單元11的控制下使網(wǎng)絡(luò)發(fā)送和接收單元16使用像發(fā)送控制協(xié)議(TCP)或?qū)崟r(shí)傳輸協(xié)議(RTP)那樣的協(xié)議發(fā)送累積在處理后編碼流累積單元12中的運(yùn)動(dòng)圖像內(nèi)容的編碼流。
[0068]網(wǎng)絡(luò)發(fā)送和接收單元16接收來自網(wǎng)絡(luò)10的數(shù)據(jù)并將數(shù)據(jù)發(fā)送給網(wǎng)絡(luò)10。在這個(gè)實(shí)施例中，網(wǎng)絡(luò)發(fā)送和接收單元16在控制單元11的控制下接收從編碼流發(fā)送單元15發(fā)送的運(yùn)動(dòng)圖像內(nèi)容的編碼流，并將編碼流發(fā)送給網(wǎng)絡(luò)10。
[0069]圖3示出了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。圖3示出了，例如，分發(fā)實(shí)時(shí)拍攝的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容時(shí)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。
[0070]如圖3所示，按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的每一個(gè)包括控制單元11、待處理編碼流累積單元13、編碼流轉(zhuǎn)換單元14、編碼流發(fā)送單元15、和網(wǎng)絡(luò)發(fā)送和接收單元16。
[0071]控制單元11控制運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3中的每個(gè)單元的操作。待處理編碼流累積單元13累積未經(jīng)過上述重新編碼的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的編碼流。在控制單元11的控制下將累積在待處理編碼流累積單元13中的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的編碼流發(fā)送給編碼流轉(zhuǎn)換單元14。
[0072]編碼流轉(zhuǎn)換單元14在控制單元11的控制下對實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的編碼流進(jìn)行上述重新編碼。在重新編碼了實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的編碼流之后，編碼流轉(zhuǎn)換單元14在控制單元11的控制下將實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的重新編碼編碼流發(fā)送給編碼流發(fā)送單元15。
[0073]編碼流發(fā)送單元15在控制單元11的控制下使網(wǎng)絡(luò)發(fā)送和接收單元16使用像TCP或RTP那樣的協(xié)議發(fā)送從編碼流轉(zhuǎn)換單元14發(fā)送的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的編碼流。網(wǎng)絡(luò)發(fā)送和接收單元16接收來自網(wǎng)絡(luò)10的數(shù)據(jù)并將數(shù)據(jù)發(fā)送給網(wǎng)絡(luò)10。在這個(gè)實(shí)施例中，網(wǎng)絡(luò)發(fā)送和接收單元16在控制單元11的控制下接收從編碼流發(fā)送單元15發(fā)送的實(shí)時(shí)運(yùn)動(dòng)圖像內(nèi)容的編碼流，并將接收的編碼流發(fā)送給網(wǎng)絡(luò)10。
[0074]借助于顯示在圖2或圖3中的配置，按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3可以將適合在客戶機(jī)終端100中復(fù)合多種編碼流的編碼流發(fā)送給客戶機(jī)終端100。
[0075]上面參考圖2和3描述了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。接著，將描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子。首先，將描述簡單組合多種編碼流加以再現(xiàn)時(shí)客戶機(jī)終端100的功能配置例子。隨后，將描述簡單組合多種編碼流加以再現(xiàn)時(shí)可能發(fā)生的現(xiàn)象。在描述了現(xiàn)象之后，將描述解決現(xiàn)象的客戶機(jī)終端100的功能配置例子。
[0076][客戶機(jī)終端的功能配置例子]
[0077]圖4示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子。圖4示出了具有簡單組合和再現(xiàn)從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的編碼流的配置的客戶機(jī)終端100的例子。下面參考圖4描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子。
[0078]如圖4所示，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100包括控制單元101、網(wǎng)絡(luò)發(fā)送和接收單元102、編碼流分類單元103、內(nèi)容緩沖單元104a，104b, 104c,...，104η、流組合單元105、AVC解碼單元106、和應(yīng)用單元107。
[0079]控制單元101控制客戶機(jī)終端100中每個(gè)元件的操作。網(wǎng)絡(luò)發(fā)送和接收單元102在控制單元101的控制下接收來自網(wǎng)絡(luò)10的數(shù)據(jù)并將數(shù)據(jù)發(fā)送給網(wǎng)絡(luò)10。在這個(gè)實(shí)施例中，網(wǎng)絡(luò)發(fā)送和接收單元102接收從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的編碼流。網(wǎng)絡(luò)發(fā)送和接收單元102依照控制單元101的控制將接收的編碼流發(fā)送給編碼流分類單元103。由于網(wǎng)絡(luò)發(fā)送和接收單元102可以同時(shí)接收多種編碼流，所以當(dāng)接收到多種編碼流時(shí)，由后一級中的編碼流分類單元103分類多種編碼流。
[0080]編碼流分類單元103按運(yùn)動(dòng)圖像內(nèi)容單元分類網(wǎng)絡(luò)發(fā)送和接收單元102接收到的編碼流。如上所述，由于網(wǎng)絡(luò)發(fā)送和接收單元102可以同時(shí)接收多種編碼流，所以當(dāng)接收到多種編碼流時(shí)，編碼流分類單元103按運(yùn)動(dòng)圖像內(nèi)容單元分類多種編碼流。編碼流分類單元103可以參照，例如，標(biāo)識包含在接收編碼流中的內(nèi)容的信息按運(yùn)動(dòng)圖像內(nèi)容單元分類編碼流。在按運(yùn)動(dòng)圖像內(nèi)容單元分類了編碼流之后，編碼流分類單元103按運(yùn)動(dòng)圖像內(nèi)容單元將分類編碼流輸出到內(nèi)容緩沖單元104a，104b, 104c,...，104η。
[0081]內(nèi)容緩沖單元104a，104b，104c，...，104n的每一個(gè)按運(yùn)動(dòng)圖像內(nèi)容單元保存編碼流分類單元103按運(yùn)動(dòng)圖像內(nèi)容單元分類的編碼流。將按運(yùn)動(dòng)圖像內(nèi)容單元保存在各自內(nèi)容緩沖單元104a, 104b, 104c,...，104η中的編碼流輸出到流組合單元105。
[0082]流組合單元105在控制單元101的控制下提取和組合按運(yùn)動(dòng)圖像內(nèi)容單元保存在內(nèi)容緩沖單元104a，104b, 104c，...，104η的每一個(gè)中的編碼流。流組合單元105重寫多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流的切片首標(biāo)，以便將多種編碼流組合成一種。在將多種編碼流組合成一種之后，流組合單元105將組合編碼流輸出到AVC解碼單元106。
[0083]下面將描述流組合單元105中復(fù)合過程的例子。流組合單元105從多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流中識別切片的網(wǎng)絡(luò)抽象層(NAL)單元的數(shù)據(jù)長度I和切片的宏塊的數(shù)量sx0然后，根據(jù)數(shù)據(jù)長度1、宏塊的數(shù)量sx、和再現(xiàn)圖像中多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的排列，流組合單元105重寫多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流的切片首標(biāo)。
[0084]并且，流組合單元105從包括在內(nèi)容緩沖單元104a，104b, 104c,...，104η供應(yīng)的多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的每種編碼流中的畫面參數(shù)集(PPS)的NAL單元中獲取代表可逆編碼系統(tǒng)的可逆編碼系統(tǒng)標(biāo)志。這里，可逆編碼系統(tǒng)的例子包括基于上下文的自適應(yīng)可變長度編碼(CAVLC)和基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。并且，可逆編碼系統(tǒng)標(biāo)志當(dāng)代表CABAC時(shí)是1，而當(dāng)代表CAVLC時(shí)是O。
[0085]根據(jù)可逆編碼系統(tǒng)標(biāo)志，流組合單元105對重寫了切片首標(biāo)的多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的每種編碼流的切片數(shù)據(jù)進(jìn)行預(yù)定處理。并且，根據(jù)再現(xiàn)圖像中多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的排列，流組合單元105組合包括已經(jīng)經(jīng)過上述預(yù)定處理的切片數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流和重寫的切片首標(biāo)，從而生成作為一個(gè)圖像再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的再現(xiàn)圖像的編碼流。
[0086]AVC解碼單元106在控制單元101的控制下解碼流組合單元105已經(jīng)組合成一種的編碼流。通過解碼流組合單元105已經(jīng)組合成一種的編碼流，AVC解碼單元106可以生成和輸出作為一個(gè)圖像再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的再現(xiàn)圖像。AVC解碼單元106將解碼數(shù)據(jù)輸出到應(yīng)用單元107。
[0087]這里，將具體描述在流組合單元105中組合多種編碼流的過程。圖5示出了在流組合單元105中組合多種編碼流的過程。圖5示出了組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流的過程:運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D。圖5示出了流組合單元105組合運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的畫面號PN是i的畫面、運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的畫面號PN是j的畫面、運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的畫面號PN是k的畫面、和運(yùn)動(dòng)圖像內(nèi)容項(xiàng)D的畫面號PN是I的畫面的例子。
[0088]四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流由流組合單元105組合在一起，然后從流組合單元105輸出編碼流成為完成了切片復(fù)合的一個(gè)畫面。變成一個(gè)畫面的編碼流由AVC解碼單元106解碼，從AVC解碼單元106輸出成為各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的像素組。
[0089]圖6示出了在流組合單元105中組合多種編碼流的過程。圖6還示出了內(nèi)容緩沖單元104a, 104b, 104c和104d。當(dāng)組合多種編碼流時(shí),流組合單元105排列所有編碼流的GOP配置。也就是說，如圖6所示，進(jìn)行復(fù)合以便復(fù)合單元中的畫面是相同類型的畫面(IDR畫面或非IDR畫面)。
[0090]圖7示出了在流組合單元105中已經(jīng)組合的多種編碼流的狀態(tài)。在流組合單元105中按畫面單元組合(切片組合)了四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流之后，如圖7所示，按畫面單元從流組合單元105輸出組合編碼流，并發(fā)送給AVC解碼單元106。
[0091]通過排列畫面的類型和解碼以這種方式從流組合單元105發(fā)送的組合編碼流，AVC解碼單元106可以生成含有各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的像素組的圖像。
[0092]應(yīng)用單元107進(jìn)行由客戶機(jī)終端100進(jìn)行的應(yīng)用。應(yīng)用單元107獲取從AVC解碼單元106輸出的數(shù)據(jù)。應(yīng)用單元107然后在控制單元101的控制下，可以將通過解碼獲得的圖像顯示在顯示屏上，或?qū)D像傳送給含有顯示屏的另一個(gè)設(shè)備。
[0093]按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100具有顯示在圖4中的配置；因此，可以通過排列畫面的類型組合和解碼從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的編碼流，以便在一個(gè)屏幕上再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)。
[0094]同時(shí)，由于顯示在圖4中的配置，客戶機(jī)終端100可以發(fā)生下面所述的現(xiàn)象。
[0095]圖8示出了在流組合單元105中組合多種編碼流的過程。圖8示出了與顯示在圖5中的例子一樣組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流的過程。但是，圖8示出了盡管流組合單元105將組合運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的畫面號PN是i的畫面、運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的畫面號PN是j的畫面、和運(yùn)動(dòng)圖像內(nèi)容項(xiàng)D的畫面號PN是I的畫面，但由于某種原因未輸入運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流的情況。
[0096]可以假設(shè)為什么未輸入運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流的多種原因。例如，可以給出如下情況:由于在運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3到客戶機(jī)終端100的傳輸路徑中存在障礙使分組丟失了，或因?yàn)榉纸M從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3到達(dá)客戶機(jī)終端100延遲了，所以不存在目標(biāo)畫面。
[0097]當(dāng)這樣未輸入一個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流時(shí)，如圖8所示，在流組合單元105中編碼流的切片復(fù)合失敗了。這是因?yàn)榱鹘M合單元105無法完成一個(gè)畫面。當(dāng)編碼流的切片復(fù)合失敗了時(shí)，在AVC解碼單元106中也不能正常解碼。于是，當(dāng)只有一個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)未輸入時(shí)，可能發(fā)生不再現(xiàn)和顯示其它(在圖8中的例子中，三個(gè))運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的現(xiàn)象。
[0098]圖9示出了在流組合單元105中組合多種編碼流的過程。圖9示出了與顯示在圖6中的例子一樣組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流的過程。但是，圖9示出了當(dāng)在流組合單元105中組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流時(shí)，在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的至少一個(gè)的編碼流中丟失了一些畫面的情況。
[0099]例如，圖9示出了內(nèi)容緩沖單元104b存儲(chǔ)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的畫面號PN是j的IDR畫面，內(nèi)容緩沖單元104c存儲(chǔ)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的畫面號PN是k的IDR畫面，和內(nèi)容緩沖單元104d存儲(chǔ)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)D的畫面號PN是I的IDR畫面，但因?yàn)橛捎谀撤N原因未輸入IDR畫面，所以內(nèi)容緩沖單元104a未存儲(chǔ)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的畫面號PN是i的IDR畫面的情況。在這種狀態(tài)下，流組合單元105無法切片組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流。這是因?yàn)榱鹘M合單元105無法完成一個(gè)畫面。
[0100]在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的至少一個(gè)的編碼流中，在多個(gè)畫面上選成這樣的畫面丟失，流組合單元105在畫面丟失的時(shí)候無法切片組合編碼流。
[0101]于是，這個(gè)實(shí)施例示出了即使在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的任何一個(gè)的編碼流中這樣丟失了畫面，也可以進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示的客戶機(jī)終端100。
[0102]圖10示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子。圖10示出了具有組合和再現(xiàn)從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的編碼流的配置的客戶機(jī)終端100的例子。下面參考圖10描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子。
[0103]如圖10所示，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100包括控制單元101、網(wǎng)絡(luò)發(fā)送和接收單元102、編碼流分類單元103、內(nèi)容緩沖單元104a，104b, 104c,...，104η、流組合單元105、AVC解碼單元106、應(yīng)用單元107、和替代畫面生成單元108。
[0104]在顯示在圖10中的客戶機(jī)終端100的配置中，除了替代畫面生成單元108之外的其它配置與顯示在圖4中的客戶機(jī)終端100的配置相同，因此這里省略對它們的詳細(xì)描述，而詳細(xì)描述替代畫面生成單元108。
[0105]當(dāng)在客戶機(jī)終端100接收的多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流中存在丟失時(shí)，替代畫面生成單元108在控制單元101的控制下生成替代畫面，以便可以用另一個(gè)畫面(也叫做替代畫面)取代丟失部分。
[0106]取決于丟失畫面的類型，替代畫面生成單元108可以生成不同替代畫面。例如，當(dāng)丟失畫面是IDR畫面時(shí)，替代畫面生成單元108可以將作為相關(guān)編碼流中的最后畫面正常接收的IDR畫面設(shè)置成替代畫面。
[0107]當(dāng)丟失畫面是P畫面時(shí)，替代畫面生成單元108可以將使用跳過宏塊的P畫面設(shè)置成替代畫面。
[0108]從內(nèi)容緩沖單元104a，104b, 104c,...，104η中提取編碼流的流組合單元105確定在編碼流中是否選成丟失。當(dāng)在復(fù)合多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流期間檢測到編碼流中的丟失時(shí)，流組合單元105將包括丟失和丟失畫面的類型的與編碼流相對應(yīng)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的信息通知控制單元101。
[0109]流組合單元105可以通過確定，例如，存儲(chǔ)在內(nèi)容緩沖單元104a，104b，104c，...，104η中的畫面的畫面號是否以正確次序輸出到流組合單元105來確定在編碼流中是否選成丟失。
[0110]在從流組合單元105接收到接收編碼流中的丟失的通知之后，控制單元101將該丟失通知替代畫面生成單元108。替代畫面生成單元108生成與該丟失相對應(yīng)的替代畫面，并將生成的替代畫面輸出到流組合單元105。流組合單元105用從替代畫面生成單元108發(fā)送的替代畫面取代丟失畫面，并進(jìn)行切片復(fù)合。
[0111]借助于上面的配置，即使在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的任何一個(gè)的編碼流中丟失了畫面，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100也可以通過用替代畫面取代丟失畫面進(jìn)行復(fù)合，同時(shí)再現(xiàn)和顯示多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)。
[0112]注意，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3可以取代客戶機(jī)終端100來生成替代畫面。當(dāng)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3生成替代畫面時(shí)，除了運(yùn)動(dòng)圖像內(nèi)容的編碼流之外，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3還發(fā)送編碼替代畫面的編碼流。下面將描述運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3生成替代畫面的配置例子。
[0113]圖11示出了按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。圖11示出了當(dāng)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3生成替代畫面時(shí)，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3的功能配置例子。
[0114]如圖11所示，按照本公開的一個(gè)實(shí)施例的運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3包括控制單元11、編碼流發(fā)送單元15、網(wǎng)絡(luò)發(fā)送和接收單元16、編碼內(nèi)容流生成/累積單元21、和編碼替代流生成/累積單元22。
[0115]編碼內(nèi)容流生成/累積單元21生成和累積要發(fā)送給客戶機(jī)終端100的編碼流。編碼內(nèi)容流生成/累積單元21可以包括顯示在圖2中的處理后編碼流累積單元12、和顯示在圖3中的待處理編碼流累積單元13和編碼流轉(zhuǎn)換單元14。
[0116]當(dāng)在編碼流到客戶機(jī)終端100的發(fā)送中在編碼流的一部分中選成丟失時(shí)，編碼替代流生成/累積單元22生成和累積用作在客戶機(jī)終端100中生成的替代畫面的基礎(chǔ)的流。在編碼替代流生成/累積單元22中生成流具有與其它編碼流相同的G0P。
[0117]借助于顯示在圖11中的配置，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3可以生成和累積替代畫面。并且，借助于顯示在圖11中的配置，運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3可以將包括替代畫面的編碼流發(fā)送給客戶機(jī)終端100。
[0118]隨后，將描述按照本公開的一個(gè)實(shí)施例的包括在客戶機(jī)終端100中的替代畫面生成單元108的功能配置例子。圖12示出了按照本公開的一個(gè)實(shí)施例的包括在客戶機(jī)終端100中的替代畫面生成單元108的功能配置例子。
[0119]如圖12所示，替代畫面生成單元108包括參數(shù)生成單元IlUIDR畫面存儲(chǔ)生成單元112、P畫面生成單元113、和畫面選擇單元114。
[0120]參數(shù)生成單元111從從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的運(yùn)動(dòng)圖像內(nèi)容的編碼流中生成用于生成替代畫面的參數(shù)。在從運(yùn)動(dòng)圖像內(nèi)容的編碼流中生成用于生成替代畫面的參數(shù)之后，參數(shù)生成單元111將生成的參數(shù)輸出到IDR畫面存儲(chǔ)生成單元112和P畫面生成單元113。
[0121]當(dāng)替代畫面是IDR畫面時(shí)，IDR畫面存儲(chǔ)生成單元112從運(yùn)動(dòng)圖像內(nèi)容的編碼流中獲取用作替代畫面的基礎(chǔ)的IDR畫面以便存儲(chǔ)該IDR畫面，存儲(chǔ)固定IDR畫面，或生成給定IDR畫面。IDR畫面存儲(chǔ)生成單元112根據(jù)從參數(shù)生成單元111輸出的參數(shù)生成用作替代畫面的基礎(chǔ)的IDR畫面。IDR畫面存儲(chǔ)生成單元112的配置例子將在以后描述。IDR畫面存儲(chǔ)生成單元112將用作替代畫面的基礎(chǔ)的IDR畫面輸出到畫面選擇單元114。
[0122]當(dāng)替代畫面是P畫面時(shí)，P畫面生成單元113生成用作替代畫面的基礎(chǔ)的P畫面。P畫面生成單元113根據(jù)從參數(shù)生成單元111輸出的參數(shù)生成用作替代畫面的基礎(chǔ)的P畫面。P畫面生成單元113將用作替代畫面的基礎(chǔ)的P畫面輸出到畫面選擇單元114。
[0123]在這個(gè)實(shí)施例中，P畫面生成單元113根據(jù)從參數(shù)生成單元111輸出的參數(shù)，使用跳過宏塊生成P畫面。注意，在使用MPEG-4的情況下，P畫面生成單元113通過使用與跳過宏塊相同的參考幀的像素生成P畫面。在使用H.264/AVC的情況下，P畫面生成單元113通過使用預(yù)測運(yùn)動(dòng)矢量和作為跳過宏塊的運(yùn)動(dòng)補(bǔ)償預(yù)測信號生成P畫面。
[0124]畫面選擇單元114選擇從IDR畫面存儲(chǔ)生成單元112輸出的IDR畫面或從P畫面生成單元113輸出的P畫面，并將所選畫面設(shè)置成替代畫面。IDR畫面或P畫面的選擇基于發(fā)送給畫面選擇單元114的信息。也就是說,畫面選擇單元114取決于IDR畫面還是P畫面丟失地選擇IDR畫面或P畫面。
[0125]接著，將描述IDR畫面存儲(chǔ)生成單元112的配置例子。圖13示出了包括在替代畫面生成單元108中的IDR畫面存儲(chǔ)生成單元112的配置例子。
[0126]如圖13所示，IDR畫面存儲(chǔ)生成單元112包括固定IDR畫面存儲(chǔ)單元121、給定IDR畫面生成單元122、最終IDR畫面存儲(chǔ)單元123a到123η、和服務(wù)器IDR畫面存儲(chǔ)單元124a 到 124η ο
[0127]當(dāng)IDR畫面丟失以及將固定畫面用作替代畫面時(shí)，固定IDR畫面存儲(chǔ)單元121存儲(chǔ)固定IDR畫面。存儲(chǔ)在固定IDR畫面存儲(chǔ)單元121中的IDR畫面的例子包括顯示特定圖像或字符的畫面。
[0128]當(dāng)IDR畫面丟失以及將給定畫面用作替代畫面時(shí),給定IDR畫面生成單元122生成給定IDR畫面。給定IDR畫面的例子包括顯示依照客戶機(jī)終端100的狀態(tài)生成的圖像或字符的畫面。
[0129]當(dāng)IDR畫面丟失以及將最近IDR畫面用作從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的運(yùn)動(dòng)圖像內(nèi)容的編碼流中的替代畫面時(shí)，最終IDR畫面存儲(chǔ)單元123a到123η存儲(chǔ)最近(最終)IDR畫面。
[0130]最終IDR畫面存儲(chǔ)單元123a到123η的數(shù)量可以與內(nèi)容緩沖單元104a到104η的數(shù)量相同。也就是說，可以將運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的最終IDR畫面存儲(chǔ)在最終IDR畫面存儲(chǔ)單元123a中，將運(yùn)動(dòng)圖像內(nèi)容項(xiàng)N的最終IDR畫面存儲(chǔ)在最終IDR畫面存儲(chǔ)單元123η中。
[0131]當(dāng)IDR畫面丟失以及將IDR畫面用作從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的替代畫面的編碼流中的替代畫面時(shí)，服務(wù)器IDR畫面存儲(chǔ)單元124a到124η存儲(chǔ)從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3發(fā)送的替代畫面的編碼流中的IDR畫面。
[0132]服務(wù)器IDR畫面存儲(chǔ)單元124a到124η的數(shù)量可以與內(nèi)容緩沖單元104a到104η的數(shù)量相同。也就是說，可以將與運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A相對應(yīng)的替代畫面的IDR畫面存儲(chǔ)在服務(wù)器IDR畫面存儲(chǔ)單元124a中，將與運(yùn)動(dòng)圖像內(nèi)容項(xiàng)N相對應(yīng)的替代畫面的IDR畫面存儲(chǔ)在服務(wù)器IDR畫面存儲(chǔ)單元124η中。
[0133]客戶機(jī)終端100的用戶可以選擇要用作替代畫面的IDR畫面。
[0134]借助于這種配置，即使在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)之一的編碼流中丟失了畫面，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100也可以生成替代畫面，或用從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3獲得的替代畫面取代丟失畫面，以便進(jìn)行復(fù)合。即使在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)之一的編碼流中丟失了畫面，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100也可以通過用替代畫面取代丟失畫面進(jìn)行復(fù)合，從而繼續(xù)進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示。
[0135]上面描述了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的功能配置例子。接著，將描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子。
[0136][客戶機(jī)終端的操作例子]
[0137]圖14是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖。圖14示出了客戶機(jī)終端100從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3接收多種編碼流，并組合和編碼畫面以便同時(shí)再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的過程。下面參考圖14描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子。
[0138]首先，客戶機(jī)終端100進(jìn)行初始設(shè)置以便同時(shí)再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)(步驟SlOl到S105)?？刂茊卧?01可以進(jìn)行步驟SlOl到S105中的初始設(shè)置?？蛻魴C(jī)終端100將要同時(shí)再現(xiàn)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的數(shù)量設(shè)置成變量N(步驟S101)。并且，客戶機(jī)終端100將保存各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的最終IDR畫面的緩沖器(最終IDR畫面存儲(chǔ)單元123a到123η)設(shè)置成零(步驟S102)。
[0139]并且，客戶機(jī)終端100將與各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)有關(guān)的替代模式標(biāo)志設(shè)置成“假”(步驟S103)，并設(shè)置有關(guān)是否實(shí)時(shí)分發(fā)各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的標(biāo)志(步驟S104)。然后，客戶機(jī)終端100將標(biāo)識當(dāng)前畫面是否是IDR畫面的IDR定時(shí)標(biāo)志設(shè)置成“真”(步驟S105)。
[0140]注意，替代模式標(biāo)志是由于畫面的丟失生成替代畫面以及確定是否將替代畫面用于復(fù)合過程的標(biāo)志。
[0141]在步驟SlOl到S105進(jìn)行初始設(shè)置以便同時(shí)再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)之后，客戶機(jī)終端100開始從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3獲取運(yùn)動(dòng)圖像內(nèi)容項(xiàng)(步驟S106)。然后，在開始從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3獲取運(yùn)動(dòng)圖像內(nèi)容項(xiàng)之后，客戶機(jī)終端100獲取各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的畫面參數(shù)(步驟S107)。
[0142]在獲取了各自運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的畫面參數(shù)之后，客戶機(jī)終端100按畫面單元執(zhí)行使用各自所獲運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的畫面參數(shù)組合多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的復(fù)合主過程(步驟S108)。流組合單元105執(zhí)行該復(fù)合主過程。注意，復(fù)合主過程的概況將在后面作詳細(xì)描述。
[0143]在執(zhí)行了組合多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的復(fù)合主過程之后，客戶機(jī)終端100等待下一個(gè)復(fù)合定時(shí)(步驟S109)，并確定是非中斷復(fù)合過程(步驟S110)。當(dāng)不中斷復(fù)合過程時(shí)，客戶機(jī)終端100繼續(xù)執(zhí)行步驟S108中的復(fù)合主過程；當(dāng)中斷復(fù)合過程時(shí)，客戶機(jī)終端100結(jié)束該一系列過程。
[0144]接著，將詳細(xì)描述顯示在圖14中的步驟S108中的復(fù)合主過程。圖15Α到17Β是示出按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子的流程圖。圖15Α到17Β示出了顯示在圖14中的步驟S108中的復(fù)合主過程的詳細(xì)流程。下面參考圖15Α到17Β描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子。
[0145]當(dāng)執(zhí)行復(fù)合主過程時(shí)，首先，客戶機(jī)終端100將緩沖器號設(shè)置成1(步驟S111)。控制單元101可以執(zhí)行步驟Slll中的過程。在將緩沖器號設(shè)置成I之后，客戶機(jī)終端100將具有該緩沖器號的緩沖器設(shè)置成目標(biāo)緩沖器(步驟S112)?？刂茊卧?01可以執(zhí)行步驟S112中的過程。也就是說，當(dāng)緩沖器號是I時(shí)，內(nèi)容緩沖單元104a被設(shè)置成過程目標(biāo)緩沖器。
[0146]接著，客戶機(jī)終端100確定過程目標(biāo)緩沖器的頭部是否是空的或是否存在事先到達(dá)的畫面(步驟S113)?？刂茊卧?01可以執(zhí)行步驟S113中的確定過程。
[0147]作為步驟S113中的確定結(jié)果，當(dāng)過程目標(biāo)緩沖器的頭部非空以及沒有畫面事先到達(dá)時(shí)，客戶機(jī)終端100確定目標(biāo)緩沖器是否要存儲(chǔ)實(shí)時(shí)(具有“真”的實(shí)時(shí)模式標(biāo)志)分發(fā)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流，以及目標(biāo)緩沖器的頭部是否是經(jīng)過替代過程的畫面(步驟S114)。控制單元101可以執(zhí)行步驟S114中的確定過程。
[0148]作為步驟S114中的確定結(jié)果，當(dāng)目標(biāo)緩沖器要存儲(chǔ)實(shí)時(shí)分發(fā)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流，以及目標(biāo)緩沖器的頭部是經(jīng)過替代過程的畫面時(shí)，客戶機(jī)終端100提取目標(biāo)緩沖器的頭部上的畫面(步驟S115)?？刂茊卧?01可以使流組合單元105執(zhí)行步驟S115中的過程。
[0149]由于目標(biāo)緩沖器存儲(chǔ)實(shí)時(shí)分發(fā)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)，所以當(dāng)在目標(biāo)緩沖器的頭部存在經(jīng)過替代過程的畫面(即，以后到達(dá)的畫面)時(shí)，為了保持時(shí)間軸，客戶機(jī)終端100提取以后到達(dá)的畫面(在緩沖器的頭部上的畫面)，以便不將這個(gè)畫面用于復(fù)合過程。
[0150]在步驟S115中提取了目標(biāo)緩沖器的頭部上的畫面之后，客戶機(jī)終端100確定提取的畫面是否是IDR畫面(步驟S116)?？刂茊卧?01可以執(zhí)行步驟S116中的確定過程。
[0151]作為步驟S116中的確定結(jié)果，當(dāng)提取的畫面是IDR畫面時(shí)，客戶機(jī)終端100將提取的IDR畫面存儲(chǔ)在與緩沖器號相對應(yīng)的最終IDR畫面存儲(chǔ)單元123a到123η之一中(當(dāng)緩沖器號是I時(shí)，在最終IDR畫面存儲(chǔ)單元123a中)(步驟S117)?？刂茊卧?01可以執(zhí)行步驟S117中的過程。當(dāng)提取的畫面是IDR畫面但不將該畫面用于復(fù)合過程時(shí)，該畫面可能被用在畫面的隨后替代過程中；于是，客戶機(jī)終端100將提取的IDR畫面存儲(chǔ)在與緩沖器號相對應(yīng)的最終IDR畫面存儲(chǔ)單元123a到123η之一中。
[0152]同時(shí)，作為步驟S116中的確定結(jié)果，當(dāng)提取的畫面是P畫面時(shí)，客戶機(jī)終端100跳過步驟S117中的過程。
[0153]在將提取的IDR畫面存儲(chǔ)在與緩沖器號相對應(yīng)的最終IDR畫面存儲(chǔ)單元123a到123η之一中(或跳過存儲(chǔ)過程)之后，客戶機(jī)終端100返回到步驟S112中的過程。
[0154]同時(shí)，作為步驟S114中的確定結(jié)果，當(dāng)目標(biāo)緩沖器不存儲(chǔ)實(shí)時(shí)分發(fā)的運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流時(shí)，或當(dāng)目標(biāo)緩沖器的頭部不包含經(jīng)過替代過程的畫面時(shí)，客戶機(jī)終端100提取目標(biāo)緩沖器的頭部上的畫面(步驟S118)。控制單元101可以使流組合單元105執(zhí)行步驟S118中的過程。
[0155]在步驟S118中提取了目標(biāo)緩沖器的頭部上的畫面之后，客戶機(jī)終端100確定IDR定時(shí)標(biāo)志是否是“真”(步驟S119)?？刂茊卧?01可以執(zhí)行步驟S119中的確定過程。
[0156]作為步驟SI 19中的確定結(jié)果，當(dāng)IDR定時(shí)標(biāo)志是“真”時(shí)，客戶機(jī)終端100將在步驟SI 18中提取的IDR畫面存儲(chǔ)在與緩沖器號相對應(yīng)的最終IDR畫面存儲(chǔ)單元123a到123η之一中(當(dāng)緩沖器號是I時(shí)，在最終IDR畫面存儲(chǔ)單元123a中)(步驟S120)?？刂茊卧?01可以執(zhí)行步驟S120中的過程。
[0157]在將提取的IDR畫面存儲(chǔ)在與緩沖器號相對應(yīng)的最終IDR畫面存儲(chǔ)單元123a到123η之一中之后，客戶機(jī)終端100將與過程目標(biāo)的緩沖器相對應(yīng)的替代模式標(biāo)志設(shè)置成“假”(步驟S121)?？刂茊卧?01可以執(zhí)行步驟S121中的過程。
[0158]同時(shí)，作為步驟SI 19中的確定結(jié)果，當(dāng)IDR定時(shí)標(biāo)志非“真”時(shí)(B卩，當(dāng)IDR定時(shí)標(biāo)志是“假”時(shí))，客戶機(jī)終端100不執(zhí)行步驟S120和S121中的過程，而是確定與作為過程目標(biāo)的緩沖器相對應(yīng)的替代模式標(biāo)志是否是“真”(步驟S122)?？刂茊卧?01可以執(zhí)行步驟S122中的確定過程。
[0159]作為步驟S122中的確定結(jié)果，當(dāng)與過程目標(biāo)緩沖器相對應(yīng)的替代模式標(biāo)志是“真”時(shí)，客戶機(jī)終端100針對與該緩沖器相對應(yīng)的編碼流生成P畫面的替代畫面(步驟S123)。替代畫面生成單元108可以執(zhí)行步驟S123中的過程。這里生成P畫面的替代畫面的原因?qū)⒃诤竺孀髟敿?xì)描述，但如下是簡單描述。
[0160]此刻替代模式標(biāo)志是“真”意味著先前IDR畫面已經(jīng)丟失了，并已經(jīng)執(zhí)行了生成替代畫面的過程。P畫面依賴于相同先前GOP中的IDR畫面的信息。因此，即使正常接收到P畫面，只要生成IDR畫面的替代畫面，客戶機(jī)終端100也移除正常接收的P畫面，并使用跳過宏塊用一個(gè)P畫面取代該P(yáng)畫面。
[0161]在執(zhí)行了步驟S121或S123中的過程之后，客戶機(jī)終端100將在步驟S118中提取的畫面或在步驟S123中生成的替代畫面發(fā)送給流組合單元105 (步驟S124)。替代畫面生成單元108可以執(zhí)行步驟S124中的過程。在步驟S124中將畫面發(fā)送給流組合單元105之后，客戶機(jī)終端100開始后面將描述的步驟S130中的過程。
[0162]作為步驟S113中的確定結(jié)果，當(dāng)過程目標(biāo)緩沖器的頭部是空的或存在事先到達(dá)的畫面時(shí)，客戶機(jī)終端100確定IDR定時(shí)標(biāo)志是否是“真”(步驟S125)。控制單元101可以執(zhí)行步驟S125中的確定過程。
[0163]作為步驟S125中的確定結(jié)果，當(dāng)IDR定時(shí)標(biāo)志是“真”時(shí)，客戶機(jī)終端100確定IDR畫面丟失了，并在替代畫面生成單元108中生成作為IDR畫面的替代物的替代畫面(替代IDR畫面)(步驟S126)。
[0164]同時(shí)，作為步驟S125中的確定結(jié)果，當(dāng)IDR定時(shí)標(biāo)志非“真”時(shí)(B卩，當(dāng)IDR定時(shí)標(biāo)志是“假”時(shí)，客戶機(jī)終端100確定P畫面丟失了，并在替代畫面生成單元108中生成作為P畫面的替代物的替代畫面(替代P畫面)(步驟S127)。在替代畫面生成單元108中生成替代IDR畫面的過程和生成替代P畫面的過程的流程將在后面作詳細(xì)描述。
[0165]在步驟S126或S127中生成替代IDR畫面或替代P畫面之后，客戶機(jī)終端100將在步驟S126或S127中生成的替代IDR畫面或替代P畫面從替代畫面生成單元108發(fā)送到流組合單元105 (步驟S129)。
[0166]在將替代IDR畫面或替代P畫面從替代畫面生成單元108發(fā)送到流組合單元105之后，客戶機(jī)終端100將緩沖器號加I (步驟S130)?？刂茊卧?01可以執(zhí)行步驟S130中的過程。
[0167]在將緩沖器號加I之后，客戶機(jī)終端100確定遞增的緩沖器號是否小于等于內(nèi)容項(xiàng)的數(shù)量N (步驟S131)?？刂茊卧?01可以執(zhí)行步驟S130中的確定過程。
[0168]作為步驟S131中的確定結(jié)果，當(dāng)遞增的緩沖器號小于等于內(nèi)容項(xiàng)的數(shù)量N時(shí)，客戶機(jī)終端100返回到步驟S112中的過程。同時(shí)，作為步驟S131中的確定結(jié)果，當(dāng)遞增的緩沖器號大于內(nèi)容項(xiàng)的數(shù)量N時(shí)，客戶機(jī)終端100在流組合單元105中執(zhí)行畫面的復(fù)合過程(步驟S132)。由于畫面的復(fù)合過程上面已經(jīng)描述過，所以這里省略對它詳細(xì)描述。
[0169]在步驟S132中執(zhí)行了畫面的復(fù)合過程之后，客戶機(jī)終端100確定當(dāng)前畫面是否是GOP的最終畫面(步驟S133)?？刂茊卧?01可以執(zhí)行步驟S133中的確定過程。
[0170]作為步驟S133中的確定結(jié)果，當(dāng)當(dāng)前畫面是GOP的最終畫面時(shí)，客戶機(jī)終端100將IDR定時(shí)標(biāo)志設(shè)置成“真”(步驟S134)。同時(shí)，作為步驟S133中的確定結(jié)果，當(dāng)當(dāng)前畫面不是GOP的最終畫面時(shí)，客戶機(jī)終端100將IDR定時(shí)標(biāo)志設(shè)置成“假”(步驟S135)。控制單元101可以執(zhí)行步驟S135中的過程。
[0171]在步驟S134或S135中將IDR定時(shí)標(biāo)志設(shè)置成“真”或“假”之后，客戶機(jī)終端100終止復(fù)合主過程，并開始步驟S109中的過程(等待下一個(gè)復(fù)合定時(shí))。
[0172]接著，將描述在替代畫面生成單元108中生成替代IDR畫面的過程和生成替代P畫面的過程的流程。當(dāng)生成替代IDR畫面時(shí)，首先，客戶機(jī)終端100確定最后接收到的IDR畫面是否要用作替代IDR畫面(步驟S141)。控制單元101可以執(zhí)行步驟S141中的確定過程。
[0173]作為步驟S141中的確定結(jié)果，當(dāng)最后接收到的IDR畫面要用作替代IDR畫面時(shí)，客戶機(jī)終端100將存儲(chǔ)在最終IDR畫面存儲(chǔ)單元123a到123η的某一個(gè)中的IDR畫面返還給流組合單元105作為替代IDR畫面(步驟S142)。替代畫面生成單元108可以執(zhí)行步驟S142中的過程。
[0174]同時(shí)，作為步驟S141中的確定結(jié)果，當(dāng)最后接收到的IDR畫面不用作替代IDR畫面時(shí)，客戶機(jī)終端100確定運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的IDR畫面是否要用作替代IDR畫面(步驟S143)?？刂茊卧?01可以執(zhí)行步驟S143中的確定過程。
[0175]作為步驟S143中的確定結(jié)果，當(dāng)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的IDR畫面要用作替代IDR畫面時(shí)，客戶機(jī)終端100將運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的和存儲(chǔ)在服務(wù)器IDR畫面存儲(chǔ)單元124a到124η的某一個(gè)中的IDR畫面返還給流組合單元105作為替代IDR畫面(步驟S144)。替代畫面生成單元108可以執(zhí)行步驟S144中的過程。
[0176]同時(shí)，作為步驟S143中的確定結(jié)果，當(dāng)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的IDR畫面不用作替代IDR畫面時(shí)，客戶機(jī)終端100從具有該目標(biāo)緩沖器號的畫面中獲取相應(yīng)編碼流的參數(shù)(步驟S145)?？刂茊卧?01可以執(zhí)行步驟S145中的過程。
[0177]在步驟S145中從具有該目標(biāo)緩沖器號的畫面中獲取了相應(yīng)編碼流的參數(shù)之后，客戶機(jī)終端100使用所獲參數(shù)生成給定IDR畫面，并將給定IDR畫面返還給流組合單元105作為替代IDR畫面(步驟S146)。替代畫面生成單元108可以執(zhí)行步驟S146中的過程。
[0178]注意，作為步驟S143中的確定結(jié)果，當(dāng)運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的IDR畫面不用作替代IDR畫面時(shí)，客戶機(jī)終端100可以將固定IDR畫面返還給流組合單元105作為替代IDR畫面。
[0179]當(dāng)生成替代P畫面時(shí)，首先，客戶機(jī)終端100從具有該目標(biāo)緩沖器號的畫面中獲取相應(yīng)編碼流的參數(shù)(步驟S151)?？刂茊卧?01可以執(zhí)行步驟S151中的過程。
[0180]在步驟S151中從具有該目標(biāo)緩沖器號的畫面中獲取了相應(yīng)編碼流的參數(shù)之后，客戶機(jī)終端100使用所獲參數(shù)和使用跳過宏塊生成P畫面，并將P畫面返還給流組合單元105作為替代P畫面(步驟S152)。替代畫面生成單元108可以執(zhí)行步驟S152中的過程。
[0181]上面描述了在替代畫面生成單元108中生成替代IDR畫面的過程和生成替代P畫面的過程。
[0182]通過執(zhí)行上述操作，即使在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的某一個(gè)的編碼流中丟失了畫面，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100也可以生成替代畫面或從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3獲取替代畫面，并用從運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3獲得的替代畫面取代丟失畫面，以便進(jìn)行復(fù)合。即使在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的某一個(gè)的編碼流中丟失了畫面，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100也可以通過用替代畫面取代丟失畫面進(jìn)行復(fù)合，從而繼續(xù)進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示。
[0183]這里，將更詳細(xì)描述按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100的操作例子。
[0184]圖18示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100執(zhí)行的組合多種編碼流的過程。圖18示出了當(dāng)要組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流時(shí)，在復(fù)合定時(shí)未輸入運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流的過程。
[0185]當(dāng)未輸入運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流時(shí)，客戶機(jī)終端100將替代畫面生成單元108生成的替代畫面的畫面號PN設(shè)置成k，并將替代畫面并入假設(shè)組合運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流的地方。然后，客戶機(jī)終端100在流組合單元105中組合并入替代畫面的四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流的切片組。在流組合單元105中組合的一個(gè)畫面在AVC解碼單元106中被解碼，用作運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A，B和D的像素組、和用作運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的替代物的替代內(nèi)容項(xiàng)的像素組。
[0186]圖19示出了按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100執(zhí)行的組合多種編碼流的過程。與圖18的例子一樣，圖19示出了當(dāng)要組合四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A到D的編碼流時(shí)，在復(fù)合定時(shí)未輸入運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流的過程。
[0187]圖19示出了將運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的替代畫面用作替代畫面的例子。當(dāng)未輸入運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C時(shí)，客戶機(jī)終端100將運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3提供的替代畫面的畫面號設(shè)置成k，并將替代畫面并入假設(shè)組合運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的編碼流的地方。
[0188]然后，客戶機(jī)終端100在流組合單元105中組合并入替代畫面的四個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流的切片組。在流組合單元105中組合的一個(gè)畫面在AVC解碼單元106中被解碼，用作運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A，B和D的像素組、和用作運(yùn)動(dòng)圖像內(nèi)容項(xiàng)C的替代物的替代內(nèi)容項(xiàng)的像素組。
[0189]圖20示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。圖20示出了當(dāng)編碼流沒有畫面丟失地到達(dá)客戶機(jī)終端100時(shí)，在正常接收的時(shí)候編碼流的例子。注意，為了便于描述起見，圖20只示出了內(nèi)容緩沖單元104a和104b。
[0190]如圖20所示，當(dāng)編碼流沒有丟失地正常到達(dá)客戶機(jī)終端100時(shí)，客戶機(jī)終端100從內(nèi)容緩沖單元104a和104b中逐個(gè)提取畫面，相互組合IDR畫面，并相互組合非IDR畫面，從而進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示。
[0191]當(dāng)多種接收編碼流的至少一種丟失了時(shí)，如上所述，客戶機(jī)終端100準(zhǔn)備替代畫面，并使用替代畫面來組合畫面。
[0192]圖21示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。圖21示出了運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B還未到達(dá)客戶機(jī)終端100時(shí)編碼流的例子。注意，為了便于描述起見，圖21只示出了內(nèi)容緩沖單元104a和104b。并且，顯示在圖21中的例子對應(yīng)于顯示在圖15A中的流程圖中的步驟S125到S129中的過程。
[0193]如圖21所示，盡管存在運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的IDR畫面，但當(dāng)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的IDR畫面未到達(dá)客戶機(jī)終端100時(shí)，假設(shè)該IDR畫面要與運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的IDR畫面組合，則客戶機(jī)終端100準(zhǔn)備來自替代畫面生成單元108的替代IDR畫面。
[0194]即使一個(gè)畫面還未到達(dá)，客戶機(jī)終端100也準(zhǔn)備來自替代畫面生成單元108的替代IDR畫面，并將該替代IDR畫面與另一種編碼流中的畫面組合，從而繼續(xù)進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示。
[0195]圖22示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。圖22示出了作為復(fù)合目標(biāo)的畫面延遲到達(dá)以及假設(shè)要在隨后復(fù)合定時(shí)或以后組合的畫面事先到達(dá)的情況。注意，為了便于描述起見，圖22只示出了內(nèi)容緩沖單元104a和104b。并且，顯示在圖22中的例子對應(yīng)于顯示在圖15A中的流程圖中的步驟S125到S129中的過程。
[0196]當(dāng)使用像用戶數(shù)據(jù)報(bào)協(xié)議(UDP)那樣，生成丟失在網(wǎng)絡(luò)中的分組的協(xié)議時(shí)，為了管理實(shí)時(shí)內(nèi)容，如圖22所示，假設(shè)要在隨后復(fù)合定時(shí)或以后組合的畫面可能事先到達(dá)。
[0197]如圖22所示，當(dāng)復(fù)合目標(biāo)畫面延遲到達(dá)以及假設(shè)要在隨后復(fù)合定時(shí)或以后組合的畫面事先到達(dá)客戶機(jī)終端100時(shí)，客戶機(jī)終端100準(zhǔn)備來自替代畫面生成單元108的替代IDR畫面(顯示在圖22中的例子中的替代IDR畫面)。
[0198]即使復(fù)合目標(biāo)畫面延遲到達(dá)了，客戶機(jī)終端100也準(zhǔn)備來自替代畫面生成單元108的替代IDR畫面，并將該替代IDR畫面與另一種編碼流中的畫面組合，從而繼續(xù)進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示。
[0199]在這樣執(zhí)行了生成替代畫面的過程之后，如上所述，在GOP中的IDR畫面之后，SP使正常接收到P畫面，客戶機(jī)終端100也移除P畫面，并使用跳過宏塊用一個(gè)P畫面取代該P(yáng)畫面。這是因?yàn)樵揚(yáng)畫面依賴于先前IDR畫面的信息。
[0200]圖23示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。與圖22—樣，圖22示出了因?yàn)樽鳛閺?fù)合目標(biāo)的畫面延遲到達(dá)以及假設(shè)要在隨后復(fù)合定時(shí)或以后組合的畫面事先到達(dá)，所以準(zhǔn)備替代畫面時(shí)的例子。顯示在圖23中的例子對應(yīng)于顯示在圖16中的流程圖中的步驟S122到S124中的過程。
[0201]如圖23所示，客戶機(jī)終端100移除GOP中的IDR畫面之后的P畫面，并用替代畫面生成單元108使用跳過宏塊準(zhǔn)備的畫面取代該P(yáng)畫面，從而將天然圖像與另一個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)組合。
[0202]圖24示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。圖24示出了運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的編碼流到達(dá)客戶機(jī)終端100延遲時(shí)的例子。注意，為了便于描述起見，圖24只示出了內(nèi)容緩沖單元104a和104b。并且，顯示在圖24中的例子對應(yīng)于顯示在圖15C中的流程圖中的步驟S114到S117中的過程。
[0203]如圖24所示，當(dāng)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的編碼流到達(dá)客戶機(jī)終端100延遲時(shí)，客戶機(jī)終端100準(zhǔn)備來自替代畫面生成單元108的針對運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的替代畫面，并將該替代畫面與運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的畫面組合。即使運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的編碼流延遲到達(dá)，客戶機(jī)終端100也準(zhǔn)備來自替代畫面生成單元108的替代畫面，并將該替代畫面與另一種編碼流中的畫面組合，從而繼續(xù)進(jìn)行多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的同時(shí)再現(xiàn)和顯示。
[0204]這里，當(dāng)實(shí)時(shí)分發(fā)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B以及準(zhǔn)備了延遲到達(dá)的畫面的替代畫面時(shí)，如圖24所示，客戶機(jī)終端100移除以后到達(dá)的畫面，以便保持時(shí)間軸。但是，如上所述，由于更自然的是用最近IDR畫面取代丟失的隨后IDR畫面，所以客戶機(jī)終端100將IDG畫面保存在最終IDR畫面存儲(chǔ)單元123a到123η的某一個(gè)中。
[0205]此后，當(dāng)解決了延遲問題以及對于運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A和B，IDR畫面能夠相互組合以及非IDR畫面也能夠相互組合時(shí)，客戶機(jī)終端100使用運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A和B的編碼流中的各自畫面重新開始復(fù)合過程。圖25示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子，并且是使用運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A和B的編碼流中的各自畫面重新開始復(fù)合過程的例子。當(dāng)這樣解決了延遲問題時(shí)，客戶機(jī)終端100使用運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A和B的編碼流中的各自畫面重新開始復(fù)合過程。
[0206]當(dāng)分發(fā)的運(yùn)動(dòng)圖像內(nèi)容不是實(shí)時(shí)分發(fā)的，而是事先累積在運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3中的時(shí)，與實(shí)時(shí)分發(fā)運(yùn)動(dòng)圖像內(nèi)容的情況不同，客戶機(jī)終端100不移除畫面。這是因?yàn)楸３謨?nèi)容的連續(xù)性比保持時(shí)間軸更自然；但是，本公開不局限于這個(gè)例子。即使分發(fā)的運(yùn)動(dòng)圖像內(nèi)容是事先累積在運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3中的，客戶機(jī)終端100也可以與實(shí)時(shí)分發(fā)運(yùn)動(dòng)圖像內(nèi)容的情況一樣地移除畫面。
[0207]圖26示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。圖26與顯示在圖24中的例子一樣，示出了運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的編碼流到達(dá)客戶機(jī)終端100延遲時(shí)的例子。注意，為了便于描述起見，圖26只示出了內(nèi)容緩沖單元104a和104b。并且，顯示在圖26中的例子對應(yīng)于顯示在圖16中的流程圖中的步驟S118到S124中的過程。
[0208]即使分發(fā)的運(yùn)動(dòng)圖像內(nèi)容是事先累積在運(yùn)動(dòng)圖像內(nèi)容服務(wù)器2和3中的，但當(dāng)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的編碼流到達(dá)客戶機(jī)終端100延遲時(shí)，客戶機(jī)終端100也準(zhǔn)備來自替代畫面生成單元108的針對運(yùn)動(dòng)圖像內(nèi)容項(xiàng)B的替代畫面，并將該替代畫面與運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A的畫面組合。
[0209]并且，在顯示在圖26中的例子中，即使為以后到達(dá)的畫面準(zhǔn)備了替代畫面，客戶機(jī)終端100也留下，S卩，不移除以后到達(dá)的畫面。
[0210]此后，當(dāng)解決了延遲問題以及對于運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A和B，IDR畫面能夠相互組合以及非IDR畫面也能夠相互組合時(shí)，客戶機(jī)終端100使用運(yùn)動(dòng)圖像內(nèi)容項(xiàng)A和B的編碼流中的各自畫面重新開始復(fù)合過程。圖27示出了按照本公開的一個(gè)實(shí)施例的已經(jīng)到達(dá)客戶機(jī)終端100的編碼流的例子。
[0211]這樣，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端100可以依照復(fù)合目標(biāo)畫面是否是IDR畫面或是否實(shí)時(shí)分發(fā)作為復(fù)合目標(biāo)的運(yùn)動(dòng)圖像內(nèi)容改變替代畫面的生成或到達(dá)畫面的管理。
[0212]<2.結(jié)論〉
[0213]如上所述，按照本公開的實(shí)施例，提供了接收和組合多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流并同時(shí)再現(xiàn)多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的客戶機(jī)終端100。在接收和組合多個(gè)運(yùn)動(dòng)圖像內(nèi)容項(xiàng)的編碼流的情況下，當(dāng)編碼流之一中的畫面丟失時(shí)，或當(dāng)畫面延遲時(shí)，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端10準(zhǔn)備替代畫面。
[0214]通過在選成丟失或延遲時(shí)準(zhǔn)備替代畫面，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端10可以避免由于編碼流之一中的丟失或延遲而無法復(fù)合多種編碼流的狀況。
[0215]按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端10可以將整個(gè)黑屏、從網(wǎng)絡(luò)正常接收的最終IDR畫面、描述錯(cuò)誤狀態(tài)的圖像等用作替代畫面。通過準(zhǔn)備這樣的替代畫面，客戶機(jī)終端100可以為用戶提供最適合的觀看環(huán)境。
[0216]按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端10可以依照所分發(fā)內(nèi)容的性質(zhì)切換替代畫面的過程。通過依照所分發(fā)內(nèi)容的性質(zhì)切換替代畫面的過程，按照本公開的一個(gè)實(shí)施例的客戶機(jī)終端10可以在內(nèi)容的實(shí)時(shí)性質(zhì)重要時(shí)使信息的延遲最小，而在內(nèi)容的連續(xù)性重要時(shí)使息的丟失最少。
[0217]本說明書中設(shè)備執(zhí)行的過程中的步驟未必以描述在順序圖或流程圖中的次序按時(shí)序執(zhí)行。例如，設(shè)備執(zhí)行的過程中的步驟可以以與描述在流程圖中的次序不同的次序執(zhí)行，或可以并行地執(zhí)行。
[0218]并且，可以編寫使像CPU、ROM、或RAM那樣，并入每個(gè)設(shè)備中的硬件可以以與上述設(shè)備中的結(jié)構(gòu)相似的方式起作用的計(jì)算機(jī)程序。而且，可以提供含有記錄在上面的計(jì)算機(jī)程序的記錄介質(zhì)。此外，通過將顯示在功能框圖中的各自功能塊配置成硬件，則該硬件可以實(shí)現(xiàn)一系列過程。
[0219]盡管參考附圖詳細(xì)描述了本公開的優(yōu)選實(shí)施例，但本公開的技術(shù)范圍不局限于此。本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，只要在所附權(quán)利要求書或其等效物的范圍之內(nèi)，視設(shè)計(jì)要求和其它因素而定，可以作出各種修改、組合、分組合和變更。
[0220]另外，本技術(shù)也可以按如下配置。
[0221](I)
[0222]一種圖像處理設(shè)備，其包括:
[0223]組合單元，被配置成在解碼編碼流之前組合多種編碼流和在多種編碼流中檢測信息的丟失；以及
[0224]替代信息提供單元，被配置成當(dāng)該組合單元檢測到丟失時(shí)，向該組合單元提供用作該丟失的替代物的替代信息，
[0225]其中該組合單元通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)入口 O
[0226](2)
[0227]按照(I)所述的圖像處理設(shè)備，其中該替代信息提供單元包括:
[0228]配置成生成替代信息的替代信息生成單元。
[0229](3)
[0230]按照(2)所述的圖像處理設(shè)備，其中該替代信息生成單元使用多種編碼流生成替代信息。
[0231](4)
[0232]按照(2)所述的圖像處理設(shè)備，其中該替代信息生成單元使用與該組合單元要組合的編碼流不同的編碼流生成替代信息。
[0233](5)
[0234]按照(2)到(4)的任何一項(xiàng)所述的圖像處理設(shè)備，其中該替代信息生成單元針對能夠單獨(dú)編碼的畫面，使用多種編碼流生成替代信息。
[0235](6)
[0236]按照(I)到(5)的任何一項(xiàng)所述的圖像處理設(shè)備，其中該替代信息提供單元從分發(fā)編碼流的設(shè)備中獲取替代信息。
[0237](7)
[0238]按照(2)到(6)的任何一項(xiàng)所述的圖像處理設(shè)備，其中該組合單元依照編碼流的類型，改變?nèi)绾卧谶x成丟失時(shí)及之后管理流中的信息。
[0239](8)
[0240]按照(7)所述的圖像處理設(shè)備，其中該組合單元在信息延遲到達(dá)時(shí)，移除與該組合單元檢測的丟失相對應(yīng)的信息。
[0241](9)
[0242]按照(7)所述的圖像處理設(shè)備，其中該替代信息生成單元在信息延遲到達(dá)時(shí)，使用與該組合單元檢測的丟失相對應(yīng)的信息生成替代信息。
[0243](10)
[0244]按照(2)到(7)的任何一項(xiàng)所述的圖像處理設(shè)備，其中該替代信息生成單元將跳過宏塊用作不能單獨(dú)編碼的畫面的替代信息。
[0245](11)
[0246]一種圖像處理方法，其包括:
[0247]在解碼編碼流之前組合多種編碼流；
[0248]在多種編碼流中檢測信息的丟失；以及
[0249]當(dāng)在檢測步驟中檢測到丟失時(shí)，提供用作該丟失的替代物的替代信息，
[0250]其中在組合步驟中，通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
[0251](12)
[0252]一種使計(jì)算機(jī)執(zhí)行如下步驟的計(jì)算機(jī)程序:
[0253]在解碼編碼流之前組合多種編碼流；
[0254]在多種編碼流中檢測信息的丟失；以及
[0255]當(dāng)在檢測步驟中檢測到丟失時(shí)，提供用作該丟失的替代物的替代信息，
[0256]其中在組合步驟中，通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
【權(quán)利要求】
1.一種圖像處理設(shè)備，其包含: 組合單元，被配置成在解碼編碼流之前組合多種編碼流和在多種編碼流中檢測信息的丟失；以及 替代信息提供單元，被配置成當(dāng)該組合單元檢測到丟失時(shí)，向該組合單元提供用作該丟失的替代物的替代信息， 其中該組合單元通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)合。
2.按照權(quán)利要求1所述的圖像處理設(shè)備，其中該替代信息提供單元包括: 配置成生成替代信息的替代信息生成單元。
3.按照權(quán)利要求2所述的圖像處理設(shè)備，其中該替代信息生成單元使用多種編碼流生成替代信息。
4.按照權(quán)利要求2所述的圖像處理設(shè)備，其中該替代信息生成單元使用與該組合單元要組合的編碼流不同的編碼流生成替代信息。
5.按照權(quán)利要求2所述的圖像處理設(shè)備，其中該替代信息生成單元針對能夠單獨(dú)編碼的畫面，使用多種編碼流生成替代信息。
6.按照權(quán)利要求1所述的圖像處理設(shè)備，其中該替代信息提供單元從分發(fā)編碼流的設(shè)備中獲取替代信息。
7.按照權(quán)利要求2所述的圖像處理設(shè)備，其中該組合單元依照編碼流的類型，改變?nèi)绾卧谶x成丟失時(shí)及之后管理流中的信息。
8.按照權(quán)利要求7所述的圖像處理設(shè)備，其中該組合單元在信息延遲到達(dá)時(shí)，移除與該組合單元檢測的丟失相對應(yīng)的信息。
9.按照權(quán)利要求7所述的圖像處理設(shè)備，其中該替代信息生成單元在信息延遲到達(dá)時(shí)，使用與該組合單元檢測的丟失相對應(yīng)的信息生成替代信息。
10.按照權(quán)利要求2所述的圖像處理設(shè)備，其中該替代信息生成單元將跳過宏塊用作不能單獨(dú)編碼的畫面的替代信息。
11.一種圖像處理方法，其包含: 在解碼編碼流之前組合多種編碼流； 在多種編碼流中檢測息的丟失；以及 當(dāng)在檢測步驟中檢測到丟失時(shí)，提供用作該丟失的替代物的替代信息， 其中在組合步驟中，通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)口 O
12.—種使計(jì)算機(jī)執(zhí)行如下步驟的計(jì)算機(jī)程序: 在解碼編碼流之前組合多種編碼流； 在多種編碼流中檢測息的丟失；以及 當(dāng)在檢測步驟中檢測到丟失時(shí)，提供用作該丟失的替代物的替代信息， 其中在組合步驟中，通過用替代信息取代多種編碼流中包括信息丟失的部分進(jìn)行復(fù)入口 ο
【文檔編號】H04N19/174GK104079975SQ201410102497
【公開日】2014年10月1日 申請日期:2014年3月19日 優(yōu)先權(quán)日:2013年3月26日
【發(fā)明者】栗原邦彰 申請人:索尼公司