一種網(wǎng)絡(luò)視頻畫面處理方法及裝置制造方法
【專利摘要】一種網(wǎng)絡(luò)視頻畫面處理方法及裝置，該網(wǎng)絡(luò)視頻畫面處理方法包括：S1：服務(wù)端對一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫面編碼；S2：服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請求，包括：S100：服務(wù)端接收播放終端的播放請求，由播放終端指定觀看畫面Sa或者由服務(wù)端指定觀看畫面Sa；S200：服務(wù)端從編碼碼流中選擇與觀看畫面Sa相關(guān)的一個(gè)或多個(gè)編碼碼流；S300：采集用戶的交互行為形成播放行為信息PA，將播放行為信息PA反饋到服務(wù)端；S400：如果接收到播放行為信息PA，通過播放行為信息PA得到觀看畫面范圍UV或觀看對象UO；S500：如果獲取到觀看畫面范圍UV或觀看對象UO，基于UV或UO，得到畫面Sb；如果視頻節(jié)目不包含畫面Sb，令視頻節(jié)目包含畫面Sb；然后令Sa＝Sb，返回步驟S200。
【專利說明】一種網(wǎng)絡(luò)視頻畫面處理方法及裝置
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是關(guān)于互聯(lián)網(wǎng)視頻信息【技術(shù)領(lǐng)域】，具體是關(guān)于一種網(wǎng)絡(luò)視頻畫面處理方法 及裝置。
【背景技術(shù)】
[0002] 近年來，隨著互聯(lián)網(wǎng)視頻業(yè)務(wù)在國內(nèi)外的蓬勃發(fā)展，用戶對視頻畫面質(zhì)量、觀看過 程中的互動性都提出了越來越高的要求。
[0003] 用于收看視頻內(nèi)容的各種播放終端的播放能力均是有限的，尤其是面向移動互聯(lián) 網(wǎng)的各種智能移動終端，其顯示分辨率和解碼能力也均有上限，并且在通過網(wǎng)絡(luò)獲取視頻 并進(jìn)行播放時(shí)，網(wǎng)絡(luò)接入帶寬也有上限。在自適應(yīng)多碼率時(shí)，播放終端可依據(jù)其解碼能力和 網(wǎng)絡(luò)帶寬選擇合適的碼流，如在網(wǎng)絡(luò)帶寬較低時(shí)，選擇較低碼率的碼流，但如果碼流碼率較 低，而碼流對應(yīng)的畫面范圍較大，此時(shí)畫面質(zhì)量會較差，影響用戶體驗(yàn)。
[0004] 用戶在使用播放終端觀看視頻畫面時(shí)，經(jīng)常會有觀看視頻不同畫面的需求，尤其 是在使用智能移動終端等播放終端時(shí)，由于顯示屏幕較小，如主流的智能手機(jī)終端iPhone 系列，其顯示屏幕為3. 5英寸到4英寸，當(dāng)畫面為某個(gè)場景的全景畫面時(shí)，很多局部細(xì)節(jié)無 法看清，而這些局部細(xì)節(jié)在某些情況下又是用戶所希望看清的。
[0005] 針對上述需求，目前主流的互聯(lián)網(wǎng)視頻業(yè)務(wù)提供商還無法較好的解決上述問題。
[0006] 為實(shí)現(xiàn)上述需求，播放終端一種可能的做法為：播放終端對收到的編碼碼流進(jìn)行 解碼，解碼后將用戶感興趣的局部視頻區(qū)域放大后進(jìn)行顯示。但這種方法有較多的問題：如 果編碼碼流的碼率或分辨率較低，則圖像細(xì)節(jié)已經(jīng)與原始信號源差異較大，這樣對局部區(qū) 域直接放大后無法達(dá)到較好的畫面效果；如果編碼碼流直接采用高碼率、大分辨率的編碼 碼流，則會占用較高網(wǎng)絡(luò)帶寬，解碼資源開銷也較大，如果播放終端所處環(huán)境的網(wǎng)絡(luò)帶寬或 顯示分辨率和解碼能力有限，則將會無法接收或播放上述編碼碼流。
[0007] 例如：一場體育比賽的直播，采集的視頻源是1920x1080分辨率，在手機(jī)上進(jìn)行播 放，用戶希望觀看畫面的某個(gè)區(qū)域的局部細(xì)節(jié)，如某個(gè)運(yùn)動員的動作細(xì)節(jié)，此時(shí)：
[0008] 如果傳輸給播放終端的編碼碼流采用碼率1Mbps、分辨率720x576、對完整畫面編 碼的碼流，則播放終端對局部區(qū)域放大后，放大過程將導(dǎo)致失真較多，畫面細(xì)節(jié)效果不佳；
[0009] 如果傳輸給播放終端的編碼碼流采用碼率1Mbps、分辨率1920x1080、對完整畫面 編碼的碼流，則圖像編碼過程將導(dǎo)致失真較多，播放終端對局部區(qū)域放大后，畫面細(xì)節(jié)效果 同樣不佳，且某些播放終端可能無法支持對分辨率1920x1080的編碼碼流的解碼播放；
[0010] 如果傳輸給播放終端的編碼碼流采用碼率8Mbps、分辨率1920x1080的編碼，則有 可能播放終端的網(wǎng)絡(luò)帶寬無法承載，導(dǎo)致出現(xiàn)播放卡頓等現(xiàn)象，且某些播放終端可能無法 支持對分辨率1920x1080的編碼碼流的解碼播放。
[0011] 綜上所述，我們需要在播放終端資源有限的情況下，找到能夠?qū)崿F(xiàn)觀看視頻不 同畫面，并提高視頻畫面質(zhì)量的方法，以避免視頻畫面質(zhì)量因?yàn)楫嬅娴恼{(diào)整而有明顯降 低。同時(shí)，由于播放終端在播放編碼碼流時(shí)，可能會采用自適應(yīng)碼率協(xié)議（如HLS、HDS、 MPEG-DASH)，此時(shí)播放終端會自動依據(jù)自適應(yīng)碼率協(xié)議，自動選擇與其網(wǎng)絡(luò)帶寬和解碼能 力相匹配的編碼碼流進(jìn)行播放，如何利用該自動選擇機(jī)制更有效和更合理的實(shí)現(xiàn)在播放終 端資源有限的情況下，觀看不同的視頻畫面并提高視頻畫面質(zhì)量，避免因?yàn)楫嬅娴恼{(diào)整而 使畫面質(zhì)量有明顯降低的目標(biāo)，也是需要解決的問題。
【發(fā)明內(nèi)容】
[0012] 本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)視頻畫面處理方法及裝置，以使得在服務(wù)端資源有 限、播放終端資源有限的情況下，隨著用戶對觀看視頻畫面的選擇，依然可保證畫面的觀看 質(zhì)量；可和自適應(yīng)碼率技術(shù)相結(jié)合，使得產(chǎn)生的新編碼碼流可自動適配不同播放終端的不 同網(wǎng)絡(luò)帶寬和播放能力；通過預(yù)先設(shè)置有限的視頻畫面，用戶交互后選擇的視頻畫面與預(yù) 先設(shè)置的視頻畫面進(jìn)行匹配，可避免新產(chǎn)生過多視頻畫面而導(dǎo)致的計(jì)算資源占用過多。
[0013] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種網(wǎng)絡(luò)視頻畫面處理方法，所述的網(wǎng)絡(luò)視頻 畫面處理方法包括：
[0014] S1 :服務(wù)端對一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫面編碼，所述視頻節(jié)目包含不同 的觀看范圍對應(yīng)的不同畫面、Sp S2，…，每個(gè)編碼的畫面Si形成一個(gè)或多個(gè)編碼碼流 PiO, Pu，Pi2，…，所述編碼碼流PiO, Pu，Pi2…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流；
[0015] S2 :所述服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請求，包括如下步驟：
[0016] S100 :所述服務(wù)端接收所述播放終端的播放請求，由所述播放終端指定觀看畫面 Sa或者由所述服務(wù)端指定觀看畫面S a;
[0017] S200 :所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫面Sa相關(guān)的一個(gè) 或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流；
[0018] S300:所述播放終端在播放過程中，采集用戶的交互行為，形成播放行為信息PA， 并將所述播放行為信息PA反饋到所述服務(wù)端；
[0019] S400 :所述服務(wù)端判斷是否接收到所述播放行為信息PA，如果所述服務(wù)端接收到 所述播放行為信息PA，則通過所述播放行為信息PA得到用戶選擇的觀看畫面范圍UV或用 戶選擇的觀看對象U0 ;
[0020] S500 :所述服務(wù)端判斷是否獲取到所述觀看畫面范圍UV或所述觀看對象U0,如果 所述服務(wù)端判斷獲取到所述觀看畫面范圍UV或所述觀看對象U0,則基于所述觀看畫面范 圍UV或所述觀看對象U0,得到畫面s b;判斷所述視頻節(jié)目是否包含畫面s b，如果所述視頻 節(jié)目不包含畫面sb，則令所述視頻節(jié)目包含畫面Sb;然后令S a= Sb，返回步驟S200。
[0021] 上述S1和S2之間可并行執(zhí)行或串行執(zhí)行。
[0022] 上述S2在運(yùn)行過程中可對S1的執(zhí)行方式進(jìn)行調(diào)整，調(diào)整包括：所述視頻節(jié)目包含 哪些畫面、編碼哪些畫面、畫面的編碼參數(shù)等；上述S2運(yùn)行過程中，服務(wù)端可同時(shí)響應(yīng)多個(gè) 播放終端的播放請求。
[0023] 在一實(shí)施例中，在所述網(wǎng)絡(luò)視頻畫面處理方法還包括：
[0024] S600 :設(shè)所述視頻節(jié)目包含的畫面S& Si，S2，…所構(gòu)成的畫面集合為SX，SX中的畫 面應(yīng)的編碼碼流P i(l，Pn，Pi2，…所構(gòu)成的編碼碼流集合為EXi;對所述畫面集合SX中的 畫面3 1生成子區(qū)域畫面，將所述子區(qū)域畫面加入所述畫面集合SX中；對所述畫面集合SX中 的所述Si，增加所述編碼碼流集合EXi中的編碼碼流、停止所述編碼碼流集合EX 的編碼 碼流或修改所述編碼碼流集合中的編碼碼流的編碼參數(shù)。
[0025] 在一實(shí)施例中，在所述步驟S200中，所述服務(wù)端從上述所有所述編碼碼流中選擇 與所述觀看畫面Sa相關(guān)的一個(gè)或多個(gè)編碼碼流的方法包括：令集合SB = {S i | Si e SX，S i 是Sa的子區(qū)域或S 3是S i的子區(qū)域或S 1與S a-致或S 1與S a近似}，集合EXB = {Pu | Pu G EX i，Si G SB}，從所述集合EXB中選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合 PX ;判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是由所述播放終端指定所述觀 看畫面Sa，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所述播放終端指定S a，則優(yōu)先從 所述集合EXB中選擇和所述觀看畫面Sa-致的S i對應(yīng)的所述編碼碼流集合EX 的一個(gè) 編碼碼流，構(gòu)成所述編碼碼流的集合PX。
[0026] 在一實(shí)施例中，從所述集合EXB中選擇編碼碼流構(gòu)成所述編碼碼流的集合PX，包 括下述3種方法中的一種或多種方法的組合：
[0027] S2011 :選擇所述集合EXB中和所述觀看畫面Sa-致的畫面編碼所得到的一個(gè)或 多個(gè)編碼碼流；
[0028] S2012 :設(shè)定所述播放終端的屏幕尺寸和畫面區(qū)域大小的對應(yīng)關(guān)系，如果所述服務(wù) 端通過預(yù)先設(shè)置或播放終端上報(bào)的方式得到播放終端的屏幕尺寸，則依據(jù)所述對應(yīng)關(guān)系選 擇滿足畫面區(qū)域大小要求的編碼碼流；
[0029] 播放終端的屏幕尺寸和畫面區(qū)域大小的對應(yīng)關(guān)系可采用如下方式進(jìn)行設(shè)定：
[0030] 將播放終端的屏幕尺寸按照大小劃分為若干個(gè)屏幕尺寸區(qū)間，將EXB中編碼碼流 對應(yīng)的畫面區(qū)域按照大小劃分為若干個(gè)畫面大小區(qū)間，將尺寸越大的屏幕尺寸區(qū)間對應(yīng)畫 面區(qū)域越大的畫面大小區(qū)間；
[0031] S2013:如果所述服務(wù)端通過預(yù)先設(shè)置或播放終端上報(bào)的方式得到所述播放終端 要求的一個(gè)碼率B a，或所述服務(wù)端得到所述播放終端的傳輸帶寬可承受的編碼碼流的一個(gè) 碼率Ba，則從所述集合EXB中碼率等于或低于所述碼率B a的編碼碼流中選擇碼率最高的編 碼碼流；如所述集合EXB中不存在碼率等于或低于所述碼率Ba的編碼碼流，則從所述集合 EXB中選擇碼率最低的編碼碼流。
[0032] 在一實(shí)施例中，在所述S2011中，選擇所述集合EXB中和所述觀看畫面Sa-致的 畫面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼 率最高的編碼碼流的碼率為B max，選擇所述集合EXB中對應(yīng)的畫面范圍包含所述觀看畫面Sa 的畫面范圍且碼率高于的編碼碼流。
[0033] 在一實(shí)施例中，在所述S2011中，選擇所述集合EXB中和所述觀看畫面Sa-致的畫 面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率 最低的編碼碼流的碼率為，選擇所述集合EXB中對應(yīng)的畫面范圍是所述觀看畫面5 3的 子區(qū)域且碼率低于Bmin的編碼碼流。
[0034] 在一實(shí)施例中，在所述S300中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫面 范圍，移動當(dāng)前畫面，旋轉(zhuǎn)當(dāng)前畫面，選擇觀看對象。縮小當(dāng)前畫面范圍，即放大當(dāng)前畫面的 局部畫面細(xì)節(jié)；放大當(dāng)前畫面范圍，即縮小當(dāng)前畫面的局部畫面細(xì)節(jié)。
[0035] 在一實(shí)施例中，上述用戶的交互行為包括：
[0036] 所述的縮小或放大當(dāng)前畫面范圍包括：通過雙指縮放、點(diǎn)擊屏幕、放大鏡、手勢變 化或語音命令，以屏幕中某個(gè)點(diǎn)為中心縮小或放大當(dāng)前畫面范圍；
[0037] 所述的移動當(dāng)前畫面包括：通過拖拽、左、右、上、下、手勢變化或語音命令，移動當(dāng) 前畫面；
[0038] 所述的旋轉(zhuǎn)當(dāng)前畫面包括：通過拖拽、手勢變化、在屏幕中或n界面中選擇旋轉(zhuǎn) 特定的角度或語音命令，旋轉(zhuǎn)當(dāng)前畫面；
[0039] 所述的選擇觀看對象包括：通過點(diǎn)擊屏幕的操作方式選擇屏幕中的觀看對象；在 n界面中選擇觀看對象；通過語音命令選擇觀看對象。
[0040] 在一實(shí)施例中，在S400中，如果形成所述播放行為信息PA的交互行為為縮小或放 大當(dāng)前畫面范圍，則從所述播放行為信息PA中得到縮放中心位置和縮放倍數(shù)，基于當(dāng)前畫 面、縮放中心位置和縮放倍數(shù)，計(jì)算得到縮放后的所述觀看畫面范圍UV。
[0041] 在一實(shí)施例中，在S400中，如果形成所述播放行為信息PA的交互行為為移動當(dāng)前 畫面，從所述播放行為信息PA中得到移動向量，基于當(dāng)前畫面、移動向量，計(jì)算得到移動到 的所述觀看畫面范圍UV。
[0042] 在一實(shí)施例中，在S400中，如果形成所述播放行為信息PA的交互行為為旋轉(zhuǎn)當(dāng)前 畫面，從所述播放行為信息PA中得到旋轉(zhuǎn)方向和旋轉(zhuǎn)角度，基于當(dāng)前畫面、旋轉(zhuǎn)方向和旋 轉(zhuǎn)角度，計(jì)算得到旋轉(zhuǎn)后的所述觀看畫面范圍UV。
[0043] 在一實(shí)施例中，在所述S500中，所述服務(wù)端基于所述觀看畫面范圍UV生成所述畫 面S b的方法為下述四種方法中的一種或多種的組合：
[0044] S501 :若所述觀看畫面范圍UV和所述畫面集合SX中的Si相同或近似，則Sb= S i;
[0045] S502 :若所述觀看畫面范圍UV和所述畫面集合SX中的Si的一個(gè)子區(qū)域Az畫面區(qū) 域相同或近似，則sb= A z;
[0046] S503 :所述畫面集合SX中的Si預(yù)設(shè)了若干子區(qū)域AzQ、Azl、…，若觀看畫面范圍UV 和所述若干子區(qū)域其中的一個(gè)Ay的畫面區(qū)域相同或最為近似，則S b= A zj;
[0047] S504 :若所述觀看畫面范圍UV和所述畫面集合SX中的多個(gè)畫面計(jì)算得到的畫面 S。相同或近似，則Sb= S。。
[0048] 在上述S503中，Si可按四分屏、九分屏、十六分屏等方式劃分為子區(qū)域。
[0049] 在一實(shí)施例中，在所述S400中，從所述播放行為信息PA中獲取用戶選擇的所述觀 看對象U0的方法包括：
[0050] 設(shè)觀看對象集合0X = {0。，，…}，所述服務(wù)端生成觀看對象與所述畫面集合SX 中元素的對應(yīng)關(guān)系集合0EX，所述對應(yīng)關(guān)系集合0EX中的元素可表示為二元組（OpSj)或三 元組（〇i，S」，Cy或三元組（〇i，S」，Aj，其中，k為0 1在S」中的位置，A ^為0 1在S」中的區(qū) 域范圍；
[0051] 其中，通過人工指定或進(jìn)行特定物體的追蹤識別，可形成觀看對象％，，…，觀看 對象隨時(shí)間的變化可能發(fā)生變化；
[0052] 如果形成所述播放行為信息PA的交互行為為選擇觀看對象，則PA中可包含選擇 的觀看對象標(biāo)識或選擇的觀看對象在當(dāng)前畫面中的位置。
[0053] 如果所述播放行為信息PA中包含所述的標(biāo)識，則U0 = 0 1;或
[0054] 如果所述播放行為信息PA中包含選擇的觀看對象在當(dāng)前所述觀看畫面Sa中的位 置C，則：
[0055] 如果所述對應(yīng)關(guān)系集合0EX中包含三元組（〇i，Sa，Cia)，且C ia和C相差小于一預(yù)定 距離，則U0 = 0i;或如果所述對應(yīng)關(guān)系集合0EX中包含三元組（0 i，Sa，Aia)，且C位于Aia的 區(qū)域中，則U0 = 〇i。
[0056] 在一實(shí)施例中，在所述S500中，基于所述觀看對象U0生成所述畫面Sb的方法包 括：
[0057] 初始化集合SXB為空集；如果所述對應(yīng)關(guān)系集合0EX中包含二元組（〇i，Sp或如果 所述對應(yīng)關(guān)系集合0EX中包含三元組（Op S」，Cy或如果所述對應(yīng)關(guān)系集合0EX中包含三元 組（〇i，S」，A")，且〇i= U0,則SXB = SXB U {S」};從SXB中選擇一個(gè)元素作為所述畫面Sb。
[0058] 在一實(shí)施例中，在所述S1和所述S2中，還包括：如所述S300中用戶的交互行為是 縮小當(dāng)前畫面范圍，且未采用自適應(yīng)碼率，若所述集合PX中包含的編碼碼流為P ax，通過查 找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流Pby，使得所述Pby對應(yīng)畫面范圍和所 述畫面S b-致且所述P by的編碼碼率和所述P ax的編碼碼率一致或相差在一閾值以內(nèi)，將所 述Pby加入所述集合PX并替換所述P ax。
[0059] 在一實(shí)施例中，在所述S1和所述S2中，還包括：如所述S300中用戶的交互行為是 縮小當(dāng)前畫面范圍，且采用自適應(yīng)碼率，對所述集合PX中包含的每個(gè)編碼碼流P aj，通過查 找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流Pw，使得所述Pw對應(yīng)畫面范圍是所 述P"_對應(yīng)畫面范圍的子區(qū)域且所述P w的編碼碼率和所述P 的編碼碼率一致或相差在一 閾值以內(nèi)，將所述Pw加入所述集合PX并替換所述P aj。
[0060] 在一實(shí)施例中，在所述S600中，基于播放終端對各編碼碼流的訪問情況，還可進(jìn) 一步調(diào)整編碼策略，包括但不限于如下方法：
[0061] 如果訪問所述畫面Si對應(yīng)的所述編碼碼流集合EX i中的最低碼率編碼碼流的播放 終端個(gè)數(shù)或比例超過一個(gè)閾值，則調(diào)整SX或SX中各元素對應(yīng)的編碼碼流，使得存在一個(gè)編 碼碼流，其碼率低于目前所述編碼碼流集合EXi*所有編碼碼流的碼率，且畫面與S i-致或 為31子區(qū)域；
[0062] 如果訪問所述畫面Si對應(yīng)的所述編碼碼流集合EX i中的最高碼率編碼碼流的播放 終端個(gè)數(shù)或比例超過一個(gè)閾值，則調(diào)整SX或SX中各元素對應(yīng)的編碼碼流，使得存在一個(gè)編 碼碼流，其碼率高于目前所述編碼碼流集合EXi*所有編碼碼流的碼率，且畫面與S i-致或 包含Si。
[0063] 在一實(shí)施例中，在所述步驟S600中，還可以包括：保持總體編碼開銷不超過服務(wù) 端系統(tǒng)資源允許的上限，在服務(wù)端系統(tǒng)資源較緊張時(shí)，可停止某些沒有被播放終端訪問或 訪問量低于某個(gè)閾值的編碼碼流。
[0064] 在一實(shí)施例中，在所述步驟S1中，對所述SX中的任一畫面Si及其子區(qū)域畫面進(jìn) 行編碼時(shí)，生成的多個(gè)編碼碼流的關(guān)鍵幀保持時(shí)間戳對齊。
[0065] 為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)視頻畫面處理裝置，所述的網(wǎng)絡(luò) 視頻畫面處理裝置包括：
[0066] 編碼單元，用于服務(wù)端對一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫面編碼，所述視頻節(jié)目 包含不同的觀看范圍對應(yīng)的不同畫面S& Si, S2，…，每個(gè)編碼的畫面Si形成一個(gè)或多個(gè)編碼 碼流pi(l，pn，pi2，…，所述編碼碼流pi(l，p n，pi2…是按照不同參數(shù)進(jìn)行編碼形成的不同的編 碼碼流；
[0067] 播放請求響應(yīng)單元，用于所述服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請 求，所述的播放請求響應(yīng)單元包括：
[0068] 觀看畫面指定單元，用于所述服務(wù)端接收所述播放終端的播放請求，由所述播放 終端指定觀看畫面sa或者由所述服務(wù)端指定觀看畫面s a;
[0069] 碼流選擇單元，用于所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫面 sa相關(guān)的一個(gè)或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流；
[0070] 播放交互單元，用于所述播放終端在播放過程中，采集用戶的交互行為，形成播放 行為信息PA，并將所述播放行為信息PA反饋到所述服務(wù)端；
[0071] 觀看范圍和對象獲取單元，用于所述服務(wù)端判斷是否接收到所述播放行為信息 PA，如果所述服務(wù)端接收到所述播放行為信息PA，則通過所述播放行為信息PA得到用戶選 擇的觀看畫面范圍UV或用戶選擇的觀看對象U0 ;
[0072] 畫面獲取單元，用于所述服務(wù)端判斷是否獲取到所述觀看畫面范圍UV或所述觀 看對象U0,如果所述服務(wù)端判斷獲取到所述觀看畫面范圍UV或所述觀看對象U0,則基于所 述觀看畫面范圍UV或所述觀看對象U0,得到畫面S b;判斷所述視頻節(jié)目是否包含畫面S b， 如果所述視頻節(jié)目不包含畫面sb，則令所述視頻節(jié)目包含畫面sb;然后令s a= s b，返回所述 碼流選擇單元、播放交互單元、觀看范圍和對象獲取單元重復(fù)執(zhí)行上述動作。
[0073] 在一實(shí)施例中，所述網(wǎng)絡(luò)視頻畫面處理裝置中包括：
[0074] 畫面和編碼碼流調(diào)整單元，用于設(shè)所述視頻節(jié)目包含的畫面S& Si, S2，…所構(gòu)成的 畫面集合為SX，SX中的畫面應(yīng)的編碼碼流P iQ，Pn，Pi2，…所構(gòu)成的編碼碼流集合為EXi; 對所述畫面集合SX中的畫面51生成子區(qū)域畫面，將所述子區(qū)域畫面加入所述畫面集合SX 中；對所述畫面集合SX中的所述Si，增加所述編碼碼流集合中的編碼碼流、停止所述編 碼碼流集合中的編碼碼流或修改所述編碼碼流集合EX i中的編碼碼流的編碼參數(shù)。
[0075] 在一實(shí)施例中，碼流選擇單元包括：
[0076] 編碼碼流選擇模塊，用于令集合SB =以| Si G SX，S 1是S a的子區(qū)域或S 3是S』勺 子區(qū)域或51與Sa-致或51與S a近似}，集合EXB = {PijlPijG EX^SiG SB}，從所述集合 EXB中選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合PX ;
[0077] 單碼流選擇模塊，用于判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是 由所述播放終端指定所述觀看畫面S a，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所 述播放終端指定Sa，則優(yōu)先從所述集合EXB中選擇和所述觀看畫面S a-致的S i對應(yīng)的所述 編碼碼流集合中的一個(gè)編碼碼流，構(gòu)成所述編碼碼流的集合PX。
[0078] 在一實(shí)施例中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫面范圍，移動當(dāng)前畫 面，旋轉(zhuǎn)當(dāng)前畫面，選擇觀看對象。
[0079] 在一實(shí)施例中，所述畫面獲取單元包括下述四種模塊中的一種或多種的組合：
[0080] 第一獲取單元，用于若所述觀看畫面范圍UV和所述畫面集合SX中的同或近 似，則 sb= si;
[0081] 第二獲取單元，用于若所述觀看畫面范圍UV和所述畫面集合SX中的-個(gè)子 區(qū)域Az畫面區(qū)域相同或近似，則S b= A z;
[0082] 第三獲取單元，用于所述畫面集合SX中的Si預(yù)設(shè)了若干子區(qū)域AzQ、A zl、…，若觀 看畫面范圍UV和所述若干子區(qū)域其中的一個(gè)Ad的畫面區(qū)域相同或最為近似，則S b= A zj;
[0083] 第四獲取單元，用于若所述觀看畫面范圍UV和所述畫面集合SX中的多個(gè)畫面計(jì) 算得到的畫面S。相同或近似，則S b= S。。
[0084] 在一實(shí)施例中，所述的網(wǎng)絡(luò)視頻畫面處理裝置還包括：第一替換單元，用于如所述 用戶的交互行為是縮小當(dāng)前畫面范圍，未采用自適應(yīng)碼率，且所述集合PX中包含的編碼碼 流為p ax，通過查找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流pby，使得所述pby對 應(yīng)畫面范圍和所述畫面s b-致且所述P by的編碼碼率和所述P ax的編碼碼率一致或相差在 一閾值以內(nèi)，將所述Pby加入所述集合PX并替換所述P ax。
[0085] 在一實(shí)施例中，所述的網(wǎng)絡(luò)視頻畫面處理裝置還包括：第二替換單元，用于如所述 用戶的交互行為是縮小當(dāng)前畫面范圍，且采用自適應(yīng)碼率，對所述集合PX中包含的每個(gè)編 碼碼流P#通過查找、新增或修改編碼碼流碼率的方法得到一個(gè)編碼碼流p w，使得所述pbj 對應(yīng)畫面范圍是所述p"_對應(yīng)畫面范圍的子區(qū)域且所述p w的編碼碼率和所述P 的編碼碼 率一致或相差在一閾值以內(nèi)，將所述Pw加入所述集合PX并替換所述P aj。
[0086] 本發(fā)明實(shí)施例的有益效果在于，本發(fā)明將播放、分發(fā)與編碼相結(jié)合，使得在服務(wù)端 資源有限、播放終端資源有限的情況下，隨著用戶對觀看視頻畫面的選擇，依然可保證畫面 的觀看質(zhì)量；同時(shí)，本發(fā)明可和自適應(yīng)碼率技術(shù)相結(jié)合，使得產(chǎn)生的新編碼碼流可自動適配 不同播放終端的不同網(wǎng)絡(luò)帶寬和播放能力；本發(fā)明還可預(yù)先設(shè)置有限的視頻畫面，用戶交 互后選擇的視頻畫面與預(yù)先設(shè)置的視頻畫面進(jìn)行匹配，可避免新產(chǎn)生過多視頻畫面而導(dǎo)致 的計(jì)算資源占用過多。
【專利附圖】
【附圖說明】
[0087] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可 以根據(jù)這些附圖獲得其他的附圖。
[0088] 圖1為本發(fā)明實(shí)施例中用于提高畫面效果的網(wǎng)絡(luò)視頻畫面處理方法的流程圖；
[0089] 圖2為本發(fā)明實(shí)施例中服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請求的方 法流程圖；
[0090] 圖3為本發(fā)明實(shí)施例中畫面Si及其子區(qū)域示意圖；
[0091] 圖4為本發(fā)明實(shí)施例中用于提高畫面效果的網(wǎng)絡(luò)視頻畫面處理裝置的結(jié)構(gòu)框圖；
[0092] 圖5為本發(fā)明實(shí)施例中播放請求響應(yīng)單元的結(jié)構(gòu)框圖；
[0093] 圖6為本發(fā)明實(shí)施例中畫面獲取單元的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0094] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0095] 如圖1所示，本發(fā)明實(shí)施例提供了一種提高畫面效果的網(wǎng)絡(luò)視頻畫面處理方法， 所述的網(wǎng)絡(luò)視頻畫面處理方法包括：
[0096] SI :服務(wù)端對一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫面編碼，所述視頻節(jié)目包含不同 的觀看范圍對應(yīng)的不同畫面、Sp S2，…，每個(gè)編碼的畫面Si形成一個(gè)或多個(gè)編碼碼流 PiO, Pu，Pi2，…，所述編碼碼流PiO, Pu，Pi2…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流；
[0097] S2 :所述服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請求，如圖2所示，S2包括 如下步驟：
[0098] S100 :所述服務(wù)端接收所述播放終端的播放請求，由所述播放終端指定觀看畫面 Sa或者由所述服務(wù)端指定觀看畫面s a;
[0099] S200 :所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫面Sa相關(guān)的一個(gè) 或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流；
[0100] S300:所述播放終端在播放過程中，采集用戶的交互行為，形成播放行為信息PA， 并將所述播放行為信息PA反饋到所述服務(wù)端；
[0101] S400 :所述服務(wù)端判斷是否接收到所述播放行為信息PA，如果所述服務(wù)端接收到 所述播放行為信息PA，則通過所述播放行為信息PA得到用戶選擇的觀看畫面范圍UV或用 戶選擇的觀看對象U0 ;
[0102] S500 :所述服務(wù)端判斷是否獲取到所述觀看畫面范圍UV或所述觀看對象U0,如果 所述服務(wù)端判斷獲取到所述觀看畫面范圍UV或所述觀看對象U0,則基于所述觀看畫面范 圍UV或所述觀看對象U0,得到畫面s b;判斷所述視頻節(jié)目是否包含畫面s b，如果所述視頻 節(jié)目不包含畫面sb，則令所述視頻節(jié)目包含畫面Sb;然后令S a= Sb，返回步驟S200。
[0103] 上述S1和S2之間可并行執(zhí)行或串行執(zhí)行。
[0104] 上述S2在運(yùn)行過程中可對S1的執(zhí)行方式進(jìn)行調(diào)整，調(diào)整包括：所述視頻節(jié)目包含 哪些畫面、編碼哪些畫面、畫面的編碼參數(shù)等；上述S2運(yùn)行過程中，服務(wù)端可同時(shí)響應(yīng)多個(gè) 播放終端的播放請求。
[0105] 在所述S1中，所述視頻節(jié)目包含的不同畫面可通過采集不同觀看范圍的信號源 產(chǎn)生。
[0106] 在所述S1和所述S2中，所述視頻節(jié)目包含的畫面的位置、方向和角度可以是固定 的，也可以是動態(tài)變化的。
[0107] 在一實(shí)施例中，本發(fā)明實(shí)施例的網(wǎng)絡(luò)視頻畫面處理方法還包括：
[0108] S600 :設(shè)所述視頻節(jié)目包含的不同畫面SQ，Si，S2，…所構(gòu)成的畫面集合為SX，SX中 的畫面應(yīng)的編碼碼流P i(l，Pn，Pi2，…所構(gòu)成的編碼碼流集合為EXi;對所述畫面集合SX 中的畫面3 1生成子區(qū)域畫面，將所述子區(qū)域畫面加入所述畫面集合SX中；對所述畫面集合 SX中的所述Si，增加所述編碼碼流集合中的編碼碼流、停止所述編碼碼流集合EX 1中的 編碼碼流或修改所述編碼碼流集合中的編碼碼流的編碼參數(shù)。
[0109] 在所述S1和所述S2中，畫面其子區(qū)域如圖3所示。
[0110] 在所述S1和所述S2中，可定義SX中每個(gè)元素Si在同一個(gè)平面上進(jìn)行投影的畫面 范圍為一個(gè)矩形區(qū)域REi，設(shè)水平向右為橫坐標(biāo)的正方向，垂直向下為縱坐標(biāo)的正方向，REi 可以用四元組或其他等價(jià)方式來表示，其中 ：
[0111] Q =為畫面范圍的左上角橫坐標(biāo)；
[0112] 凡=為畫面范圍的左上角縱坐標(biāo)；
[0113] 氏=為畫面范圍的右下角橫坐標(biāo)；
[0114] Bi =為畫面范圍的右下角縱坐標(biāo)；
[0115] 在所述步驟S1中，對視頻節(jié)目的畫面集合SX中的一個(gè)或多個(gè)元素進(jìn)行編碼的方 法包括：
[0116] 1)如需要編碼的31是所述畫面集合SX中的元素5」的一個(gè)子區(qū)域A」，且Sj已經(jīng)在 編碼，則對EX」中的編碼碼流P >進(jìn)行解碼，并對解碼后數(shù)據(jù)中的區(qū)域?進(jìn)行編碼?？刹捎?如下具體方法：
[0117] 查找SX，對其中的任一不同于Si的元素S」，如果EX」非空，則如果1^> = L」且T， =1且R ' = &且B ' = ，則S」的子區(qū)域，設(shè)為A j;如找到多個(gè)符合條件的子區(qū)域， 則可基于REJP RE」的近似程度或S」對應(yīng)的EX」中包含的最高碼率碼流的碼率高低或EX」 中包含的最高分辨率碼流的分辨率高低或其他規(guī)則選擇其中之一。如找到?，則可基于碼 率最高或分辨率最高或其他規(guī)則選擇EX」中的某個(gè)編碼碼流P >，對P#進(jìn)行解碼，并對解碼 后數(shù)據(jù)中的區(qū)域?進(jìn)行編碼。
[0118] 2)如需要編碼的Si可通過所述畫面集合SX的其中一個(gè)子集SXA中的元素計(jì)算得 至IJ，且這些元素已經(jīng)在編碼，則對SXA中每個(gè)元素S/萬對應(yīng)的EX」中的編碼碼流P jx進(jìn)行解 碼，并對所有解碼后的數(shù)據(jù)進(jìn)行計(jì)算以形成所述Si的畫面數(shù)據(jù)，再對所述S 1進(jìn)行編碼。對 多個(gè)畫面進(jìn)行計(jì)算的具體方法可采用常用的圖像拼接算法，通常包括圖像配準(zhǔn)、建立變換 模型、統(tǒng)一坐標(biāo)變換、圖像融合等步驟，本發(fā)明不以此為限。
[0119] 在一實(shí)施例中，在所述步驟S1中，在編碼時(shí)，可合入音頻信息，形成完整的音視頻 編碼碼流。
[0120] 在一實(shí)施例中，在所述步驟S200中，若選出的編碼碼流為純視頻碼流，可將音頻 碼流合并到輸出的編碼碼流后再發(fā)送給播放終端。
[0121] 在一實(shí)施例中，所述步驟S200還包括：如所述播放終端不采用自適應(yīng)碼率協(xié)議進(jìn) 行播放，服務(wù)端從所有編碼碼流中選擇與s a相關(guān)的一個(gè)編碼碼流，使所述播放終端播放該 編碼碼流；如所述播放終端采用自適應(yīng)碼率協(xié)議進(jìn)行播放，服務(wù)端從所有編碼碼流中選擇 與s a相關(guān)的一個(gè)或多個(gè)編碼碼流構(gòu)成選出的編碼碼流的集合PX，將所述集合PX對應(yīng)的碼 流索引信息IPX傳送給所述的播放終端，使所述播放終端播放所述集合PX中的編碼碼流。
[0122] 在一實(shí)施例中，在所述步驟S200中，所述服務(wù)端從上述所有所述編碼碼流中選擇 與所述觀看畫面sa相關(guān)的一個(gè)或多個(gè)編碼碼流的方法包括：令集合SB = {S i I Si e SX，S i 是Sa的子區(qū)域或S 3是S i的子區(qū)域或S 1與S a-致或S 1與S a近似}，集合EXB = {Pu | Pu G EX i，Si G SB}，從所述集合EXB中選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合 PX ;判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是由所述播放終端指定所述觀 看畫面Sa，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所述播放終端指定S a，則優(yōu)先從 所述集合EXB中選擇和所述觀看畫面Sa-致的S i對應(yīng)的所述編碼碼流集合EX 的一個(gè) 編碼碼流，構(gòu)成所述編碼碼流的集合PX。
[0123] 上述從所述集合EXB中選擇編碼碼流構(gòu)成所述編碼碼流的集合PX，包括下述3種 方法中的一種或多種方法的組合：
[0124] S2011 :選擇所述集合EXB中和所述觀看畫面Sa-致的畫面編碼所得到的一個(gè)或 多個(gè)編碼碼流；
[0125] S2012 :設(shè)定所述播放終端的屏幕尺寸和畫面區(qū)域大小的對應(yīng)關(guān)系，如果所述服務(wù) 端通過預(yù)先設(shè)置或播放終端上報(bào)的方式得到播放終端的屏幕尺寸，則依據(jù)所述對應(yīng)關(guān)系選 擇滿足畫面區(qū)域大小要求的編碼碼流；
[0126] 播放終端的屏幕尺寸和畫面區(qū)域大小的對應(yīng)關(guān)系可采用如下方式進(jìn)行設(shè)定：
[0127] 將播放終端的屏幕尺寸按照大小劃分為若干個(gè)屏幕尺寸區(qū)間，將EXB中編碼碼流 對應(yīng)的畫面區(qū)域按照大小劃分為若干個(gè)畫面大小區(qū)間，將尺寸越大的屏幕尺寸區(qū)間對應(yīng)畫 面區(qū)域越大的畫面大小區(qū)間；
[0128] S2013:如果所述服務(wù)端通過預(yù)先設(shè)置或播放終端上報(bào)的方式得到所述播放終端 要求的一個(gè)碼率B a，或所述服務(wù)端得到所述播放終端的傳輸帶寬可承受的編碼碼流的一個(gè) 碼率Ba，則從所述集合EXB中碼率等于或低于所述碼率B a的編碼碼流中選擇碼率最高的編 碼碼流；如所述集合EXB中不存在碼率等于或低于所述碼率Ba的編碼碼流，則從所述集合 EXB中選擇碼率最低的編碼碼流。
[0129] 在一實(shí)施例中，所述S2011中，選擇所述集合EXB中和所述觀看畫面Sa-致的畫面 編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率最 高的編碼碼流的碼率為，選擇所述集合EXB中對應(yīng)的畫面范圍包含所述觀看畫面&的 畫面范圍且碼率高于的編碼碼流。
[0130] 在一實(shí)施例中，所述S2011中，選擇所述集合EXB中和所述觀看畫面Sa-致的畫 面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包括：設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率 最低的編碼碼流的碼率為，選擇所述集合EXB中對應(yīng)的畫面范圍是所述觀看畫面5 3的 子區(qū)域且碼率低于Bmin的編碼碼流。
[0131] 在一實(shí)施例中，圖2的所述S300中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫 面范圍，移動當(dāng)前畫面，旋轉(zhuǎn)當(dāng)前畫面，選擇觀看對象?？s小當(dāng)前畫面范圍，即放大當(dāng)前畫面 的局部畫面細(xì)節(jié)；放大當(dāng)前畫面范圍，即縮小當(dāng)前畫面的局部畫面細(xì)節(jié)。
[0132] 在一實(shí)施例中，上述用戶的交互行為包括：
[0133] 所述的縮小或放大當(dāng)前畫面范圍包括：通過雙指縮放、點(diǎn)擊屏幕、放大鏡、手勢變 化或語音命令，以屏幕中某個(gè)點(diǎn)為中心縮小或放大當(dāng)前畫面范圍；
[0134] 所述的移動當(dāng)前畫面包括：通過拖拽、左、右、上、下、手勢變化或語音命令，移動當(dāng) 前畫面；
[0135] 所述的旋轉(zhuǎn)當(dāng)前畫面包括：通過拖拽、手勢變化、在屏幕中或n界面中選擇旋轉(zhuǎn) 特定的角度或語音命令，旋轉(zhuǎn)當(dāng)前畫面；
[0136] 所述的選擇觀看對象包括：通過點(diǎn)擊屏幕的操作方式選擇屏幕中的觀看對象；在 n界面中選擇觀看對象；通過語音命令選擇觀看對象。
[0137] 在一實(shí)施例中，在圖2所示的S400中，如果形成所述播放行為信息PA的交互行為 為縮小或放大當(dāng)前畫面范圍，則從所述播放行為信息PA中得到縮放中心位置和縮放倍數(shù)， 基于當(dāng)前畫面、縮放中心位置和縮放倍數(shù)，計(jì)算得到縮放后的所述觀看畫面范圍UV。
[0138] 上述計(jì)算得到縮放后的所述觀看畫面范圍UV具體可采用如下方法：
[0139] 1)從PA中得到縮放中心位置CP和縮放倍數(shù)CR ;
[0140] 其中，
[0141] CP為縮放中心坐標(biāo)，定義為（CPX，CPY)。
[0142] CR為縮放倍數(shù)，即縮放后的目標(biāo)畫面范圍寬度和當(dāng)前畫面范圍寬度的比例，可通 過雙指縮放的手指移動距離或點(diǎn)擊屏幕次數(shù)、點(diǎn)擊放大鏡次數(shù)等方式得到。
[0143] 2)基于當(dāng)前畫面應(yīng)的矩形區(qū)域REa= 〇^，??；況成)，計(jì)算得到目標(biāo)畫面范 圍：
[0144]
【權(quán)利要求】
1. 一種網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，所述的網(wǎng)絡(luò)視頻畫面處理方法包括： 51 ;服務(wù)端對一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫面編碼，所述視頻節(jié)目包含不同的 觀看范圍對應(yīng)的不同畫面Su，Si，S2,…，每個(gè)編碼的畫面Si形成一個(gè)或多個(gè)編碼碼流 Pi。，Pu，Pi2,…，所述編碼碼流Pi。，Pu，Pc…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流； 52 ;所述服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請求，包括如下步驟： S100 ;所述服務(wù)端接收所述播放終端的播放請求，由所述播放終端指定觀看畫面S?；?者由所述服務(wù)端指定觀看畫面S。； S200 ;所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫面S。相關(guān)的一個(gè)或多 個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流； S300 ;所述播放終端在播放過程中，采集用戶的交互行為，形成播放行為信息PA，并將 所述播放行為信息PA反饋到所述服務(wù)端； S400;所述服務(wù)端判斷是否接收到所述播放行為信息PA，如果所述服務(wù)端接收到所述 播放行為信息PA，則通過所述播放行為信息PA得到用戶選擇的觀看畫面范圍UV或用戶選 擇的觀看對象U0; S500;所述服務(wù)端判斷是否獲取到所述觀看畫面范圍UV或所述觀看對象U0,如果所述 服務(wù)端判斷獲取到所述觀看畫面范圍UV或所述觀看對象U0,則基于所述觀看畫面范圍UV 或所述觀看對象U0,得到畫面Sb;判斷所述視頻節(jié)目是否包含畫面Sb，如果所述視頻節(jié)目不 包含畫面Sb，則令所述視頻節(jié)目包含畫面Sb;然后令Sg=Sb，返回步驟S200。
2. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，所述網(wǎng)絡(luò)視頻畫面處 理方法還包括： 設(shè)所述視頻節(jié)目包含的畫面S。，Si，S2,…所構(gòu)成的畫面集合為SX，SX中的畫面Si對應(yīng) 的編碼碼流Pi。，P。，Pi2,…所構(gòu)成的編碼碼流集合為EXi;對所述畫面集合SX中的畫面Si生 成子區(qū)域畫面，將所述子區(qū)域畫面加入所述畫面集合SX中；對所述畫面集合SX中的所述 Si,增加所述編碼碼流集合EXi中的編碼碼流、停止所述編碼碼流集合EXi中的編碼碼流或 修改所述編碼碼流集合EXi中的編碼碼流的編碼參數(shù)。
3. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，在所述步驟S200中，所 述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫面S。相關(guān)的一個(gè)或多個(gè)編碼碼流 的方法包括；令集合SB=咕ISiGSX，Si是Sa的子區(qū)域或Sa是Si的子區(qū)域或Si與Sa- 致或Si與Sa近似}，集合EXB=巧UIPuGEX。SiGSB}，從所述集合EXB中選擇一個(gè)或多 個(gè)編碼碼流構(gòu)成編碼碼流的集合PX;判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是 否是由所述播放終端指定所述觀看畫面S。，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是 由所述播放終端指定S。，則優(yōu)先從所述集合EXB中選擇和所述觀看畫面S。一致的Si對應(yīng)的 所述編碼碼流集合EXi中的一個(gè)編碼碼流，構(gòu)成所述編碼碼流的集合PX。
4. 根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，從所述集合EXB中選擇 編碼碼流構(gòu)成所述編碼碼流的集合PX，包括下述3種方法中的一種或多種方法的組合： 52011 ;選擇所述集合EXB中和所述觀看畫面S。一致的畫面編碼所得到的一個(gè)或多個(gè) 編碼碼流； 52012 ;設(shè)定所述播放終端的屏幕尺寸和畫面區(qū)域大小的對應(yīng)關(guān)系，如果所述服務(wù)端通 過預(yù)先設(shè)置或播放終端上報(bào)的方式得到播放終端的屏幕尺寸，則依據(jù)所述對應(yīng)關(guān)系選擇滿 足畫面區(qū)域大小要求的編碼碼流； S2013 ;如果所述服務(wù)端通過預(yù)先設(shè)置或播放終端上報(bào)的方式得到所述播放終端要求 的一個(gè)碼率B。，或所述服務(wù)端得到所述播放終端的傳輸帶寬可承受的編碼碼流的一個(gè)碼率 B。，則從所述集合EXB中碼率等于或低于所述碼率氏的編碼碼流中選擇碼率最高的編碼碼 流；如所述集合EXB中不存在碼率等于或低于所述碼率B。的編碼碼流，則從所述集合EXB中 選擇碼率最低的編碼碼流。
5. 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，在所述S2011中，選擇 所述集合EXB中和所述觀看畫面S。一致的畫面編碼所得到的一個(gè)或多個(gè)編碼碼流，還包 括；設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率最高的編碼碼流的碼率為Bm"，選擇所述集合 EXB中對應(yīng)的畫面范圍包含所述觀看畫面S。的畫面范圍且碼率高于Bm"的編碼碼流。
6. 根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于， 在所述S2011中，選擇所述集合EXB中和所述觀看畫面S。一致的畫面編碼所得到的一 個(gè)或多個(gè)編碼碼流，還包括；設(shè)選擇的所述一個(gè)或多個(gè)編碼碼流中碼率最低的編碼碼流的 碼率為Bmi。，選擇所述集合EXB中對應(yīng)的畫面范圍是所述觀看畫面S。的子區(qū)域且碼率低于 Bmi。的編碼碼流。
7. 根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于， 在所述S300中，所述用戶的交互行為包括：縮小或放大當(dāng)前畫面范圍，移動當(dāng)前畫面， 旋轉(zhuǎn)當(dāng)前畫面，選擇觀看對象。
8. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，所述用戶的交互行為 包括： 所述的縮小或放大當(dāng)前畫面范圍包括：通過雙指縮放、點(diǎn)擊屏幕、放大鏡、手勢變化或 語音命令，W屏幕中某個(gè)點(diǎn)為中也縮小或放大當(dāng)前畫面范圍； 所述的移動當(dāng)前畫面包括：通過拖拽、左、右、上、下、手勢變化或語音命令，移動當(dāng)前畫 面； 所述的旋轉(zhuǎn)當(dāng)前畫面包括：通過拖拽、手勢變化、在屏幕中或UI界面中選擇旋轉(zhuǎn)特定 的角度或語音命令，旋轉(zhuǎn)當(dāng)前畫面； 所述的選擇觀看對象包括；通過點(diǎn)擊屏幕的操作方式選擇屏幕中的觀看對象；在UI界 面中選擇觀看對象；通過語音命令選擇觀看對象。
9. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，在所述S500中，所述服 務(wù)端基于所述觀看畫面范圍UV生成所述畫面Sb的方法為下述四種方法中的一種或多種的 組合： 5501 ;若所述觀看畫面范圍UV和所述畫面集合SX中的Si相同或近似，則Sb=Si; 5502 ;若所述觀看畫面范圍UV和所述畫面集合SX中的Si的一個(gè)子區(qū)域A,畫面區(qū)域相 同或近似，則Sb=AZ; 5503 ;所述畫面集合SX中的Si預(yù)設(shè)了若干子區(qū)域A,。、A,i、…，若觀看畫面范圍UV和 所述若干子區(qū)域其中的一個(gè)Ad的畫面區(qū)域相同或最為近似，則Sb=Ad; 5504 ;若所述觀看畫面范圍UV和所述畫面集合SX中的多個(gè)畫面計(jì)算得到的畫面S。相 同或近似，則Sb=S。。
10. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，在所述S400中，從所 述播放行為信息PA中獲取用戶選擇的所述觀看對象UO的方法包括： 設(shè)觀看對象集合OX= (0。，〇1，…}，所述服務(wù)端生成觀看對象與所述畫面集合SX中元 素的對應(yīng)關(guān)系集合0EX，所述對應(yīng)關(guān)系集合0EX中的元素可表示為二元組（〇i，Sj.)或H元組 腳，苗，C。.）或立元組腳，苗，A。.)，其中，C。.為0i在SJ中的位置，AU為0i在SJ中的區(qū)域范 圍； 如果所述播放行為信息PA中包含所述〇i的標(biāo)識，則U0 = 0 或 如果所述播放行為信息PA中包含選擇的觀看對象在當(dāng)前所述觀看畫面S。中的位置C， 則： 如果所述對應(yīng)關(guān)系集合0EX中包含H元組腳，S。，CJ，且Ch和C相差小于一預(yù)定距 離，則U0 = 〇i;或如果所述對應(yīng)關(guān)系集合0EX中包含H元組（0。S。，AJ，且C位于Aid的區(qū) 域中，則U0 = 〇1。
11. 根據(jù)權(quán)利要求10所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于，在所述S500中，基于 所述觀看對象U0生成所述畫面Sb的方法包括： 初始化集合SXB為空集；如果所述對應(yīng)關(guān)系集合0EX中包含二元組（〇1，Sp或如果所 述對應(yīng)關(guān)系集合0EX中包含H元組（0。Sj，Cy)或如果所述對應(yīng)關(guān)系集合0EX中包含H元組 腳，Sj,A。.），且〇i=U0,則SXB=SXBU怯j};從SXB中選擇一個(gè)元素作為所述畫面Sb。
12. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于， 在所述S1和所述S2中，還包括；如所述S300中用戶的交互行為是縮小當(dāng)前畫面范圍， 且未采用自適應(yīng)碼率，若所述集合PX中包含的編碼碼流為P"，通過查找、新增或修改編碼 碼流碼率的方法得到一個(gè)編碼碼流Pby，使得所述Pby對應(yīng)畫面范圍和所述畫面Sb-致且所 述Pby的編碼碼率和所述P的編碼碼率一致或相差在一闊值W內(nèi)，將所述Pby加入所述集合 PX并替換所述P"。
13. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于， 在所述S1和所述S2中，還包括；如所述S300中用戶的交互行為是縮小當(dāng)前畫面范圍， 且采用自適應(yīng)碼率，對所述集合PX中包含的每個(gè)編碼碼流Pgj.，通過查找、新增或修改編碼 碼流碼率的方法得到一個(gè)編碼碼流Pw，使得所述Pw對應(yīng)畫面范圍是所述PaPt應(yīng)畫面范圍 的子區(qū)域且所述Pw的編碼碼率和所述Paj的編碼碼率一致或相差在一闊值W內(nèi)，將所述PW 加入所述集合PX并替換所述Pgj。
14. 根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)視頻畫面處理方法，其特征在于， 如果訪問所述畫面Si對應(yīng)的所述編碼碼流集合EXi中的最低碼率編碼碼流的播放終端 個(gè)數(shù)或比例超過一個(gè)闊值，則調(diào)整SX或SX中各元素對應(yīng)的編碼碼流，使得存在一個(gè)編碼碼 流，其碼率低于目前所述編碼碼流集合EXi中所有編碼碼流的碼率，且畫面與Si-致或?yàn)镾i 子區(qū)域； 如果訪問所述畫面Si對應(yīng)的所述編碼碼流集合EXi中的最高碼率編碼碼流的播放終端 個(gè)數(shù)或比例超過一個(gè)闊值，則調(diào)整SX或SX中各元素對應(yīng)的編碼碼流，使得存在一個(gè)編碼碼 流，其碼率高于目前所述編碼碼流集合EXi中所有編碼碼流的碼率，且畫面與Si-致或包含 Si。
15. -種網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，所述的網(wǎng)絡(luò)視頻畫面處理裝置包括： 編碼單元，用于服務(wù)端對一個(gè)視頻節(jié)目中的一個(gè)或多個(gè)畫面編碼，所述視頻節(jié)目包含 不同的觀看范圍對應(yīng)的不同畫面Su，Si，S2,…，每個(gè)編碼的畫面Si形成一個(gè)或多個(gè)編碼碼流 Pi。，Pu，Pi2,…，所述編碼碼流Pi。，Pu，Pc…是按照不同參數(shù)進(jìn)行編碼形成的不同的編碼碼 流； 播放請求響應(yīng)單元，用于所述服務(wù)端接收并響應(yīng)播放終端對視頻節(jié)目的播放請求，所 述的播放請求響應(yīng)單元包括： 觀看畫面指定單元，用于所述服務(wù)端接收所述播放終端的播放請求，由所述播放終端 指定觀看畫面S。或者由所述服務(wù)端指定觀看畫面S 碼流選擇單元，用于所述服務(wù)端從上述所有所述編碼碼流中選擇與所述觀看畫面S。相 關(guān)的一個(gè)或多個(gè)編碼碼流，使所述播放終端播放選出的編碼碼流； 播放交互單元，用于所述播放終端在播放過程中，采集用戶的交互行為，形成播放行為 信息PA，并將所述播放行為信息PA反饋到所述服務(wù)端； 觀看范圍和對象獲取單元，用于所述服務(wù)端判斷是否接收到所述播放行為信息PA，女口 果所述服務(wù)端接收到所述播放行為信息PA，則通過所述播放行為信息PA得到用戶選擇的 觀看畫面范圍UV或用戶選擇的觀看對象U0 ; 畫面獲取單元，用于所述服務(wù)端判斷是否獲取到所述觀看畫面范圍UV或所述觀看對 象U0,如果所述服務(wù)端判斷獲取到所述觀看畫面范圍UV或所述觀看對象U0,則基于所述觀 看畫面范圍UV或所述觀看對象U0,得到畫面Sb;判斷所述視頻節(jié)目是否包含畫面Sb，如果 所述視頻節(jié)目不包含畫面Sb，則令所述視頻節(jié)目包含畫面Sb;然后令S。=Sb，返回所述碼流 選擇單元、播放交互單元、觀看范圍和對象獲取單元重復(fù)執(zhí)行上述動作。
16. 根據(jù)權(quán)利要求15所述的網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，在網(wǎng)絡(luò)視頻畫面處 理裝置包括： 畫面和編碼碼流調(diào)整單元，用于設(shè)所述視頻節(jié)目包含的畫面S。，Si，S2,…所構(gòu)成的畫面 集合為SX，SX中的畫面Si對應(yīng)的編碼碼流P1。，Pu，P。，…所構(gòu)成的編碼碼流集合為EXi;對 所述畫面集合SX中的畫面Si生成子區(qū)域畫面，將所述子區(qū)域畫面加入所述畫面集合SX中； 對所述畫面集合SX中的所述Si，增加所述編碼碼流集合EXi中的編碼碼流、停止所述編碼 碼流集合EXi中的編碼碼流或修改所述編碼碼流集合EXi中的編碼碼流的編碼參數(shù)。
17. 根據(jù)權(quán)利要求16所述的網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，碼流選擇單元包括： 編碼碼流選擇模塊，用于令集合SB=咕ISiGSX，Si是S。的子區(qū)域或S。是Si的子區(qū) 域或Si與S。一致或Si與S。近似}，集合EXB={PUIPyGEX。SiGSB}，從所述集合EXB中 選擇一個(gè)或多個(gè)編碼碼流構(gòu)成編碼碼流的集合PX; 單碼流選擇模塊，用于判斷所述播放終端是否未采用自適應(yīng)碼率協(xié)議，且是否是由所 述播放終端指定所述觀看畫面S。，如所述播放終端未采用自適應(yīng)碼率協(xié)議，且是由所述播 放終端指定S。，則優(yōu)先從所述集合EXB中選擇和所述觀看畫面S。一致的Si對應(yīng)的所述編碼 碼流集合EXi中的一個(gè)編碼碼流，構(gòu)成所述編碼碼流的集合PX。
18. 根據(jù)權(quán)利要求17所述的網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，所述用戶的交互行 為包括：縮小或放大當(dāng)前畫面范圍，移動當(dāng)前畫面，旋轉(zhuǎn)當(dāng)前畫面，選擇觀看對象。
19. 根據(jù)權(quán)利要求16所述的網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，所述畫面獲取單元 包括下述四種模塊中的一種或多種的組合： 第一獲取單元，用于若所述觀看畫面范圍uv和所述畫面集合SX中的Si相同或近似， 則Sb=S 第二獲取單元，用于若所述觀看畫面范圍UV和所述畫面集合SX中的Si的一個(gè)子區(qū)域A,畫面區(qū)域相同或近似，則Sb= A,; 第H獲取單元，用于所述畫面集合SX中的Si預(yù)設(shè)了若干子區(qū)域A …，若觀看畫 面范圍UV和所述若干子區(qū)域其中的一個(gè)Ad的畫面區(qū)域相同或最為近似，則Sb=Ad; 第四獲取單元，用于若所述觀看畫面范圍UV和所述畫面集合SX中的多個(gè)畫面計(jì)算得 到的畫面S。相同或近似，則Sb= S。。
20. 根據(jù)權(quán)利要求18所述的網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，所述的網(wǎng)絡(luò)視頻畫 面處理裝置還包括；第一替換單元，用于如所述用戶的交互行為是縮小當(dāng)前畫面范圍，未采 用自適應(yīng)碼率，且所述集合PX中包含的編碼碼流為P"，通過查找、新增或修改編碼碼流碼 率的方法得到一個(gè)編碼碼流Pby，使得所述Pby對應(yīng)畫面范圍和所述畫面Sb-致且所述Pby的 編碼碼率和所述P"的編碼碼率一致或相差在一闊值W內(nèi)，將所述Pby加入所述集合PX并替 換所述Pay。
21. 根據(jù)權(quán)利要求18所述的網(wǎng)絡(luò)視頻畫面處理裝置，其特征在于，所述的網(wǎng)絡(luò)視頻畫 面處理裝置還包括；第二替換單元，用于如所述用戶的交互行為是縮小當(dāng)前畫面范圍，且采 用自適應(yīng)碼率，對所述集合PX中包含的每個(gè)編碼碼流Pgj.，通過查找、新增或修改編碼碼流 碼率的方法得到一個(gè)編碼碼流Pw，使得所述Pw對應(yīng)畫面范圍是所述P。^(才應(yīng)畫面范圍的子 區(qū)域且所述Pw的編碼碼率和所述Paj的編碼碼率一致或相差在一闊值W內(nèi)，將所述PW加入 所述集合PX并替換所述Pgj.。
【文檔編號】H04N21/239GK104469398SQ201410746524
【公開日】2015年3月25日 申請日期:2014年12月9日 優(yōu)先權(quán)日:2014年12月9日
【發(fā)明者】李偉華, 李毅, 羅翰, 要文濤 申請人:北京清源新創(chuàng)科技有限公司