用于視頻序列中的感知質(zhì)量評(píng)估的場景變換檢測的制作方法
【專利摘要】提供多種用于檢測流播視頻中的場景變換的方法，流播視頻包括一系列圖片。示例方法包括：對(duì)于多個(gè)位置，計(jì)算連續(xù)圖片中的相同位置處的宏塊的編碼成本之間的差。方法還包括：當(dāng)多個(gè)位置的差的總和滿足閾值準(zhǔn)則時(shí)，標(biāo)識(shí)新場景。還提供確定分組丟失對(duì)流播視頻的感知影響的方法，該方法包括：標(biāo)識(shí)分組丟失；以及確定丟失的分組是否包含有關(guān)新場景開始時(shí)的圖片的信息，其中利用本文公開的方法之一檢測新場景。
【專利說明】用于視頻序列中的感知質(zhì)量評(píng)估的場景變換檢測
[0001]
【技術(shù)領(lǐng)域】
[0002]本申請(qǐng)涉及:多種檢測流播的視頻中的場景變換的方法；一種確定分組丟失對(duì)流播的視頻的感知影響的方法；一種確定流播的視頻中新場景的出現(xiàn)的感知影響的方法；以及一種計(jì)算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0003]可以跨IP網(wǎng)絡(luò)將電視內(nèi)容或視頻內(nèi)容從內(nèi)容提供商傳送到供最終用戶使用的裝置。該裝置可以是個(gè)人計(jì)算機(jī)、無線通信裝置、機(jī)頂盒、具有內(nèi)置機(jī)頂盒功能性的電視、智能TV或智能機(jī)頂盒。電視內(nèi)容或視頻內(nèi)容可以具有通常與其一起傳送的與其相關(guān)聯(lián)的音頻內(nèi)容。出現(xiàn)“實(shí)時(shí)”傳送時(shí)表示，在傳送完成之前就顯示內(nèi)容，這稱為“流播(Streaming)”。
[0004]跨通信網(wǎng)絡(luò)的視頻流播正變得越來越普遍。為了確保在通信網(wǎng)絡(luò)上流播的視頻的端到端質(zhì)量，網(wǎng)絡(luò)運(yùn)營商和視頻服務(wù)提供商可以使用視頻質(zhì)量模型。視頻質(zhì)量模型通過測量對(duì)于人類觀察者來說可感知的來自編碼和傳送的假象或誤差來生成視頻質(zhì)量的客觀評(píng)價(jià)。這可以取代主觀質(zhì)量評(píng)價(jià)，在主觀質(zhì)量評(píng)價(jià)中，人們觀看視頻樣本并評(píng)定其質(zhì)量。
[0005]學(xué)術(shù)界對(duì)視頻質(zhì)量模型的認(rèn)知已經(jīng)有一段時(shí)間了，但是將其使用標(biāo)準(zhǔn)化也只是最近的事。在國際電信聯(lián)盟(ITU)標(biāo)準(zhǔn)J.144、J.247和J.341中描述了感知視頻質(zhì)量模型。感知模型的優(yōu)點(diǎn)在于，它們可以使用經(jīng)過處理的視頻中的像素值來確定質(zhì)量分?jǐn)?shù)。在全參考模型的情況下(如在上述 ITU標(biāo)準(zhǔn)中)，還使用參考信號(hào)來預(yù)測經(jīng)過處理的視頻的降級(jí)。感知模型的一個(gè)大的缺點(diǎn)是它們?cè)谟?jì)算上要求高，并且不適合大規(guī)模部署用于網(wǎng)絡(luò)監(jiān)視的目的。
[0006]因此，當(dāng)前正在ITU-T SG12/Q14中以工作名稱P.NAMS標(biāo)準(zhǔn)化一種更輕量的方法。該模型采用網(wǎng)絡(luò)層協(xié)議報(bào)頭作為其輸入，并且利用它們來對(duì)所傳送的視頻進(jìn)行質(zhì)量估計(jì)。這使得該模型可以非常有效率地實(shí)現(xiàn)和使用，但是它獨(dú)自對(duì)所傳送的視頻的質(zhì)量估計(jì)相當(dāng)粗糙。因此，ITU-T SG12/Q14還將對(duì)工作名稱為P.NBAMS的視頻比特流質(zhì)量模型進(jìn)行標(biāo)準(zhǔn)化。該模型不只使用網(wǎng)絡(luò)層協(xié)議報(bào)頭，而且還使用編碼的基本流或“比特流”。利用兩種輸入集合的優(yōu)點(diǎn)是，與P.NAMS模型相比，在獲得視頻質(zhì)量的更佳估計(jì)的同時(shí)它將是相當(dāng)輕量的。
[0007]基于塊的編碼是主要的視頻編碼技術(shù)，其具有編解碼標(biāo)準(zhǔn)例如H.263、MPEG-4Visual、MPEG-4 AVC (H.264)以及在ITU視頻編碼聯(lián)合協(xié)作組(JCT-VC)中開發(fā)的新興的
H.265標(biāo)準(zhǔn)?；趬K的編碼使用不同類型的圖片(它們采用不同類型的預(yù)測)以便能夠盡可能有效率地壓縮視頻。幀內(nèi)圖片(1-圖片)只可以在空間上從圖片本身中的區(qū)域預(yù)測。預(yù)測圖片(P-圖片)則在時(shí)間上從之前的一個(gè)或多個(gè)編碼圖片預(yù)測。但是，P-圖片中的一些宏塊可以是幀內(nèi)編碼。雙向預(yù)測的圖片(B-圖片)從之前的圖片以及隨后的圖片預(yù)測。具有在此之前沒有圖片可用于預(yù)測的限制的1-圖片稱為即時(shí)解碼刷新(IDR)圖片。與P-圖片和B-圖片相比，I圖片和IDR圖片在比特方面通常要花費(fèi)多得多來編碼。
[0008]為了增加易于發(fā)生誤差的通信網(wǎng)絡(luò)中的誤差復(fù)原能力，定期插入I或IDR圖片以刷新視頻。定期插入I或IDR圖片也是為了允許隨機(jī)接入和信道切換。此外，當(dāng)將圖片編碼為P-圖片的成本(在誘導(dǎo)失真和比特分配方面)大于將它編碼為I或IDR圖片的成本時(shí)，插入I或IDR圖片。當(dāng)圖片的空間冗余度大于具有其參考圖片的圖片的時(shí)間冗余度時(shí)，會(huì)出現(xiàn)這種情況。當(dāng)考慮中的圖片是場景變換時(shí)通常會(huì)發(fā)生這種情況，場景變換又稱為場景切換，它意味著所描繪的場景與它之前的圖片完全不同。是否應(yīng)當(dāng)及時(shí)插入強(qiáng)制的幀內(nèi)圖片不是由視頻編碼標(biāo)準(zhǔn)(它只定義解碼過程)定義的，而是由編碼器來決定。
[0009]平均而言，電視內(nèi)容通常每3-5秒包含場景之間的轉(zhuǎn)變，稱為場景變換。場景變換可以即刻出現(xiàn)在兩個(gè)圖片之間或者在若干圖片上逐漸消失。由于從場景變換的一側(cè)到另一側(cè)無法進(jìn)行好的時(shí)間預(yù)測是常有的情形，所以智能編碼器通常試圖將場景切換與1-圖片或IDR-圖片對(duì)準(zhǔn)。
[0010]WO 2009/012297描述了一種通過只利用來自分組報(bào)頭的信息來估計(jì)加密分組視頻流中的幀的內(nèi)容而無需對(duì)分組解密的方法和系統(tǒng)。如果之前的圖片組(GOP)的長度異常短并且倒數(shù)第二個(gè)GOP長度等于其最大值，那么將1-幀表示為新場景的開始。但是，這種方法的主要缺點(diǎn)是無法標(biāo)識(shí)在正常GOP長度中出現(xiàn)的場景變換。例如，如果正常GOP長度是25個(gè)幀，那么無法檢測在幀號(hào)25、50、75、100等中出現(xiàn)的場景變換。此外，較短的GOP長度并一定意味著考慮中的圖片是場景變換，從而導(dǎo)致許多錯(cuò)誤肯定。

【發(fā)明內(nèi)容】

[0011]本文提供多種適合在質(zhì)量評(píng)價(jià)模型中使用的場景變換檢測方法。此外，提供一種采用場景變換檢測的質(zhì)量評(píng)價(jià)模型。
[0012]在場景變換期間出現(xiàn)的分組丟失通常比在場景中間出現(xiàn)的分組丟失明顯得多。因此，提供一種質(zhì)量檢測模型，它結(jié)合諸如分組丟失的錯(cuò)誤檢測利用場景變換檢測。但是，為了質(zhì)量評(píng)價(jià)模型的目的的場景變換檢測方法必須非常準(zhǔn)確，因?yàn)閳鼍白儞Q檢測中的任何誤差都可能會(huì)在質(zhì)量評(píng)價(jià)中放大。
[0013]圖1示出兩種情形中的1-圖片中的數(shù)據(jù)丟失的相對(duì)影響。圖1a示出新場景開始時(shí)的1-圖片中的數(shù)據(jù)丟失，而圖1b示出類似的丟失但是在場景中間的1-圖片。在圖1a中，圖片110的特征是“缺失片段”115，其中解碼器尚未接收到與新場景的這部分有關(guān)的數(shù)據(jù)，并且因此使用來自之前場景的圖片的對(duì)應(yīng)片段。這里，新場景是場上的選手的場景，而之前的場景是人群的場景。在圖1b中，在顯示場上選手的場景期間出現(xiàn)數(shù)據(jù)丟失，并且因此數(shù)據(jù)丟失遠(yuǎn)遠(yuǎn)不引人注意。圖片120的右手邊的上面的選手的細(xì)節(jié)發(fā)生了失真，但是數(shù)據(jù)丟失幾乎不太能察覺。
[0014]而且，即使沒有出現(xiàn)傳送錯(cuò)誤，場景變換仍會(huì)對(duì)視頻信號(hào)的質(zhì)量有影響。通常，具有場景變換的序列具有較低的質(zhì)量，因?yàn)樗鼈兇硪话阋M(fèi)成本來編碼的更加復(fù)雜的內(nèi)容。另外，在新場景開始時(shí)的1-圖片通常是(或者至少表現(xiàn)為好像它們是)IDR圖片。這會(huì)使壓縮效率下降，因?yàn)閰⒖紙D片的數(shù)量是有限的。
[0015]提供一種檢測流播視頻中的場景變換的方法，其中流播視頻包括一系列圖片。該方法包括對(duì)于多個(gè)位置，計(jì)算連續(xù)圖片中的相同位置處的宏塊的編碼成本之間的差。該方法還包括當(dāng)多個(gè)位置的差的總和滿足閾值準(zhǔn)則時(shí)，標(biāo)識(shí)新場景。
[0016]在流播視頻已編碼的情況下，以上方法可以對(duì)已編碼的比特流進(jìn)行操作。該方法無需解碼流播視頻。
[0017]用于計(jì)算差的位置可以是像素位置、子塊位置和/或宏塊位置。像素位置可以包括單獨(dú)像素的位置或像素組的位置。
[0018]宏塊的編碼成本可以根據(jù)宏塊類型來確定。宏塊類型可以包括以下之一:跳過(skip)、作為一個(gè)分區(qū)的幀間編碼的宏塊、細(xì)分為多個(gè)分區(qū)的幀間編碼的宏塊；作為一個(gè)分區(qū)的幀內(nèi)編碼的宏塊；以及細(xì)分為多個(gè)分區(qū)的幀內(nèi)編碼的宏塊?？梢岳妹糠N宏塊類型的歷史平均編碼成本來將編碼成本指派給只利用特定宏塊類型的特定宏塊。
[0019]該方法還可包括應(yīng)用運(yùn)動(dòng)補(bǔ)償，借此在已經(jīng)應(yīng)用運(yùn)動(dòng)補(bǔ)償之后，對(duì)于像素位置計(jì)算連續(xù)圖片中相同位置處的像素的宏塊的編碼成本之間的差。這意味著，在當(dāng)前圖片的位置和它在參考(之前)圖片中的運(yùn)動(dòng)補(bǔ)償?shù)奈恢弥g計(jì)算像素值之間的差。
[0020]該方法還可以包括包含連續(xù)圖片中的位置之間的偏移。對(duì)于多個(gè)偏移值中的每個(gè)偏移值，可以計(jì)算多個(gè)位置的差的總和以獲得對(duì)應(yīng)于所述多個(gè)偏移值的多個(gè)差總值。該方法還可以包括將所述多個(gè)差總值的最小值與閾值準(zhǔn)則進(jìn)行比較。這允許另外的類似宏塊的不對(duì)準(zhǔn)，例如由于連續(xù)圖片之間的搖攝運(yùn)動(dòng)。
[0021]該方法還可以包括當(dāng)多個(gè)像素位置的差的總和大于最大閾值或小于最小閾值時(shí)，標(biāo)識(shí)新場景。至少一個(gè)閾值可以通過對(duì)在預(yù)定數(shù)量的緊接的之前的圖片之間計(jì)算的差取加權(quán)平均值來確定，其中賦予較近期的圖片之間的差較大的權(quán)。這有時(shí)稱為使用滑動(dòng)窗。
[0022]還提供一種用于檢測流播視頻中的場景變換的設(shè)備，流播視頻包括一系列圖片。該設(shè)備包括處理器，它布置成對(duì)于多個(gè)位置計(jì)算連續(xù)圖片中的相同位置處的宏塊的編碼成本之間的差。該設(shè)備還包括場景變換檢測器，它布置成當(dāng)多個(gè)位置的差的總和滿足閾值準(zhǔn)則時(shí)標(biāo)識(shí)新場景。
[0023]還提供一種檢測流播視頻中的場景變換的方法，流播視頻包括一系列圖片。該方法包括對(duì)于多個(gè)位置，計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差。該方法還包括對(duì)差應(yīng)用加權(quán)，加權(quán)取決于與位置相關(guān)聯(lián)的宏塊類型。該方法還包括當(dāng)多個(gè)位置的加權(quán)的差的總和超過閾值時(shí)，標(biāo)識(shí)新場景。
[0024]該方法還可以包括應(yīng)用運(yùn)動(dòng)補(bǔ)償，并且其中在已經(jīng)應(yīng)用運(yùn)動(dòng)補(bǔ)償之后，對(duì)于像素位置計(jì)算連續(xù)圖片中的相同位置處的像素的宏塊的編碼成本之間的差。這意味著，在當(dāng)前圖片的位置和它在參考(之前)圖片中的運(yùn)動(dòng)補(bǔ)償位置之間計(jì)算像素值之間的差。
[0025]還提供一種用于檢測流播視頻中的場景變換的設(shè)備，流播視頻包括一系列圖片。該設(shè)備包括像素信息分析器，它布置成對(duì)于多個(gè)位置計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差。該設(shè)備還包括處理器，它布置成對(duì)差應(yīng)用加權(quán)，加權(quán)取決于與位置相關(guān)聯(lián)的宏塊類型。該設(shè)備還包括場景變換檢測器，它布置成當(dāng)多個(gè)位置的加權(quán)的差的總和超過閾值時(shí)標(biāo)識(shí)新場景。
[0026]還提供一種檢測流播視頻中的場景變換的方法，流播視頻包括一系列圖片。該方法包括確定圖片的編碼大小。該方法還包括確定圖片的圖片類型。該方法還包括當(dāng)編碼圖片大小超過所檢測的圖片類型的閾值時(shí)標(biāo)識(shí)新場景。
[0027]圖片類型可以根據(jù)從流播視頻的分組報(bào)頭提取的信息來確定。圖片類型可以從包含在RTP或MPEG2-TS PES報(bào)頭中的時(shí)間戳信息來確定。
[0028]圖片類型可以包括以下之一:幀內(nèi)編碼、單向預(yù)測圖片以及雙向預(yù)測圖片。雙向預(yù)測圖片可以是參考和/或非參考圖片。
[0029]還提供一種用于檢測流播視頻中的場景變換的設(shè)備，流播視頻包括一系列圖片。該設(shè)備包括處理器，它布置成確定圖片的編碼大小，并確定圖片的圖片類型。該設(shè)備還包括場景變換檢測器，它布置成當(dāng)編碼圖片大小超過所檢測的圖片類型的閾值時(shí)標(biāo)識(shí)新場景。
[0030]還提供一種檢測流播視頻中的場景變換的方法，流播視頻包括一系列圖片。該方法包括確定圖片的編碼大小。該方法還包括根據(jù)圖片的編碼大小確定圖片類型。該方法還包括對(duì)于多個(gè)像素位置計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差。該方法還包括通過將像素差求和來計(jì)算連續(xù)圖片之間的差的量度。該方法還包括對(duì)連續(xù)圖片之間的差的量度應(yīng)用加權(quán)，加權(quán)取決于圖片類型。該方法還包括當(dāng)加權(quán)的差超過閾值時(shí)標(biāo)識(shí)新場景。
[0031]圖片類型可以包括以下之一:幀內(nèi)編碼、單向預(yù)測圖片以及雙向預(yù)測圖片。雙向預(yù)測圖片可以是分級(jí)的和/或非分級(jí)的。
[0032]還提供一種用于檢測流播視頻中的場景變換的設(shè)備，流播視頻包括一系列圖片。該設(shè)備包括處理器，它布置成確定圖片的編碼大小，并根據(jù)圖片的編碼大小確定圖片類型。處理器還布置成對(duì)于多個(gè)像素位置計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差；以及通過將像素差求和來計(jì)算連續(xù)圖片之間的差的量度。處理器還布置成對(duì)連續(xù)圖片之間的差的量度應(yīng)用加權(quán)，加權(quán)取決于圖片類型。該設(shè)備還包括場景變換檢測器，它布置成當(dāng)加權(quán)的差超過閾值時(shí)標(biāo)識(shí)新場景。
[0033]還提供一種確 定分組丟失對(duì)流播視頻的感知影響的方法，流播視頻包括一系列圖片。該方法包括標(biāo)識(shí)分組丟失。該方法還包括確定丟失的分組是否包含有關(guān)新場景開始時(shí)的圖片的信息，其中利用根據(jù)上述方法中的任一方法的檢測場景變換的方法來檢測新場
旦
-5^ O
[0034]還提供一種攜帶指令的計(jì)算機(jī)可讀介質(zhì)，所述指令在由計(jì)算機(jī)邏輯執(zhí)行時(shí)使所述計(jì)算機(jī)邏輯執(zhí)行上文所描述的方法中的任一方法。
【專利附圖】

【附圖說明】
[0035]現(xiàn)在將參考附圖僅僅通過示例的方式來描述場景變換檢測方法和質(zhì)量評(píng)價(jià)模型，附圖中:
圖1示出兩種情形中的1-圖片中的數(shù)據(jù)丟失的相對(duì)影響；
圖2是示出利用從編碼視頻流提取的特征來標(biāo)識(shí)場景變換的方法的流程圖；
圖3示出利用宏塊類型的圖片比較；
圖4是示出利用從視頻流和解碼的像素?cái)?shù)據(jù)提取的特征來標(biāo)識(shí)場景變換的方法的流程圖；
圖5是示出利用編碼的視頻信號(hào)的分組報(bào)頭信息來標(biāo)識(shí)場景變換的方法的流程圖；
圖6示出如何從每個(gè)圖片的大小確定圖片類型的示例；
圖7是實(shí)施上述方法的場景變換檢測過程的流程圖；
圖8是示出利用分組報(bào)頭信息和解碼的像素?cái)?shù)據(jù)來標(biāo)識(shí)場景變換的方法的流程圖；以
及圖9示出用于執(zhí)行上述方法的設(shè)備。
【具體實(shí)施方式】
[0036]本文呈現(xiàn)用于在以下四組情形下的視頻質(zhì)量模型中使用的四種不同類型的場景變換檢測:1)當(dāng)像素?cái)?shù)據(jù)的解碼不可能或者不被允許時(shí)，利用從編碼視頻比特流提取或計(jì)算的特
征；
?)當(dāng)允許解碼像素?cái)?shù)據(jù)時(shí)，利用從視頻比特流提取或計(jì)算的特征；
iii)利用編碼視頻信號(hào)的分組報(bào)頭信息；以及
iv)利用分組報(bào)頭信息和通過解碼視頻比特流獲得的像素?cái)?shù)據(jù)。
[0037]對(duì)解碼的像素?cái)?shù)據(jù)具有接入權(quán)的模型將潛在地能夠?qū)Ω兄囊曨l質(zhì)量進(jìn)行更準(zhǔn)確的估計(jì)。但是，這是以更高的復(fù)雜度和對(duì)包括存儲(chǔ)器和處理能力的資源的增加的需求為代價(jià)。
[0038]本文呈現(xiàn)的這四種不同的操作模式或者從視頻質(zhì)量評(píng)價(jià)模塊的復(fù)雜度要求指定，或者從由于視頻信號(hào)加密而缺少特定信息指定。例如，如果在具有有限功率資源的網(wǎng)絡(luò)位置中部署視頻質(zhì)量測量，或者如果視頻信號(hào)被加密，那么模式(iii)將是合適的。如果該模型部署在最終用戶駐地的解碼裝置中并且視頻信號(hào)被加密，那么本發(fā)明可以另外使用來自重構(gòu)圖片(例如，它可以從最終用戶裝置捕獲)的像素?cái)?shù)據(jù)，并且模式(iv)將是合適的。如果視頻信號(hào)沒有加密，那么取決于復(fù)雜度規(guī)范和要求，系統(tǒng)可以利用如模式(i)和(ii)中所描述的視頻比特流的 特征。
[0039]將依次描述所述模式中的每種模式。
[0040](i)利用從編碼視頻流提取的特征
這種檢測流播視頻中的場景變換的方法包括對(duì)于多個(gè)位置計(jì)算連續(xù)圖片中的相同位置處的宏塊的編碼成本之間的差；以及當(dāng)多個(gè)位置的差的總和滿足閾值準(zhǔn)則時(shí)，標(biāo)識(shí)新場
旦
-5^ O
[0041]圖2中的流程圖示出了應(yīng)用于流播視頻中的兩個(gè)連續(xù)圖片的這種方法。在210，選擇將進(jìn)行比較的圖片位置。對(duì)于一些實(shí)現(xiàn)，可以比較每個(gè)圖片位置，但是對(duì)于其它實(shí)現(xiàn)，根據(jù)預(yù)定或甚至隨機(jī)的模式選擇子集。在220，確定與兩個(gè)圖片中的選定圖片位置中的每個(gè)圖片位置處的宏塊的編碼成本有關(guān)的值。在230，在選定位置中的每個(gè)位置計(jì)算兩個(gè)圖片之間的編碼成本的差。將這些差求和，并將總差與閾值進(jìn)行比較。如果總差超過閾值，那么確定已經(jīng)發(fā)生了場景變換。
[0042]當(dāng)質(zhì)量評(píng)價(jià)模型檢測到以下情形之一時(shí)，可以采用這種場景變換檢測方法: -一個(gè)或多個(gè)圖片的丟失；
-圖片的部分的丟失，該圖片編碼為1-圖片或IDR圖片；
-圖片的部分的丟失，其中圖片中的幀內(nèi)編碼宏塊的比例超過閾值，使得圖片具有類似于1-圖片或IDR圖片的影響。
[0043]該方法可以應(yīng)用于兩種圖片，一種圖片出現(xiàn)在數(shù)據(jù)丟失之前，另一種圖片出現(xiàn)在數(shù)據(jù)丟失之后。該方法包括在兩個(gè)圖片之間進(jìn)行比較。這允許確定在場景變換期間是否發(fā)生了丟失。但是，即使沒有發(fā)生丟失，場景變換檢測方法仍可以應(yīng)用。[0044]可以利用以下來確定圖片中的一個(gè)位置處的宏塊的編碼成本的指示:運(yùn)動(dòng)向量、宏塊類型、用于宏塊編碼的比特?cái)?shù)和/或量化值。
[0045]在使用運(yùn)動(dòng)向量來確定宏塊的編碼成本的情況下，使用宏塊的運(yùn)動(dòng)向量的方向和大小。運(yùn)動(dòng)向量的大小越大，那么編碼成本也越大。運(yùn)動(dòng)向量的方向?qū)幋a成本也有影響。該方法可以檢測發(fā)生場景變換的許多情形。但是，對(duì)于非常靜態(tài)的場景，僅運(yùn)動(dòng)向量方法將不能夠檢測場景變換(即，從一個(gè)靜態(tài)場景到另一個(gè)靜態(tài)場景的場景變換難以通過查看運(yùn)動(dòng)向量來檢測)。
[0046]編碼成本也可以通過分析圖片的特定區(qū)域的復(fù)雜度來確定。復(fù)雜度可以通過查看在特定宏塊位置中使用的宏塊的所用比特?cái)?shù)或類型來測量。對(duì)于宏塊類型，可以根據(jù)下表為每種類型的宏塊指派一個(gè)數(shù)值，其中為昂貴的宏塊指派較大值。
【權(quán)利要求】
1.一種檢測流播視頻中的場景變換的方法，所述流播視頻包括一系列圖片，所述方法包括: 對(duì)于多個(gè)位置，計(jì)算連續(xù)圖片中的相同位置處的宏塊的編碼成本之間的差；以及 當(dāng)多個(gè)位置的所述差的總和滿足閾值準(zhǔn)則時(shí)，標(biāo)識(shí)新場景。
2.如權(quán)利要求1所述的方法，其中宏塊的所述編碼成本根據(jù)用于編碼所述宏塊的比特?cái)?shù)來確定。
3.如權(quán)利要求1所述的方法，其中宏塊的所述編碼成本根據(jù)用于編碼所述宏塊的運(yùn)動(dòng)向量來確定。
4.如權(quán)利要求1所述的方法，其中宏塊的所述編碼成本根據(jù)用于編碼所述宏塊的量化參數(shù)值來確定。
5.如權(quán)利要求1所述的方法，其中宏塊的所述編碼成本根據(jù)宏塊類型來確定。
6.如權(quán)利要求5所述的方法，其中所述宏塊類型包括以下之一:跳過；作為一個(gè)分區(qū)的中貞間編碼的宏塊；細(xì)分為多個(gè)分區(qū)的幀間編碼的宏塊；作為一個(gè)分區(qū)的幀內(nèi)編碼的宏塊；以及細(xì)分為多個(gè)分區(qū)的幀內(nèi)編碼的宏塊。
7.如前述權(quán)利要求中的任一項(xiàng)所述的方法，還包括應(yīng)用運(yùn)動(dòng)補(bǔ)償，并且其中在已經(jīng)應(yīng)用運(yùn)動(dòng)補(bǔ)償之后，對(duì)于所述像素位置計(jì)算連續(xù)圖片中的相同位置處的像素的宏塊的編碼成本之間的所述差。
8.如權(quán)利要求1所述的方法，所述方法還包括: 包含連續(xù)圖片中的所述位置之間的偏移； 對(duì)于多個(gè)偏移值中的每個(gè)偏移值，計(jì)算多個(gè)位置的所述差的總和以便獲得對(duì)應(yīng)于所述多個(gè)偏移值的多個(gè)差總值；以及 將所述多個(gè)差總值的最小值與所述閾值準(zhǔn)則進(jìn)行比較。
9.如前述權(quán)利要求中的任一項(xiàng)所述的方法，其中當(dāng)多個(gè)像素位置的所述差的所述總和大于最大閾值或小于最小閾值時(shí)，標(biāo)識(shí)新場景。
10.如權(quán)利要求9所述的方法，其中從在多個(gè)之前圖片中的連續(xù)圖片之間計(jì)算的所述差確定至少一個(gè)閾值。
11.如權(quán)利要求9所述的方法，其中通過對(duì)在預(yù)定數(shù)量的緊接的之前的圖片之間計(jì)算的差取加權(quán)平均值來確定至少一個(gè)閾值，其中賦予較近期的圖片之間的所述差較大的權(quán)。
12.—種檢測流播視頻中的場景變換的方法，所述流播視頻包括一系列圖片，所述方法包括: 對(duì)于多個(gè)位置，計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差； 對(duì)所述差應(yīng)用加權(quán)，所述加權(quán)取決于與所述位置相關(guān)聯(lián)的宏塊類型；以及 當(dāng)多個(gè)位置的加權(quán)差的總和超過閾值時(shí)，標(biāo)識(shí)新場景。
13.如權(quán)利要求12所述的方法，其中與所述像素位置相關(guān)聯(lián)的所述宏塊類型是在所述連續(xù)圖片的后一圖片中的所述像素位置的編碼中使用的宏塊類型。
14.如前述權(quán)利要求中的任一項(xiàng)所述的方法，還包括應(yīng)用運(yùn)動(dòng)補(bǔ)償，并且其中在已經(jīng)應(yīng)用運(yùn)動(dòng)補(bǔ)償之后，對(duì)于所述像素位置計(jì)算連續(xù)圖片中的相同位置處的像素的宏塊的編碼成本之間的差。
15.如權(quán)利要求12-14中的任一項(xiàng)所述的方法，其中所述宏塊類型包括以下之一:跳過；幀間編碼的宏塊；幀間編碼的子塊；幀內(nèi)編碼的宏塊；以及幀內(nèi)編碼的子塊。
16.—種檢測流播視頻中的場景變換的方法，所述流播視頻包括一系列圖片，所述方法包括: 確定圖片的編碼大?。? 確定所述圖片的圖片類型； 當(dāng)所述編碼圖片大小超過檢測的圖片類型的閾值時(shí)，標(biāo)識(shí)新場景。
17.如權(quán)利要求16所述的方法，其中根據(jù)所述圖片的所述編碼大小確定所述圖片類型。
18.如權(quán)利要求17所述的方法，其中利用最近的圖片的編碼大小的記錄來執(zhí)行根據(jù)圖片的所述編碼大小確定圖片類型。
19.如權(quán)利要求16所述的方法，其中根據(jù)從所述流播視頻的分組報(bào)頭提取的信息確定所述圖片類型。
20.如權(quán)利要求16所述的方法，其中特定圖片類型的所述編碼圖片大小閾值確定為與所述特定類型的多個(gè)最近的圖片的編碼大小的平均值的預(yù)定的偏差。
21.如權(quán)利要求16-20中的任一項(xiàng)所述的方法，其中所述圖片類型包括以下之一:幀內(nèi)編碼；單向預(yù)測圖片；以 及雙向預(yù)測圖片。
22.如權(quán)利要求16-21中的任一項(xiàng)所述的方法，其中當(dāng)幀內(nèi)編碼圖片的編碼圖片大小超過閾值時(shí)，標(biāo)識(shí)新場景。
23.—種檢測流播視頻中的場景變換的方法，所述流播視頻包括一系列圖片，所述方法包括: 確定圖片的編碼大?。? 根據(jù)所述圖片的所述編碼大小確定圖片類型； 對(duì)于多個(gè)像素位置，計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差； 通過將所述像素差求和來計(jì)算連續(xù)圖片之間的差的量度； 對(duì)所述連續(xù)圖片之間的差的所述量度應(yīng)用加權(quán)，所述加權(quán)取決于所述圖片類型； 當(dāng)所述加權(quán)差超過閾值時(shí)，標(biāo)識(shí)新場景。
24.如權(quán)利要求23所述的方法，其中所述圖片類型包括以下之一:幀內(nèi)編碼；單向預(yù)測圖片；以及雙向預(yù)測圖片。
25.一種確定分組丟失對(duì)流播視頻的感知影響的方法，所述流播視頻包括一系列圖片，所述方法包括: 標(biāo)識(shí)分組丟失； 確定丟失的分組是否包含有關(guān)新場景開始時(shí)的圖片的信息，其中利用根據(jù)前述權(quán)利要求中任一項(xiàng)所述的檢測場景變換的方法來檢測新場景。
26.一種確定流播視頻中新場景的出現(xiàn)的感知影響的方法，所述流播視頻包括一系列圖片，其中利用根據(jù)權(quán)利要求1-24中任一項(xiàng)所述的檢測場景變換的方法來檢測新場景。
27.一種攜帶指令的計(jì)算機(jī)可讀介質(zhì)，所述指令在由計(jì)算機(jī)邏輯執(zhí)行時(shí)使所述計(jì)算機(jī)邏輯執(zhí)行權(quán)利要求1-26定義的方法中的任一方法。
28.一種用于檢測流播視頻中的場景變換的設(shè)備，所述流播視頻包括一系列圖片，所述設(shè)備包括:處理器，布置成對(duì)于多個(gè)位置計(jì)算連續(xù)圖片中的相同位置處的宏塊的編碼成本之間的差；以及 場景變換檢測器，布置成當(dāng)多個(gè)位置的所述差的總和滿足閾值準(zhǔn)則時(shí)標(biāo)識(shí)新場景。
29.一種用于檢測流播視頻中的場景變換的設(shè)備，所述流播視頻包括一系列圖片，所述設(shè)備包括: 像素信息分析器，布置成對(duì)于多個(gè)位置計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差; 處理器，布置成對(duì)所述差應(yīng)用加權(quán)，所述加權(quán)取決于與所述位置相關(guān)聯(lián)的宏塊類型；以及 場景變換檢測器，布置成當(dāng)多個(gè)位置的加權(quán)差的總和超過閾值時(shí)標(biāo)識(shí)新場景。
30.一種用于檢測流播視頻中的場景變換的設(shè)備，所述流播視頻包括一系列圖片，所述設(shè)備包括: 處理器，布置成確定圖片的編碼大小，以及確定所述圖片的圖片類型； 場景變換檢測器，布置成當(dāng)所述編碼圖片大小超過檢測的圖片類型的閾值時(shí)標(biāo)識(shí)新場景。
31.一種用于檢測流播視頻中的場景變換的設(shè)備，所述流播視頻包括一系列圖片，所述設(shè)備包括: 處理器，布置成確定圖片的編碼大小，并根據(jù)所述圖片的所述編碼大小確定圖片類型； 所述處理器還布置成:對(duì)于多個(gè)像素位置計(jì)算連續(xù)圖片中的相同位置處的像素值之間的差；并通過將所述像素差求和來計(jì)算連續(xù)圖片之間的差的量度； 所述處理器還布置成對(duì)連續(xù)圖片之間的差的所述量度應(yīng)用加權(quán)，所述加權(quán)取決于所述圖片類型； 場景變換檢測器，布置成當(dāng)加權(quán)差超過閾值時(shí)標(biāo)識(shí)新場景。
【文檔編號(hào)】H04N5/14GK104041003SQ201180074123
【公開日】2014年9月10日 申請(qǐng)日期:2011年10月11日 優(yōu)先權(quán)日:2011年10月11日
【發(fā)明者】M.佩特斯森, S.阿格羅波洛斯, D.林德格倫, P.里斯特 申請(qǐng)人:瑞典愛立信有限公司, 德意志電信股份公司