專利名稱：估計(jì)視頻流中多個(gè)視頻幀的圖像組結(jié)構(gòu)的類型的方法
估計(jì)視頻流中多個(gè)視頻幀的圖像組結(jié)構(gòu)的類型的方法
背景技術(shù)：
在眾多TV分發(fā)服務(wù)中，IPTV (互聯(lián)網(wǎng)協(xié)議TV)逐漸變得重要，并且越來越取代模擬或基于非分組的傳輸方法。廣播提供商對于內(nèi)容提供商和用戶兩者的主要職責(zé)是保持其服務(wù)質(zhì)量。在大型IPTV網(wǎng)絡(luò)中，只有完全自動(dòng)化的質(zhì)量監(jiān)視探測器(其在出現(xiàn)音頻和/或視頻質(zhì)量劣化的情況下發(fā)出警報(bào))可以滿足該需求。這些監(jiān)視探測器應(yīng)當(dāng)能夠估計(jì)終端用戶將感知的主觀質(zhì)量。存在或正在開發(fā)的一些模型，其可以將視頻比特流產(chǎn)生的客觀測量轉(zhuǎn)化為所謂的“平均意見分?jǐn)?shù)”(MOS)值?？梢杂糜诋a(chǎn)生該MOS值的客觀測量范疇包括(例如)所監(jiān)視的視頻的比特率和幀頻。IP數(shù)據(jù)包可能丟失是IP網(wǎng)絡(luò)的固有特征(主要由于在網(wǎng)絡(luò)中的某些點(diǎn)的臨時(shí)過載)。這些丟失中的某些對用戶來說幾乎不可見，而其他丟失可能引起視頻質(zhì)量出現(xiàn)嚴(yán)重劣化。即使應(yīng)對這些丟失的手段是IPTV分發(fā)系統(tǒng)的一部分，但是這些手段根本不能確保100%有效。例如，重傳請求可能耗費(fèi)太長時(shí)間，或重傳的數(shù)據(jù)包本身可能丟失。因此，總是存在非零 概率的不連續(xù)比特流傳輸至終端用戶設(shè)備。這轉(zhuǎn)而導(dǎo)致在重構(gòu)視頻或音頻中可見或可聽的劣化。因此，測量范疇還可以包括表達(dá)丟失概率的值。這種值可以包括“數(shù)據(jù)包丟失速率”和“丟失事件的突發(fā)性”的表達(dá)。為了能夠估計(jì)數(shù)據(jù)包丟失是否不可見，或與此相反即使長達(dá)較長的時(shí)段仍明顯可見，需要捕獲所監(jiān)視的比特流的更多特征。這些額外特征的最重要特征是所有幀的“幀類型”以及特別地受丟失影響的幀。“幀類型”特征的可能值包括“幀內(nèi)”或“關(guān)鍵幀”(以下稱為I幀)、“預(yù)測幀”(以下稱為P幀)、和“雙向幀”(以下稱為B幀)。眾所周知，在不了解任何先前幀的情況下只可以解碼I幀。與此相反，P幀總是取決于稱為“參考幀”的一個(gè)或多個(gè)前幀，這是因?yàn)獒槍幀所傳輸?shù)男畔⒅饕ㄆ涿枋龅囊曨l幀和其參考幀之間的差異。因此，I幀或其連續(xù)的P幀內(nèi)的數(shù)據(jù)包丟失帶至隨后的每個(gè)幀，這是因?yàn)槭艿絹G失影響的I幀和P幀一般用作隨后幀的參考幀。因此，這些幀變得劣化，即使其本身不含有任何丟失。由于該機(jī)制，單個(gè)數(shù)據(jù)包丟失錯(cuò)誤可能延及視頻序列的較長部分，直到出現(xiàn)下一個(gè)無錯(cuò)I幀。因此，P幀尤其是I幀中的錯(cuò)誤可能具有非常高的可見性。相同的參考巾貞機(jī)制對B巾貞同樣成立,但是由于B巾貞本身一般不作為參考巾貞,所以B幀中的錯(cuò)誤只在該單個(gè)幀中可見，因此與由于I幀或P幀中的丟失所導(dǎo)致的錯(cuò)誤相比，B幀中的錯(cuò)誤更不可見。由于I幀不取決于任何先前的參考幀，I幀表示比特流中的唯一點(diǎn)，所以視頻播放器或機(jī)頂盒可以與視頻同步。而且，(無丟失)I幀是及時(shí)消除由于數(shù)據(jù)包丟失導(dǎo)致的任何劣化的唯一點(diǎn)。兩個(gè)I幀之間的視頻幀序列被稱為“圖像組”(GoP)。在大多數(shù)情況中，GoP中的P幀和B幀遵循或多或少嚴(yán)格的模式，例如，根據(jù)MPEG2已知的典型GoP模式“1、B、B、P、B、B、P…”。如果已知該模式，那么可以對比特流中的任何圖像的幀類型進(jìn)行可靠的先驗(yàn)估計(jì)，即使由于數(shù)據(jù)包丟失或加密不能從比特流讀取幀類型本身。通常，獲得針對上述和其他測量值的優(yōu)良估計(jì)是困難的。這主要是由于兩個(gè)獨(dú)立的原因1.為了防止非授權(quán)存取，可能對比特流進(jìn)行加密，在測量位置不能讀取重要的比特流特征。2.由于以上所述的數(shù)據(jù)包丟失，已經(jīng)從比特流中移除了重要信息。在W02009/02297和W02009/012302中，主要借助于區(qū)分非常大的尺寸(I幀)、中等尺寸(P幀)、和小尺寸(B幀)的視頻幀的自適應(yīng)閾值，通過獨(dú)立地估計(jì)每個(gè)單獨(dú)視頻幀的幀類型，來孤立地確定GoP的“模式”。由于I幀平均含有是P幀或B幀的2至5倍那樣多的比特，所以容易將I幀與P幀、B幀區(qū)分。但是仍然不能將P幀和B幀可靠的區(qū)分。盡管B幀平均地小于P幀,但是尺寸差異不大,反而P幀大小和B幀大小的尺寸方差較大。一般地，尺寸的平均差異還大大取決于用于壓縮所檢查的視頻序列的具體解碼器和該序列的具體特征。對于被稱為“分級編碼”的H. 264編碼器的新的編碼策略更是如此，某些B幀還用作其他B幀的參考幀。EP-A-2077672涉及分析傳輸流，例如估計(jì)經(jīng)編碼的視頻信號的幀類型。在第一實(shí)施方式中，GoP的“模式”是通過確定少量連續(xù)視頻幀的局部尺寸最大值確定的，其中，如果這樣計(jì)算的小/大關(guān)系匹配預(yù)定義的“確定幀模式”，那么具有最大尺寸的視頻幀被認(rèn)為是P幀。所有其他幀被認(rèn)為是B幀。

在第二實(shí)施方式中，如果幀超過許多先前幀的平均值乘以大于一的系數(shù)(例如，1.2)所計(jì)算出的閾值，那么這些幀被估計(jì)為P幀。如果假設(shè)檢測非封閉GoP、B、B、P模式的該第一計(jì)算失敗，那么進(jìn)行描述其他GoP-模式的類似的基于閾值的測試。由于順序地執(zhí)行這些測試，首次成功被當(dāng)做最終結(jié)果，所以不能通過之后的測試來校正測試鏈開始時(shí)的失配?，F(xiàn)有技術(shù)的所有幀類型估計(jì)都取決于P幀的尺寸總是具有比序列的暫時(shí)圍繞B幀充分大的假設(shè)。實(shí)際上，并非總是如此。只有幀類型尺寸的平均值可靠地與該假設(shè)吻合。因此，按照幀的尺寸來區(qū)分幀類型是不可靠或是模糊的，有利的是，如果如本發(fā)明中所進(jìn)行的那樣，通過統(tǒng)計(jì)方法檢測一般的GoP-結(jié)構(gòu)，并且將該知曉應(yīng)用于單獨(dú)的幀。

發(fā)明內(nèi)容
本發(fā)明建議用于估計(jì)加密視頻流中或在含有關(guān)于幀類型的信息(片頭)的比特流特征由于數(shù)據(jù)包丟失已經(jīng)遺失的情況下的視頻幀的幀類型的方法。特別地，本發(fā)明提出了用于不僅僅基于幀大小來估計(jì)幀類型的方法。作為替代，通過將各GoP中遇到的幀大小與典型預(yù)定義的GoP模式進(jìn)行模式匹配來估計(jì)所檢查的視頻比特流的GoP模式。利用知曉所估計(jì)的GoP模式，可以估計(jì)每個(gè)隨后幀的類型。權(quán)利要求中限定了本發(fā)明。根據(jù)第一方面，本發(fā)明提供了根據(jù)權(quán)利要求1所述的用于估計(jì)視頻流中多個(gè)視頻的圖像組(GoP)結(jié)構(gòu)的類型的方法。在步驟a)中，或是通過觀察傳輸層的某些時(shí)間戳的變化或是通過頭結(jié)構(gòu)中的用于信號通知新幀并且根據(jù)其他幀判定Intra-幀的某些比特可以檢測比特流中的視頻幀的邊界。優(yōu)選地，在步驟a)中，長達(dá)一個(gè)測量周期所捕獲的幀數(shù)目包括在下一個(gè)I幀之前的所有幀。在步驟b)中，將連續(xù)幀大小轉(zhuǎn)換至二進(jìn)制優(yōu)選地包括使用取決于常量或緩慢波動(dòng)特征的參考值或動(dòng)態(tài)自適應(yīng)參考值，其優(yōu)選地取決于先前捕獲的幀的大小和/或其他動(dòng)態(tài)特征值。預(yù)定義的基本二進(jìn)制模式描述了針對基于幀編碼、基于字段編碼、非封閉GoP編碼、或封閉GoP編碼中許多不同的連續(xù)B幀的可能GoP結(jié)構(gòu)。優(yōu)選地，在步驟c)中，利用上一個(gè)基本模式的可能截?cái)嘀貜?fù)短預(yù)定義的基本模式，直到重復(fù)的基本模式的序列的長度與幀大小數(shù)組中的二進(jìn)制幀大小的序列的長度相同。而且，在步驟c)中，通過按元素同或運(yùn)算或按元素異或運(yùn)算可以進(jìn)行匹配，其中在步驟d)中，每個(gè)同或或異或的結(jié)果累加在一起，形成分?jǐn)?shù)值，以及其中在步驟e)中，分?jǐn)?shù)值度量對應(yīng)于最大值。根據(jù)實(shí)施方式，在步驟e)中，對于具有最佳分?jǐn)?shù)值的模式，選擇相關(guān)聯(lián)的GoP結(jié)構(gòu)、字段/幀狀態(tài)、和非封閉GoP/封閉GoP狀態(tài)作為針對當(dāng)前GoP的GoP模式的估計(jì)結(jié)果。優(yōu)選地，對于隨后的GoP，或是捕獲幀大小的新序列，或是通過對先前的幀大小和當(dāng)前的幀大小數(shù)組求平均值來使用任何類型的GoP平均值。在估計(jì)GoP模式之后，根據(jù)權(quán)利要求11執(zhí)行進(jìn)一步的幀類型分類，從而在所檢測的圖像組結(jié)構(gòu)中檢測參考B幀的存在。根據(jù)第二方面，本發(fā)明提供了根據(jù)權(quán)利要求12的用于估計(jì)視頻流中多個(gè)視頻幀的圖像組(GoP)結(jié)構(gòu)的類型 的替換方法。優(yōu)選地，在步驟a)中長達(dá)一個(gè)測量周期所捕獲的幀數(shù)目包括下一個(gè)Intra-幀之前的所有幀。在步驟c)中，對于每個(gè)數(shù)組，按照如下所述產(chǎn)生兩個(gè)關(guān)系值i )如果檢查的視頻流包括非封閉GoP編碼，那么每個(gè)數(shù)組BP表示的基本模式的假設(shè)P幀將位于該數(shù)組BP的最后一個(gè)元素中，該數(shù)組的所有其他元素由B幀占據(jù)，因此，將針對非封閉GoP編碼流的關(guān)系計(jì)算為最后一個(gè)數(shù)組元素與所有其他數(shù)組元素的平均值相除，或ii)如果檢查的視頻流包括封閉GoP編碼，那么每個(gè)數(shù)組BP表示的基本模式的假設(shè)P幀將位于所述數(shù)組BP的第一個(gè)元素中，并且所述數(shù)組的所有其他元素將由B幀占據(jù)，因此，將針對封閉GoP編碼流的關(guān)系計(jì)算為第一個(gè)數(shù)組元素與所有其他數(shù)組元素的平均值相除。優(yōu)選地，在估計(jì)GoP模式之后，執(zhí)行進(jìn)一步的幀類型分類，其中，關(guān)于可能含有參考B幀的數(shù)組中的那些元素的根據(jù)步驟c)幀的結(jié)果求平均值的幀大小是否明顯大于所述數(shù)組中含有B幀的所有其他元素，檢查根據(jù)步驟c)表示估計(jì)的GoP結(jié)構(gòu)的數(shù)組中的B幀子集，以及如果是這種情況，假設(shè)所述幀是參考B幀，并且假設(shè)所估計(jì)的GoP結(jié)構(gòu)是所謂的分級編碼序列的GoP結(jié)構(gòu)。估計(jì)的GoP結(jié)構(gòu)作為下面的GoP結(jié)構(gòu)的估計(jì)值，其中，該估計(jì)的GoP結(jié)構(gòu)有助于檢測由于數(shù)據(jù)包丟失導(dǎo)致的視頻幀丟失，或有助于以其特定幀類型標(biāo)記丟失或現(xiàn)有幀。
具體實(shí)施方式
在第一步驟中，估計(jì)或計(jì)算針對每個(gè)視頻幀的字節(jié)數(shù)。不同方法可以適用于執(zhí)行該任務(wù)。例如，可以利用傳輸層中的某些時(shí)間戳的變化來檢測新幀的起始，或可以使用用于信號通知新幀的頭結(jié)構(gòu)中的某些比特。一般地，這些比特流特性即使在加密比特流中也是可用的。因此，可以按照字節(jié)準(zhǔn)確地計(jì)算或很好地估計(jì)幀大小，從而執(zhí)行下面的步驟。在第二步驟中，掃描視頻比特流，直到發(fā)現(xiàn)下一個(gè)I幀，其表示下一個(gè)GoP的開始。在非加密流中，通過瀏覽視頻幀頭可以發(fā)現(xiàn)下一個(gè)I幀(所有幀類型)。在加密流中，或者是幀邊界出現(xiàn)在有效載荷內(nèi)的未知點(diǎn)的某處的情況下，作為代替可以訪問將I幀標(biāo)記為“隨機(jī)訪問點(diǎn)”的某些標(biāo)記。如果由于某種原因這些標(biāo)記不出現(xiàn)，那么還使用對于遇到的幀大小進(jìn)行分析從而檢測I幀，這是因?yàn)镮幀大小一般比P幀和B幀的尺寸大得多。在第三步驟中，在下一個(gè)I幀以前的所有隨后的視頻幀字節(jié)大小將捕獲在某些數(shù)組中，直到遇到下一個(gè)I幀并因此完成GoP。在第四步驟中，這些數(shù)組將與多個(gè)表示典型GoP結(jié)構(gòu)的預(yù)定義的模式進(jìn)行匹配。最佳匹配與特定的GoP結(jié)構(gòu)相關(guān)聯(lián)，其將在稍后的步驟中作為針對之后GoP的原型，因此能夠很容易地實(shí)現(xiàn)對即將到來的幀的幀類型進(jìn)行先驗(yàn)估計(jì)。對于隨后的GoP，可以重置幀大小的數(shù)組，因此只使用當(dāng)前GoP的數(shù)據(jù)，或?qū)⒁欢〝?shù)量的先前GoP的幀大小累加在一起，從而獲得平均值。在后一種情況中，需要額外的數(shù)組來標(biāo)注累加在數(shù)組的元素中的幀大小值的數(shù)目。優(yōu)選地，通過應(yīng)用以下事項(xiàng)可以計(jì)算移動(dòng)平均數(shù)for (當(dāng)前GoP內(nèi)的所有巾貞n)FrameSizeArray[n] = (M-1)/M^FrameSizeArray[n]+l/M*FrameSize[n]其中，M是求平均值 的GoP的數(shù)目。根據(jù)本發(fā)明可以使用不同的加權(quán)方案?？赡艿腉oP模式如上所述，GoP通常具有特定結(jié)構(gòu)，該結(jié)構(gòu)包括在兩個(gè)標(biāo)記GoP的邊界的I幀之間的P幀和B幀的特定序列。典型的GoP結(jié)構(gòu)的實(shí)例是I, b, b, P，b, b, P，b, b, P-(根據(jù) MPEG2 已知的“經(jīng)典” GoP 結(jié)構(gòu))I,b,B,b,P,b, B，b,P,b, B，b, P (針對分級編碼的可能GoP結(jié)構(gòu)，其中B=參考B幀，b=非參考B中貞)需要考慮，交錯(cuò)的視頻通常編碼為“字段序列”，對于一個(gè)視頻幀，其包括兩個(gè)獨(dú)立的字段。在該情況中，以上結(jié)構(gòu)看上去像I/P, b/b, b/b, P/P, b/b, b/b, P/P...I/P, b/b, B/B, b/b, P/P, b/b, B/B, b/b, P/P...形成不同模式，如果正確地檢測，那么即使在加密流中也允許在幀編碼和字段編碼之間進(jìn)行判斷。應(yīng)當(dāng)注意，在字段序列中實(shí)際上通常僅僅將關(guān)鍵幀的首個(gè)字段編碼為在內(nèi)字段(intra field)。關(guān)鍵幀的第二字段可以是預(yù)測字段。在以上表示中，將導(dǎo)致產(chǎn)生I/P幀。甚至可以是P/I幀。按照“顯示順序”可視化以上模式。實(shí)際上，按照不同的順序(所謂的“比特流順序”或“解碼順序”)傳輸這些幀。由于B幀在過去和未來都具有參考幀，需要預(yù)先傳輸這些未來的參考幀，導(dǎo)致產(chǎn)生如下所示的比特流
I0, P1, b2, b3, P4, b5, b6, P7, b8, b9...比特流順序I0, b2, b3, P1, b5, b6, P4, b8, b9, P7...顯示順序(具有比特流順序下標(biāo))I0, P1, B2, b3, b4, P5, B6, b7, b8,...比特流順序I0, b3, B2, b4, P1, b7, B6, b8, P5,...顯示順序(具有比特流順序下標(biāo))即使對相同的GoP結(jié)構(gòu)來說，不同的模式也是可能的。這是因?yàn)榇嬖凇胺忾]GoP傳輸”和“非封閉GoP傳輸”技術(shù)。在封閉GoP中，不同GoP的內(nèi)容的傳輸永遠(yuǎn)不會(huì)交疊。在非封閉GoP結(jié)構(gòu)中，在B中貞之前傳輸?shù)谝?I巾貞，該B巾貞(即,接近先前的GoP的巾貞)在顯不順序上先于該第一 I巾貞。以封閉GoP方式示出以上實(shí)例。按照非封閉GoP方式的相同實(shí)例看起來像b_2, b_” I0, b2, b3, P1, b5, b6, P4,...顯示順序(非封閉 GoP)I0, b_2, b_1； P1, b2, b3, P4, b5, b6...比特流順序b_3, B_2, b_” I0, b3, B2, b4, P1, b7, B6, b8, P5.顯示順序(非封閉 GoP)I0, B_2, b_3, b—” P1, B2b3, b4, P5, B6, b7, b8...比特流順序盡管最初的兩個(gè)(三個(gè))B幀(此處用黑體字標(biāo)記)屬于先前的GoP，但是在當(dāng)前GoP的I巾貞之后傳輸該最初的兩個(gè)(三個(gè))B中貞。很容易看到， 比特流順序進(jìn)而產(chǎn)生的GoP模式在不同方式中不同，如果正確地檢測到，那么允許在封閉GoP序列和非封閉GoP序列之間進(jìn)行判斷。其他可能的模式包括I, P，P，P，P…(沒有例如在視頻會(huì)議和其他低延遲應(yīng)用中所適用的B幀的GoP結(jié)構(gòu))I，b，P,b，P, ...(只有一個(gè) B 巾貞的 GoP 模式)在本發(fā)明的保護(hù)范圍內(nèi)，對其進(jìn)行GoP結(jié)構(gòu)估計(jì)的任意所分析的視頻流可以是完全可讀的、加密的、或因數(shù)據(jù)包丟失受到損壞的。實(shí)現(xiàn)該目標(biāo)僅需要每個(gè)遇到的視頻幀的字節(jié)大小和知曉哪些幀是類型I幀的信息。幀大小的計(jì)算/估計(jì)因?yàn)楸景l(fā)明是基于對視頻序列中的所有幀的字節(jié)大小的分析，所以需要針對每個(gè)幀從比特流中提取這些大小。存在許多不同的傳輸方案，其可能需要不同的動(dòng)作來執(zhí)行該任務(wù)。然而，迄今為止基于IP網(wǎng)絡(luò)的最重要的傳輸方案是“實(shí)時(shí)協(xié)議”(RTP)。因此，僅關(guān)于RTP描述了幀大小提取，但是對于其他傳輸方案也起到類似的作用。本領(lǐng)域的技術(shù)人員能夠容易地采用本發(fā)明用于其所適用的任何不同的傳輸方案。存在兩個(gè)主要的用于通過RTP傳輸視頻內(nèi)容的方法 直接承載視頻作為RTP數(shù)據(jù)包的有效載荷。在該情況中，音頻和其他可能的信息(“系統(tǒng)”信息)承載在具有不同端口號的不同RTP-流中。因此，比特流的視頻部分可以容易地與數(shù)據(jù)包的剩余部分分離?！獋€(gè)視頻幀通常由許多RTP數(shù)據(jù)包的有效載荷構(gòu)成，每個(gè)RTP數(shù)據(jù)包承載時(shí)間戳。在視頻的情況中，這些RTP-時(shí)間戳設(shè)定為其承載的視頻幀的相對解碼時(shí)間。由于各RTP數(shù)據(jù)包可以具有不同大小，所以視頻幀通常是許多完整的RTP數(shù)據(jù)包。在這種情況中為了計(jì)算視頻幀的大小，只需要將具有相同時(shí)間戳的所有RTP數(shù)據(jù)包的有效載荷大小累加在一起。
即使幀邊界出現(xiàn)在單個(gè)RTP-有效載荷內(nèi)，通過以上值也可以很好地估計(jì)幀大小。不必訪問可能加密的有效載荷本身。可以訪問RTP-序列號(其是RTP-頭的一部分)，從而檢測RTP-數(shù)據(jù)包丟失。由于不能知曉丟失數(shù)據(jù)包的大小，所以需要進(jìn)行估計(jì)。通過過去的數(shù)據(jù)包的某種平均大小可以進(jìn)行該估計(jì)。 通過RTP承載視頻，但是有效載荷是“傳輸流”(TS)。在TS中，視頻、音頻、和其他信息多路復(fù)用到單個(gè)流中。每個(gè)多路復(fù)用數(shù)據(jù)包具有188字節(jié)的大小，其包括較小的TS-頭。一個(gè)RTP數(shù)據(jù)包承載7個(gè)TS數(shù)據(jù)包，由所謂的“程序ID”(PID)將這些TS數(shù)據(jù)包標(biāo)記為屬于特定的子流。這些子流之一是要被分析的視頻。即使在加密流中，TS-頭通常也不加密，因此可以對其進(jìn)行訪問。TS-頭允許準(zhǔn)確地測量幀大小。在RTP數(shù)據(jù)包丟失的情況中，TS-頭中的所謂的“連續(xù)計(jì)數(shù)器”可以用于針對各子流單獨(dú)地計(jì)算對于特定RTP丟失的所丟失的子流數(shù)據(jù)包的數(shù)量。由于TS-數(shù)據(jù)包遠(yuǎn)小于RTP-數(shù)據(jù)包，并且(在不存在填充的罕見情況下)具有相同的有效載荷大小，因此可以更精確地估計(jì)丟失比特的數(shù)量。TS-頭中的上述的連續(xù)計(jì)數(shù)器只有4比特。因此，可以檢測多達(dá)16個(gè)丟失的TS數(shù)據(jù)包。連同已知的丟失RTP數(shù)據(jù)包的數(shù)量和可容易計(jì)算的每個(gè)RTP數(shù)據(jù)包的TS子流數(shù)據(jù)包的平均數(shù)的值，可以估計(jì)大于16的丟失TS數(shù)據(jù)包的精確估計(jì)值。由于RTP時(shí)間戳與其承載的視頻幀的相對解碼時(shí)間同步，所以甚至可以完全檢測丟失的幀，因?yàn)樵谠撉闆r中RTP-時(shí)間戳將增加不只一個(gè)連續(xù)幀之間的時(shí)間差。I幀的檢測為了開始分析，掃描比特流從而查找下一個(gè)I幀(其標(biāo)記新的GoP的起始)的起始。可以通過不同方式檢測I幀。在非加密流的情況中，可以容易地訪問所有視頻幀的基本碼流的幀頭。視頻幀頭顯式地含有幀類型。

如果視頻被直接承載為RTP有效載荷，那么幀頭將總是以每個(gè)RTP數(shù)據(jù)包的有效載荷中的首個(gè)字節(jié)出現(xiàn)，其緊跟著M-比特的RTP頭被設(shè)定為I的RTP數(shù)據(jù)包。如果幀頭也可能出現(xiàn)在RTP數(shù)據(jù)包的有效載荷中，那么可以容易地搜索幀頭，這是因?yàn)閹^含有唯一的字節(jié)序列。在使用通過RTP的TS的情況中，可以利用TS頭的自適應(yīng)字段內(nèi)所謂的“隨機(jī)存取標(biāo)志(random_access_flag)”。其信號通知即將到來的巾貞被編碼為I巾貞。即使在加密流中，作為TS頭的一部分的自適應(yīng)字段通常也不加密。一旦已知幀邊界，還可以經(jīng)驗(yàn)地檢測I幀。I幀的平均大小通常大于P幀和B幀的大小。一旦查找到I巾貞的起始，也就找到下一個(gè)GoP的起始。從這一點(diǎn)出發(fā),通過許多方式采集所有隨后幀的大小。在下面的說明中，對于完整的GoP繼續(xù)進(jìn)行該采集過程，直到開始對收集的數(shù)據(jù)進(jìn)行分析。在本發(fā)明的其他實(shí)施方式中，采集周期可以具有不同的長度。_5] 數(shù)據(jù)采集和模式匹配的第一實(shí)施方式幀大小的一個(gè)長數(shù)組在已經(jīng)遇到當(dāng)前GoP的初始I幀之后，所有隨后幀的幀大小存儲(chǔ)到數(shù)組的元素中，其中，數(shù)組的下標(biāo)等于在所述I幀之后的幀的編號。優(yōu)選地，執(zhí)行該操作直到檢測到下一個(gè)I幀，信號通知要被分析的第一 GoP結(jié)束。這樣構(gòu)造的幀大小的數(shù)組是模式匹配處理的輸入，該處理將該數(shù)組和一組典型的模式進(jìn)行比較，并且輸出估計(jì)的GoP模式和可應(yīng)用的其他數(shù)據(jù)。如果所分析的比特流未被加密，因此對于該算法而言幀類型是已知的，那么可以由標(biāo)準(zhǔn)化值(例如，針對非參考B幀的“I”、針對參考B幀的“2”、和針對P幀的“4”)來取代實(shí)際的幀大小，該標(biāo)準(zhǔn)化值與實(shí)際幀大小的作用相同但是不會(huì)產(chǎn)生任何統(tǒng)計(jì)不確定性。模式匹配在本發(fā)明的實(shí)施方式中，將幀大小數(shù)組與二進(jìn)制模式(其中，“0”用于B幀，“ I”用于P幀)進(jìn)行匹配。因此，以上示例性GoP結(jié)構(gòu)與如同以下的模式匹配0，0，I, 0，0，I…(具有非封閉 GoP 的 I，b, b, P，b, b, P 結(jié)構(gòu))I, 0，0，I, 0，0...(具有封閉 GoP 的 I, b, b, P，b, b, P 結(jié)構(gòu))0，0，0，I, 0，0，0，1...(具有非封閉 GoP 的 I, b, B，b, P，b, B，b, P 結(jié)構(gòu))I, 0，0，0，I, 0，0，0...(具有封閉 GoP 的 I, b, B，b, P，b, B，b, P 結(jié)構(gòu))在本發(fā)明的該實(shí)施方式中，“幀大小數(shù)組”也將轉(zhuǎn)換為二進(jìn)制數(shù)組。在最簡單的情況中，單個(gè)參考值將用于將所述數(shù)組的每個(gè)元素的值取代為用于“較小尺寸的幀”的“0”和用于“較大幀”的“I”。在“較大”和“較小”之間判斷的參考值可以簡單地是所有元素的平均數(shù)與大于I的因數(shù)相乘。在可選的實(shí)施方式中，閾值可以是所有數(shù)組元素的中值或最小元素值與最大元素值的加權(quán)組合或數(shù)組元素的其他組合。而且，少量的幀大小值可以采用閾值。這可以通過以下方式實(shí)現(xiàn)通過用因數(shù)或附加項(xiàng)改變以上所述的閾值中的一個(gè)閾值，或通過只根據(jù)某個(gè)鄰近當(dāng)前值的幀大小值計(jì)算閾值。一般地，不使用數(shù)組中 的首個(gè)新值是合理的，這是因?yàn)樵贗幀之后，P幀和B幀通常具有不規(guī)則的小尺寸。匹配處理通常不會(huì)預(yù)先得知GoP的長度。典型的值是每I秒或2秒一個(gè)I巾貞，導(dǎo)致對于25幀/秒的典型幀頻產(chǎn)生GoP長度為(例如)25幀至50幀(或?qū)τ凇白侄尉幋a”模式產(chǎn)生50字段至100字段)。通常編碼器具有場景分割檢測并且將I幀放置在每個(gè)場景分割位置。因此，如果遇到場景分割，那么GoP可以具有下至2幀或甚至I幀的任何尺寸。與整個(gè)長度相對比，每個(gè)可能的GoP結(jié)構(gòu)的基本模式是恒定的且較短的(例如，對于I，b，b，P，…的實(shí)例0，0，1)。為了匹配完整GoP的元素，需要重復(fù)這些簡單的基本模式，直到達(dá)到實(shí)際的GoP大小。在本發(fā)明的只應(yīng)用二進(jìn)制匹配的實(shí)施方式中，匹配處理本身可以是對經(jīng)轉(zhuǎn)換的幀大小數(shù)組的每個(gè)元素與級聯(lián)基本模式元素進(jìn)行簡單的“同或”運(yùn)算。然后，將這些“同或”運(yùn)算的結(jié)果累加成針對所使用模式的匹配分?jǐn)?shù)。利用所有可用的預(yù)定義模式進(jìn)行以上操作。獲得最高分?jǐn)?shù)的特定模式被認(rèn)為是最佳匹配，并且采用其相關(guān)的GoP結(jié)構(gòu)、幀/字段狀態(tài)、非封閉/封閉狀態(tài)用于進(jìn)一步的分析。在分級編碼和常規(guī)的B幀編碼之間進(jìn)行區(qū)分在最佳匹配GoP模式中估計(jì)多于兩個(gè)連續(xù)B幀的情況中，很可能已經(jīng)利用如上所述的具有參考B幀的“分級編碼”方法編碼幀序列。如果是這種情況，那么很可能這些參考B幀的幀大小在字節(jié)上大于非參考B幀(以上標(biāo)記為B幀)的幀大小。為了獲得是使用分級編碼還是使用非分級編碼的可靠估計(jì)，可以檢查連續(xù)B幀(在兩個(gè)P幀之間)的每個(gè)子集，子集中的代表參考B幀的那些元素的幀大小是否明顯大于所述子集中的表示B幀的所有其他元素的幀大小。如果是3個(gè)連續(xù)B幀,那么是第一個(gè)子集元素，如果存在5個(gè)連續(xù)B幀，那么是第一個(gè)子集元素和第二個(gè)子集元素。如果存在7個(gè)連續(xù)B幀，那么存在第一個(gè)子集元素、第二個(gè)子集元素、和第三個(gè)子集元素(按照解碼順序)。其他組合對于分級編碼來說不太可能。如果對于連續(xù)B幀的集合的幅度來說該條件為真，那么可以假設(shè)GoP分級編碼。對于具有多于3個(gè)B幀的模式來說，可以假設(shè)是分級編碼，即使沒有所述測試，這是因?yàn)樵诓贿M(jìn)行分級編碼的情況中行中不太可能多于三個(gè)B幀。當(dāng)加密序列或幀頭由于數(shù)據(jù)包丟失而遺失的情況下，將作為結(jié)果的所估計(jì)的GoP結(jié)構(gòu)應(yīng)用于下面的GoP的幀會(huì)產(chǎn)生這些幀的幀類型的可靠估計(jì)。
·_7] 數(shù)據(jù)采集和模式匹配的第二實(shí)施方式平均的幀大小的多個(gè)短數(shù)組由于可能的·基本模式的數(shù)量BP有限，所以可以修改本發(fā)明，以便于每個(gè)可能的基本模式精確地存在一個(gè)數(shù)組，而不是如上所述的單一數(shù)組。這些數(shù)組會(huì)具有其基本模式的較短大小。例如針對非封閉GoP編碼具有模式0，0，I或針對封閉GoP編碼具有模式1，0，0的GoP結(jié)構(gòu)“I, b, b, P”的數(shù)組的大小為3。假設(shè)n是初始I幀之后的幀數(shù)。通過將每個(gè)遇到的幀n的字節(jié)大小累加到每個(gè)Array [BP]的第 ArraySize [BP]個(gè)兀素中(n%ArraySize [BP]表不 n/ArraySize [BP]的余數(shù))并且對每個(gè)元素的編號進(jìn)行計(jì)數(shù)，可以在每個(gè)數(shù)組的元素中產(chǎn)生平均的幀大小的值。盡管只在與真實(shí)GoP結(jié)構(gòu)相關(guān)聯(lián)的一個(gè)特定數(shù)組中，對于P幀已經(jīng)排他地累加了P幀，對于B幀已經(jīng)排他地累加了 B幀。因此，準(zhǔn)確地只在該數(shù)組中，P幀和B幀之間的平均關(guān)系反應(yīng)在其元素中。所有其他數(shù)組的元素含有P幀和B幀大小的混合。所以，它們之間的關(guān)系將不那么重要。下面的偽代碼闡明初始I幀之后的幀n的幀大小如何累加到所述數(shù)組的元素中
權(quán)利要求
1.一種通過估計(jì)幀的幀類型來估計(jì)視頻流中的多個(gè)視頻幀的圖像組GoP結(jié)構(gòu)的類型的方法，所述方法包括以下步驟 a)捕獲在初始的內(nèi)幀I幀之后的每個(gè)視頻幀的以字節(jié)計(jì)的幀大小，從而通過利用承載所述視頻幀的傳輸層的特征獲得幀大小的數(shù)組； b)在多個(gè)幀之后將在步驟a)中獲得的幀大小的所述數(shù)組轉(zhuǎn)換為零和一的數(shù)組，其中，零代表較小幀大小，假設(shè)為雙向幀B幀，一代表較大幀大小，假設(shè)為預(yù)測幀P幀； c)將步驟b)中獲得的幀大小的二進(jìn)制的所述數(shù)組和多個(gè)預(yù)定義的短基本二進(jìn)制模式進(jìn)行匹配，其中，所述數(shù)組含有作為要被分析的GoP結(jié)構(gòu)的特征的特定重復(fù)的短基本二進(jìn)制模式，預(yù)定義的所述二進(jìn)制模式描述了要考慮的所有GoP結(jié)構(gòu)； d)轉(zhuǎn)換在步驟c)中所述匹配的結(jié)果，從而形成單個(gè)分?jǐn)?shù)值；以及 e)根據(jù)預(yù)定義的度量確定多個(gè)預(yù)定義的所述二進(jìn)制模式中具有最佳分?jǐn)?shù)值的特定模式。
2.根據(jù)權(quán)利要求1所述的方法，其中，在步驟a)中，或是通過觀察所述傳輸層的一些時(shí)間戳的變化，或是通過用于信號通知新幀以及區(qū)分內(nèi)幀與其他幀的頭結(jié)構(gòu)中的一些比特，來檢測所述比特流中的視頻幀的邊界。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，在步驟b)中幀的數(shù)目包括在下一個(gè)I幀之前的所有幀。
4.根據(jù)權(quán)利要求1至3所述的方法，其中，在步驟b)中將連續(xù)幀大小向二進(jìn)制的所述轉(zhuǎn)換包括使用取決于要被分析的視頻序列的恒定的或波動(dòng)的特征的參考值，或使用動(dòng)態(tài)自適應(yīng)參考值。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述動(dòng)態(tài)自適應(yīng)參考值取決于先前捕獲的幀大小的值和/或要被分析的視頻序列的其他動(dòng)態(tài)特征。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述預(yù)定義的短基本二進(jìn)制模式描述了在基于幀編碼、基于字段編碼、非封閉GoP編碼、或封閉GoP編碼中的多個(gè)不同的連續(xù)B中貞的可能GoP結(jié)構(gòu)。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，對于步驟c)中的所述匹配，以最近的基本模式的可能截?cái)嘀貜?fù)執(zhí)行所述預(yù)定義的短基本二進(jìn)制模式，直到重復(fù)的基本模式的串具有的長度與從幀大小數(shù)組中獲得的二進(jìn)制幀大小的串的長度相同。
8.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，在步驟c)中通過按元素的同或運(yùn)算或按元素的異或運(yùn)算執(zhí)行所述匹配，其中，在步驟d)中，每個(gè)同或或異或的結(jié)果累加在一起，從而形成所述分?jǐn)?shù)值，以及其中，在步驟e)中所述分?jǐn)?shù)值度量分別對應(yīng)于最大值或最小值。
9.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，在步驟e)中對于具有所述最佳分?jǐn)?shù)值的模式，選擇相關(guān)聯(lián)的GoP模式、字段/幀狀態(tài)、和非封閉GoP/封閉GoP狀態(tài)作為所分析的幀的當(dāng)前串的GoP結(jié)構(gòu)的估計(jì)結(jié)果。
10.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，對于隨后的GoP的GoP結(jié)構(gòu)估計(jì)，或是針對每個(gè)所述隨后的GoP捕獲新的幀大小數(shù)組，或使用當(dāng)前的與先前的幀大小的數(shù)組的元素的任何種類的平均值。
11.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，在執(zhí)行所述GoP模式的所述估計(jì)之后，執(zhí)行進(jìn)一步的幀類型分類，其中，關(guān)于以下事項(xiàng)來進(jìn)一步檢查兩個(gè)P幀之間的連續(xù)B幀的每個(gè)子集即，關(guān)于根據(jù)步驟a)的輸出的在所述子集中的那些可能含有參考B幀的元素與那些可能只含有非參考B幀的元素的幀大小的關(guān)系是否大于閾值，該閾值充分大于1，因?yàn)閰⒖糂幀被假設(shè)平均地大于非參考B幀，以及其中，如果對于統(tǒng)計(jì)上大量的幀大小數(shù)組中的B幀的所述子集是這種情況，那么所述幀被假設(shè)為參考B幀，并且所估計(jì)的GoP結(jié)構(gòu)被假設(shè)為所謂的分級編碼序列的GoP結(jié)構(gòu)。
12.一種通過估計(jì)幀的幀類型來估計(jì)視頻流中的多個(gè)視頻幀的圖像組GoP結(jié)構(gòu)的類型的方法，所述方法包括以下步驟 a)通過利用承載所述視頻流的傳輸層的特征捕獲在初始I幀之后的每個(gè)視頻幀n的以字節(jié)計(jì)的巾貞大小，將每個(gè)巾貞n的大小添加至多個(gè)數(shù)組的每個(gè)數(shù)組Array [BP]的特定元素中，其中，這些多個(gè)數(shù)組的每個(gè)數(shù)組具有不同大小ArraySize [BP],該大小等于每個(gè)所考慮的GoP結(jié)構(gòu)的基本幀類型模式BP的長度，其中，幀n的幀大小累加在其中的特定元素是每個(gè)數(shù)組Array[BP]的第(n%ArraySize [BP])個(gè)元素，以及其中，標(biāo)注在每個(gè)數(shù)組的每個(gè)元素中累加的幀大小的數(shù)目，通過下面的符號代碼進(jìn)行描述，假設(shè)Array和ArrayCount具有有意義的內(nèi)容(例如，全零)
13.根據(jù)權(quán)利要求12所述的方法，其中，所述幀n的數(shù)目包括在下一個(gè)內(nèi)幀之前的所有幀。
14.根據(jù)權(quán)利要求12和13中任一項(xiàng)所述的方法，其中在步驟c)中，對于每個(gè)數(shù)組，如下所述地產(chǎn)生兩個(gè)關(guān)系值，從而能夠在非封閉GoP和封閉GoP編碼之間進(jìn)行判斷i)如果檢查的視頻流包括非封閉GoP編碼，那么由Array [BP]表示的基本模式BP的假設(shè)累加在一起的P幀將位于所述數(shù)組Array [BP]的最后一個(gè)元素中，所述數(shù)組的所有其他元素將由累加在一起的B幀占據(jù)，因此利用以下方程式將針對非封閉GoP編碼流的關(guān)系Rtj計(jì)算為由所有其他數(shù)組元素的平均值除最后一個(gè)數(shù)組元素
15.根據(jù)權(quán)利要求14所述的方法，其中，通過選擇權(quán)利要求14中計(jì)算的R。和％所有值的最大值查找步驟d)中的最大關(guān)系，其中，如果R。的一個(gè)值包括最大值，那么可以將所述序列認(rèn)為是封閉GoP編碼的序列，以及其中，如果％的一個(gè)值包括最大值，那么可以將所述序列認(rèn)為是非封閉GoP編碼的序列。
16.根據(jù)權(quán)利要求12至15中任一項(xiàng)所述的方法，其中，選擇與根據(jù)步驟d)確定的數(shù)組相關(guān)聯(lián)的GoP結(jié)構(gòu)作為當(dāng)前分析的幀的串的GoP模式、字段/幀狀態(tài)、和非封閉GoP/封閉GoP狀態(tài)的有效估計(jì)。
17.根據(jù)權(quán)利要求12至16中任一項(xiàng)所述的方法，其中，在估計(jì)所述GoP模式之后，執(zhí)行進(jìn)一步的幀類型分類，其中，關(guān)于以下事項(xiàng)檢查表示根據(jù)步驟d)估計(jì)的GoP結(jié)構(gòu)的數(shù)組中的B幀的子集，即，關(guān)于可含有參考B幀(在非封閉GoP編碼中是第一個(gè)元素，在封閉GoP編碼中是第二元素)的數(shù)組元素與那些只可含有非參考B幀的元素的關(guān)系是否大于閾值，該閾值充分大于I，因?yàn)閰⒖糂幀被假設(shè)為平均地大于非參考B幀，以及其中如果是這種情況，那么所述幀被假設(shè)為參考B幀，和估計(jì)的GoP結(jié)構(gòu)被假設(shè)為所謂的分級編碼序列的GoP結(jié)構(gòu)。
18.根據(jù)權(quán)利要求8或16所述的方法，進(jìn)一步包括以下步驟利用估計(jì)的所述GoP結(jié)構(gòu)作為對于下面的GoP結(jié)構(gòu)的估計(jì)值，以及利用估計(jì)的該GoP結(jié)構(gòu)有助于檢測由于數(shù)據(jù)包丟失導(dǎo)致的視頻幀丟失，或有助于以其特定幀類型標(biāo)記丟失幀或現(xiàn)有幀。
全文摘要
本發(fā)明提供了估計(jì)視頻流中的多個(gè)視頻幀的圖像組(GoP)結(jié)構(gòu)的類型的方法，所述方法包括以下步驟a)捕獲在初始Intra-幀(I幀)之后的每個(gè)視頻幀的按照字節(jié)的幀大小，從而獲得幀大小的數(shù)組；b)在多個(gè)幀之后將在步驟a)中獲得的幀大小的所述數(shù)組轉(zhuǎn)換為零和一的數(shù)組，其中，零表示較小幀大小，假設(shè)為雙向幀，B幀，一代表較大幀大小，假設(shè)為預(yù)測幀，P幀；c)將步驟b)中獲得的零和一的數(shù)組和多個(gè)預(yù)定義的二進(jìn)制模式進(jìn)行匹配，其中，預(yù)定義的所述二進(jìn)制模式描述了可能的GoP結(jié)構(gòu)；d)轉(zhuǎn)換在步驟c)中所述匹配的結(jié)果，從而形成單個(gè)分?jǐn)?shù)值；以及e)根據(jù)預(yù)定義的度量確定多個(gè)預(yù)定義的所述二進(jìn)制模式中具有所述最佳分?jǐn)?shù)值的特定模式。
文檔編號H04N17/00GK103053134SQ201180037683
公開日2013年4月17日 申請日期2011年7月26日 優(yōu)先權(quán)日2010年7月30日
發(fā)明者薩瓦斯·阿伊羅普洛斯, 伯恩哈德·費(fèi)坦恩, 瑪麗-內(nèi)日·加西亞, 彼得·利斯特, 亞歷山大·拉克 申請人:德國電信股份有限公司