專利名稱：在視頻譯碼中基于壓縮域中相似性量度的智能型跳幀的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻譯碼，且更特定來說涉及用于視頻編碼或視頻解碼中的跳幀 的技術(shù)。
背景技術(shù)：
已開發(fā)了許多不同視頻譯碼技術(shù)以用于數(shù)字視頻序列的編碼和解碼。舉例來說， 移動圖片專家組(MPEG)已開發(fā)了若干種編碼標(biāo)準(zhǔn)，包括MPEG-l、MPEG-2和MPEG-4。其它 實(shí)例編碼技術(shù)包括在由國際電信聯(lián)盟(ITU)開發(fā)的標(biāo)準(zhǔn)(例如ITU-T H. 263標(biāo)準(zhǔn)與ITU-T H. 264標(biāo)準(zhǔn)及其對應(yīng)物IS0/IEC MPEG-4第10部分(即，先進(jìn)視頻譯碼(AVC)))中所陳述 的編碼技術(shù)。這些和其它視頻譯碼技術(shù)支持通過以壓縮方式來編碼數(shù)據(jù)而有效發(fā)射視頻序 列。壓縮減少了需要在裝置之間發(fā)射以便傳送給定視頻序列的數(shù)據(jù)的量。視頻壓縮可涉及空間和/或時間預(yù)測以減少視頻序列中所固有的冗余。幀內(nèi)編碼 使用空間預(yù)測以減少同一視頻幀內(nèi)的視頻塊的空間冗余。幀間編碼使用時間預(yù)測以減少連 續(xù)視頻幀中的視頻塊之間的時間冗余。對于幀間編碼來說，視頻編碼器執(zhí)行運(yùn)動估計以產(chǎn) 生指示視頻塊相對于一個或一個以上參考幀中的對應(yīng)預(yù)測視頻塊的移位的運(yùn)動向量。視頻 編碼器執(zhí)行運(yùn)動補(bǔ)償以從參考幀產(chǎn)生預(yù)測視頻塊，且通過從經(jīng)編碼的原始視頻塊減去所述 預(yù)測視頻塊而形成殘余視頻塊。跳幀通常由編碼裝置和解碼裝置出于多種不同原因?qū)嵤?。大體來說，跳幀指代在 編碼器處或在解碼器處故意避免一個或一個以上幀的處理、編碼、解碼、發(fā)射或顯示的技 術(shù)。當(dāng)使用跳幀時，與視頻序列相關(guān)聯(lián)的幀速率可能減小，這通常在某種程度上使視頻序列 的質(zhì)量降級。舉例來說，視頻譯碼應(yīng)用可實(shí)施跳幀以便滿足與視頻序列的通信相關(guān)聯(lián)的低 帶寬要求?；蛘?，視頻解碼應(yīng)用可實(shí)施跳幀以便減少解碼裝置的功率消耗。

發(fā)明內(nèi)容
本發(fā)明提供智能型跳幀技術(shù)，其可由編碼裝置或解碼裝置使用從而以可有助于最 小化歸因于跳幀的質(zhì)量降級的方式來促進(jìn)跳幀。特定來說，所描述的技術(shù)可實(shí)施經(jīng)設(shè)計以 識別跳幀的良好候選幀的相似性量度。根據(jù)所揭示的技術(shù)，可相對于常規(guī)跳幀技術(shù)減少如 由視頻序列的檢視器所察覺到的由跳幀引起的顯著視頻質(zhì)量降低。可由編碼器實(shí)施所描述 的技術(shù)以便減少發(fā)送視頻序列所需的帶寬?；蛘撸捎山獯a器實(shí)施所描述的技術(shù)以便減少 功率消耗。在解碼器的狀況下，可實(shí)施所述技術(shù)以完全跳過一個或一個以上幀的解碼或僅 跳過一個或一個以上幀的后處理和顯示。所描述的技術(shù)在壓縮域中有利地操作。特定來說，所述技術(shù)可依賴于壓縮域中的 經(jīng)編碼數(shù)據(jù)以便作出跳幀決策。此數(shù)據(jù)可包括識別視頻塊類型的經(jīng)編碼語法以及其它語法(例如識別運(yùn)動向量的量值和方向的運(yùn)動信息)。另外，此數(shù)據(jù)可包括與視頻塊相關(guān)聯(lián)的系 數(shù)值(即，經(jīng)變換系數(shù)值)?；趬嚎s域中的此信息，定義并接著使用相似性量度以促進(jìn)選 擇性跳幀。以此方式，本發(fā)明的技術(shù)在壓縮域中而非在經(jīng)解碼像素域中執(zhí)行跳幀決策，并促 進(jìn)將大體上不使所察覺到的視頻序列質(zhì)量降級的跳幀。在一個實(shí)例中，本發(fā)明提供一種方法，其包含產(chǎn)生相似性量度，所述相似性量度 量化視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似性，其中所述相似性量度基于壓縮域內(nèi)指 示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)；以及在相似性量度滿足閾值的條件下，跳 過所述當(dāng)前視頻幀。在另一實(shí)例中，本發(fā)明提供一種設(shè)備，其包含跳幀單元，所述跳幀單元產(chǎn)生相似 性量度，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似性，其中所述相 似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)；且致使所述設(shè)備 在相似性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀。在另一實(shí)例中，本發(fā)明提供一種裝置，其包含用于產(chǎn)生相似性量度的裝置，所述 相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似性，其中所述相似性量度基于 壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)；以及用于在相似性量度滿足閾 值的條件下跳過所述當(dāng)前視頻幀的裝置。在另一實(shí)例中，本發(fā)明提供一種編碼裝置，所述編碼裝置包含跳幀單元，其產(chǎn)生 相似性量度，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似性，其中所 述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)；以及通信單 元，其在相似性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀的發(fā)射。在另一實(shí)例中，本發(fā)明提供一種解碼裝置，所述解碼裝置包含通信單元，其接收 視頻序列的經(jīng)壓縮視頻幀；以及跳幀單元，所述跳幀單元產(chǎn)生相似性量度，所述相似性量度 量化所述視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似性，其中所述相似性量度基于壓縮域 內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)，且所述跳幀單元致使所述裝置在相似 性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀?？梢杂布?、軟件、固件或其組合來實(shí)施本發(fā)明中所描述的技術(shù)。如果以軟件實(shí)施， 那么可由一個或一個以上處理器來執(zhí)行軟件。軟件可最初存儲于計算機(jī)可讀媒體中并由處 理器加載以供執(zhí)行。因此，本發(fā)明預(yù)期包含指令的計算機(jī)可讀媒體，所述指令用以致使一個 或一個以上處理器執(zhí)行如本發(fā)明中所描述的技術(shù)。舉例來說，在一些方面中，本發(fā)明提供一種包含指令的計算機(jī)可讀媒體，所述指令 在執(zhí)行時致使一裝置產(chǎn)生相似性量度，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰 近幀之間的相似性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間 的差異的數(shù)據(jù)；且在相似性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀。所揭示的技術(shù)的一個或一個以上方面的細(xì)節(jié)陳述于下文的附圖和描述中。其它特 征、目的和優(yōu)點(diǎn)將從所述描述和所述圖式以及從權(quán)利要求書顯而易見。


圖1為說明與本發(fā)明一致的視頻編碼和解碼系統(tǒng)的框圖，所述視頻編碼和解碼系 統(tǒng)經(jīng)配置以在解碼器裝置中實(shí)施跳幀。
圖2為說明與本發(fā)明一致的視頻編碼和解碼系統(tǒng)的框圖，所述視頻編碼和解碼系 統(tǒng)經(jīng)配置以在編碼器裝置中實(shí)施跳幀。圖3為說明根據(jù)本發(fā)明的技術(shù)的經(jīng)配置以實(shí)施跳幀的視頻解碼器裝置的一實(shí)例 的框圖。圖4為說明可在解碼器裝置中執(zhí)行的跳幀技術(shù)的流程圖。圖5為說明可在編碼器裝置中執(zhí)行的跳幀技術(shù)的流程圖。圖6為說明用于產(chǎn)生示范性相似性量度并基于所述相似性量度來執(zhí)行跳幀的技 術(shù)的流程圖。圖7為說明可由解碼器裝置執(zhí)行的跳幀技術(shù)的流程圖。
具體實(shí)施例方式本發(fā)明提供智能型跳幀技術(shù)，其可由編碼裝置或解碼裝置使用，從而以可有助于 最小化歸因于跳幀的質(zhì)量降級的方式來促進(jìn)跳幀。特定來說，本發(fā)明描述經(jīng)設(shè)計以識別跳 幀的良好候選幀的相似性量度的使用。在一般意義上，可使用相似性量度來識別充分類似 于未被跳過的鄰近幀的幀。所述鄰近幀可為序列的先前或后續(xù)幀，其在時間上鄰近于正考 慮的當(dāng)前幀。通過識別當(dāng)前幀是否為跳幀的良好候選者，跳幀可僅對所顯示的視頻序列的 質(zhì)量產(chǎn)生可忽略的影響。此外，通過使用相似性量度來促進(jìn)跳幀決策，可相對于常規(guī)跳幀技 術(shù)減小如由視頻序列的檢視器所察覺到的由跳幀引起的顯著視頻質(zhì)量降低。可由編碼器實(shí)施所描述的技術(shù)以減少發(fā)送視頻序列所需的帶寬?；蛘?，可由解碼 器實(shí)施所描述的技術(shù)以減少功率消耗。對于解碼器處的功率減少來說，可實(shí)施所述技術(shù)以 完全跳過一個或一個以上幀的解碼，或僅跳過一個或一個以上已被解碼的幀的后處理和/ 或顯示。后處理可具有極高功率密集性。因此，即使幀已被解碼，仍可能需要跳過此類幀的 后處理和顯示以減少功率消耗。所描述的技術(shù)在壓縮域中有利地操作。壓縮域中的視頻數(shù)據(jù)可包括各種語法元 素(例如識別視頻塊類型、運(yùn)動向量量值和方向以及視頻塊的其它特性的語法)。此外，在 壓縮域中，視頻數(shù)據(jù)可包含經(jīng)壓縮變換系數(shù)而非未經(jīng)壓縮像素值。變換系數(shù)(例如離散余 弦變換(DCT)系數(shù)或概念上相似的系數(shù))可包含頻域中一組像素值的集體表示。在任何狀 況下，本發(fā)明的技術(shù)可依賴于壓縮域中的經(jīng)編碼數(shù)據(jù)以作出跳幀決策。特定來說，基于壓縮 域中的此信息，定義幀的相似性量度，且接著將所述相似性量度與一個或一個以上閾值進(jìn) 行比較，以確定是否應(yīng)跳過所述幀。在一些狀況下，可使用基于壓縮域中的數(shù)據(jù)而定義的相 似性量度，以促進(jìn)在經(jīng)解碼的非壓縮域中的跳幀決策(例如，通過在解碼過程之后控制跳 幀)。圖1為說明與本發(fā)明一致的視頻編碼和解碼系統(tǒng)10的框圖，所述視頻編碼和解碼 系統(tǒng)10經(jīng)配置以在視頻解碼器裝置22中實(shí)施跳幀。如圖1中所示，系統(tǒng)10可包括視頻編 碼器裝置12和視頻解碼器裝置22，通?？蓪⑺鲆曨l編碼器裝置12和所述視頻解碼器裝 置22中的每一者稱作視頻譯碼器裝置。在圖1的實(shí)例中，視頻編碼器裝置12對輸入視頻 幀14進(jìn)行編碼以產(chǎn)生經(jīng)編碼視頻幀18。特定來說，編碼單元16可執(zhí)行一種或一種以上視 頻譯碼技術(shù)(例如對輸入幀14執(zhí)行幀內(nèi)預(yù)測編碼或幀間預(yù)測編碼)。編碼單元16還可執(zhí) 行一個或一個以上變換、量化操作和熵編碼過程。通信單元19可經(jīng)由通信信道15將經(jīng)編碼視頻幀18發(fā)射到視頻解碼器裝置22的通信單元21。視頻解碼器裝置22接收可能包括一個或一個以上已惡化幀的經(jīng)編碼幀對，所述 經(jīng)編碼幀M可包含從源裝置12發(fā)送的經(jīng)編碼幀18。在圖1的實(shí)例中，視頻解碼器裝置22 包括跳幀單元沈，所述跳幀單元沈執(zhí)行本發(fā)明的跳幀技術(shù)以便節(jié)約視頻解碼器裝置22中 的功率。跳幀單元沈識別可被跳過的一個或一個以上幀。此跳幀可涉及跳過由解碼單元 觀對一個或一個以上幀的解碼。或者，跳幀可涉及在由解碼單元觀解碼一個或一個以上幀 之后跳過所述幀的后處理和/或顯示。在任一狀況下，到經(jīng)編碼幀M中的一者或一者以上 在輸出幀四的解碼、后處理和/或顯示中被跳過的程度，輸出幀四可包括經(jīng)編碼幀M的 子集。如下文更詳細(xì)地概述，可基于經(jīng)壓縮數(shù)據(jù)(例如，與經(jīng)編碼幀M相關(guān)聯(lián)的數(shù)據(jù)) 來執(zhí)行跳幀決策。再次，此數(shù)據(jù)可包括語法且可能包括與經(jīng)編碼幀M相關(guān)聯(lián)的變換系數(shù)。 跳幀單元沈可基于經(jīng)編碼數(shù)據(jù)產(chǎn)生相似性量度以便確定當(dāng)前幀是否充分類似于視頻序列 中的先前幀，此可指示是否可在不引起實(shí)質(zhì)質(zhì)量降級的情況下跳過所述當(dāng)前幀。經(jīng)編碼幀M可定義幀速率(例如，15、30或60幀/秒(fps))。跳幀單元沈可通 過致使一個或一個以上幀被跳過而相對于經(jīng)編碼幀M來有效地減小與輸出幀四相關(guān)聯(lián)的 幀速率。再次，跳幀可涉及跳過一個或一個以上幀的解碼、在解碼所有幀之后跳過一個或一 個以上幀的任何后處理，或可能地在解碼和后處理所有幀之后跳過一個或一個以上幀的顯 示。出于簡單性起見，圖1中并未說明后處理單元，但在下文更詳細(xì)地論述所述后處理單兀。通信單元19可包含調(diào)制器和發(fā)射器，且通信單元21可包含解調(diào)器和接收器。經(jīng)編 碼幀18可根據(jù)通信標(biāo)準(zhǔn)(例如碼分多址(CDMA)或者另一通信標(biāo)準(zhǔn)或技術(shù))來調(diào)制，并經(jīng) 由通信單元19而被發(fā)射到目的地裝置通信單元21。通信單元19和21可包括各種混頻器、 濾波器、放大器或被設(shè)計用于信號調(diào)制的其它組件以及被設(shè)計用于發(fā)射數(shù)據(jù)的電路(包括 放大器、濾波器和一個或一個以上天線)?？蓪⑼ㄐ艈卧?9和21設(shè)計為以對稱的方式工作 以支持裝置12與22之間的雙向通信。裝置12和22可包含任何視頻編碼或解碼裝置。在 一個實(shí)例中，裝置12和22包含無線通信裝置手持機(jī)(例如所謂的蜂窩式或衛(wèi)星無線電電 話)。在裝置12與22之間的互逆雙向通信的狀況下，裝置12和22的編碼單元16與解碼 單元觀可各自包含能夠編碼和解碼視頻序列的編碼器/解碼器(CODEC)。通信信道15可包含任何無線或有線通信媒體(例如射頻(RF)譜或一個或一個以 上物理發(fā)射線，或者無線與有線媒體的任何組合)。通信信道15可包括基于包的網(wǎng)絡(luò)，例 如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)(例如因特網(wǎng))。另外，通信信道15可包括無線蜂窩式通信 網(wǎng)絡(luò)，所述無線蜂窩式通信網(wǎng)絡(luò)包括基站或被設(shè)計用于在用戶裝置之間傳送信息的其它設(shè) 備?；旧?，通信信道15表示任何合適的通信媒體或者不同通信媒體、裝置或其它元件的 集合，其用于將視頻數(shù)據(jù)從視頻編碼器裝置12發(fā)射到視頻解碼器裝置22?？蓪⒁曨l編碼器裝置12和視頻解碼器裝置22實(shí)施為一個或一個以上微處理器、 數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟件、 硬件、固件或其任何組合。圖2為說明與本發(fā)明一致的視頻編碼和解碼系統(tǒng)30的框圖，所述視頻編碼和解碼 系統(tǒng)30經(jīng)配置以在視頻編碼器裝置32中實(shí)施跳幀。圖2的系統(tǒng)30類似于圖1的系統(tǒng)10。然而，在系統(tǒng)30中，跳幀單元37被包括于視頻編碼器裝置32而非視頻解碼器裝置42中。 在此狀況下，視頻編碼器裝置32執(zhí)行跳幀以便減少發(fā)送視頻序列所需的帶寬。特定來說， 通過在視頻編碼器裝置32中執(zhí)行智能型跳幀，可減少經(jīng)由通信信道35發(fā)送的視頻數(shù)據(jù)的 量，同時減輕質(zhì)量降級。視頻編碼器裝置32調(diào)用編碼單元36以對輸入幀34進(jìn)行編碼。跳幀單元37在壓 縮域中執(zhí)行跳幀以便從經(jīng)編碼幀38移除一個或一個以上幀。通信單元39調(diào)制經(jīng)編碼幀38 并經(jīng)由通信信道35將其發(fā)射到視頻解碼器裝置42的通信單元41。視頻解碼器裝置42調(diào)用解碼單元46以解碼可能歸因于在傳送幀期間的信息損失 而具有對幀中的一者或一者以上造成的惡化的所接收的幀44，所述所接收的幀44對應(yīng)于 經(jīng)編碼幀38。輸出幀48可由視頻解碼器裝置42輸出(例如，經(jīng)由顯示器)?？稍谳敵鰩?48的輸出之前執(zhí)行后處理，但出于簡單性起見在圖2中并未說明后處理組件。圖2中所示 的各種單元和元件可與圖1中的類似命名的元件(其在上文進(jìn)行更詳細(xì)解釋)相似或相 同。系統(tǒng)10和30可經(jīng)配置用于視頻電話、視頻串流、視頻廣播等。因此，可在編碼裝 置12、32和解碼裝置22、42中的每一者中提供互逆編碼、解碼、多路復(fù)用(MUX)和多路分解 (DEMUX)組件。在一些實(shí)施方案中，編碼裝置12、32和解碼裝置22、42可包含視頻通信裝 置，例如經(jīng)配備以用于視頻串流、視頻廣播接收和/或視頻電話(例如所謂的無線視頻電話 或相機(jī)電話)的無線移動終端。此類無線通信裝置包括用以支持無線通信、音頻譯碼、視頻譯碼和用戶接口特征 的各種組件。舉例來說，無線通信裝置可包括一個或一個以上處理器、音頻/視頻編碼器/ 解碼器(CODEC)、存儲器、一個或一個以上調(diào)制解調(diào)器、發(fā)射-接收(TX/RX)電路(例如放大 器、頻率轉(zhuǎn)換器、濾波器等)。另外，無線通信裝置可包括圖像和音頻俘獲裝置、圖像和音頻 輸出裝置、相關(guān)聯(lián)驅(qū)動器、用戶輸入媒體等。圖1和圖2中所說明的組件僅為解釋本發(fā)明的 智能型跳幀技術(shù)所需的組件，但編碼裝置12、32和解碼裝置22、42可包括許多其它組件。編碼裝置12、32和解碼裝置22、42或兩者可包含如上文所描述的無線或有線通信 裝置或可被并入在如上文所描述的無線或有線通信裝置中。并且，可將編碼裝置12、32和 解碼裝置22、42或兩者實(shí)施為集成電路裝置(例如集成電路芯片或芯片組)，所述集成電路 裝置可被并入于無線或有線通信裝置中，或可被并入于支持?jǐn)?shù)字視頻應(yīng)用的另一類型的裝 置(例如數(shù)字媒體播放器、個人數(shù)字助理(PDA)、數(shù)字電視等)中。系統(tǒng)10和30可根據(jù)會話起始協(xié)議(SIP)、ITU-T H. 323標(biāo)準(zhǔn)、ITU-T H. 324標(biāo)準(zhǔn) 或其它標(biāo)準(zhǔn)來支持視頻電話。編碼裝置12、32可根據(jù)視頻壓縮標(biāo)準(zhǔn)(例如MPEG-2、MPEG-4、 ITU-T H. 263,ITU-T H. 264或MPEG-4第10部分)而產(chǎn)生經(jīng)編碼視頻數(shù)據(jù)。盡管圖1和圖 2中未展示，但編碼裝置12、32和解碼裝置22、42可包含集成的音頻編碼器和解碼器，且包 括適當(dāng)?shù)挠靡蕴幹脭?shù)據(jù)流的音頻部分與視頻部分兩者的硬件和軟件組件。圖1和圖2中所說明的各種視頻幀可包括幀內(nèi)編碼幀(I幀)、預(yù)測幀(P幀)和雙 向預(yù)測幀(B幀)。I幀為使用空間編碼技術(shù)來完全編碼所有視頻信息的幀，而P幀和B幀 為經(jīng)預(yù)測編碼幀的實(shí)例，其基于時間編碼技術(shù)來編碼。經(jīng)編碼幀可包含描述形成幀的一系 列視頻塊的信息。所述視頻塊可包括定義像素值(例如，在亮度(Y)、色度紅色(Cr)和色度 藍(lán)色(Cb)顏色信道中)的位，所述視頻塊可包含16 X 16宏塊、較小宏塊分區(qū)或其它視頻數(shù)據(jù)塊。為預(yù)測幀的幀通常充當(dāng)用于解碼視頻序列中的其它幀間編碼幀的參考幀(即，充當(dāng) 用于另一幀的運(yùn)動估計和運(yùn)動補(bǔ)償?shù)膮⒖?。依據(jù)編碼標(biāo)準(zhǔn)，任何幀可為用以預(yù)測其它幀的 數(shù)據(jù)的預(yù)測幀。然而，在一些標(biāo)準(zhǔn)中，僅I幀和P幀可為預(yù)測幀，且B幀包含無法用以預(yù)測 其它幀的數(shù)據(jù)的非預(yù)測幀。在任何編碼過程之后，可將定義視頻塊的像素值的位轉(zhuǎn)換為共同表示頻域中的像 素值的變換系數(shù)。經(jīng)壓縮幀的經(jīng)壓縮視頻塊可包含表示殘余數(shù)據(jù)的變換系數(shù)的塊。經(jīng)壓縮 視頻塊還包括識別視頻塊的類型的語法且對于幀間編碼塊來說包括識別運(yùn)動向量量值和 方向的語法。運(yùn)動向量識別預(yù)測塊，預(yù)測塊為了經(jīng)解碼的視頻塊起見可與像素域中的殘余 數(shù)據(jù)組合。對于在任何功率受限的裝置上進(jìn)行視頻重放來說，功率消耗是一個顯著關(guān)注的問 題。圖3為此功率受限的解碼裝置50的示范性框圖。裝置50包括解碼單元52、內(nèi)部存儲 器緩沖器M、后處理單元56和顯示單元58。另外，裝置50包括跳幀單元55，所述跳幀單元 55執(zhí)行本發(fā)明的技術(shù)中的一者或一者以上以便跳過幀而節(jié)約功率。裝置50可為電池供電 裝置，在此狀況下，一個或一個以上電池(未圖示)向圖3中所說明的各種單元提供功率。 裝置50還可包括從另一裝置接收經(jīng)編碼數(shù)據(jù)的位流的通信單元(未圖示)。解碼單元52接收位流(例如，從與裝置50相關(guān)聯(lián)的通信單元)。在解碼和重建過 程期間，解碼單元52可從外部存儲器(未圖示)提取任何參考幀并將其保存到內(nèi)部存儲器 緩沖器54。在存儲器緩沖器M可與解碼單元52形成于同一集成電路上(這與可與解碼單 元52形成于不同集成電路上的所謂的“外部存儲器”形成對比)的程度上，將存儲器緩沖 器M稱為“內(nèi)部的”。然而，在不同實(shí)例和實(shí)施方案中，存儲器的位置和格式可不同。在接收到位流后，位流解析器62即解析所述位流，所述位流包含壓縮域中的經(jīng)編 碼視頻塊。舉例來說，位流解析器62可識別位流的經(jīng)編碼語法和經(jīng)編碼系數(shù)。熵解碼器64 執(zhí)行位流的熵解碼(例如，通過執(zhí)行內(nèi)容自適應(yīng)可變長度編碼(CAVLC)技術(shù)、上下文自適應(yīng) 二進(jìn)制算術(shù)編碼(CABAC)技術(shù)或其它可變長度編碼技術(shù))。逆量化和逆變換單元66可將數(shù) 據(jù)從頻域變換回到像素域，且可對像素值進(jìn)行解量化。預(yù)測解碼器68執(zhí)行基于預(yù)測的解碼技術(shù)(例如幀內(nèi)編碼視頻塊的基于空間的解 碼和幀間編碼視頻塊的基于時間的解碼)。預(yù)測解碼器68可包括各種基于空間的組件，所 述組件(例如)基于視頻塊的幀內(nèi)模式產(chǎn)生基于空間的預(yù)測數(shù)據(jù)，其可由語法來識別。預(yù)測 解碼器68還可包括各種基于時間的組件(例如運(yùn)動估計和運(yùn)動補(bǔ)償單元)，所述組件(例 如)基于運(yùn)動向量或其它語法產(chǎn)生基于時間的預(yù)測數(shù)據(jù)。預(yù)測解碼器68基于語法來識別 預(yù)測塊，并通過將所述預(yù)測塊添加到包括于所接收位流中的數(shù)據(jù)的經(jīng)編碼殘余塊來重建原 始視頻塊。預(yù)測解碼器68可預(yù)測性地解碼幀的所有視頻塊以便重建所述幀。后處理單元56對重建的幀執(zhí)行任何后處理。后處理單元56可包括用于廣泛多種 后處理任務(wù)中的任一者的組件。后處理任務(wù)可包括例如以下等事件按比例縮放、摻合、修 剪、旋轉(zhuǎn)、清晰化、變焦、濾波、去閃爍、去環(huán)(de-ringing)、解塊、重定尺寸、解交錯、去噪聲 或在重建視頻幀之后可能需要的任何其它成像效應(yīng)。在由后處理單元56進(jìn)行的后處理之 后，圖像幀被臨時存儲于存儲器緩沖器M中，并被顯示于顯示單元58上。根據(jù)本發(fā)明，裝置50包括跳幀單元55。跳幀單元55識別可被跳過的一個或一個 以上幀。特定來說，跳幀單元陽檢驗(yàn)經(jīng)接收和解析的位流(例如，由位流解析器62解析)。此時，接收的位流仍處于壓縮域中。再次，此數(shù)據(jù)可包括語法且可能包括與經(jīng)編碼幀相關(guān)聯(lián) 的變換系數(shù)。跳幀單元陽可基于經(jīng)編碼數(shù)據(jù)產(chǎn)生相似性量度。跳幀單元陽可將所述相似 性量度與一個或一個以上閾值進(jìn)行比較，以便確定所述相似性量度是否滿足所述閾值(例 如，通常通過將相似性量度與一個或一個以上閾值進(jìn)行比較以確定所述相似性量度是否超 過所述閾值中的一者或一者以上)。以此方式，相似性量度是允許跳幀單元陽量化當(dāng)前幀 是否充分類似于視頻序列中的先前未被跳過幀的機(jī)制，其可指示是否可在不引起實(shí)質(zhì)質(zhì)量 降級的情況下跳過當(dāng)前幀。跳幀可涉及跳過由預(yù)測解碼器68對一個或一個以上幀的解碼。在此狀況下，跳幀 單元55可將控制信號發(fā)送到預(yù)測解碼器68以中止對由跳幀單元55識別的所述一個或一 個以上幀的解碼。或者，跳幀可涉及在解碼幀之后跳過對一個或一個以上幀的后處理。在 此狀況下，跳幀單元陽可將控制信號發(fā)送到后處理單元56以中止對由跳幀單元55識別的 所述一個或一個以上幀的后處理。在這些狀況中的每一者下，還中止由顯示單元58對所述 一個或一個以上被跳過幀的顯示。如果需要，那么還可將控制信號提供到顯示單元58，以便 引起由顯示單元58進(jìn)行的跳幀。然而，顯示單元58可能不需要控制信號，尤其在幀的處理 被較早地中止(例如，通過中止所述幀的解碼或后處理)的情況下。盡管如此，本發(fā)明仍預(yù) 期在預(yù)測解碼器68、后處理單元56或顯示單元55處的跳幀，且可將控制信號從跳幀單元 55提供到這些單元中的任一者以引起此類跳幀。在一些實(shí)例中，跳幀單元55可識別跳幀的良好候選者，且可向預(yù)測解碼器68、后 處理單元56或兩者通知所述良好候選者。在此狀況下，預(yù)測解碼器68和/或后處理單元 56可實(shí)際上執(zhí)行是否跳過幀的決策(例如，基于可用的功率)。因此，跳幀單元55可識別 跳幀的良好候選者，且促進(jìn)由其它單元(例如預(yù)測解碼器68、后處理單元56或兩者)作出 的精明的跳幀決策。有時，直到已由預(yù)測解碼器68重建幀的視頻塊之后才決定或才知曉是否應(yīng)執(zhí)行 跳幀。在此類狀況下，后處理單元56處的跳幀可仍然實(shí)現(xiàn)實(shí)質(zhì)和所需的功率節(jié)約。根據(jù)本 發(fā)明的技術(shù)，跳幀單元陽可在解碼和重建幀之前確定此類幀是否為跳幀的良好候選者。在 幀解碼之前或在一些狀況下在幀解碼之后可使用這些確定。跳幀單元陽在處理此類幀的 過程中非常早地對壓縮域中的數(shù)據(jù)進(jìn)行操作。如果需要節(jié)約功率，那么可在稍后的處理的 任何階段使用由跳幀單元陽對跳幀的良好候選者的識別。在任何狀況下，針對跳幀決策而 在壓縮域中操作可使用比在非壓縮域中操作所使用的功率少的功率。因此，即使在解壓縮 數(shù)據(jù)之后發(fā)生跳幀，仍可能需要基于未壓縮數(shù)據(jù)來作出跳幀決策。在一個實(shí)例中，由預(yù)測解碼器68重建的數(shù)據(jù)幀可包含1. 幀速率下的320像 素X240像素幀，其中χ為實(shí)數(shù)。假定單元56的后處理執(zhí)行從QVGA到VGA的按比例縮放， 那么后處理單元56的輸出可包含3x幀速率下的640像素X480像素幀。在此狀況下，后 處理可消耗顯著功率。因此，在幀的預(yù)測解碼之后中止后處理并跳過幀可仍為合乎需要的， 尤其當(dāng)直到預(yù)測解碼過程之后才知曉是否應(yīng)跳過幀時。此外，由于顯示單元58對幀的顯示 也消耗顯著量的功率，因此減少所顯示的幀的數(shù)目可為減少裝置50中的功率消耗的良好 方式(即使當(dāng)直到預(yù)測解碼過程之后才知曉是否應(yīng)跳過幀時)。在一個實(shí)例中，解碼器單元52可遵守ITU-T H. 264標(biāo)準(zhǔn)，且所接收的位流可包含 符合ITU-T H. 264的位流。位流解析器62解析所接收的位流以將語法與位流分離，且可變長度解碼器64執(zhí)行位流的可變長度解碼以產(chǎn)生與殘余視頻塊相關(guān)聯(lián)的經(jīng)量化的變換系 數(shù)?？山?jīng)由直接存儲器存取(DMA)而將所述經(jīng)量化的變換系數(shù)存儲于存儲器緩沖器M中。 存儲器緩沖器M可包含CODEC處理器核心的一部分。還可將運(yùn)動向量和其它控制或語法 信息寫入到存儲器緩沖器中(例如，使用所謂的aDSP EXP接口)。逆量化和逆變換單元66對數(shù)據(jù)進(jìn)行解量化，并將數(shù)據(jù)轉(zhuǎn)換到像素域。預(yù)測解碼器 68執(zhí)行運(yùn)動估計補(bǔ)償(MEC)，且可能可執(zhí)行解塊濾波。預(yù)測解碼器68接著將經(jīng)重建的幀寫 回到存儲器緩沖器68。在整個過程期間，裝置50可經(jīng)編程以通過跳過一個或一個以上幀而 節(jié)省功率，如本文中所描述。視頻解碼器52的功率消耗可大致與再現(xiàn)幀速率成比例。解碼、后處理和/或顯示的幀越少，則節(jié)省的功率越多。然而，當(dāng)顯示較少幀時，發(fā) 生視頻質(zhì)量降級。換句話說，假定剩余視頻特性相似，則具有較低幀速率的重現(xiàn)的序列相對 于處于比較而言更高的幀速率下的序列通常具有較低的質(zhì)量。本發(fā)明的技術(shù)可減少或消除 在發(fā)生跳幀時的此類質(zhì)量降低。本文中所描述的技術(shù)的一個基本目標(biāo)是通過在不招致視覺質(zhì)量的實(shí)質(zhì)損失的情 況下減小顯示幀速率來節(jié)省功率。為限制質(zhì)量降級，所提議的功率節(jié)省幀選擇方案使用相 似性量度以便作出跳幀決策。跳幀技術(shù)可遵循以下規(guī)則中的一些或全部以便就消除質(zhì)量降級來說使跳幀有效。 對于由預(yù)測解碼器68進(jìn)行的跳幀來說，可存在一些基本規(guī)則。第一，如果幀為并非用于預(yù) 測其它幀的非參考幀，且如果放棄所述幀并不引起質(zhì)量降級(例如，無急動(jerkiness))， 那么預(yù)測解碼器68可在跳幀單元55的指導(dǎo)下跳過所述幀。第二，如果幀為用以預(yù)測另一 幀的參考幀但嚴(yán)重惡化，那么預(yù)測解碼器68可在跳幀單元55的指導(dǎo)下跳過所述幀。另外， 預(yù)測解碼器68可解碼并重建幀的所有視頻塊以便重建所述幀。對于幀顯示來說，也可存在基本規(guī)則。舉例來說，跳幀單元55可檢查待顯示的幀 相對于鄰近幀(例如，視頻序列的先前顯示的幀或隨后顯示的幀)的相似性。如果所述待顯 示的幀非常類似于鄰近未被跳過的幀，那么可避免由解碼單元68進(jìn)行的解碼，可避免由后 處理單元56進(jìn)行的后處理，和/或可避免由顯示單元58顯示所述待顯示的幀。下文更詳 細(xì)論述的相似性量度可促進(jìn)此相似性檢查，且在一些狀況下可用以促進(jìn)預(yù)測解碼器68和 后處理單元56的跳幀決策。然而，可能需要不連續(xù)地跳過大于經(jīng)定義數(shù)目的幀，且因此，裝 置50的組件可定義較低幀速率閾值。在此狀況下，如果任何跳幀將導(dǎo)致幀速率降到此較低 幀速率閾值以下，那么跳幀單元陽可不引起此跳幀。并且，即使在給定幀速率下，也可能需 要不跳過所定義數(shù)目的幀，因?yàn)榧词拐w幀速率保持相對較高，這仍可產(chǎn)生急動。跳幀單元 55可確定此類狀況，并可以促進(jìn)視頻質(zhì)量的方式來控制跳幀。在某種程度上，包括跳幀單元55增加了裝置50的功率消耗。因此，為減輕由跳幀 決策產(chǎn)生的此功率消耗，待顯示的幀與先前顯示的幀之間的相似性檢查應(yīng)相對較簡單。一 種使此檢查保持簡單的方法是僅基于壓縮域參數(shù)來執(zhí)行相似性比較。在此狀況下，可基于 經(jīng)壓縮語法元素(例如指示視頻塊類型和運(yùn)動向量量值與方向的數(shù)據(jù))來完成待顯示的幀 與先前顯示的幀之間的相似性檢查。如果針對相似性檢查來檢驗(yàn)殘余數(shù)據(jù)，那么可基于變 換域中的經(jīng)壓縮變換系數(shù)而非未經(jīng)壓縮像素值來進(jìn)行相似性檢查。所揭示的技術(shù)可能僅需 要對幀中的非零系數(shù)的數(shù)目進(jìn)行計數(shù)，因?yàn)檫@可提供關(guān)于所述幀是否類似于鄰近幀的有用 輸入。因此，任何非零系數(shù)的實(shí)際值對于跳幀單元55來說可能不重要；事實(shí)上，跳幀單元55可簡單地對非零系數(shù)的數(shù)目進(jìn)行計數(shù)。兩個相鄰幀之間的差異通常由運(yùn)動或場景改變引起。通過跳過具有類似于先前幀 的內(nèi)容的幀，可限制感知質(zhì)量降級。可使用任何多種以下信息來促進(jìn)相似性檢查，以使跳幀 單元55識別跳幀的良好候選者。可基于以下因素中的一者或一者以上來定義相似性量度。幀類型和視頻塊類型是可被包括于相似性量度中的兩個因素，所述相似性量度量 化鄰近幀之間的相似性并促進(jìn)智能型跳幀決策。舉例來說，可能需要總是謹(jǐn)慎地保持任何 I幀(即，避免任何I幀的跳過)。并且，如果任何P幀或B幀具有大的百分比的幀內(nèi)編碼 宏塊，那么這通常意味著此類P幀或B幀為跳幀的不良候選者，且可具有不同于先前幀的內(nèi) 容。在MPEG-2或MPEG-4編碼中，被跳過宏塊的大的百分比可指示當(dāng)前幀非常類似于 先前幀。經(jīng)編碼幀內(nèi)的被跳過宏塊是不對其發(fā)送殘余數(shù)據(jù)的被指示為被“跳過”的塊。可 由語法來定義被跳過宏塊。對于這些類型的塊來說，可在無殘余數(shù)據(jù)的幫助的情況下，在解 碼器處執(zhí)行內(nèi)插、外推或其它類型的數(shù)據(jù)重建。然而，在ITU-T H. 264中，被跳過宏塊的大 的數(shù)目僅意味著這些宏塊的運(yùn)動類似于其相鄰的宏塊。在此狀況下，可將相鄰的宏塊的運(yùn) 動歸因于被跳過宏塊。根據(jù)本發(fā)明，可考慮被跳過宏塊的數(shù)目和對應(yīng)的運(yùn)動方向以檢測運(yùn) 動平滑性。如果視頻序列定義緩慢但為平移(panning)的運(yùn)動，那么人眼可容易注意到跳 幀的效應(yīng)。因此，緩慢平移運(yùn)動通常是調(diào)用視頻跳幀的不良情境。也可由跳幀單元55使用運(yùn)動類型以促進(jìn)跳幀決策。對于運(yùn)動類型來說，跳幀單元 55可檢查運(yùn)動向量量值和運(yùn)動向量方向以有助于決定是否應(yīng)跳過所述幀。通常，緩慢運(yùn)動 序列對跳幀較不敏感。然而，如先前所提及，緩慢平移序列對跳幀敏感。跳幀單元55還可 在進(jìn)行跳幀決策的過程中考慮每一非幀內(nèi)編碼宏塊的非零系數(shù)的數(shù)目，且可將對非零系數(shù) 的數(shù)目的檢查與宏塊的量化參數(shù)值組合，因?yàn)檩^高量化級別自然地導(dǎo)致較多零值系數(shù)和較 少非零系數(shù)。如果對于給定宏塊來說，量化參數(shù)值不大，且非零系數(shù)的數(shù)目較小，那么這趨向于 指示所述宏塊非常類似于其位于同一地點(diǎn)的預(yù)測塊。如果宏塊的量化參數(shù)值較小，但非零 系數(shù)的數(shù)目較大，那么其意味著運(yùn)動向量并不非?？煽炕虼撕陦K非常不同于其位于同一地 點(diǎn)的預(yù)測塊?？捎商鴰瑔卧?5使用與幀的不同視頻塊相關(guān)聯(lián)的量化參數(shù)的分布以有助于 確定是否應(yīng)將跳幀用于所述幀。如果量化參數(shù)對于特定宏塊來說太高，那么從所述宏塊的 壓縮域獲得的信息對于幫助相似性檢查來說可能并不足夠精確。因此，可能需要將量化參 數(shù)閾值強(qiáng)加于量化參數(shù)使得僅考慮使用充分低的量化參數(shù)來編碼的宏塊并將其用于相似 性量度計算中。幀速率是可由跳幀單元55使用以有助于確定是否應(yīng)使用跳幀的另一因素。幀速 率越高，則裝置50消耗越多功率用于幀的解碼、后處理和顯示。與位流具有低幀速率(例 如，小于30幀/秒)時相比，如果位流具有高幀速率(例如，30幀/秒或更高)，那么選擇 性跳幀可節(jié)省較多的功率。換句話說，較高幀速率可向跳幀單元55提供較大的靈活性來在 裝置中節(jié)省功率。舉例來說，如果幀速率的下限為15幀/秒，那么與對30幀/秒的原始視 頻序列起作用時可節(jié)省的功率相比，當(dāng)對60幀/秒的原始視頻序列起作用時，跳幀單元55 可具有較大的靈活性來在裝置50中節(jié)省功率。還可由跳幀單元55使用補(bǔ)充信息以有助于確定是否應(yīng)使用跳幀。在圖3的說明中，將補(bǔ)充信息展示為到跳幀單元55的可選輸入。作為一實(shí)例，可與視頻幀一起發(fā)送上層 信息(例如與用以傳送數(shù)據(jù)的調(diào)制相關(guān)聯(lián)的控制層信息)以指示一個或一個以上幀是否已 惡化。如果幀惡化(例如，如由此補(bǔ)充信息所確定)，那么跳幀單元裝置50可偏好于跳幀而 非解碼、后處理和/或顯示所述幀。考慮上文所論述的全部這些因素，跳幀單元55可定義并使用相似性量度(“SM”)。 特定來說，所述相似性量度量化視頻序列的待顯示的當(dāng)前視頻幀與先前視頻幀之間的相似 性以便確定所述當(dāng)前幀是否為跳幀的良好候選者。當(dāng)相似性量度滿足一個或一個以上閾值 時，跳過當(dāng)前幀。通常定義所述相似性量度和閾值使得當(dāng)相似性量度的值超過給定閾值的 值時相似性量度的值滿足所述給定閾值。然而，或者，可以其它方式來定義相似性量度和 閾值(例如，使得當(dāng)相似性量度的值小于給定閾值的值時相似性量度的值滿足所述給定閾 值)。相似性量度可基于與幀的視頻塊相關(guān)聯(lián)的百分比。舉例來說，相似性量度可基于 當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的百分比；當(dāng)前視頻幀中具有超過運(yùn)動向量量值閾值的運(yùn) 動向量的視頻塊的百分比；當(dāng)前視頻幀中具有如由運(yùn)動向量方向閾值所量化在方向上充分 相似的運(yùn)動向量的視頻塊的百分比；以及當(dāng)前視頻幀中包括比一個或一個以上非零系數(shù)閾 值少的非零變換系數(shù)的視頻塊的百分比。此外，所述一個或一個以上非零系數(shù)閾值可隨與 當(dāng)前視頻幀中的視頻相關(guān)聯(lián)的一個或一個以上量化參數(shù)而定。在一個實(shí)例中，由跳幀單元55產(chǎn)生的相似性量度(SM)包含SM = Wl^IntraMBs % +W2*MVs_Magnitude% +W3*MVs_Samedirection%。Wl、W2、W3和W4為可被定義并應(yīng)用于相似性量度的不同項的加權(quán)因數(shù)。
定義當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的百分比。定義與 當(dāng)前視頻幀相關(guān)聯(lián)的超過運(yùn)動向量量值閾值的運(yùn)動向量的百分比。跳幀單元陽可對具有 超過預(yù)定義運(yùn)動向量量值閾值的量值的運(yùn)動向量進(jìn)行計數(shù)以便定義MVS_MagnitUde%。MViSamedirection1^可定義與當(dāng)前視頻幀相關(guān)聯(lián)的如由運(yùn)動向量方向閾值所量 化彼此充分相似的運(yùn)動向量的百分比。如同運(yùn)動向量量值閾值，可預(yù)定義運(yùn)動向量方向閾 值。運(yùn)動向量方向閾值確定與幀內(nèi)的運(yùn)動向量相關(guān)聯(lián)的相似性水準(zhǔn)，例如差角，可針對其認(rèn) 為兩個或兩個以上的運(yùn)動向量具有相似的方向。阪％可定義當(dāng)前視頻幀中包括比所述一個或一個以上非零系數(shù)閾值少的非零變 換系數(shù)的視頻塊的百分比。如同與相似性量度相關(guān)聯(lián)的其它閾值，可預(yù)定義非零系數(shù)閾值。 此外，非零系數(shù)閾值可依據(jù)與當(dāng)前視頻幀中的視頻塊相關(guān)聯(lián)的一個或一個以上量化參數(shù)而 定。阪％可由項fQP(nZ)%來代替以指示nZ取決于由一個或一個以上量化參數(shù)定義的閾值。可基于對一個或一個以上測試視頻序列中的跳幀的分析而預(yù)定義加權(quán)因數(shù)W1、 W2、W3和W4。在一些狀況下，基于一個或一個以上測試視頻序列中的跳幀的分析而將W1、 W2、W3和W4預(yù)定義為針對不同類型的視頻運(yùn)動具有不同值。因此，跳幀單元55可檢驗(yàn)視 頻序列的視頻運(yùn)動范圍，并基于此運(yùn)動來選擇所述加權(quán)因數(shù)?？墒褂脺y試序列根據(jù)經(jīng)驗(yàn)來 定義一個或一個以上加權(quán)因數(shù)W1、W2、W3和W4，從而可能針對不同運(yùn)動水準(zhǔn)定義不同因數(shù)。 以此方式，可以就對稱量度能夠識別對于人類觀測者來說看上去相似的視頻幀來說促進(jìn)有 效對稱量度的方式來定義加權(quán)因數(shù)。相似性量度的各個項和加權(quán)因數(shù)可考慮上文所論述的 各種因素和考慮。
如果需要，那么相似性量度還可基于當(dāng)前視頻幀中包含所述當(dāng)前視頻幀內(nèi)的被跳 過視頻塊的視頻塊的百分比。此外，可使用上文所論述的其它因數(shù)或值來定義相似性量度。 在任何狀況下，相似性量度均量化當(dāng)前視頻幀與先前視頻幀(或其它鄰近視頻幀)之間的 相似性。隨著相似性量度的值增加，此增加可對應(yīng)于相似性。因此，較高的相似性量度值可 對應(yīng)于較好的跳幀候選者。根據(jù)本發(fā)明，如果相似性量度的值大于第一相似性閾值T1,那么跳幀單元55可致 使此幀被跳過而不管所述幀的類型。在此狀況下，跳幀單元陽可將控制信號發(fā)送到預(yù)測解 碼器68以致使所述幀的解碼被跳過，或可將控制信號發(fā)送到后處理單元56以使所述幀的 后處理被跳過。當(dāng)后處理被跳過時，永不從后處理單元56發(fā)送所述幀來驅(qū)動顯示單元58。 當(dāng)解碼被跳過時，永不將所述幀發(fā)送到后處理單元56或發(fā)送到顯示單元58。如果相似性量度小于閾值T1,那么跳幀單元55可進(jìn)一步檢查以查看相似性量度是 否大于第二相似性閾值T2，其中T2 < 1\。如果相似性量度小于閾值T2，那么這可指示當(dāng)前 幀非常不同于先前幀(例如，幀序列的先前未被跳過幀)且即使所述當(dāng)前幀為參考幀仍應(yīng) 跳過當(dāng)前幀。然而，如果相似性量度小于閾值T1且大于閾值T2,那么跳幀單元55可進(jìn)一步 確定當(dāng)前幀是否為參考幀。如果當(dāng)前幀為具有大于閾值T2的相似性量度的參考幀，那么裝 置50可重建、后處理和顯示所述幀。如果當(dāng)前幀并非參考幀且具有小于閾值T1且大于閾 值1~2的相似性量度，那么裝置50可避免解碼、重建、后處理和顯示所述幀。在此狀況下，如 果跳幀單元55確定當(dāng)前幀并非參考幀且具有小于閾值T1且大于閾值T2的相似性量度，那 么跳幀單元55可發(fā)送一個或一個以上控制信號以致使預(yù)測解碼器68、后處理單元56和顯 示單元58跳過所述幀。以此方式，較高的閾值1\適用于所有幀(包括非參考幀)，且較低 的閾值T2僅適用于非參考幀。此使得較不可能跳過參考幀和較有可能跳過非參考幀，除非 當(dāng)前非參考幀非常不同于鄰近幀。在一些狀況下，可將功率信息提供到跳幀單元55以便關(guān)于跳幀作出較精明的決 策。舉例來說，如果裝置50的功率為低，那么可能較需要在跳幀方面具有積極性以便節(jié)約 功率。另一方面，如果裝置50具有足夠的功率或當(dāng)前正通過外部電源再充電，那么可能較 不需要實(shí)施跳幀。盡管圖3中未說明電源，但可認(rèn)為功率信息為圖3中所示的“補(bǔ)充信息” 的一部分。在此狀況下，“補(bǔ)充信息”可包括可用于裝置50的當(dāng)前功率的測量且可能包括當(dāng) 前功率使用率的測量。在此狀況下，可基于可用于裝置50的功率來定義或調(diào)節(jié)閾值T1和 T2。如果可用功率足以支持非常高的幀速率，那么可增加閾值T1和T2以使跳幀較不可能發(fā) 生。另一方面，如果可用功率為低，那么可降低閾值1\和1~2以促進(jìn)功率節(jié)約。以此方式，與 相似性量度相比較的一個或一個以上相似性閾值可為基于解碼裝置50中的可用電池功率 來調(diào)節(jié)的可調(diào)節(jié)閾值。此外，在一些狀況下，解碼裝置50可確定視頻序列的幀速率。在此狀況下，僅當(dāng)視 頻序列的幀速率超過幀速率閾值時，跳幀單元陽才可產(chǎn)生相似性量度并在相似性量度滿 足閾值的條件下引起當(dāng)前視頻幀的跳過。以此方式，裝置50可確保針對幀速率確定下限， 使得在低于特定幀速率的情況下避免跳幀。因此，僅當(dāng)跳過當(dāng)前視頻幀將不使幀速率降低 到幀速率閾值以下時，跳幀單元陽才可致使裝置50在相似性量度滿足閾值的條件下跳過 當(dāng)前視頻幀。此外，在一些狀況下，可由跳幀單元55使用與視頻序列相關(guān)聯(lián)的位速率以便 作出跳幀決策。在此狀況下，可將位速率與位速率閾值進(jìn)行比較，在低于所述位速率閾值的情況下，避免跳幀。位速率可不同于幀速率，尤其當(dāng)幀以不同量化水準(zhǔn)來編碼時或當(dāng)幀定義 導(dǎo)致不同幀的位速率大體上在幀間變化的不同運(yùn)動水準(zhǔn)時。如所注意到，所說明的“補(bǔ)充信息”可包含可用電池功率的指示。然而，“補(bǔ)充信息” 可包含廣泛多種其它信息(例如對惡化的幀的指示)。在此狀況下，跳幀單元55可識別與 當(dāng)前視頻幀相關(guān)聯(lián)的指示當(dāng)前幀惡化的補(bǔ)充信息，且可在補(bǔ)充信息指示當(dāng)前幀惡化時致使 裝置55跳過當(dāng)前視頻幀。舉例來說，可通過通信單元(例如圖1的通信單元21)確定所接 收的數(shù)據(jù)不遵守預(yù)期數(shù)據(jù)格式來確定幀惡化，或可以其它方式來確定幀惡化。圖3的論述通常適用于解碼器。然而，也可在如同圖2的系統(tǒng)的系統(tǒng)中使用類似 于上文所描述的相似性量度的相似性量度，在所述系統(tǒng)中，由編碼裝置使用跳幀以便識別 在發(fā)射視頻序列的過程中待跳過的幀。在編碼裝置的狀況下，編碼裝置中的跳幀單元可促 進(jìn)對待跳過的幀的智能型選擇(例如，使得編碼裝置可滿足針對經(jīng)編碼視頻序列的發(fā)射的 帶寬限制)。圖4為說明可在解碼器裝置(例如圖1的視頻解碼器裝置22或圖3的解碼裝置 50)中執(zhí)行的跳幀技術(shù)的流程圖。出于示范性的目的，圖4的論述將參考圖1的視頻解碼器 裝置22。如圖4中所示，視頻解碼器裝置22的通信單元21接收包含經(jīng)壓縮視頻幀的位流 (401)。跳幀單元沈產(chǎn)生相似性量度(例如上文所論述的相似性量度)，以便量化當(dāng)前幀與 鄰近幀之間的差異G02)。舉例來說，所述鄰近幀可包含視頻序列中在時間上鄰近于當(dāng)前幀 的先前幀。如果相似性量度超過相似性閾值，那么跳幀單元26發(fā)送一個或一個以上控制信 號以致使視頻解碼器裝置22跳過當(dāng)前幀的解碼、后處理和/或顯示003)。以此方式，相似 性量度促進(jìn)視頻解碼器裝置22中的智能型跳幀決策。圖5為說明可在編碼器裝置(例如圖2的視頻編碼器裝置32)中執(zhí)行的跳幀技術(shù) 的流程圖。如圖5中所示，視頻編碼器裝置32的編碼單元36壓縮視頻幀以產(chǎn)生經(jīng)編碼位 流(501)。跳幀單元37產(chǎn)生量化壓縮域中所述經(jīng)編碼位流的當(dāng)前幀與鄰近幀之間的差異 的相似性量度(502)。如果相似性量度超過相似性閾值，那么跳幀單元37接著致使裝置32 的通信單元39跳過當(dāng)前幀的發(fā)射(503)。以此方式，本發(fā)明的技術(shù)可允許編碼裝置在無視 頻質(zhì)量的實(shí)質(zhì)降級的情況下減小編碼幀速率以促進(jìn)帶寬的有效使用。也可將本發(fā)明的各種跳幀技術(shù)用于代碼轉(zhuǎn)換應(yīng)用中。在此狀況下，可根據(jù)一種標(biāo) 準(zhǔn)(例如，MPEG-幻來對經(jīng)壓縮位流進(jìn)行編碼，但所述經(jīng)壓縮位流可經(jīng)解碼且接著根據(jù)第二 標(biāo)準(zhǔn)(例如，ITU-T H. 264)來重新編碼。在此狀況下，出于在解碼器級處的幀速率功率節(jié) 省原因或出于在編碼器級處的資源或帶寬限制，可使用本發(fā)明的跳幀技術(shù)以避免對一些幀 的解碼和/或重新編碼。圖6為說明用于產(chǎn)生示范性相似性量度并基于所述相似性量度執(zhí)行跳幀的技術(shù) 的流程圖。圖6的技術(shù)可由視頻編碼器裝置(如圖2的裝置3 或由視頻解碼器裝置(例 如圖1的裝置22或圖3的解碼裝置50)來執(zhí)行。出于解釋目的，將從圖3的解碼裝置50 的觀點(diǎn)來描述圖6的技術(shù)。如圖6中所示，位流解析器62解析包含經(jīng)壓縮視頻幀的經(jīng)編碼位流(601)。此解 析識別壓縮域中的經(jīng)編碼位流的語法和/或數(shù)據(jù)。跳幀單元陽使用壓縮域中的經(jīng)解析數(shù) 據(jù)以便產(chǎn)生指示當(dāng)前幀與鄰近于所述當(dāng)前幀的幀之間的相似性的相似性量度。特定來說，跳幀單元55確定幀中包含幀內(nèi)編碼塊的塊的百分比Pl (602)。跳幀單元55還確定所述幀 中具有超過運(yùn)動向量量值閾值的運(yùn)動向量的塊的百分比P2 (603)，且確定所述幀中具有如 運(yùn)動向量方向閾值所量化的相似運(yùn)動向量的塊的百分比P3(604)。另外，跳幀單元55確定 所述幀中具有比非零系數(shù)閾值少的非零變換系數(shù)的塊的百分比P4(604)。任選地，跳幀單元 55還可確定所述幀中包含所述幀中的被跳過視頻塊的塊的百分比P5(605)。使用這些百分比(P1、P2、P3、P4和P5)中的一些或全部，跳幀單元55計算量化當(dāng) 前幀與鄰近幀之間的差異的相似性量度(606)。產(chǎn)生卩1、？2、？3、？4和？5所需的所有信息 可包含壓縮域中的經(jīng)編碼位流的數(shù)據(jù)，其包括語法與經(jīng)壓縮變換系數(shù)。因此，不需要將數(shù)據(jù) 解碼到像素域而產(chǎn)生相似性量度。在一些狀況下，相似性量度可具有指派給由跳幀單元陽 確定的不同百分比的加權(quán)因數(shù)。上文論述了一個相似性量度的較詳細(xì)實(shí)例。在任何狀況下，如果相似性量度超過相似性閾值，那么跳幀單元可致使裝置50跳 過幀(607)。舉例來說，跳幀單元55可將控制信號發(fā)送到預(yù)測解碼器68以致使預(yù)測解碼器 68跳過幀的解碼，或可將控制信號發(fā)送到后處理單元56以致使后處理單元56跳過幀的后 處理。在前者的狀況下，避免了幀的解碼、后處理和顯示。在后者的狀況下，執(zhí)行了幀的解 碼，但避免了幀的后處理和顯示。在這兩種狀況下，通過跳幀促進(jìn)了功率節(jié)約，且針對此跳 幀的幀選擇可減小歸因于此跳幀的質(zhì)量降級。在一些狀況下，當(dāng)正解碼幀時，可能并不知曉是否需要跳幀以節(jié)約功率。然而，在 解碼之后，如果需要功率節(jié)約，那么可能需要跳過已解碼的幀的后處理和顯示。可在壓縮域 中作出跳幀決策(例如，基于未壓縮的經(jīng)編碼數(shù)據(jù)和語法)。接著，即使在解碼所述數(shù)據(jù)之 后，仍可能需要對幀的后處理和顯示的跳幀。圖7為說明可由解碼器裝置(例如圖1的視頻解碼器裝置22或圖3的解碼裝置 50)執(zhí)行的跳幀技術(shù)的流程圖。出于示范性的目的，圖7的論述將參考圖3的解碼裝置50。如圖7中所示，解碼裝置50的跳幀單元55計算指示當(dāng)前幀與鄰近于所述當(dāng)前幀 的幀之間的相似性的相似性量度(701)。如本文中所描述，相似性量度可僅基于當(dāng)前幀的經(jīng) 壓縮數(shù)據(jù)(例如，壓縮域中的數(shù)據(jù)，例如關(guān)于視頻塊類型、運(yùn)動向量量值和方向的語法、用 于編碼中的量化參數(shù)和與視頻塊相關(guān)聯(lián)的量化的殘余變換系數(shù))。跳幀單元55確定相似性量度是否滿足第一閾值Tl (702)。如果相似性量度滿足第 一閾值Tl (702為“是”)，那么跳幀單元55將控制信號發(fā)送到預(yù)測解碼器68，所述控制信號 致使裝置50跳過幀的解碼(706)且因此還跳過幀的后處理和顯示(708)。特定來說，響應(yīng) 于來自跳幀單元陽的跳過命令，預(yù)測解碼器68跳過所述幀的解碼(706)。在此狀況下，后 處理單元56和顯示單元58永不接收所述幀的數(shù)據(jù)，且因此不后處理所述幀且不顯示所述 幀(708)。如果相似性量度不滿足第一閾值Tl (702為“否”)，那么跳幀單元55確定相似性 量度是否滿足第二閾值T2 (704)。在此狀況下，如果相似性量度不滿足第二閾值T2 (704為 “否”)，那么解碼、后處理和顯示所述幀(707)。特定來說，如果相似性量度不滿足第二閾值 T2(704為“否”)，那么所述幀可由預(yù)測解碼器68解碼，由后處理單元56后處理，且由顯示 單元58顯示。如果相似性量度滿足第二閾值Τ2 (704為“是”)，那么跳幀單元55確定幀是否為 參考幀。如果如此(705為“是”)，那么解碼、后處理和顯示所述幀(707)。特定來說，如果相似性量度滿足第二閾值T2 (704為“是”)且?guī)瑸閰⒖紟?705為“是”)，那么所述幀可由 預(yù)測解碼器68解碼，由后處理單元56后處理，且由顯示單元58顯示。然而，如果相似性量度滿足第二閾值T2 (704為“是”)，但幀并非參考幀(705為 “否”)，那么致使裝置50跳過幀的解碼(706)且跳過幀的后處理和顯示(708)。因此，不解 碼、后處理或顯示相似性量度不滿足第一閾值Tl (703為“否”)但確實(shí)滿足第二閾值(704 為“是”)的非參考幀。以此方式，較高的閾值T1適用于所有幀(包括非參考幀)，且較低的 閾值T2僅適用于非參考幀。此使得較不可能跳過參考幀且較有可能跳過非參考幀，除非當(dāng) 前非參考幀非常不同于鄰近幀。由于使用參考幀來對其它幀進(jìn)行編碼，所以可能較不需要 參考幀的跳幀。因此，可僅在參考幀具有超過較高的閾值T1的相似性量度時才進(jìn)行參考幀 的跳幀，而可在非參考幀具有超過任一閾值T1或T2的相似性量度的情況下跳過所述非參考 幀。通常定義相似性量度和閾值使得當(dāng)相似性量度的值超過給定閾值的值時相似性 量度的值滿足所述給定閾值。然而，或者，可定義相似性量度和閾值使得當(dāng)相似性量度的值 小于給定閾值的值時相似性量度的值滿足所述給定閾值。在另外其它實(shí)例中，可基于本發(fā)明的教示來實(shí)施關(guān)于被跳過的特定幀和如何跳過 此類幀的其它變化。圖7的流程圖僅為一個實(shí)例。此外，可在由預(yù)測解碼器68解碼之后在 后處理單元56中發(fā)生跳幀，或可在由預(yù)測解碼器68預(yù)測解碼和由后處理單元56后處理之 后在顯示單元58中發(fā)生跳幀。在這些狀況下，壓縮域中的數(shù)據(jù)促進(jìn)解碼和未壓縮域中的跳 幀?？梢杂布?、軟件、固件或其任何組合來實(shí)施本文中所描述的技術(shù)。可將被描述為模 塊、單元或組件的任何特征一同實(shí)施于集成式邏輯裝置中或獨(dú)立地實(shí)施為離散但可交互操 作的邏輯裝置。在一些狀況下，可將各種特征實(shí)施為集成電路裝置(例如集成電路芯片或 芯片組)。如果以硬件實(shí)施，那么本發(fā)明可針對一種設(shè)備，例如處理器或集成電路裝置(例 如集成電路芯片或芯片組)。作為替代或另外，如果以軟件實(shí)施，那么可至少部分地通過包 含在執(zhí)行時致使處理器執(zhí)行上文所描述的方法中的一者或一者以上的指令的計算機(jī)可讀 媒體來實(shí)現(xiàn)所述技術(shù)。舉例來說，計算機(jī)可讀媒體可存儲此類指令。計算機(jī)可讀媒體可形成計算機(jī)程序產(chǎn)品的一部分，所述計算機(jī)程序產(chǎn)品可包括封 裝材料。計算機(jī)可讀媒體可包含計算機(jī)數(shù)據(jù)存儲媒體，例如隨機(jī)存取存儲器(RAM)、同步動 態(tài)隨機(jī)存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機(jī)存取存儲器(NVRAM)、電可擦 除可編程只讀存儲器(EEPROM)、快閃存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體等。另外或作為替 代，可至少部分地通過計算機(jī)可讀通信媒體來實(shí)現(xiàn)所述技術(shù)，所述計算機(jī)可讀通信媒體以 指令或數(shù)據(jù)結(jié)構(gòu)的形式攜載或傳送代碼且可由計算機(jī)存取、讀取和/或執(zhí)行。可由一個或一個以上處理器(例如一個或一個以上DSP、通用微處理器、ASIC、現(xiàn) 場可編程邏輯陣列(FPGA)或其它等效的集成式或離散邏輯電路)來執(zhí)行代碼或指令。因 此，如本文中所使用的術(shù)語“處理器”可指代上述結(jié)構(gòu)中的任一者或適合用于實(shí)施本文中所 描述的技術(shù)的任何其它結(jié)構(gòu)。另外，在一些方面中，可將本文中所描述的功能性提供于專用 軟件模塊或硬件模塊內(nèi)。本發(fā)明還預(yù)期多種集成電路裝置中的任一者，所述集成電路裝置 包括用以實(shí)施本發(fā)明中所描述的技術(shù)中的一者或一者以上的電路。可將此電路提供于單一 集成電路芯片中或提供于位于所謂的芯片組中的多個可交互操作的集成電路芯片中。可將此類集成電路裝置用于多種應(yīng)用中，所述應(yīng)用中的一些可包括在無線通信裝置(例如移動 電話手持機(jī))中的使用。 已描述了所揭示的技術(shù)的各個方面。這些和其它方面在所附權(quán)利要求書的范圍 內(nèi)。
權(quán)利要求
1.一種方法，其包含產(chǎn)生相似性量度，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似 性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)； 以及在所述相似性量度滿足閾值的條件下，跳過所述當(dāng)前視頻幀。
2.根據(jù)權(quán)利要求1所述的方法，其中所述方法為編碼方法，且其中跳過所述當(dāng)前視頻 幀包含跳過所述當(dāng)前視頻幀到另一裝置的發(fā)射。
3.根據(jù)權(quán)利要求1所述的方法，其中所述方法為解碼方法，且其中跳過所述當(dāng)前視頻 幀包含跳過所述當(dāng)前視頻幀的預(yù)測解碼。
4.根據(jù)權(quán)利要求1所述的方法，其中所述方法為解碼方法，且其中跳過所述當(dāng)前視頻 幀包含跳過所述當(dāng)前視頻幀的后處理。
5.根據(jù)權(quán)利要求1所述的方法，其中所述方法為解碼方法，且其中跳過所述當(dāng)前視頻 幀包含跳過所述當(dāng)前視頻幀的顯示。
6.根據(jù)權(quán)利要求1所述的方法，其中所述相似性量度基于所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的百分比；所述當(dāng)前視頻幀中具有超過運(yùn)動向量量值閾值的運(yùn)動向量的視頻塊的百分比；所述當(dāng)前視頻幀中具有如運(yùn)動向量方向閾值所量化在方向上充分相似的運(yùn)動向量的 視頻塊的百分比；以及所述當(dāng)前視頻幀中包括比一個或一個以上非零系數(shù)閾值少的非零變 換系數(shù)的視頻塊的百分比。
7.根據(jù)權(quán)利要求6所述的方法，其中所述一個或一個以上非零系數(shù)閾值依據(jù)與所述當(dāng) 前視頻幀中的所述視頻塊相關(guān)聯(lián)的一個或一個以上量化參數(shù)而定。
8.根據(jù)權(quán)利要求6所述的方法，其中所述相似性量度(SM)包含SM = Wl^IntraMBs % +W2*MVs_Magnitude% +W3*MVs_Samedirection% +W4*Nz %其中W1、W2、W3和W4為加權(quán)因數(shù)，其中^itraMBsW為所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的所述百分比，其中MVS_MagnitUde%為與所述當(dāng)前視頻幀相關(guān)聯(lián)的超過所述運(yùn)動向量量值閾值的運(yùn) 動向量的所述百分比，其中MVtSamedirection^為與所述當(dāng)前視頻幀相關(guān)聯(lián)的如所述運(yùn)動向量方向閾值所 量化充分相似的運(yùn)動向量的所述百分比，且Nz%為所述當(dāng)前視頻幀中包括比所述一個或一個以上非零系數(shù)閾值少的非零變換系 數(shù)的視頻塊的所述百分比。
9.根據(jù)權(quán)利要求8所述的方法，其中基于對一個或一個以上測試視頻序列中的跳幀的 分析而預(yù)定義W1、W2、W3和W4。
10.根據(jù)權(quán)利要求9所述的方法，其中基于對一個或一個以上測試視頻序列中的跳幀 的分析而將W1、W2、W3和W4預(yù)定義為針對不同類型的視頻運(yùn)動具有不同值。
11.根據(jù)權(quán)利要求6所述的方法，其中所述相似性量度基于所述當(dāng)前視頻幀中包含所 述當(dāng)前視頻幀內(nèi)的被跳過視頻塊的視頻塊的百分比。
12.根據(jù)權(quán)利要求1所述的方法，其中所述方法為解碼方法，且其中跳過所述當(dāng)前視頻 幀包含當(dāng)所述相似性量度大于第一閾值時，跳過所述當(dāng)前視頻幀；以及當(dāng)所述相似性量度大于第二閾值且所述幀并非用于一個或一個以上其它幀的預(yù)測編 碼的參考幀時，跳過所述當(dāng)前視頻幀。
13.根據(jù)權(quán)利要求1所述的方法，其中所述方法為由解碼裝置實(shí)施的解碼方法，且其中 所述閾值為基于所述解碼裝置中的可用電池功率來調(diào)節(jié)的可調(diào)節(jié)閾值。
14.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含確定所述視頻序列的幀速率；以及僅當(dāng)所述視頻序列的所述幀速率超過幀速率閾值時才產(chǎn)生所述相似性量度，并在所述 相似性量度滿足所述閾值的條件下跳過所述當(dāng)前視頻幀。
15.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含識別與所述當(dāng)前視頻幀相關(guān)聯(lián)的指示所述當(dāng)前幀惡化的補(bǔ)充信息；以及當(dāng)所述補(bǔ)充信息指示所述當(dāng)前幀惡化時，跳過所述當(dāng)前視頻幀。
16.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含僅當(dāng)跳過所述當(dāng)前視頻幀將不使幀速率降低到幀速率閾值以下時，才在所述相似性量 度滿足所述閾值的條件下跳過所述當(dāng)前視頻幀。
17.一種設(shè)備，其包含跳幀單元，所述跳幀單元產(chǎn)生相似性量度，所述相似性量度量化視頻序列的當(dāng)前視頻 幀與鄰近幀之間的相似性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近 幀之間的差異的數(shù)據(jù)，且所述跳幀單元致使所述設(shè)備在所述相似性量度滿足閾值的條件下 跳過所述當(dāng)前視頻幀。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備為編碼設(shè)備，其中所述跳幀單元產(chǎn)生 致使通信單元跳過所述當(dāng)前視頻幀到另一裝置的發(fā)射的控制信號。
19.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備為解碼設(shè)備，其中所述跳幀單元產(chǎn)生 致使預(yù)測解碼器跳過所述當(dāng)前視頻幀的預(yù)測解碼的控制信號。
20.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備為解碼設(shè)備，其中所述跳幀單元產(chǎn)生 致使后處理單元跳過所述當(dāng)前視頻幀的后處理的控制信號。
21.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備為解碼設(shè)備，其中所述跳幀單元產(chǎn)生 致使顯示單元跳過所述當(dāng)前視頻幀的顯示的控制信號。
22.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述相似性量度基于所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的百分比；所述當(dāng)前視頻幀中具有超過運(yùn)動向量量值閾值的運(yùn)動向量的視頻塊的百分比；所述當(dāng)前視頻幀中具有如運(yùn)動向量方向閾值所量化在方向上充分相似的運(yùn)動向量的 視頻塊的百分比；以及所述當(dāng)前視頻幀中包括比一個或一個以上非零系數(shù)閾值少的非零變 換系數(shù)的視頻塊的百分比。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其中所述一個或一個以上非零系數(shù)閾值依據(jù)與所述 當(dāng)前視頻幀中的所述視頻塊相關(guān)聯(lián)的一個或一個以上量化參數(shù)而定。
24.根據(jù)權(quán)利要求22所述的設(shè)備，其中所述相似性量度(SM)包含SM = Wl^IntraMBs % +W2*MVs_Magnitude% +W3*MVs_Samedirection% +W4*Nz %其中W1、W2、W3和W4為加權(quán)因數(shù)，其中^itraMBsW為所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的所述百分比，其中MVS_MagnitUde%為與所述當(dāng)前視頻幀相關(guān)聯(lián)的超過所述運(yùn)動向量量值閾值的運(yùn) 動向量的所述百分比，其中MVtSamedirection^為與所述當(dāng)前視頻幀相關(guān)聯(lián)的如所述運(yùn)動向量方向閾值所 量化充分相似的運(yùn)動向量的所述百分比，且Nz%為所述當(dāng)前視頻幀中包括比所述一個或一個以上非零系數(shù)閾值少的非零變換系 數(shù)的視頻塊的所述百分比。
25.根據(jù)權(quán)利要求M所述的設(shè)備，其中W1、W2、W3和W4基于對一個或一個以上測試視 頻序列中的跳幀的分析而被預(yù)定義。
26.根據(jù)權(quán)利要求25所述的設(shè)備，其中W1、W2、W3和W4基于對一個或一個以上測試視 頻序列中的跳幀的分析而被預(yù)定義為針對不同類型的視頻運(yùn)動具有不同值。
27.根據(jù)權(quán)利要求22所述的設(shè)備，其中所述相似性量度基于所述當(dāng)前視頻幀中包含所 述當(dāng)前視頻幀內(nèi)的被跳過視頻塊的視頻塊的百分比。
28.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備為解碼設(shè)備，且其中所述跳幀單元致 使預(yù)測編碼單元在所述相似性量度大于第一閾值時，跳過所述當(dāng)前視頻幀的預(yù)測編碼； 且在所述相似性量度大于第二閾值且所述幀并非用于一個或一個以上其它幀的預(yù)測編碼 的參考幀時，跳過所述當(dāng)前視頻幀的預(yù)測解碼。
29.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備為解碼設(shè)備，且其中所述閾值為基于 所述解碼設(shè)備中的可用電池功率來調(diào)節(jié)的可調(diào)節(jié)閾值。
30.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述跳幀單元確定所述視頻序列的幀速率；且僅當(dāng)所述視頻序列的所述幀速率超過幀速率閾值時，才在所述相似性量度滿足所述閾 值的條件下引起所述當(dāng)前視頻幀的跳過。
31.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述跳幀單元識別與所述當(dāng)前視頻幀相關(guān)聯(lián)的指示所述當(dāng)前幀惡化的補(bǔ)充信息；以及當(dāng)所述補(bǔ)充信息指示所述當(dāng)前幀惡化時，引起所述當(dāng)前視頻幀的跳過。
32.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述跳幀單元僅當(dāng)跳過所述當(dāng)前視頻幀將不使幀速率降低到幀速率閾值以下時，才在所述相似性量 度滿足所述閾值的條件下引起所述當(dāng)前視頻幀的跳過。
33.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備包含集成電路。
34.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述設(shè)備包含微處理器。
35.一種裝置，其包含用于產(chǎn)生相似性量度的裝置，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀之 間的相似性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異 的數(shù)據(jù)；以及用于在所述相似性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀的裝置。
36.根據(jù)權(quán)利要求35所述的裝置，其中所述相似性量度基于所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的百分比；所述當(dāng)前視頻幀中具有超過運(yùn)動向量量值閾值的相關(guān)聯(lián)運(yùn)動向量的視頻塊的百分比；所述當(dāng)前視頻幀中具有如運(yùn)動向量方向閾值所量化在方向上充分相似的運(yùn)動向量的 視頻塊的百分比；以及所述當(dāng)前視頻幀中包括比一個或一個以上非零系數(shù)閾值少的非零變 換系數(shù)的視頻塊的百分比。
37.根據(jù)權(quán)利要求36所述的裝置，其中所述一個或一個以上非零系數(shù)閾值依據(jù)與所述 當(dāng)前視頻幀中的所述視頻塊相關(guān)聯(lián)的一個或一個以上量化參數(shù)而定。
38.根據(jù)權(quán)利要求36所述的裝置，其中所述相似性量度(SM)包含SM = Wl^IntraMBs % +W2*MVs_Magnitude% +W3*MVs_Samedirection% +W4*Nz % 其中W1、W2、W3和W4為加權(quán)因數(shù)，其中^itraMBsW為所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的所述百分比， 其中MVS_MagnitUde%為與所述當(dāng)前視頻幀相關(guān)聯(lián)的超過所述運(yùn)動向量量值閾值的運(yùn) 動向量的所述百分比，其中MVtSamedirection^為與所述當(dāng)前視頻幀相關(guān)聯(lián)的如所述運(yùn)動向量方向閾值所 量化充分相似的運(yùn)動向量的所述百分比，且Nz%為所述當(dāng)前視頻幀中包括比所述一個或一個以上非零系數(shù)閾值少的非零變換系 數(shù)的視頻塊的所述百分比。
39.根據(jù)權(quán)利要求35所述的裝置，其中所述裝置為解碼裝置，且其中用于跳過所述當(dāng) 前視頻幀的裝置包含用于在所述相似性量度大于第一閾值時跳過所述當(dāng)前視頻幀的裝置；以及 用于在所述相似性量度大于第二閾值且所述幀并非用于一個或一個以上其它幀的預(yù) 測編碼的參考幀時跳過所述當(dāng)前視頻幀的裝置。
40.根據(jù)權(quán)利要求35所述的裝置，其中所述裝置為解碼裝置，且其中所述閾值為基于 所述解碼裝置中的可用電池功率來調(diào)節(jié)的可調(diào)節(jié)閾值。
41.一種包含指令的計算機(jī)可讀媒體，所述指令在執(zhí)行時致使裝置產(chǎn)生相似性量度，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀之間的相似 性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù)據(jù)， 且在所述相似性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀。
42.根據(jù)權(quán)利要求41所述的計算機(jī)可讀媒體，其中所述相似性量度基于 所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的百分比；所述當(dāng)前視頻幀中具有超過運(yùn)動向量量值閾值的相關(guān)聯(lián)運(yùn)動向量的視頻塊的百分比；所述當(dāng)前視頻幀中具有如運(yùn)動向量方向閾值所量化在方向上充分相似的運(yùn)動向量的 視頻塊的百分比；以及所述當(dāng)前視頻幀中包括比一個或一個以上非零系數(shù)閾值少的非零變 換系數(shù)的視頻塊的百分比。
43.根據(jù)權(quán)利要求42所述的計算機(jī)可讀媒體，其中所述相似性量度(SM)包含 SM = Wl^IntraMBs % +W2*MVs_Magnitude% +W3*MVs_Samedirection% +W4*Nz % 其中W1、W2、W3和W4為加權(quán)因數(shù)，其中^itraMBsW為所述當(dāng)前視頻幀中的幀內(nèi)編碼視頻塊的所述百分比，其中MVS_MagnitUde%為與所述當(dāng)前視頻幀相關(guān)聯(lián)的超過所述運(yùn)動向量量值閾值的運(yùn) 動向量的所述百分比，其中MVtSamedirection^為與所述當(dāng)前視頻幀相關(guān)聯(lián)的如所述運(yùn)動向量方向閾值所 量化充分相似的運(yùn)動向量的所述百分比，且Nz%為所述當(dāng)前視頻幀中包括比所述一個或一個以上非零系數(shù)閾值少的非零變換系 數(shù)的視頻塊的所述百分比。
44.根據(jù)權(quán)利要求41所述的計算機(jī)可讀媒體，其中所述裝置為解碼裝置，其中所述指 令致使所述裝置在所述相似性量度大于第一閾值時，跳過所述當(dāng)前視頻幀的預(yù)測編碼、后處理和顯示；且在所述相似性量度大于第二閾值且所述幀并非用于一個或一個以上其它幀的預(yù)測編 碼的參考幀時，跳過所述當(dāng)前視頻幀的預(yù)測解碼、后處理和顯示。
45.根據(jù)權(quán)利要求41所述的計算機(jī)可讀媒體，其中所述裝置為解碼裝置，且其中所述 閾值為基于所述解碼裝置中的可用電池功率來調(diào)節(jié)的可調(diào)節(jié)閾值。
46.根據(jù)權(quán)利要求41所述的計算機(jī)可讀媒體，其中所述指令致使所述裝置 確定所述視頻序列的幀速率；且僅當(dāng)所述視頻序列的所述幀速率超過幀速率閾值時才在所述相似性量度滿足所述閾 值的條件下跳過所述當(dāng)前視頻幀。
47.一種編碼裝置，其包含跳幀單元，其產(chǎn)生相似性量度，所述相似性量度量化視頻序列的當(dāng)前視頻幀與鄰近幀 之間的相似性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差 異的數(shù)據(jù)；以及通信單元，其在所述相似性量度滿足閾值的條件下跳過所述當(dāng)前視頻幀的發(fā)射。
48.根據(jù)權(quán)利要求47所述的編碼裝置，其中所述裝置包含無線通信手持機(jī)。
49.一種解碼裝置，其包含通信單元，其接收視頻序列的經(jīng)壓縮視頻幀；以及 跳幀單元，其產(chǎn)生相似性量度，所述相似性量度量化所述視頻序列的當(dāng)前視頻幀與鄰近幀之間的 相似性，其中所述相似性量度基于壓縮域內(nèi)指示所述當(dāng)前幀與所述鄰近幀之間的差異的數(shù) 據(jù)，且在所述相似性量度滿足閾值的條件下致使所述裝置跳過所述當(dāng)前視頻幀。
50.根據(jù)權(quán)利要求49所述的解碼裝置，其中所述裝置包含無線通信手持機(jī)。
全文摘要
本發(fā)明提供智能型跳幀技術(shù)，其可由編碼裝置或解碼裝置使用以可有助于最小化歸因于跳幀的質(zhì)量降級的方式來促進(jìn)所述跳幀。特定來說，所述所描述的技術(shù)可實(shí)施經(jīng)設(shè)計以識別用于跳幀的良好候選幀的相似性量度。以此方式，可相對于常規(guī)跳幀技術(shù)減少如由視頻序列的檢視器察覺到的由跳幀引起的顯著視頻質(zhì)量降低。所述所描述的技術(shù)在壓縮域中有利地操作。
文檔編號H04N7/50GK102113329SQ200980129826
公開日2011年6月29日 申請日期2009年7月29日 優(yōu)先權(quán)日2008年7月29日
發(fā)明者戴閔, 滕佳緣, 薛濤 申請人:高通股份有限公司