專利名稱：視頻流修改器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對在解碼器中解碼的壓縮數(shù)據(jù)流進行修改的設(shè)備，該壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進行編碼而獲得，所述設(shè)備包括-評估裝置，用于評估對來自壓縮數(shù)據(jù)流的圖像進行解碼所需的解碼復(fù)雜度；-修改裝置，用于當圖像的解碼復(fù)雜度接近解碼器容量時對壓縮數(shù)據(jù)流進行修改。
本發(fā)明還涉及一種包括該設(shè)備的圖像處理系統(tǒng)，用于圖像序列的壓縮和解壓縮。
本發(fā)明還涉及一種包括該設(shè)備的圖像處理裝置。
本發(fā)明還涉及一種用于對在解碼器中解碼的壓縮數(shù)據(jù)流進行修改的方法，該壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進行編碼而獲得，所述方法包括-評估對來自壓縮數(shù)據(jù)流的圖像進行解碼所需的解碼復(fù)雜度；以及-當圖像的解碼復(fù)雜度接近解碼器容量時，修改所述流。
本發(fā)明還涉及一種計算機程序產(chǎn)品，包括使處理器能夠執(zhí)行對在解碼器中解碼的壓縮數(shù)據(jù)流進行修改的方法的代碼，該壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進行編碼而獲得，所述產(chǎn)品包括-用于評估對來自壓縮數(shù)據(jù)流的圖像進行解碼所需的解碼復(fù)雜度的代碼；以及-用于當圖像的解碼復(fù)雜度接近解碼器容量時對所述流進行修改的代碼。
背景技術(shù)：
視頻信息典型地包括圖像幀序列，能夠被壓縮形成數(shù)字化數(shù)據(jù)流以便儲存和傳輸。已廣泛應(yīng)用于壓縮和解壓縮視頻信息的一些壓縮標準是用于視頻編解碼的運動圖像專家組(MPEG)標準，特別是MPEG-2。MPEG標準具有儲存、傳輸和顯示視頻信息的多種應(yīng)用，例如光儲存系統(tǒng)、數(shù)字多用途光盤(DVD)技術(shù)以及數(shù)字電視(DTV)廣播。當對MPEG數(shù)據(jù)流解碼時，每一幀的解碼復(fù)雜度都有可能不同。由于解碼器通常不會被裝備為處理峰值負荷，因而可能會出現(xiàn)解碼復(fù)雜度高于解碼器可用容量的情況。此時，解碼器不能對完整圖像進行解碼。因此，輸出的圖像會突然出現(xiàn)質(zhì)量退化。為了使視頻信息壓縮數(shù)據(jù)流的解碼復(fù)雜度與解碼器可用容量相適應(yīng)以及在輸出端獲得最佳圖像質(zhì)量，現(xiàn)有技術(shù)已給出了幾種解決辦法。
美國專利US6631163中給出了一種方法以及一種系統(tǒng)，利用解碼器端修改后的解碼過程對視頻數(shù)據(jù)流進行解碼，獲得了對復(fù)雜度的動態(tài)調(diào)整。該專利記載了一種對MPEG-2視頻解碼器系統(tǒng)中可縮放(scalable)模塊的閾值進行動態(tài)設(shè)置的方法。這個現(xiàn)有技術(shù)中的一個實施例包括縮放應(yīng)用，有選擇地只對滿足特定閾值的雙向可預(yù)測模塊進行解碼，而丟棄不滿足該閾值的雙向可預(yù)測模塊。該閾值可以被動態(tài)地調(diào)整，以便與系統(tǒng)中變化的資源級別和上下波動的輸入數(shù)據(jù)相適應(yīng)?；诘谝粓D像組(GOP)而調(diào)整的閾值用于對第二GOP進行解碼。
在上述提到的現(xiàn)有技術(shù)中，為了解碼器系統(tǒng)中的可縮放模塊而動態(tài)地設(shè)置閾值。評估復(fù)雜度和修改解碼器的解碼方法是延遲反應(yīng)。通常，圖像的本質(zhì)(essential)部分會發(fā)生區(qū)域信息遺失，對觀察者造成煩人的假相。此外，使用基于在先GOP的閾值對當前GOP進行解碼會導(dǎo)致輸出圖像序列中無法預(yù)料的區(qū)域出現(xiàn)失真。換言之，現(xiàn)有技術(shù)的方法顯著地減低了視頻輸出質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的目的在于調(diào)整壓縮數(shù)據(jù)流的解碼復(fù)雜度，使其與視頻解碼器的可用容量相適應(yīng)，以獲得改進的視頻輸出質(zhì)量。
本發(fā)明的目的以如下方式實現(xiàn)把開篇段落中提到的、設(shè)備中用于修改壓縮數(shù)據(jù)流的修改裝置設(shè)置為對壓縮數(shù)據(jù)流中所示的解碼方法進行修改。
本發(fā)明提出的設(shè)備對壓縮數(shù)據(jù)流中所示的解碼方法進行修改。所述設(shè)備評估壓縮數(shù)據(jù)流的解碼復(fù)雜度。只有當評估的復(fù)雜度接近解碼器可用容量時，所述設(shè)備才被設(shè)計為發(fā)生作用。所述設(shè)備具有解碼器可用容量的先驗知識。存在若干種方法使所述設(shè)備能夠獲知該知識。優(yōu)選地，當解碼容量接近復(fù)雜度時，所述設(shè)備采取先發(fā)(pre-emptive)動作。當復(fù)雜度評估接近容量的100％時，所述設(shè)備能使解碼復(fù)雜度處于界限內(nèi)。例如，優(yōu)選地，在修改過程中，圖像中相對復(fù)雜部分的修改量會隨著復(fù)雜度接近或超過解碼器容量的100％而增加。這確保了解碼負荷平穩(wěn)、漸進及先發(fā)地減小。對于固定的解碼器容量，獲得最佳圖像質(zhì)量。對于任意固定的解碼器容量，在所有情況下、以及對于任意的壓縮數(shù)據(jù)流，都能獲得最佳圖像質(zhì)量。
用于修改壓縮數(shù)據(jù)流的判定可以基于當前圖像，并且該動作對于相同圖像是有效的。結(jié)果，輸出的圖像質(zhì)量將會優(yōu)于現(xiàn)有技術(shù)中基于在先圖像序列而修改當前圖像序列的判定所得到的圖像質(zhì)量。
現(xiàn)有技術(shù)中，修改解碼器級的解碼方法通常太晚，可能會影響到圖像的重要部分。如果解碼器無法分配資源，輸出圖像的決定性部分將出現(xiàn)空白區(qū)域或假相。本發(fā)明的優(yōu)勢在于使每一個圖像的解碼復(fù)雜度處于可用復(fù)雜度內(nèi)，同時獲得更好的視頻輸出質(zhì)量。對于解碼器可用容量，可以確保輸出端的最佳圖像質(zhì)量。
在用于修改壓縮數(shù)據(jù)流的設(shè)備的一個優(yōu)選實施例中，解碼復(fù)雜度基于用于圖像解碼的計算負荷或存儲器存取帶寬。
編碼后的視頻數(shù)據(jù)的解碼復(fù)雜度可從大量數(shù)值中的一個或更多個中評估得到，例如大量算法指令和/或大量存儲器讀/寫操作。這些數(shù)值又是直接來源于壓縮數(shù)據(jù)流中大量的可用參數(shù)，例如大量需處理的DCT系數(shù)，圖像中宏塊的位置，對錨定幀(anchor frame)的參考和/或來自運動預(yù)測的預(yù)測矢量長度。解碼器可能會超負荷，特別是由于兩種數(shù)值，計算負荷和存儲器存取帶寬。在本發(fā)明的優(yōu)選實施例中，直接從壓縮數(shù)據(jù)流中獲得復(fù)雜度評估。因此，修改流中所示的解碼方法的目的在于減小計算負荷或存儲器存取。
用于修改壓縮數(shù)據(jù)流的設(shè)備的優(yōu)選實施例的特征在于，修改裝置被設(shè)置用于根據(jù)啟發(fā)式心理視覺選擇標準來選擇區(qū)域，以及用于修改該區(qū)域的解碼方法。
優(yōu)選地，根據(jù)本發(fā)明的設(shè)備被設(shè)置用于根據(jù)啟發(fā)式心理視覺選擇標準首先選擇至少一個區(qū)域。還有可能隨機地從圖像中選擇至少一個區(qū)域，以簡化選擇過程。然而由于下列優(yōu)點，基于特定啟發(fā)式規(guī)則的選擇是優(yōu)選的。
在選擇修改解碼方法的區(qū)域時，能夠有利地應(yīng)用心理視覺標準，使得輸出圖像質(zhì)量不會顯著退化。優(yōu)選地，以如下方式確定標準對于觀看修改后的解碼圖像的觀察者的視覺系統(tǒng)模型來說，假相所產(chǎn)生的煩惱最小或者不太被其注意。通過應(yīng)用此標準，可以選擇大量區(qū)域以便使人類視覺系統(tǒng)注意到這些區(qū)域失真的可能性最小化。
例如，合適的選擇標準是區(qū)域和圖像邊界的臨近性。
和圖像中心部分的區(qū)域相比，圖像邊界或其附近區(qū)域的失真更難于被人類視覺系統(tǒng)所注意。
例如，另一合適的選擇標準是區(qū)域的移動速度。
優(yōu)選地，運動矢量代表區(qū)域移動速度。在快速運動時，即運動矢量大時，相應(yīng)移動區(qū)域中的失真可能比具有小運動的區(qū)域更不明顯。。因此，和較慢運動區(qū)域相比，快速運動區(qū)域更適于減小解碼復(fù)雜度，而且更有利地選擇快速運動區(qū)域以修改解碼方法。
例如，另一合適的選擇標準是代表復(fù)雜紋理的區(qū)域。
和具有光滑紋理的區(qū)域相比，具有粗糙紋理的區(qū)域是容忍相對更多失真的較佳選擇。因此，優(yōu)選地選擇具有粗糙紋理的區(qū)域以修改解碼方法。
優(yōu)選地，修改裝置被設(shè)置用于把圖像區(qū)域的運動補償預(yù)測方法從雙向預(yù)測修改為單向預(yù)測。更優(yōu)選地，對通過應(yīng)用特定心理視覺選擇標準而選擇的區(qū)域進行運動補償預(yù)測修改。
通過把運動補償預(yù)測方法從雙向預(yù)測改變?yōu)閱蜗蝾A(yù)測，僅需要訪問單一的參考圖像，而不是在雙向預(yù)測的情況下訪問兩個參考圖像。因此，可以有利地減少對應(yīng)用雙向預(yù)測進行解碼的區(qū)域的存儲器存取。
此外，修改裝置被設(shè)置用于修改出現(xiàn)在壓縮數(shù)據(jù)流中的量化的轉(zhuǎn)換系數(shù)。
修改量化的轉(zhuǎn)換系數(shù)的優(yōu)選方法是，把具有更高頻率分量的轉(zhuǎn)換系數(shù)歸零。把量化步長從精細變?yōu)榇植?，能夠有選擇地影響轉(zhuǎn)換系數(shù)的修改。量化步長的修改可以是階躍式改變，也可以是漸進式改變。
優(yōu)選地，修改裝置被設(shè)置用于選擇矩形區(qū)域。
常規(guī)的正方形或矩形符合MPEG標準，例如，根據(jù)MPEG-2的塊、宏塊或片。在根據(jù)優(yōu)選實施例的設(shè)備中，能夠以特別有效的方式處理MPEG-2標準所規(guī)定的宏塊。
優(yōu)選地，修改裝置被設(shè)置用于選擇適合圖像中的對象的形狀的區(qū)域。
優(yōu)選地，所述設(shè)備被裝備用于處理非常規(guī)形狀的區(qū)域，使其與目前更多的MPEG標準相符，例如MPEG-4和AVC。在此情況下，多個區(qū)域或單個區(qū)域與圖像中出現(xiàn)的單個對象相對應(yīng)?？蛇x擇地，區(qū)域可以和圖像中多個對象相對應(yīng)。這是有用的，因為圖像中某些區(qū)域比其他區(qū)域更易引起觀察者注意。例如，和包括背景的區(qū)域相比，包括人臉部的區(qū)域會得到觀察者更多的關(guān)注。
本發(fā)明的另一個目的是提供一種視頻處理系統(tǒng)，用于對具有開篇段落中描述的類型的圖像序列進行壓縮和解壓縮。所述系統(tǒng)提供了相當有效的裝置來調(diào)整壓縮數(shù)據(jù)流使其與解碼器可用復(fù)雜度相適應(yīng)。根據(jù)本發(fā)明的設(shè)備，特別是在上文所述的一個優(yōu)選實施例中提及的設(shè)備，在下文中將被稱作“預(yù)解析器(preparser)”。
所述視頻處理系統(tǒng)包括根據(jù)本發(fā)明用于對壓縮數(shù)據(jù)流進行修改的預(yù)解析器。對于和預(yù)解析器的合作，不需要對解碼器的結(jié)構(gòu)做任何更改，因此對于任意數(shù)量的解碼器來講，這是一個靈活有效的系統(tǒng)。根據(jù)本發(fā)明的預(yù)解析器和解碼器是相互分離的。預(yù)解析器在有關(guān)于解碼器可用負荷容量的輸入或沒有該輸入時都能運行。因此，預(yù)解析器能夠有利地位于多個位置。預(yù)解析器可形成數(shù)據(jù)壓縮器或數(shù)據(jù)解壓縮器的部分，或者位于視頻分發(fā)系統(tǒng)中的任何位置，從而增加了其通用性。預(yù)解析器能在獨立(stand-alone)模式下運行，或者被集成于完整系統(tǒng)中。預(yù)解析器可完全以硬件、軟件或硬件和軟件的任意組合來實現(xiàn)。
能進行如下一種或更多種的視頻相關(guān)處理的視頻處理裝置，，所述裝置有利地包括預(yù)解析器，用于-視頻解碼、編碼和代碼轉(zhuǎn)換；-視頻顯示；-視頻記錄；以及-視頻內(nèi)容分析和內(nèi)容識別。
視頻處理裝置可包括附加單元，例如接收單元、處理單元和/或顯示單元。例如，視頻處理裝置可以是數(shù)字電視、機頂盒、個人視頻錄像機、數(shù)字多用途光盤(DVD)播放器或記錄器、藍光播放器或記錄器、衛(wèi)星調(diào)諧器、有線服務(wù)提供商的首端設(shè)備、視頻分析系統(tǒng)、或視頻摘要系統(tǒng)。
預(yù)解析器被設(shè)計成接收與例如MPEG或AVC標準兼容的壓縮視頻流，并輸出與相同標準兼容的壓縮視頻流。盡管對該流進行了修改，但是該流仍然維持與標準的完全兼容。換言之，預(yù)解析器可以被設(shè)計成能夠從與MPEG標準兼容的編碼器接收壓縮視頻流，而且同樣能夠向與MPEG標準兼容的解碼器輸出壓縮視頻流。因此，預(yù)解析器適于同現(xiàn)有的編碼器和解碼器一起工作。
本發(fā)明的另一個目的是提供一種開篇段落所定義的方法，該方法提供相對有效的裝置，用于調(diào)整壓縮數(shù)據(jù)流使其和解碼器的可用復(fù)雜度相適應(yīng)。
本發(fā)明的目的以如下方式實現(xiàn)修改壓縮數(shù)據(jù)流的步驟包括對流中所示的解碼方法進行修改，例如，對解碼時所考慮的錨定幀的數(shù)目有關(guān)的參考數(shù)目進行修改。參考下文所述的實施例，本發(fā)明的這些和其他方面將會變得明顯并得以說明


參考下文結(jié)合附圖的詳細描述，根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器、圖像處理裝置、以及方法的這些和其他方面將會得以說明。附圖是本發(fā)明實施例的多個示例中的一個示例的示意性表示，其中圖1示意性地示出了功能框圖，該功能框圖示出了普通的視頻壓縮和解壓縮系統(tǒng)的組件。
圖2示意性地示出了功能框圖，該功能框圖示出了根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器的實施例的一個示例的組件。
圖3示意性地示出了流程圖，該流程圖示出了根據(jù)本發(fā)明用于修改壓縮數(shù)據(jù)流的方法步驟。
圖4示意性地示出了根據(jù)本發(fā)明的視頻壓縮系統(tǒng)的實施例的表示。
圖5示意性地示出了根據(jù)本發(fā)明的視頻處理裝置的實施例的表示。
具體實施例方式
總體而言，本發(fā)明涉及用于把與圖像序列相對應(yīng)的壓縮數(shù)據(jù)流進行動態(tài)調(diào)整以使其與解碼器的可用容量相適應(yīng)的設(shè)備和方法。本發(fā)明的實施例能夠分析壓縮數(shù)據(jù)流、根據(jù)峰值內(nèi)存和帶寬需求來評估解碼復(fù)雜度、并調(diào)整數(shù)據(jù)流的解碼方法，從而減小數(shù)據(jù)流本身的復(fù)雜度，使其落入解碼器的可用容量中。在一個實施例中，以能夠利用單一的參考圖像來預(yù)測雙向圖像的區(qū)域的方式對壓縮數(shù)據(jù)流進行修改，從而把存儲帶寬減小至原始帶寬的一半。在另一實施例中，針對所選擇的雙向圖像區(qū)域的集合對解碼方法進行修改，其中所述選擇根據(jù)這些區(qū)域的心理視覺標準集合而做出。。
圖1示意性地示出了功能框圖，該功能框圖示出了普通的視頻壓縮和解壓縮系統(tǒng)的組件。視頻壓縮系統(tǒng)110包括視頻編碼器120。編碼器120從外部源接收圖像序列1。該圖像序列也可由內(nèi)部產(chǎn)生，例如在DVD播放器中產(chǎn)生。圖像壓縮系統(tǒng)的輸出信號121包括符合多個視頻壓縮標準之一(例如MPEG-2標準)的壓縮數(shù)據(jù)流。輸出信號121可通過有線或無線介質(zhì)傳輸，并且在包括解碼器140的視頻解壓縮系統(tǒng)130處被接收。解碼器輸入是壓縮數(shù)據(jù)流1，解碼器輸出141包括與原始圖像序列1本質(zhì)上相似的圖像序列。
圖2示意性地示出了功能框圖，該功能框圖示出了根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器270的一個實施例的組件。輸入數(shù)據(jù)流包括多個音頻和視頻數(shù)據(jù)流。首先，借助于現(xiàn)有技術(shù)把輸入流多路分解為單一視頻基本流(ES)。單一視頻ES優(yōu)選地由圖2所示的根據(jù)本發(fā)明的設(shè)備的一個實施例來接收和處理?？梢栽谧冮L解碼器(VLD)200的輸入端接收符合任意一種已知視頻壓縮標準(例如MPEG或AVC)的視頻ES。
VLD輸出數(shù)據(jù)流201，可以對數(shù)據(jù)流201進行分析以評估解碼復(fù)雜度。評估器210根據(jù)數(shù)據(jù)流201逐幀評估解碼復(fù)雜度。例如，具有簡單形式的評估器能夠計算雙向預(yù)測區(qū)域的數(shù)量，并能夠評估對于特定幀而言解碼器所需的存儲帶寬。具有更復(fù)雜形式的評估器能夠根據(jù)多個參數(shù)來評估復(fù)雜度，例如被處理的多個DCT系數(shù)、總計算負荷及存儲帶寬。評估后的復(fù)雜度值212可用于控制器250。關(guān)于可預(yù)測性區(qū)域的附加數(shù)據(jù)及其運動信息可用于控制器250。數(shù)據(jù)流中可用的附加報頭數(shù)據(jù)可用于控制器，例如視頻格式、比特率、量化等級、場/幀編碼以及用于預(yù)測每個區(qū)域的參考圖像的數(shù)量。優(yōu)選地，控制器可以為圖像中的每個區(qū)域維持一個數(shù)組。優(yōu)選地，該數(shù)組中的元素和該區(qū)域各種特征有關(guān)，例如位置、運動矢量、參考圖像數(shù)量等。這些數(shù)據(jù)可根據(jù)另一個心理視覺標準而作為判定規(guī)則的輸入。
在本發(fā)明的多種預(yù)定實施例中，控制器250可在簡單系統(tǒng)至復(fù)雜系統(tǒng)之間變化。在簡單實施例的示例中，控制器250被裝備用于接收存儲帶寬的評估，將其與可用解碼器帶寬做比較，選擇多個雙向預(yù)測區(qū)域，以及把所選區(qū)域的標識發(fā)送給修改裝置230。在復(fù)雜實施例的示例中，控制器250包括通過知識庫系統(tǒng)(knowledge-based system)識別和選擇區(qū)域的裝置。具有心理視覺標準形式的知識可對評估器210提供的每個區(qū)域的數(shù)據(jù)起作用。具有規(guī)則形式的知識建立于控制器250中。以如下方式選擇區(qū)域由于對解碼方法的修改所引起的假相和失真對于人類視覺系統(tǒng)來說更加不易察覺。優(yōu)選地，規(guī)則可以基于圖像中區(qū)域的位置、區(qū)域的移動速度和/或區(qū)域的紋理內(nèi)容。也可以通過評估器210來評估紋理，并使其可以用于控制器250。把所選數(shù)目的區(qū)域的位置信息傳輸給修改裝置230。根據(jù)為每個區(qū)域而存儲的數(shù)據(jù)量、知識庫中規(guī)則的數(shù)目以及判定機制來設(shè)計和建立不同復(fù)雜程度的控制器250。此外，控制器250可以決定數(shù)據(jù)流的修改方法，并將該命令傳輸給數(shù)據(jù)流修改器210。例如，數(shù)據(jù)流的修改方法可以是，把區(qū)域的雙向預(yù)測變?yōu)閱蜗蝾A(yù)測和/或量化轉(zhuǎn)換系數(shù)的修改?？刂破?50的輸出具有命令指令251的形式，該命令指令251包括選擇用于修改的區(qū)域的位置信息和把每個區(qū)域的修改傳輸給修改裝置230的方法。
附加知識庫260能獲知數(shù)據(jù)流修改器270已獲知的解碼器系統(tǒng)的解碼容量?？蛇x擇地，流修改器能通過外部輸入2接收關(guān)于解碼器可用容量的信息。
修改裝置230也能接收壓縮數(shù)據(jù)流211，該數(shù)據(jù)流被延遲裝置220進行足夠的延遲，延遲裝置220可以是例如用于補償控制器250中的處理延遲的延遲線或存儲器。因此，命令指令251自動和時延后的數(shù)據(jù)流221同步。修改裝置230根據(jù)命令指令251對時延后的數(shù)據(jù)流221的解碼方法進行修改。變長編碼器(VLE)240的輸入端接收修改后的數(shù)據(jù)流231。VLE的輸出241輸出是修改后的視頻ES，完全符合原始數(shù)據(jù)流的壓縮標準。
在一個實施例中，評估器210評估解碼器解碼所需的存儲帶寬。如果帶寬接近解碼器可用容量，則控制器250將從雙向預(yù)測區(qū)域的集合中選擇區(qū)域子集。控制器250進一步向流修改裝置230發(fā)送指令，以修改所選擇的區(qū)域集合的解碼方法，使其從雙向預(yù)測變?yōu)閱蜗蝾A(yù)測。存儲帶寬需求將減小到原始帶寬需求的一半。另一個實施例在知識庫260中儲存有心理視覺標準規(guī)則的集合。然后，控制器250通過連接261獲得可應(yīng)用的規(guī)則，并根據(jù)這些規(guī)則的集合而選擇對解碼方法進行修改的區(qū)域的集合。通過改變每個組件-評估器、控制器、流修改裝置或流延遲裝置-的復(fù)雜程度，或通過結(jié)合上述改變中的一個或幾個，可以實現(xiàn)各種其他的實施例。
圖3示意性地示出了流程圖，該流程圖示出了根據(jù)本發(fā)明用于修改壓縮數(shù)據(jù)流的方法步驟。在第一步驟300，接收與圖像序列相對應(yīng)的視頻基本流1(ES)，并執(zhí)行根據(jù)一種公知方法的變長解碼。在步驟310，評估幀解碼復(fù)雜度。在步驟320，把所評估的復(fù)雜度與解碼器容量做比較。如果該復(fù)雜度在解碼容量的期望限制內(nèi)，則不會對流進行修改。在此情況下，步驟330、340和350不必執(zhí)行，如步驟360和300所示的那樣考慮下一個圖像幀。
如果復(fù)雜度接近或超過容量，步驟330、340和350將以修改解碼方法的形式執(zhí)行預(yù)防措施。為避免輸出圖像的質(zhì)量發(fā)生突然損失，將啟動校正措施，例如當復(fù)雜度評估達到解碼器容量的80％時。當評估的復(fù)雜度達到90％并超越100％時，所需的校正量逐漸增加。在步驟330，根據(jù)一個或多個心理視覺標準來選擇執(zhí)行解碼方法修改的區(qū)域。大量區(qū)域按此方式進行選擇，以便使解碼復(fù)雜度處于期望范圍內(nèi)。在步驟340，決定所要執(zhí)行的修改類型，例如規(guī)定從雙向預(yù)測變?yōu)閱蜗蝾A(yù)測。在步驟350，執(zhí)行解碼方法的修改。該過程一直延續(xù)到圖像序列的末尾，而圖像序列的末尾由步驟360來檢測。在步驟370，該過程結(jié)束。
在一個實施例中，在步驟310，對解碼器解碼所需的存儲帶寬進行評估。然后在步驟330，選擇雙向圖像的區(qū)域集合，其預(yù)測方法將從雙向預(yù)測變?yōu)閱蜗蝾A(yù)測。優(yōu)選地，在步驟330中，心理視覺標準的集合，例如區(qū)域與圖像邊界的臨近性、區(qū)域運動速度、區(qū)域運動方向和區(qū)域紋理內(nèi)容，可用于判定針對哪些區(qū)域而修改解碼方法。通過為每一個功能性步驟選擇不同的復(fù)雜度，大量該實施例是可能的。
圖4示意性地示出了根據(jù)本發(fā)明的視頻壓縮系統(tǒng)的實施例的表示，包括-壓縮系統(tǒng)400，用于壓縮圖像序列1；-裝置410，用于修改壓縮數(shù)據(jù)流；以及-解壓縮系統(tǒng)420，用于對修改后的數(shù)據(jù)流進行解壓縮。
視頻壓縮系統(tǒng)從視頻源接收圖像序列和相關(guān)的音頻。數(shù)據(jù)壓縮系統(tǒng)400通過使用公知技術(shù)對圖像序列進行編碼而減小了數(shù)據(jù)量。壓縮系統(tǒng)的輸出包括符合一種公知標準的壓縮數(shù)據(jù)流401，例如MPEG或AVC?？梢园汛罅吭搲嚎s數(shù)據(jù)流進行組合，以獲得單一數(shù)據(jù)流。
根據(jù)本發(fā)明實施例的視頻流修改器410接收壓縮數(shù)據(jù)流401?？梢越柚嗦贩纸馄靼迅鶕?jù)MPEG標準的數(shù)據(jù)流401進行多路分解，以獲得基本視頻流(VS)和音頻流。基本視頻流經(jīng)受參考圖2和3所述的解碼方法修改。修改后，修改后的壓縮數(shù)據(jù)流411優(yōu)選地仍符合原始基本視頻流的標準?？梢园研薷暮蟮臄?shù)據(jù)流411與相應(yīng)的音頻流進行多路復(fù)用，以獲得與壓縮系統(tǒng)的原始輸出兼容的數(shù)據(jù)流。
可以借助解壓縮系統(tǒng)420對修改后的數(shù)據(jù)流411進行解壓縮，以獲得圖像序列421。流修改器410可以位于和壓縮或解壓縮系統(tǒng)隔離的視頻分發(fā)系統(tǒng)中，例如在本地服務(wù)提供商的首端。
圖5示意性地示出了根據(jù)本發(fā)明的視頻處理裝置500的實施例的表示。根據(jù)本發(fā)明的壓縮流修改器510接收包括壓縮數(shù)據(jù)流的信號501，并呈送與原始數(shù)據(jù)流501的標準兼容的數(shù)據(jù)流511。可以在解碼器520中對數(shù)據(jù)流511進行解碼。解碼器520的輸出包括可以顯示在顯示設(shè)備上的圖像序列521。可選擇地，數(shù)據(jù)流可通過有線或無線分發(fā)系統(tǒng)再次傳輸或被記錄在記錄介質(zhì)上。根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器是通用的，而且可以位于多個可能的位置之一，為裝置提供視頻分發(fā)服務(wù)，例如為家用網(wǎng)絡(luò)的中心電腦或移動通信網(wǎng)絡(luò)的分發(fā)點的首端提供視頻分發(fā)服務(wù)。
在權(quán)利要求中，動詞“包括”及其變形的使用不排除多個元件或步驟的存在。在列舉了若干裝置的設(shè)備權(quán)利要求中，這些裝置中的若干裝置能夠以一項硬件來實現(xiàn)。本發(fā)明可通過包括若干不同元件的硬件和適當編程的計算機來實施。實際操作中，本文公開的算法要素可(全部或部分地)以硬件(例如專用IC的部分)、運行在專用數(shù)字信號處理器上的軟件或通用處理器等來實現(xiàn)。
計算機程序產(chǎn)品可理解為處理器通用或?qū)Ｓ妹畹膮R集的任意物理實現(xiàn)，在一系列載入步驟(可能包括中間轉(zhuǎn)換步驟，例如轉(zhuǎn)換為中間語言和最終的處理器語言)以便把命令載入處理器之后，執(zhí)行本發(fā)明的任意特征功能。具體地，計算機程序產(chǎn)品能夠以例如磁盤、磁帶的載體上的數(shù)據(jù)或以紙件上的程序代碼而實現(xiàn)。除了程序代碼之外，程序所需的特征數(shù)據(jù)也能夠以計算機程序產(chǎn)品而實現(xiàn)。
所述方法操作所需的某些步驟能夠以處理器的功能而出現(xiàn)，而不是在所描述的計算機程序產(chǎn)品中，例如數(shù)據(jù)輸入和輸出步驟。
應(yīng)注意，上述實施例對本發(fā)明做出了描述而不是限制。除了如權(quán)利要求中組合的本發(fā)明的元件組合之外，其他的元件組合也是可能的。任意的元件組合都可在單一的專用元件中實現(xiàn)。
權(quán)利要求
1.一種用于對解碼器中要解碼的壓縮數(shù)據(jù)流進行修改的設(shè)備，所述壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進行編碼而獲得，所述設(shè)備包括-評估裝置，用于評估對來自壓縮數(shù)據(jù)流的圖像進行解碼所需的解碼復(fù)雜度；-修改裝置，用于當圖像的解碼復(fù)雜度接近解碼器容量時對壓縮數(shù)據(jù)流進行修改，其特征在于，所述修改裝置被設(shè)置用于修改所述壓縮數(shù)據(jù)流中所示的解碼方法。
2.如權(quán)利要求1所述的設(shè)備，其中，所述解碼復(fù)雜度基于圖像解碼的計算負荷或存儲器存取帶寬。
3.如權(quán)利要求1所述的設(shè)備，其中，所述修改裝置被設(shè)置用于根據(jù)啟發(fā)式心理視覺選擇標準而選擇區(qū)域，并修改所述區(qū)域的解碼方法。
4.如權(quán)利要求3所述的裝置，其中，所述選擇標準是所述區(qū)域與圖像邊界的臨近性。
5.如權(quán)利要求3所述的裝置，其中，所述選擇標準是所述區(qū)域的移動速度。
6.如權(quán)利要求3所述的裝置，其中，所述選擇標準是所述區(qū)域的紋理的度量。
7.如權(quán)利要求1所述的裝置，其中，所述修改裝置被設(shè)置用于把圖像域的運動補償預(yù)測方法從雙向預(yù)測修改為單向預(yù)測。
8.如權(quán)利要求1所述的裝置，其中，所述修改裝置被設(shè)置用于修改出現(xiàn)在所述壓縮數(shù)據(jù)流中的量化的轉(zhuǎn)換系數(shù)。
9.如權(quán)利要求3所述的裝置，其中，所述修改裝置被設(shè)置用于選擇矩形區(qū)域。
10.如權(quán)利要求3所述的裝置，其中，所述修改裝置被設(shè)置用于選擇具有與圖像中的對象相適應(yīng)的形狀的區(qū)域。
11.一種視頻處理系統(tǒng)，用于對圖像序列進行壓縮和解壓縮，所述系統(tǒng)包括-編碼器，用于對圖像序列進行解碼，并輸出壓縮數(shù)據(jù)流；-如權(quán)利要求1所述用于修改壓縮數(shù)據(jù)流的設(shè)備；以及-解碼器，用于對修改的壓縮數(shù)據(jù)流進行解碼，以獲得圖像序列。
12.一種視頻處理裝置，包括-接收裝置，用于接收包括與圖像序列相對應(yīng)的壓縮數(shù)據(jù)流的信號；以及-如權(quán)利要求1所述用于修改壓縮數(shù)據(jù)流的設(shè)備。
13.一種用于對解碼器中要解碼的壓縮數(shù)據(jù)流進行修改的方法，所述壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進行編碼而獲得，所述方法包括-評估對來自壓縮數(shù)據(jù)流的圖像進行解碼所需的解碼復(fù)雜度；以及-當圖像的解碼復(fù)雜度接近解碼器容量時對所述流進行修改，其特征在于，-修改所述壓縮數(shù)據(jù)流包括修改所述流中所示的解碼方法。
14.一種計算機程序產(chǎn)品，包括使處理器能夠執(zhí)行如權(quán)利要求13所述對壓縮數(shù)據(jù)流進行修改的方法的代碼，所述計算機程序產(chǎn)品包括-用于評估對來自壓縮數(shù)據(jù)流的圖像進行解碼所需的解碼復(fù)雜度的代碼；以及-用于當圖像的解碼復(fù)雜度接近解碼器容量時對所述流進行修改的代碼，其特征在于，-用于修改所述壓縮數(shù)據(jù)流的代碼包括用于修改所述流中所示的解碼方法的代碼。
全文摘要
公開了一種壓縮數(shù)據(jù)流修改器270。該流修改器修改輸入數(shù)據(jù)流，所述輸入數(shù)據(jù)流包括符合任意一種公知視頻壓縮標準的視頻數(shù)據(jù)流和音頻數(shù)據(jù)流，例如MPEG或AVC。輸入數(shù)據(jù)流首先被多路分解，以獲得單一視頻基本流。然后，視頻基本流被變長解碼器解碼，并被提供給數(shù)據(jù)流修改器。每幀的解碼復(fù)雜度由評估器210評估，并提供給控制器250?？刂破鞲鶕?jù)某些心理視覺標準從每幀中選擇大量區(qū)域，因此，這些區(qū)域的修改方法使解碼復(fù)雜度處于解碼器的可用容量內(nèi)。因此獲得了用于調(diào)整解碼復(fù)雜度使其預(yù)可用容量相適應(yīng)的有效裝置。
文檔編號H04N7/24GK101088293SQ200580044223
公開日2007年12月12日 申請日期2005年12月19日 優(yōu)先權(quán)日2004年12月22日
發(fā)明者格特·范德海登, 漢斯·蒂克拉爾 申請人:皇家飛利浦電子股份有限公司