專利名稱：用于控制向第一格式圖像序列插入附加場(chǎng)或幀以從中建立第二格式圖像序列的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于控制向具有例如每秒24幀逐行掃描幀的第一格式圖像序列插入附加場(chǎng)或者幀，以從中建立具有例如每秒25幀的第二格式圖像的方法和裝置。
背景技術(shù)：
世界上主要的電視系統(tǒng)采用隔行掃描并且采用50Hz的場(chǎng)頻率(例如在歐洲和中國(guó)采用PAL和SECAM)，或者60Hz或接近60Hz的場(chǎng)頻率(例如在美國(guó)和日本采用NTSC)，分別以50i和60i來(lái)表示。然而，電影是采用由24p代表的24Hz的幀頻率及逐行掃描制作而成的，這個(gè)值在隔行掃描格式下對(duì)應(yīng)于48i。
目前，從24p的電影到60Hz隔行掃描顯示的轉(zhuǎn)換是由圖2所示的“3:2下拉”技術(shù)完成的，其中由場(chǎng)循環(huán)在每五個(gè)場(chǎng)后加入一個(gè)3:2下拉場(chǎng)。隔行掃描場(chǎng)ILF源自于原始的電影幀ORGFF。從第一原始電影幀OFR1產(chǎn)生三個(gè)輸出場(chǎng)OF1到OF3，并且從第三原始電影幀OFR3產(chǎn)生三個(gè)輸出場(chǎng)OF6到OF8。從第二原始電影幀OFR2產(chǎn)生兩個(gè)輸出場(chǎng)OF4和OF5，并且從第四原始電影幀OFR4產(chǎn)生兩個(gè)輸出場(chǎng)OF9和OF10，等等。
比較理想的是所發(fā)行媒體具備可以在全世界播放的單一視頻音頻格式，而不是像目前的情況，針對(duì)每一套裝媒體例如DVD至少存在50Hz和60Hz兩個(gè)版本。因?yàn)楹芏嗝襟w源都是由24fps(幀每秒)的電影組成，該24p的格式就優(yōu)選地成為理想的單一視頻格式，因此該單一的格式需要適應(yīng)在所述采用50Hz和60Hz的國(guó)家的顯示設(shè)備上進(jìn)行正確顯示的回放時(shí)間。
以下是用于從24p到25p或者50i，或者更概括地說(shuō)到25fps的已知轉(zhuǎn)換方案-以快4.2％的速度重放這會(huì)改變所述內(nèi)容的長(zhǎng)度并且要求昂貴的實(shí)時(shí)音頻音調(diào)轉(zhuǎn)換，因此并不適用于消費(fèi)電子產(chǎn)品。目前，電影播放以及DVD確實(shí)將該種方案應(yīng)用于視頻，但是所必需的音頻速度或者音調(diào)轉(zhuǎn)換已經(jīng)在內(nèi)容提供商一端進(jìn)行了處理，從而在消費(fèi)者一端不需要進(jìn)行音頻音調(diào)轉(zhuǎn)換。在采用50Hz的國(guó)家銷售的DVD視頻光盤包括音頻數(shù)據(jù)流，這些音頻數(shù)據(jù)流已經(jīng)被編碼從而使得所述DVD播放器的解碼器自動(dòng)的輸出所述音頻信號(hào)的正確速度或者音調(diào)。
-采用常規(guī)場(chǎng)/幀復(fù)制機(jī)制該方案會(huì)導(dǎo)致不可接受的常規(guī)的運(yùn)動(dòng)抖動(dòng)，并且因此在實(shí)際中無(wú)法應(yīng)用。
-采用運(yùn)動(dòng)補(bǔ)償幀速度轉(zhuǎn)換該方案是解決該轉(zhuǎn)換問(wèn)題的普遍方案，該方案十分昂貴，因此并不適用于消費(fèi)電子產(chǎn)品。

發(fā)明內(nèi)容
目前，從原始的24p格式電影視頻及音頻數(shù)據(jù)流到50Hz的隔行掃描顯示的轉(zhuǎn)換是通過(guò)以快4％的速度重放所述電影來(lái)實(shí)現(xiàn)的。然而這意味著，要對(duì)采用50Hz的國(guó)家的電影的藝術(shù)內(nèi)容(它的持續(xù)時(shí)間，聲音的音調(diào))進(jìn)行修改。類似于3:2下拉技術(shù)的場(chǎng)/幀重復(fù)機(jī)制并沒(méi)有被采用，因?yàn)樵诔Ｒ?guī)情況下采用所述機(jī)制時(shí)，例如每12幀插入一個(gè)額外的場(chǎng)，所述機(jī)制表現(xiàn)出不可接受的運(yùn)動(dòng)抖動(dòng)現(xiàn)象。
本發(fā)明要解決的問(wèn)題在于提供場(chǎng)或幀插入機(jī)制，以改進(jìn)的方式實(shí)現(xiàn)從24p格式到25fps格式的轉(zhuǎn)換，從而使運(yùn)動(dòng)抖動(dòng)現(xiàn)象最小化。解決該問(wèn)題的方法由權(quán)利要求1所述。權(quán)利要求2所述的裝置對(duì)該方法進(jìn)行了應(yīng)用。
對(duì)當(dāng)前電影場(chǎng)景的特性例如全局運(yùn)動(dòng)，亮度/強(qiáng)度級(jí)別以及場(chǎng)景變換位置進(jìn)行評(píng)估，以在主觀認(rèn)為不令人厭煩的位置上應(yīng)用復(fù)制或重復(fù)的幀/場(chǎng)。也就是說(shuō)，本發(fā)明采用相對(duì)容易得到的待從24p轉(zhuǎn)換到25fps的所述源材料的信息，用于在導(dǎo)致插入現(xiàn)象最小的非等距位置適應(yīng)性的插入重復(fù)的場(chǎng)/幀。有利地，在源的幀速率和目標(biāo)幀速率之間具有微小差距的情況下，本發(fā)明可以用于所有的幀速率轉(zhuǎn)換問(wèn)題。如果該幀速率差別很大，例如在24fps到30fps的轉(zhuǎn)換中，幾乎就沒(méi)有在時(shí)域進(jìn)行移動(dòng)或者對(duì)幀進(jìn)行重復(fù)的的自由度。
本發(fā)明促進(jìn)了以低計(jì)算成本實(shí)現(xiàn)從24fps到25fps格式圖像序列(示例值)的轉(zhuǎn)換，并使運(yùn)動(dòng)抖動(dòng)最小化。
總的來(lái)說(shuō)，本發(fā)明所記載的方法適用于控制向第一格式圖像序列插入附加的場(chǎng)或者幀，以從中建立第二格式圖像序列，所述第二格式圖像序列的幀頻率是恒定的并且大于所述第一格式圖像序列的幀頻率，所述方法包括下列步驟-確定所述第一格式圖像序列中的場(chǎng)或者幀位置，在該位置上插入相應(yīng)的附加場(chǎng)或者幀，從而使得在第二格式圖像序列中可見(jiàn)的運(yùn)動(dòng)抖動(dòng)最?。?以非常規(guī)的場(chǎng)或者幀插入距離在所述第一格式圖像序列中的一些所述位置插入場(chǎng)或者幀，從而使得總的來(lái)說(shuō)任何臨近幀之間平均距離對(duì)應(yīng)于所述第二格式圖像序列的臨近幀之間的平均距離；-采用所述第二格式圖像序列的格式一起呈現(xiàn)所述第一格式圖像序列以及所述非常規(guī)插入的場(chǎng)和/或幀，總的來(lái)說(shuō)，本發(fā)明所記載的裝置適用于控制向第一格式圖像序列插入附加的場(chǎng)或者幀，以從中建立第二格式圖像序列，所述第二格式圖像序列的幀頻率是恒定的并且大于所述第一格式圖像序列的幀頻率，所述裝置包括用于確定在所述第一格式圖像序列中的場(chǎng)或幀位置的部件，在該位置上插入對(duì)應(yīng)的附加場(chǎng)或幀，從而使所述第二格式圖像序列中的可見(jiàn)運(yùn)動(dòng)抖動(dòng)最小，所述裝置還用于以非常規(guī)場(chǎng)或幀插入距離在一些所述位置上向所述第一格式圖像序列插入場(chǎng)或幀，從而使得總體來(lái)說(shuō)任何臨近幀之間的平均距離對(duì)應(yīng)于所述第二格式圖像序列中任何臨近幀之間的平均距離，所述裝置還用于以所述第二格式圖像序列的格式一起呈現(xiàn)所述第一格式圖像序列以及所述非常規(guī)插入的場(chǎng)和/或幀。
在從屬權(quán)利要求中對(duì)本發(fā)明其他具有優(yōu)勢(shì)的實(shí)施例分別予以說(shuō)明。


參照以下附圖對(duì)本發(fā)明具體實(shí)施例進(jìn)行詳細(xì)描述，其中圖1所示為光盤播放器的簡(jiǎn)要框圖；圖2所示為在24p源圖像序列上采用3:2下拉技術(shù)以提供60i的圖像序列的應(yīng)用；圖3所示為重復(fù)幀的常規(guī)排列；圖4所示為重復(fù)場(chǎng)的常規(guī)排列；圖5所示為根據(jù)圖3進(jìn)行常規(guī)幀重復(fù)的時(shí)間軸；圖6所示為視頻序列對(duì)于運(yùn)動(dòng)抖動(dòng)的示例容許值；圖7所示為進(jìn)行場(chǎng)或幀重復(fù)的示例非常規(guī)時(shí)間位置以及所導(dǎo)致的變化呈現(xiàn)延遲；圖8所示為作為視頻延遲以及運(yùn)動(dòng)抖動(dòng)容許值函數(shù)的幀或場(chǎng)重復(fù)距離；圖9所示為圖8所示的幀或場(chǎng)重復(fù)距離函數(shù)，其中所述最大和最小視頻延遲取決于所要求的唇同步程度；圖10所示為包括沒(méi)有進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)闹貜?fù)幀的24fps格式幀；圖11所示為與圖10相關(guān)的25fps格式幀輸出；圖12所示為包括進(jìn)行了運(yùn)動(dòng)補(bǔ)償?shù)闹貜?fù)幀的24fps格式幀；圖13所示為與圖12相關(guān)的25fps格式幀輸出。
具體實(shí)施例方式
在圖1中一個(gè)光盤驅(qū)動(dòng)器從光盤D讀入以24p格式編碼的視頻和音頻信號(hào)，所述光盤驅(qū)動(dòng)器包括讀取頭和糾錯(cuò)PEC。所述輸出信號(hào)經(jīng)過(guò)一個(gè)軌道緩沖器以及多路分離器TBM分別到達(dá)視頻解碼器VDEC以及音頻解碼器ADEC。控制器CTRL可以控制PEC、TBM、VDEC和ADEC。用戶接口UI，和/或在電視接收器或顯示器(沒(méi)有示出)與所述光盤播放器之間的接口IF，被用于將所述播放器的輸出轉(zhuǎn)換到24fps模式或者25fps模式。所述接口IF可以自動(dòng)檢查所述電視接收器或者顯示器可以處理并呈現(xiàn)的模式。所述重放模式信息自動(dòng)地源自于接口IF接收到的特征數(shù)據(jù)(即關(guān)于所述電視接收器或者顯示器可用的顯示模式的數(shù)據(jù))，所述接口IF通過(guò)有線、無(wú)線電波或者光學(xué)方式與所述電視接收器或者顯示設(shè)備相連。所述特征數(shù)據(jù)可以常規(guī)地由所述接口IF接收，或者通過(guò)向所述電視接收器或者顯示設(shè)備發(fā)出相應(yīng)的請(qǐng)求而得到。作為選擇，所述重放模式信息可以通過(guò)向用戶顯示相應(yīng)請(qǐng)求而通過(guò)所述用戶接口UI被輸入。在25fps的輸出來(lái)自于所述視頻解碼器VDEC、所述控制器CTRL，或者來(lái)自于所述視頻解碼器VDEC自身的情況下，根據(jù)所述被解碼視頻信號(hào)的特性來(lái)確定在哪個(gè)時(shí)間位置上由所述視頻解碼器對(duì)場(chǎng)或幀進(jìn)行重復(fù)。在本發(fā)明的一些實(shí)施例中，這些時(shí)間位置也如下所述地被所述來(lái)自于音頻解碼器ADEC的音頻信號(hào)所控制。除了光盤播放器，本發(fā)明也可以被用于其他類型的設(shè)備，例如數(shù)字機(jī)頂盒或者數(shù)字電視接收器，在這種情況下包括所述光盤驅(qū)動(dòng)器以及軌道緩沖器的前端會(huì)被數(shù)字信號(hào)調(diào)諧器所替代。
圖3所示為重復(fù)幀的常規(guī)排列，其中為了實(shí)現(xiàn)從已知24p到25fps的轉(zhuǎn)換，每24幀重復(fù)一幀，即在tn，tn+1，tn+2，tn+3，等秒進(jìn)行重復(fù)。圖4所示為重復(fù)場(chǎng)的常規(guī)排列，其中為了實(shí)現(xiàn)從已知24p到25fps的轉(zhuǎn)換，每24場(chǎng)重復(fù)一場(chǎng)，即在tn，tn+0.5，tn+1，tn+1.5，tn+2，等秒進(jìn)行重復(fù)。如果所述顯示設(shè)備具有隔行掃描輸出則可以采用該種處理方法。在所述時(shí)間軸上發(fā)生抖動(dòng)的位置數(shù)目加倍，但是相對(duì)于所述幀重復(fù)，每次“抖動(dòng)事件”的強(qiáng)度減半。頂部的場(chǎng)源自于所述源序列指定幀的第一、三、五等線，且底部的場(chǎng)來(lái)自于所述源序列指定幀的第二、四、六等線。圖5所示為根據(jù)圖3進(jìn)行常規(guī)幀重復(fù)的時(shí)間軸，在標(biāo)記著tn，tn+1，tn+2，tn+3，等秒的時(shí)間位置發(fā)生幀重復(fù)。
為了實(shí)現(xiàn)在非等距(或者不規(guī)律)的位置適應(yīng)性地插入重復(fù)場(chǎng)或者幀，就需要相應(yīng)的控制信息。有關(guān)源材料的內(nèi)容信息以及圖像信號(hào)特征，在根據(jù)例如MPEG-2視頻，MPEG-4視頻或者M(jìn)PEG-4視頻第10部分的機(jī)制對(duì)所述圖像序列進(jìn)行壓縮時(shí)即可獲得，該信息和特征將不僅被用于產(chǎn)生廣播和套裝媒體例如DVD，還可被用于未來(lái)的媒體例如基于藍(lán)光技術(shù)的光盤。在本發(fā)明中有用的圖像信號(hào)特征或信息是-被產(chǎn)生和/或傳輸?shù)倪\(yùn)動(dòng)矢量，-由編碼器產(chǎn)生的場(chǎng)景變換信息，-平均亮度或者強(qiáng)度信息，該信息可以源自于對(duì)DC轉(zhuǎn)換系數(shù)的分析，-平均紋理強(qiáng)度信息，該信息可以源自于對(duì)AC轉(zhuǎn)換系數(shù)的分析。
該圖像信號(hào)特征可以作為MPEG用戶數(shù)據(jù)或者專用數(shù)據(jù)通過(guò)光盤或者廣播從所述編碼器傳遞到所述解碼器。作為選擇，所述視頻解碼器可以收集或者計(jì)算并提供該信息。
為了對(duì)運(yùn)動(dòng)矢量信息進(jìn)行利用，對(duì)每一幀的運(yùn)動(dòng)矢量組MV進(jìn)行收集和處理，以判斷當(dāng)前幀是否包含大塊的可見(jiàn)移動(dòng)區(qū)域，因?yàn)檫@樣的區(qū)域在復(fù)制幀或者場(chǎng)時(shí)受運(yùn)動(dòng)抖動(dòng)影響最大。為了判斷該種區(qū)域的出現(xiàn)情況，可以對(duì)一幀的平均絕對(duì)矢量長(zhǎng)度AvgMVi進(jìn)行計(jì)算，以作為平移運(yùn)動(dòng)的指示AvgMVi=1VX·VYΣx=0VX-1Σy=0VY-1|MVx,y|,---(1)]]>其中“i”代表幀號(hào)碼，“VX”以及“VY”代表在圖像x(水平)和y(豎直)方向的運(yùn)動(dòng)矢量數(shù)目。因此，一般將各方向上的圖像大小除以運(yùn)動(dòng)估計(jì)的塊大小可以分別得到VX和VY。
如果在一幀內(nèi)的運(yùn)動(dòng)矢量指向與當(dāng)前幀相距不同的時(shí)間距離的不同參考幀，還需要一個(gè)對(duì)該距離進(jìn)行規(guī)格化的因數(shù)RDistx，yAvgMVi=1VX·VYΣx=0VX-1Σy=0VY-1|MVx,y|RDistx,y.---(2)]]>在采用了更加復(fù)雜的處理過(guò)程的本發(fā)明的另一實(shí)施例中，對(duì)每幅圖像的運(yùn)動(dòng)分割進(jìn)行了計(jì)算，即確定由鄰近并且具有相似的運(yùn)動(dòng)矢量長(zhǎng)度和方向的塊組成的一個(gè)或多個(gè)簇，從而對(duì)具有不同運(yùn)動(dòng)方向的足夠大的運(yùn)動(dòng)區(qū)域進(jìn)行檢測(cè)。在該種情況下，對(duì)所述平均運(yùn)動(dòng)矢量的計(jì)算如下AvgMVi=Σc=1nClustersAvgMVc·ClusterSizecΣc=1nClustersClusterSizec,---(2a)]]>其中AvgMVc是確定簇“c”的平均運(yùn)動(dòng)矢量長(zhǎng)度。
有利地，該方案排除了在圖像內(nèi)部隨機(jī)移動(dòng)的小對(duì)象帶來(lái)的運(yùn)動(dòng)矢量影響，所述小對(duì)象并不是任何確定的塊簇運(yùn)動(dòng)的組成部分，也不會(huì)對(duì)運(yùn)動(dòng)抖動(dòng)的可見(jiàn)度帶來(lái)很大影響。
所述處理過(guò)程會(huì)將所述移動(dòng)區(qū)域的紋理是否非常粗糙或者具有非常尖銳的邊緣作為AvgMVi的權(quán)重因數(shù)，因?yàn)檫@也會(huì)提高運(yùn)動(dòng)抖動(dòng)的可見(jiàn)度。有關(guān)紋理強(qiáng)度的信息可以最方便的源自于對(duì)被傳輸或被接收或被重放的估計(jì)誤差的AC轉(zhuǎn)換系數(shù)的統(tǒng)計(jì)分析?？偟膩?lái)說(shuō)，應(yīng)該通過(guò)對(duì)原始圖像塊進(jìn)行分析來(lái)確定紋理強(qiáng)度，然而在很多情況下，所述具有強(qiáng)烈紋理的塊在采用運(yùn)動(dòng)補(bǔ)償估計(jì)進(jìn)行編碼后，在這些塊的AC系數(shù)中也會(huì)比具有較弱紋理的塊更多的估計(jì)誤差能量。因此，在所述視頻序列的特定時(shí)間位置上的所述運(yùn)動(dòng)抖動(dòng)容許值MJT可以被表達(dá)為MJT＝f(AvgMV，紋理強(qiáng)度，邊緣強(qiáng)度)(3)并具備以下一般特性-已知確定的紋理強(qiáng)度值和邊緣強(qiáng)度值，MJT與1/AvgMV成比例；-已知確定的AvgMV值和邊緣強(qiáng)度值，MJT與1/(紋理強(qiáng)度)成比例；-已知確定的AvgMV值和紋理強(qiáng)度值，MJT與1/(邊緣強(qiáng)度)成比例。
圖6所示為源序列的運(yùn)動(dòng)抖動(dòng)的示例容許值MJT(t)。
優(yōu)選地，如圖7a所示，當(dāng)前所述運(yùn)動(dòng)抖動(dòng)容許值的大小影響重復(fù)幀或者場(chǎng)的分布，即所述幀或者場(chǎng)的重復(fù)距離FRD，這些重復(fù)幀或者場(chǎng)被插入以得到25fps序列。如圖7b所示，提早或者延遲插入重復(fù)幀會(huì)引起所述音頻軌道相對(duì)于視頻軌道的負(fù)向或者正向延遲，即視頻的變化呈現(xiàn)延遲。當(dāng)從運(yùn)動(dòng)抖動(dòng)容許值MJT到幀或者場(chǎng)重復(fù)距離FRD之間建立映射的時(shí)候，要對(duì)在兩個(gè)方向上能容許的最大的視頻相對(duì)于音頻的延遲加以考慮。
圖8所示為解決該控制問(wèn)題的一個(gè)可能的方案。所述幀或者場(chǎng)重復(fù)距離FRD可以表達(dá)為所述視頻延遲VD以及所述運(yùn)動(dòng)抖動(dòng)容許值MJT的函數(shù)FRD＝f(VD，MJT)，(4)并具備以下一般特性-已知確定的VD值，F(xiàn)RD與1/MJT成比例；-已知確定的MJT值，F(xiàn)RD與1/VD成比例；如圖8所示，這個(gè)關(guān)系可以通過(guò)FRD＝f(VD)的特性來(lái)表達(dá)，該特性的變化取決于所述運(yùn)動(dòng)抖動(dòng)容許值，在運(yùn)動(dòng)抖容許值低的情況下(例如高度運(yùn)動(dòng)的情況)，傾向于比被插入幀之間的最優(yōu)距離長(zhǎng)的距離，并在運(yùn)動(dòng)抖動(dòng)容許值高的情況下(例如低于平均運(yùn)動(dòng)水平的情況)，傾向于比最優(yōu)距離短的距離。所述最優(yōu)場(chǎng)或者幀重復(fù)距離由FRDopt所代表。所允許的最大視頻延遲由VDmax所代表。在負(fù)方向所允許的最大視頻延遲由VDmin所代表。
由于在場(chǎng)景變化位置的短暫停幀效果并不被認(rèn)為是令人厭煩的，由視頻編碼器產(chǎn)生的(或由視頻解碼器產(chǎn)生的)場(chǎng)景變化信息可以用于在該位置上插入一個(gè)或多個(gè)重復(fù)的場(chǎng)或者幀，所重復(fù)的次數(shù)取決于當(dāng)前視頻延遲的程度。由于相同的原因，可以在逐漸變黑序列、逐漸變白序列或者逐漸趨近于任一顏色的序列之后插入重復(fù)的場(chǎng)或者幀。所有這樣的特定位置都具有非常高的MJT值。
很顯然，在所述位置可以采用重復(fù)的幀，盡管在其他圖像內(nèi)容中在個(gè)別的位置上僅對(duì)場(chǎng)進(jìn)行重復(fù)以降低運(yùn)動(dòng)抖動(dòng)強(qiáng)度?？偟膩?lái)說(shuō)，重復(fù)的幀和重復(fù)的場(chǎng)可以在被轉(zhuǎn)換的圖像序列中共存。
對(duì)于可感知的唇同步來(lái)說(shuō)，通常能夠接受的延遲范圍僅僅在至少有一個(gè)演講者出現(xiàn)在所述場(chǎng)景以內(nèi)的時(shí)候才需要被遵守。因此，當(dāng)沒(méi)有演講者出現(xiàn)的時(shí)候，在音頻和視頻呈現(xiàn)之間的延遲可以大于上述范圍。在快速運(yùn)動(dòng)場(chǎng)景的情況下通常是這種情況。因此，可以如圖9所示進(jìn)行附加控制，從而可以使所述視頻延遲范圍VDmin和VDmax在以下數(shù)值之間進(jìn)行平穩(wěn)的轉(zhuǎn)換或者調(diào)整-在唇同步可接受值VDminLipSync和VDmaxLipSync之間，如果所檢測(cè)到語(yǔ)音或者短的聲音峰值(由特殊事件如拍門引起的)以及緩慢移動(dòng)或者靜態(tài)的場(chǎng)景；-否則就在更大的VD值VDmin和VDmax之間。
對(duì)語(yǔ)音的檢測(cè)可以源于在例如最常用的多聲道音頻情況下對(duì)與左右聲道相關(guān)的中央聲道進(jìn)行的評(píng)估，因?yàn)樵陔娪爸姓Z(yǔ)音通常被編碼入所述中央聲道。如果所述中央聲道表現(xiàn)出隨著時(shí)間爆發(fā)的能量分布，并且該分布顯著的區(qū)別于所述左右聲道的能量分布，那么出現(xiàn)語(yǔ)音的可能性就很高。
上述為了適應(yīng)性地確定所述本地幀重復(fù)距離而進(jìn)行的控制對(duì)于通過(guò)視頻序列的一次運(yùn)算來(lái)說(shuō)是有效的。然而，所述控制受益于在許多專業(yè)MPEG-2編碼器中進(jìn)行的二重運(yùn)算編碼處理。在該種情況下，所述二重運(yùn)算的第一次運(yùn)算用于收集所述運(yùn)動(dòng)強(qiáng)度曲線，場(chǎng)景切換位置以及需要嚴(yán)格唇同步的場(chǎng)景的序號(hào)、標(biāo)號(hào)、位置以及長(zhǎng)度，黑幀，等等。隨后應(yīng)用經(jīng)過(guò)改進(jìn)的控制機(jī)制，該機(jī)制不僅考慮到目前處理的幀及其過(guò)去幀的可用信息，還對(duì)過(guò)去以及未來(lái)幀的相鄰幀信息加以考慮FRD(i)＝f(VD，MJT(i-k)...MJT(i+k))，(5)其中“i”代表當(dāng)前幀的號(hào)碼，且“k”代表以臨近幀為參考的流水號(hào)。每個(gè)這樣的函數(shù)的普遍特性是如果MJT(i)小于周圍的MJT值則FRD增大，且如果MJT(i)大于周圍的MJT值的則FRD減小。相關(guān)的圖像信號(hào)特性可以作為MPEG用戶數(shù)據(jù)或者專用數(shù)據(jù)通過(guò)光盤或者廣播信號(hào)從所述編碼器向所述解碼器進(jìn)行傳遞。
在本發(fā)明的另一個(gè)實(shí)施例中，在特定情況下采用運(yùn)動(dòng)補(bǔ)償插值幀而不是重復(fù)幀并不會(huì)產(chǎn)生運(yùn)算方面的花費(fèi)。該運(yùn)動(dòng)補(bǔ)償插值可以將被傳輸?shù)倪\(yùn)動(dòng)矢量應(yīng)用于當(dāng)前幀。一般來(lái)說(shuō)，該運(yùn)動(dòng)矢量不適用于運(yùn)動(dòng)補(bǔ)償幀插值，因?yàn)檫@些運(yùn)動(dòng)矢量都被優(yōu)化以實(shí)現(xiàn)最優(yōu)的估計(jì)增益而不是指示真實(shí)的運(yùn)動(dòng)場(chǎng)景。然而，如果經(jīng)過(guò)解碼器對(duì)所接收到的運(yùn)動(dòng)矢量進(jìn)行分析后表明所述場(chǎng)景發(fā)生了同類的平移，則可以在當(dāng)前幀和前一幀之間插入高度精確的一幀。平移的含義是一幀內(nèi)所有的運(yùn)動(dòng)矢量在長(zhǎng)度以及方向上是相同或者幾乎相同的。因此，被插值幀的產(chǎn)生可以通過(guò)以當(dāng)前幀的平均運(yùn)動(dòng)矢量所指示距離的一半對(duì)前一幀進(jìn)行轉(zhuǎn)換來(lái)實(shí)現(xiàn)。所述前一幀被認(rèn)為是所述當(dāng)前幀運(yùn)動(dòng)補(bǔ)償估計(jì)的參考幀，并且所述被插值幀被置于與所述前一幀和所述當(dāng)前幀等距的位置。如果所述估計(jì)幀不是所述前一幀，則要對(duì)平均運(yùn)動(dòng)矢量進(jìn)行必要的縮放。要對(duì)根據(jù)接收到的運(yùn)動(dòng)矢量而確定存在縮放的情況加以相應(yīng)的考慮?？s放的特征是縮放中心的運(yùn)動(dòng)矢量為零，并且在該縮放中心周圍按照從中心向外(或者從外向中心)的方向運(yùn)動(dòng)矢量長(zhǎng)度增加，所述運(yùn)動(dòng)矢量長(zhǎng)度的增加與到所述縮放中心的距離相關(guān)。
有利地，如圖10到13所示，相對(duì)于重復(fù)幀該種運(yùn)動(dòng)補(bǔ)償插值在運(yùn)動(dòng)抖動(dòng)表現(xiàn)方面作出了改進(jìn)。圖10和圖11顯示了帶有豎直運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡的幀(由豎直的條代表)以及幀重復(fù)的一種情況，這會(huì)導(dǎo)致‘停幀’現(xiàn)象，其中圖10為采用了24fps的格式的情況，圖11所示為進(jìn)行25fps格式轉(zhuǎn)換后的情況。圖12所示為以圖13所示的提高的25fps目標(biāo)幀速率進(jìn)行呈現(xiàn)時(shí)插入運(yùn)動(dòng)插值幀的情況，這將導(dǎo)致‘緩慢運(yùn)動(dòng)幀’而不是‘停幀’。
如上所述為了實(shí)現(xiàn)幀速率轉(zhuǎn)換可以實(shí)施對(duì)幀和/或場(chǎng)重復(fù)以及插值的控制，該控制可以應(yīng)用于MPEG-2(或者類似)壓縮系統(tǒng)的編碼器和解碼器端，因?yàn)樵谠搩啥丝梢垣@得大部分的端信息，可能除了可靠的場(chǎng)景變化指示以外。然而，為了利用所述解碼器的高級(jí)圖像序列特性信息，可以在(MPEG-2或者其他)被壓縮的24fps視頻信號(hào)中傳送所要進(jìn)行重復(fù)或者插值的場(chǎng)或者幀位置信息。在MPEG-2語(yǔ)法中已經(jīng)存在指示場(chǎng)時(shí)間順序的標(biāo)記(top_field_first)和為了進(jìn)行顯示而對(duì)第一場(chǎng)進(jìn)行重復(fù)的標(biāo)記(repeat_first_field)。如果要求以信號(hào)發(fā)出針對(duì)同一視頻信號(hào)的從24fps到30fps和從24fps到25fps的轉(zhuǎn)換模式，在每幅圖像的合適的用戶數(shù)據(jù)場(chǎng)中要對(duì)上述兩系列標(biāo)記中的一系列進(jìn)行傳送。
上面提到的24fps值和25fps值以及其他的數(shù)字都是示例性的數(shù)值，這些值可以相應(yīng)的用于本發(fā)明的其他應(yīng)用之中。
本發(fā)明可以應(yīng)用于-套裝媒體(DVD，藍(lán)光光盤，等)，-下載媒體包括視頻點(diǎn)播，近視頻點(diǎn)播，等，-廣播媒體。
本發(fā)明可以用于光盤播放器或者光盤刻錄機(jī)，或者硬盤錄像機(jī)例如HDD錄像機(jī)或者PC，還可以應(yīng)用于機(jī)頂盒，或者電視接收器。
權(quán)利要求
1.一種方法，用于控制(CTRL，VDEC)向第一格式(24p)圖像序列插入附加的場(chǎng)或者幀，以從中建立第二格式(25fps)圖像序列，所述第一格式圖像序列具有例如基本上為24Hz幀頻率，所述第二格式圖像序列的幀頻率是恒定的例如50Hz，并且大于所述第一格式圖像序列的幀頻率，所述方法包括下列步驟-確定(CTRL，VDEC，ADEC)所述第一格式圖像序列中的場(chǎng)或者幀位置，在該位置上插入相應(yīng)的附加場(chǎng)或者幀，從而使得在第二格式圖像序列中可見(jiàn)的運(yùn)動(dòng)抖動(dòng)(MJT)最?。?以非常規(guī)的場(chǎng)或者幀插入距離(FRD)在所述第一格式圖像序列中的一些所述位置插入場(chǎng)或者幀，從而使得總的來(lái)說(shuō)任何臨近幀之間平均距離對(duì)應(yīng)于所述第二格式圖像序列的臨近幀之間的平均距離；-采用所述第二格式圖像序列的格式一起呈現(xiàn)所述第一格式圖像序列以及所述非常規(guī)插入的場(chǎng)和/或幀，其特征在于為了達(dá)到可感知的唇同步，對(duì)所述第一格式圖像序列插入所述場(chǎng)或者幀的位置進(jìn)行控制，從而使得在所述第二格式圖像序列中由于非常規(guī)插入所引起的最大圖像內(nèi)容延遲保持在小于平均值的范圍內(nèi)，以防檢測(cè)到緩慢移動(dòng)或者靜態(tài)的場(chǎng)景以及被分配到所述第一格式圖像序列的音頻信息中的語(yǔ)音。
2.一種裝置，用于控制(CTRL，VDEC)向第一格式(24p)圖像序列插入附加的場(chǎng)或者幀，以從中建立第二格式(25fps)圖像序列，所述第二格式圖像序列的幀頻率是恒定的例如50Hz，并且大于所述第一格式圖像序列的幀頻率例如基本上為24Hz，所述裝置包括部件(CTRL，VDEC，ADEC)用于確定在所述第一格式圖像序列中的場(chǎng)或幀位置，在該位置上插入對(duì)應(yīng)的附加場(chǎng)或幀，從而使所述第二格式圖像序列中的可見(jiàn)運(yùn)動(dòng)抖動(dòng)(MJT)最小，所述裝置還用于以非常規(guī)場(chǎng)或幀插入距離(FRD)在一些所述位置上向所述第一格式圖像序列插入場(chǎng)或幀，從而使得總體來(lái)說(shuō)任何臨近幀之間的平均距離對(duì)應(yīng)于所述第二格式圖像序列中任何臨近幀之間的平均距離，所述裝置還用于以所述第二格式圖像序列的格式一起呈現(xiàn)所述第一格式圖像序列以及所述非常規(guī)插入的場(chǎng)和/或幀，其特征在于，為了達(dá)到可感知的唇同步，由所述部件控制在所述第一格式圖像序列內(nèi)插入場(chǎng)或幀的位置，從而在所述第二格式圖像序列中由非常規(guī)插入引起的的最大圖像內(nèi)容延遲保持在低于平均水平的范圍內(nèi)，以防檢測(cè)到緩慢移動(dòng)或者靜態(tài)的場(chǎng)景以及在分配給所述第一格式圖像序列的音頻信息中的語(yǔ)音。
3.如權(quán)利要求2所述的裝置，其中所述裝置為光盤播放器或者光盤刻錄機(jī)，或者硬盤錄像機(jī)，例如HDD錄像機(jī)或者PC，或者機(jī)頂盒，或者電視接收器。
4.如權(quán)利要求2或3所述的裝置，所述裝置為光盤播放器或者光盤刻錄機(jī)或者硬盤錄像機(jī)或者機(jī)頂盒，其中所述裝置輸出所述原始的第一格式(24p)圖像序列或者所述第二格式(25fps)圖像序列，這個(gè)選擇是由所接收到的重放模式信息來(lái)確定的，所述重放模式信息自動(dòng)地接收于與包括顯示設(shè)備在內(nèi)的設(shè)備相連的接口(IF)，或者接收于用戶接口(UI)。
5.如權(quán)利要求1所述的方法，或者如權(quán)利要求2-4中任一所述的裝置，其中對(duì)分配給所述第一格式圖像序列的所述音頻信息中的語(yǔ)音的檢測(cè)，是通過(guò)在多聲道音頻中進(jìn)行評(píng)估，以判斷所述中央聲道相對(duì)于左和右聲道是否表現(xiàn)出隨時(shí)間爆發(fā)的能量分布，該分布明顯區(qū)別于所述左和右聲道的能量分布。
6.如權(quán)利要求1或5所述的方法，或者如權(quán)利要求2-5中任一所述的裝置，其中所述第一格式(24p)圖像序列儲(chǔ)存或者記錄在存儲(chǔ)介質(zhì)(D)上，例如光盤或者硬盤，或者作為數(shù)字電視信號(hào)被廣播或者傳播。
7.如權(quán)利要求1、5和6中任一所述的方法，或者如權(quán)利要求2-6中任一所述的裝置，其中在所述第一格式圖像序列中插入場(chǎng)或者幀的位置是不包含大塊的運(yùn)動(dòng)圖像內(nèi)容區(qū)域的場(chǎng)或者幀，所述運(yùn)動(dòng)可以通過(guò)對(duì)運(yùn)動(dòng)矢量的評(píng)估來(lái)進(jìn)行確定。
8.如權(quán)利要求1、5-7中任一所述的方法，或者如權(quán)利要求2-7中任一所述的裝置，其中在所述第一格式圖像序列中插入場(chǎng)或者幀的位置是發(fā)生場(chǎng)景變化或者逐漸變黑或者逐漸變白或者逐漸變?yōu)槿我活伾膱?chǎng)或幀。
9.如權(quán)利要求1、5-8中任一所述的方法，或者如權(quán)利要求2-8中任一所述的裝置，其中在所述被插入的場(chǎng)或者幀被輸出到所述第二格式圖像序列中之前，對(duì)所述被插入的場(chǎng)或者幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。
10.如權(quán)利要求1、5-9中任一所述的方法，或者如權(quán)利要求2-9中任一所述的裝置，其中所述第一格式圖像序列為MPEG-2圖像序列，并且通過(guò)評(píng)估標(biāo)記對(duì)于向所述第一格式圖像序列插入(CTRL，VDEC)場(chǎng)或幀進(jìn)行控制，所述評(píng)估標(biāo)記指示場(chǎng)的時(shí)間順序或者指示為了進(jìn)行顯示而對(duì)第一場(chǎng)進(jìn)行重復(fù)，該標(biāo)記在所述第一格式圖像序列每幅圖像的用戶數(shù)據(jù)場(chǎng)中被傳送。
11.一種方法，用于在編碼器端促進(jìn)由解碼器端控制的向具有例如基本為24Hz幀頻率的MPEG-2圖像序列插入附加的場(chǎng)或幀，以從中建立具有更大幀頻率例如50Hz的圖像序列，其中為了達(dá)到可以感知的唇同步，在所述圖像序列中插入場(chǎng)或幀的位置由被傳送的標(biāo)記所控制，從而由非常規(guī)插入引起的最大圖像內(nèi)容延遲保持在低于平均水平的范圍內(nèi)，以防出現(xiàn)緩慢移動(dòng)或者靜態(tài)的場(chǎng)景以及分配給所述圖像序列的音頻信息中的語(yǔ)音，對(duì)于所述圖像序列中的每幅圖像來(lái)說(shuō)，所述方法包括在用戶數(shù)據(jù)場(chǎng)中插入指示場(chǎng)時(shí)間順序的標(biāo)記或者指示為了進(jìn)行顯示而對(duì)第一場(chǎng)進(jìn)行重復(fù)的標(biāo)記。
全文摘要
本發(fā)明涉及用于向第一格式圖像序列插入附加場(chǎng)或者幀以從中建立第二格式圖像序列的控制方法和裝置。世界上主要的電視系統(tǒng)采用隔行掃描并且采用50Hz或者60Hz的場(chǎng)頻率。然而，電影是采用24Hz的幀頻率以及逐行掃描制作而成的，該格式將被用于未來(lái)在采用50Hz的國(guó)家銷售的數(shù)字視頻光盤。在50Hz播放設(shè)備中，所述光盤內(nèi)容的呈現(xiàn)是以原始的音頻音調(diào)但卻以重復(fù)的視頻幀或場(chǎng)來(lái)實(shí)現(xiàn)，以平均地達(dá)到所述原始視頻源的速度。然而，對(duì)于所述幀或者場(chǎng)的插入并不是以常規(guī)的排列進(jìn)行的，而是以適應(yīng)性的方式進(jìn)行，從而減少可見(jiàn)的運(yùn)動(dòng)抖動(dòng)。
文檔編號(hào)G11B27/10GK1906937SQ200480040820
公開(kāi)日2007年1月31日 申請(qǐng)日期2004年11月4日 優(yōu)先權(quán)日2004年1月21日
發(fā)明者卡斯滕·赫佩爾, 海因茨·沃納·基森, 安德烈·舍韋佐, 馬爾科·溫特 申請(qǐng)人:湯姆遜許可公司