專利名稱：檢測移動隔行掃描文本以作電影模式判定的制作方法
技術(shù)領域：
本發(fā)明一般涉及反向電視電影處理(inverse telecine)，尤其涉及檢測移動隔行掃描文本以作電影模式判定。
背景技術(shù)：
電影通常是按每秒24幀攝制的。為了在電視機上流暢地播放電影，電影在稱為電視電影處理的過程中必須轉(zhuǎn)換成全國電視系統(tǒng)委員會(NTSC)視頻格式(即每秒隔行掃描60個半幀(field))，或逐行倒相(PAL)視頻格式(即每秒隔行掃描50個半幀)。通常使用兩種電視電影處理方法，如下所述。在將電影轉(zhuǎn)換成NTSC視頻時，電影的每個幀F(xiàn)i被分解成視頻的兩個半幀(即上半幀Ti和下半幀Bi)，并且每四個半幀后面接著是一個重復前一同奇偶性半幀的半幀。例如，如果電影的幀序列是F0F1F2F3F4……，則結(jié)果視頻的半幀序列是T0B0T1B1T1B2T2B3T3B3T4B4……。以上電視電影處理方法稱為3:2下拉法。當電影被轉(zhuǎn)換成PAL視頻時，該電影的各個幀被簡單地分解成視頻的兩個半幀，而不插入重復半幀。例如，如果電影的幀序列是F0F1F2F3F4……，則結(jié)果視頻的半幀序列是T0B0T1B1T2B2T3B3T4B4……。以上電視電影處理方法稱為2:2下拉法。在使用2:2下拉法將電影轉(zhuǎn)換成PAL視頻時，所轉(zhuǎn)換的視頻比原始電影快4％。此外，2:2下拉法有時用于將電影的多個部分轉(zhuǎn)換成NTSC視頻，特別是用于3:2下拉法會使觀眾產(chǎn)生不平穩(wěn)印象的快速平移。
為了在諸如LCD TV或等離子TV的逐行掃描設備上流暢地顯示隔行掃描的視頻序列，視頻序列被轉(zhuǎn)換成逐行掃描序列。該轉(zhuǎn)換過程稱為消除隔行法。存在許多常規(guī)的消除隔行的技術(shù)，諸如“bob”(單半幀插值)、“weave”(半幀編織)、定向插值、運動自適應混合、以及運動補償混合。在常規(guī)方法中，“bob”法和“weave”法是兩種最簡單的方法。在“bob”法中，逐行掃描幀通過在半幀內(nèi)進行簡單的垂直插值而從半幀中生成。在“編織”法中，逐行掃描幀通過簡單地交織兩個相鄰的反奇偶性半幀來生成?！癰ob”法通常用于運動補償不可用或不可靠時快速運動的場景?！皐eave”法通常用于靜止場景，因為保留了場景的完整垂直分辨率。
在通過3:2下拉或2:2下拉從電影中產(chǎn)生視頻序列的情形中，如果能正確確定輸入序列中哪兩個半幀源自同一逐行幀，則可實現(xiàn)完美的消除隔行。特別地，應當確定當前半幀fN因為fN和前一半幀fN-1源自同一逐行幀而應當與fN-1“編織”在一起，還是當前半幀fN因為fN和下一半幀fN+1源自同一逐行幀而應當與fN+1“編織”在一起。將隔行掃描的半幀組合回原始幀的過程稱為反向電視電影處理。
反向電視電影處理過程因為若干原因而比預期地更加復雜，諸如在視頻處理鏈、場景變換和算后編輯中引入的噪聲。在算后編輯的示例情形中，為了分發(fā)突發(fā)新聞、天氣警報、股市信息、版權(quán)等，隔行掃描文本被頻繁地添加到視頻序列中。所添加的文本常常在畫面上水平或豎直地滾動。如果帶有滾動文本的半幀序列被檢測為有規(guī)律的3:2下拉或2:2下拉半幀，并且使用“weave”法消除隔行，則顯著的隔行掃描偽像常常會顯現(xiàn)在移動文本周圍。為了避免這種情形，將優(yōu)選檢測通過電視電影處理源自電影的視頻序列中的移動隔行掃描文本的方法。原始電影中的文本不應當被檢測為移動隔行掃描文本，因為這些文本實際上是原始逐行掃描素材的一部分。對于帶有靜止但淡入淡出的文本的序列，如果淡入淡出是從半幀到半幀的，則文本應當被檢測為移動隔行掃描文本，因為“編織”將在對淡入淡出半幀消除隔行時引起顯著的偽像。這樣的序列有時會在廣告中出現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明涉及用于檢測通過電視電影處理得到的視頻序列中的移動隔行掃描文本的方法。該方法通常包括以下步驟(A)檢查視頻序列的當前半幀中的當前塊的(i)從視頻序列中的前一半幀到當前半幀的運動，以及(ii)從當前半幀到視頻序列的下一半幀的運動的運動條件；(B)檢查當前塊的在(i)正向時間方向和(ii)反向時間方向上的多個對稱隔行掃描偽像的偽像條件；以及(C)如果(i)運動條件為真和(ii)偽像條件為真均成立，則斷言當前塊的塊運動指示符。
本發(fā)明的目的、特征和優(yōu)點包括提供對移動隔行掃描文本的檢測以作電影模式判定，這可(i)正確檢測通過電視電影處理源自電影的視頻序列中的移動隔行掃描文本，(ii)解決3:2下拉檢測，(iii)提供準確的2:2下拉檢測，(iv)區(qū)別原始逐行掃描素材中的移動文本，和/或(v)將靜止但淡入淡出的文本檢測為移動隔行掃描文本。


從以下詳細描述和所附權(quán)利要求以及附圖中，本發(fā)明的這些和其它目的、特征和優(yōu)點將顯而易見，在附圖中圖1是根據(jù)本發(fā)明一較佳實施例的系統(tǒng)的一示例實現(xiàn)的框圖；圖2是用于電影模式檢測的統(tǒng)一途徑的一示例方法的流程圖；圖3是用于進行電影模式判定的方法的一示例實現(xiàn)的流程圖；圖4是視頻半幀的一示例序列的示圖；圖5是用于移動隔行掃描文本判定的一示例方法的流程圖；以及圖6-9是用于移動隔行掃描文本判定方法的測試結(jié)果的表格。
具體實施例方式
參看圖1，示出了根據(jù)本發(fā)明一較佳實施例的系統(tǒng)100的一示例實現(xiàn)的框圖。該系統(tǒng)(或電路)100可稱為網(wǎng)絡媒體系統(tǒng)。該網(wǎng)絡媒體系統(tǒng)100通常包括電路(或模塊)102和電路(或模塊)104。輸入信號(例如IN)可由電路102接收。電路102可生成輸出信號(例如OUT)。電路102可與電路104通信，以前后移動視頻數(shù)據(jù)和視頻相關信息。
信號IN可以是已進行了電視電影處理的模擬視頻信號或數(shù)字視頻信號。信號IN通常包括根據(jù)一系列電影幀、一系列卡通幀和/或正常隔行掃描素材創(chuàng)建的一系列隔行掃描格式的半幀。信號OUT可以是模擬視頻信號或數(shù)字視頻信號。信號OUT通常包括其中混合有一些可能的隔行掃描半幀的一系列逐行掃描格式的幀。這些幀可通過反向電視電影處理處理在信號IN中接收到的隔行掃描半幀來創(chuàng)建。
電路102可稱為媒體處理器電路。該媒體處理器電路102用來收集關于來自視頻信號IN的半幀的統(tǒng)計數(shù)據(jù)。媒體處理器電路102還可檢測半幀是否處于3:2下拉模式，以基于從這些半幀中收集的多個統(tǒng)計數(shù)據(jù)來控制多個3:2下拉標志。同時，該媒體處理器電路102可基于(i)統(tǒng)計數(shù)據(jù)和(ii)表示重復的連續(xù)同奇偶性半幀的3:2下拉標志的重復半幀標志來檢測這些半幀是否包含移動隔行掃描文本以控制移動隔行掃描文本標志。該媒體處理器還可被配置成基于統(tǒng)計數(shù)據(jù)檢測這些半幀是否處于2:2下拉模式，以控制多個2:2下拉標志。此外，媒體處理器電路102可在多個反向電視電影處理過程中判定基于(i)3:2模式標志、(ii)3:2方向標志、(iii)移動隔行掃描文本標志、(iv)2:2模式標志、以及(v)2:2方向標志的全部來對所述半幀消除隔行。然后可作出分配一個或多個反向電視電影處理過程的判定，以基于這些標志將隔行掃描半幀轉(zhuǎn)換成幀。如果判定“不編織”，則視頻輸出電路112可使用其它消除隔行方法來生成逐行掃描幀(例如，信號OUT仍然可運送逐行掃描幀，只是不是根據(jù)“編織”生成的)。判定可包括不對半幀進行反向電視電影處理的方案，由此在信號OUT中呈現(xiàn)隔行掃描的半幀。
電路104可稱為存儲器電路。存儲器電路104可用來暫時緩存隔行掃描半幀的數(shù)字版本和逐行掃描半幀的數(shù)字版本。該存儲器電路104可被實現(xiàn)為單數(shù)據(jù)速率(SDR)動態(tài)隨機存取存儲器(DRAM)或雙數(shù)據(jù)速率(DDR)DRAM。其它存儲器技術(shù)可被實現(xiàn)為符合特定應用的標準。
媒體處理器電路102通常包括電路(或模塊)106、電路(或模塊)108、電路(或模塊)110和電路(或模塊)112。電路106可接收信號IN。信號OUT可由電路112生成和提供。電路106、108、110和112的全部都可與存儲器電路104通信以讀寫視頻數(shù)據(jù)、視頻相關信息和其它數(shù)據(jù)。
電路102可稱為視頻捕捉電路。該視頻捕捉電路102可用來從信號IN捕捉(例如數(shù)字化)隔行掃描半幀。在一些實施例中，視頻捕捉電路102還可用來從信號IN的半幀中收集統(tǒng)計數(shù)據(jù)。
電路108可稱為處理器電路。該處理器電路108可用來控制網(wǎng)絡媒體系統(tǒng)100的總體操作。該處理器電路108可被實現(xiàn)為SPARC處理器。其它處理器技術(shù)可被實現(xiàn)為符合特定應用的標準。
電路110可稱為視頻數(shù)字信號處理器(VDSP)電路。VDSP電路110可用來對視頻數(shù)據(jù)執(zhí)行高速處理。在一些實施例中，VDSP電路110可用來從信號IN中的半幀中收集統(tǒng)計數(shù)據(jù)。
電路112可稱為視頻輸出電路。視頻輸出電路112通?？捎脕砩尚盘朞UT。視頻輸出電路112可包括用于生成逐行掃描格式幀的消除隔行能力(或塊)。該消除隔行能力可提供用于使隔行掃描半幀消除隔行的一種或多種方法(或過程)。
參看圖2，示出用于電影模式檢測的統(tǒng)一途徑的一示例方法120的流程圖。方法(或過程)120通常包括步驟(或框)122、步驟(或框)124、步驟(或框)126、步驟(或框)128和步驟(或框)130。
對于在輸入信號IN中接收到的各個輸入半幀，在步驟122視頻捕捉模塊106和/或VDSP電路110可從半幀中收集(或計算)統(tǒng)計數(shù)據(jù)。這些統(tǒng)計數(shù)據(jù)可由其它步驟用于判定如何將半幀轉(zhuǎn)換成輸出信號OUT的幀。有關統(tǒng)計數(shù)據(jù)的其它細節(jié)在以下一般性地提供。
基于所收集的統(tǒng)計數(shù)據(jù)，3:2下拉檢測可由VDSP電路110在步驟124執(zhí)行。該檢測可確定在輸入半幀序列中是否存在常規(guī)的3:2下拉模式。作為檢測操作的結(jié)果，VDSP電路110可生成一個或多個二進制3:2下拉標志(例如電視電影處理模式標志MODE32、方向標志DIR32、以及重復半幀標志REPEAT_FIELD32)。當標志MODE32被斷言(例如邏輯值1或布爾值true)時，所檢測的序列被鎖定進入3:2下拉模式。如果標志MODE32被取消斷言(例如邏輯值0或布爾值false)時，則未檢測到3:2下拉模式。在MODE32被斷言且DIR32具有反方向(例如邏輯值1)的情形中，當前半幀(例如fN)和前一半幀(例如fN-1)可被檢測為源自同一逐行掃描幀。在MODE32被斷言且DIR32為正向(例如邏輯值零或“0”)的情形中，當前半幀(例如fN)和下一半幀(例如fN+1)可被檢測為源自同一逐行掃描幀。標志REPEAT FIELD32的斷言(例如邏輯值1或布爾值true)通常表示當前半幀fN已被檢測為前一同奇偶性半幀(例如fN-2)的重復半幀。標志REPEAT_FIELD32的取消斷言(例如邏輯零或布爾值false)通常表示當前半幀fN未被檢測為重復半幀。標志REPEAT_FIELD32對步驟128可用。3:2下拉檢測的進一步細節(jié)可在共同待批的美國專利申請No.11/272,300找到。
基于所收集的統(tǒng)計數(shù)據(jù)，在步驟126可由VDSP電路110執(zhí)行2:2下拉檢測。該檢測可確定在所輸入的半幀序列中是否存在常規(guī)2:2下拉模式。作為檢測操作的結(jié)果，VDSP電路110可生成一個或多個二進制2:2下拉標志(例如模式標志MODE22和方向標志DIR22)。標志MODE22的斷言(例如邏輯值1或布爾值true)通常表示該半幀序列被鎖定進入2:2下拉模式。標志MODE22的取消斷言(例如邏輯值0或布爾值false)可表示未檢測到2:2下拉模式。在MODE22被斷言且DIR22表示反方向的情形中，當前半幀fN和前一半幀fN-1可被檢測為源自同一逐行掃描幀。在MODE22被斷言且DIR22被取消斷言的情形中，當前半幀fN和后一半幀fN+1可被檢測為源自同一逐行掃描幀。2:2下拉檢測的進一步細節(jié)可在共同待批的美國專利申請No.11/272,300找到。
在步驟128，VDSP電路110可檢查各個半幀以確定是否存在移動隔行掃描文本。如果檢測到移動隔行掃描，則作為步驟128的一部分，VDSP電路110還可確定(i)該運動是豎直的還是水平的，以及(ii)行或列是否包含該移動文本。作為檢測操作的結(jié)果，VDSP電路110可生成二進制的移動隔行掃描文本的標志(例如FIELD_MIT)。標志FIELD_MIT通常表示當前半幀fN是否包含移動隔行掃描文本。標志FIELD_MIT的斷言(例如邏輯值1或布爾值true)通常表示已檢測到移動隔行掃描文本。標志FIELD_MIT的取消斷言(例如邏輯值0或布爾值false)一般表示未檢測到移動隔行掃描文本。
最終的電影模式判定通常由VDSP電路110在步驟130根據(jù)一組規(guī)則來作出。該判定可對標志MODE32、DIR32、MODE22、DIR22以及FIELD_MIT作出響應?；谠撆卸ǎ蓸俗R眾多反向電視電影處理過程之一以將半幀消除隔行而變回逐行掃描幀。
參看圖3，示出了用于電影模式判定的方法140的一示例實現(xiàn)的流程圖。該方法(或過程)140通常包括步驟(或框)142、步驟(或框)144、步驟(或框)146、步驟(或框)148、步驟(或框)150、步驟(或框)152、步驟(或框)154、步驟(或框)156、步驟(或框)158、步驟(或框)160和步驟(或框)162。
方法140通常通過在步驟142校驗標志MODE32和/或標志MODE22是否被斷言來開始。如果標志MODE32和MODE22都未被斷言(例如步驟142的“否”分支)，則步驟144中提供的判定可表示隔行掃描半幀是原始隔行掃描序列(例如非電視電影處理序列)的一部分，因而不應當使用編織反向電視電影處理過程。此外，非電視電影處理半幀可由視頻輸出電路112消除隔行，以在信號OUT中生成逐行掃描幀。
如果標志MODE32和MODE22的至少之一被斷言(例如步驟142的“是”分支)，則在步驟146校驗標志FIELD_MIT。如果標志FIELD_MIT被斷言以表示移動隔行掃描文本(例如步驟146的“是”分支)，則步驟148中提供的判定可指示使用非編織反向電視電影處理過程(例如“bob”過程)。如果標志FIELD_MIT被取消斷言以指示未檢測到移動隔行掃描文本(例如步驟146的“否”分支)，則在步驟150校驗標志MODE32。
如果標志MODE32被取消斷言(例如步驟150的“是”分支)，則在步驟152可執(zhí)行標志DIR32的校驗。如果標志DIR32表示反方向(例如步驟152的“是”分支)，則步驟154中提供的判定可指示編織反向電視電影處理過程，以組合當前半幀fN和前一半幀fN-1。如果標志DIR32指示正方向(例如步驟152的“否”分支)，則步驟156中提供的判定可指示編織反向電視電影處理過程，以組合當前半幀fN和下一半幀fN+1。
如果標志MODE32被取消斷言(例如步驟150的“否”分支)，則可在步驟158中執(zhí)行標志DIR22的校驗。如果標志DIR22指示反方向(例如步驟158的“是”分支)，則步驟160中提供的判定可指示使用編織反向電視電影處理過程來組合當前半幀fN和前一半幀fN-1。如果標志DIR22指示正方向(例如步驟158的“否”分支)，則步驟162中提供的判定可指示使用編織反向電視電影處理過程以組合當前半幀fN和下一半幀fN-1。作判定的進一步細節(jié)可在共同待批的美國專利申請No.11/314,631中找到。
參看圖4，示出視頻半幀的一示例序列170的示圖。視頻半幀通常包括交替的奇數(shù)奇偶性半幀和偶數(shù)奇偶性半幀。視頻半幀可源自通過電視電影處理過程隔行掃描的逐行掃描源(例如電影)或隔行掃描的視頻。
設f0，f1，f2，……為一系列視頻半幀。為了進行討論，第一半幀f0的奇偶性假設是已知的。此外，半幀fN可稱為當前半幀，半幀fN-1可稱為前一半幀(時間上)，而半幀fN+1可稱為下一半幀(時間上)。此外，條(或半幀)中的最上面一行通?？梢暈榕夹?。
檢測移動隔行掃描文本通常涉及收集半幀內(nèi)部和從半幀到半幀的統(tǒng)計數(shù)據(jù)。VDSP模塊110可用來執(zhí)行指令(例如abserr(IN0，IN1))，該指令將兩個標示為IN0和IN1的像素條取作輸入，并返回以下四個結(jié)果|IN0偶-IN1偶|共處于IN0和IN1中的偶線之間的絕對差(SAD)的和。
|IN0奇-IN1奇|共處于IN0和IN1中的奇線之間的SAD。
|IN0偶-IN1奇|IN0中的偶線與IN1中的相鄰奇線之間的SAD。
|IN0奇-IN1偶|IN0中的奇線與IN0中的相鄰偶線之間的SAD。
在電影模式判定的統(tǒng)一途徑中，兩個abserr指令可在每個塊(例如8×8像素)，使用，以收集用于檢查移動隔行掃描文本的統(tǒng)計數(shù)據(jù)。圖4，列(A)和(B)一般性地示出在當前半幀fN為上半幀時的第一情形。圖4，列(C)和(D)一般性地示出在當前半幀fN為下半幀時的第二情形。
以下兩個VDSP指令可對當前半幀fN是上半幀的第一情形中的每個8×8塊發(fā)出abserr(IN0＝fN+1，IN1＝fN-1) (1)abserr(IN0＝fN-1，IN1＝fN)(2)從以上(1)中的第一abserr中，根據(jù)(1)和(2)獲得的統(tǒng)計數(shù)據(jù)包括，但不限于SadPrevNext[y][x]＝|fN-1偶-fN+1偶|+|fN-1奇-fN+1奇|(3)
VerActNext[y][x]＝|fN+1奇-fN+1偶|*2 (4)其中y和x通常分別定義半幀中豎直方向和水平方向上的塊索引。(3)中的|fN-1偶-fN+1偶|值可設想為前一半幀像素和下一半幀像素之間的差，參見例如箭頭172。(3)中的|fN-1奇-fN+1奇|值可在前一半幀像素和下一半幀像素之間，參見例如箭頭174。(4)中的|fN+1奇-fN+1偶|值可在下一半幀的兩個像素之間，參見例如箭頭176。
從以上(2)中的第二abserr中，可獲得以下兩個統(tǒng)計數(shù)據(jù)SadCurrNext1[y][x]＝|fN+1偶-fN偶|+|fN+1奇-fN奇| (5)SadCurrNext2[y][x]＝|fN+1偶-fN奇|*2 (6)其中在(4)和(6)中，乘數(shù)2可使得以上4個統(tǒng)計數(shù)據(jù)(例如(3)，(4)，(5)，(6))包含相同數(shù)量的絕對差。(5)中的|fN+1偶-fN偶|值可在當前半幀像素和下一半幀像素之間，參見例如箭頭178。(5)中的|fN+1奇-fN奇|值可在當前半幀像素和下一半幀像素之間，參見例如箭頭180。(6)中的|fN+1偶-fN奇|值可在當前半幀像素和下一半幀像素之間，參見例如箭頭182。
在以上4個統(tǒng)計數(shù)據(jù)中，統(tǒng)計數(shù)據(jù)SadPrevNext通常是同奇偶性SAD的度量。統(tǒng)計數(shù)據(jù)SadCurrNext1和SadCurrNext2通常是反奇偶性SAD的度量，并且可視為由編織半幀fN和fN+1形成的幀的幀垂直活動。統(tǒng)計數(shù)據(jù)VerActNext通常是半幀fN+1的半幀垂直活動。
以下兩個VDSP指令可對當前半幀fN是下半幀的第二情形中的每個8×8塊發(fā)出abserr(IN0＝fN+1，IN1＝fN-1) (7)abserr(IN0＝fN，IN1＝fN+1)(8)(7)通常與(1)相同，但(8)與(2)不同。該差值可使|IN0偶-IN1奇|作為幀垂直活動的度量有了意義。從(7)和(8)收集的統(tǒng)計數(shù)據(jù)可包括，但不限于SadPrevNext[y][x]＝|fN-1偶-fN+1偶|+|fN-1奇-fN+1奇|(9)VerActNext[y][x]＝|fN+1奇-fN+1偶|*2 (10)SadCurrNext1[y][x]＝|fN+1偶-fN偶|+|fN+1奇-fN奇| (11)SadCurrNext2[y][x]＝|fN偶-fN+1奇|*2 (12)(9)中的值|fN-1偶-fN+1偶|可設想為前一半幀像素和下一半幀像素之間的差，參見例如箭頭192。(9)中的|fN-1奇-fN+1奇|值可在前一半幀像素和下一半幀像素之間，參見例如箭頭194。(10)中的|fN+1奇-fN+1偶|值可在下一半幀的兩個像素之間，參見例如箭頭196。(11)中的值|fN+1偶-fN偶|可在下一半幀像素和當前半幀像素之間，參見例如箭頭198。(11)中的|fN+1奇-fN奇|值可在下一半幀像素和當前半幀像素之間，參見例如箭頭200。(12)中的|fN偶-fN+1奇|值可在下一半幀像素和當前半幀像素之間，參見例如箭頭202。
在處理當前半幀fN的階段中，以下統(tǒng)計數(shù)據(jù)通常因處理前面的半幀而可用SadPrevCurr1類似于(5)和(11)，但根據(jù)fN-1和fN來計算SadPrevCurr2類似于(6)和(12)，但根據(jù)fN-1和fN來計算VerActPrev類似于(4)和(10)，但根據(jù)fN-1來計算VerActCurr類似于(4)和(10)，但根據(jù)fN來計算輸入序列中固有的噪聲會影響根據(jù)該序列計算的統(tǒng)計數(shù)據(jù)，因而應當加以考慮。噪聲值(例如NOISE)在半幀級別可估計如下CURR_NOISE＝min{min(SadPrevNext[y][x]，VerActCurr[y][x])} (13)NOISE＝(PREV_NOISE)*15+CURR_NOISE/16 (14)(13)中外面的最小化可在0＜x＜((W/8)-1)，0＜y＜((H/8)-1)的所有的塊之上進行，其中H為輸入序列的半幀高度而W是半幀寬度。而(13)中里面的最小化可在括號內(nèi)的兩個項SadPrevNext[y][x]和VerActCurr[y][x]上進行。(14)中的變量PREV_NOISE通常是在處理前一半幀時估計的噪聲電平。
對于當前半幀fN中的每個8×8塊，可分配一二進制標志(例如BLK_MIT)。對標志BLK_MIT的取消斷言成false或邏輯零值一般表示該塊不太可能包含移動隔行掃描文本。對標志BLK_MIT的斷言成true或邏輯1值一般表示可能存在移動隔行掃描文本。標志BLK_MIT的值可根據(jù)以下規(guī)則來確定如果條件(15)-(20)全部符合則BLK_MIT[y][x]＝1；否則，BLK_MIT[y][x]＝0SadPrevNext[y][x]＞REPEAT_FIELD32？(3*AvgSadPrevNext):Noise+TH(15)d＞b (16)e＞c (17)max(d，e)*2＜3*min(d，e) (18)VerActCurr[y][x]＞max(NOISE+TH，1.5*f)(19)f＜min(NOISE+TH，g/2) (20)其中b＝(VerActPrev[y][x]+VerActCurr[y][x])/2；c＝(VerActCurr[y][x]+VerActNext[y][x])/2；d＝(SadPrevCurr1[y][x]+SadPrevCurr2[y][x])/2；
e＝(SadPrevNext1[y][x]+SadPrevNext2[y][x])/2；f＝min(VerActCurr[j][i])，y-1≤j≤y+1，x-1≤i≤x+1g＝max(VerActCurr[j][i])，y-1≤j≤y+1，x-1≤i≤x+1此外，術(shù)語“W＝X？Y:Z”一般表示如果X為真或不等于零，則W估值為Y的值，否則W估值為Z的值。
在條件(15)中，標志REPEAT_FIELD32可以是從3:2下拉檢測生成的二進制標志。REPEAT_FIELD32＝1通常表示當前半幀fN為重復半幀。REPEAT_FIELD32＝0通常表示當前半幀fN不是重復半幀。參數(shù)AvgSadPrevNext可以是當前半幀fN中非邊界塊的SadPrevNext值的平均值。閾值參數(shù)TH可以是具有缺省值(例如1024)的可編程參數(shù)。估值為true的條件(15)可表示在當前塊位置[y][x]上存在從半幀fN-1到半幀fN+1的運動。
估值為true的條件(16)、(17)和(18)可表示在正時間方向和反時間方向上存在對稱隔行掃描偽像。估值為true的條件(19)一般表示在當前塊位置[y][x]中的高活動性(例如豎直活動性和/或水平活動性)。高活動性可表達為絕對值和/或相對于相鄰塊中的活動性。被相鄰塊中的低活動性所包圍的當前塊中的高活動性可為視頻中的文本的特征。
估值為true的條件(20)一般表示具有低活動性的塊在相鄰塊中存在，該低度活動可表達為絕對值和/或相對于鄰域中活動性最高的塊。條件(20)可為視頻中的大多數(shù)文本的特征。在一些實施例中，可使用塊對條件(19)和(20)的總活動性(例如豎直活動性和水平活動性的累加)。然而，如果塊的水平活動性不可用，則可僅使用豎直活動性。通常，BLK_MIT[y][x]本身并不足以可靠地表示存在移動隔行掃描文本。進一步的證據(jù)可在塊行的級別上、以及在多個半幀上收集，如下所述。
以下兩種情形可涵蓋大多數(shù)發(fā)生的移動隔行掃描文本(i)在畫面中的水平方向上滾動的一行文本，以及(ii)在豎直方向上滾動的單行或多行文本。因此，有關移動隔行掃描文本的強證據(jù)可從一行中BLK_MIT＝1的塊的最大個數(shù)采集。這樣，變量(例如ROW_MIT)可定義如下ROW_MIT=max0<y<H8-1Σ0<x<W8-1(BLK_MIT[y][x])---(21)]]>變量ROW_MIT的值通常是一行中BLK_MIT[y][x]＝1的塊的最大個數(shù)。半幀中的最上面一行和最下面一行可被排除在該計算之外。此外，也可排除行中最左側(cè)的塊和最右側(cè)的塊。ROW_MIT的值越大，當前半幀越可能包含移動隔行掃描文本。
參看圖5，示出了用于移動隔行掃描文本判定的一示例方法210的流程圖。該方法(或過程)210通常包括步驟(或框)212、步驟(或框)214、步驟(或框)216、步驟(或框)218、步驟(或框)220、步驟(或框)222和步驟(或框)224。對于移動隔行掃描文本，可將以下觀察結(jié)論應用于判定方法210觀察結(jié)論1移動隔行掃描文本幾乎總是出現(xiàn)在多個連續(xù)半幀中。
觀察結(jié)論2對于水平地滾動的文本，可存在兩種情形。在第一種情形中，滾動文本可在畫面的一端開始顯現(xiàn)，并隨著越來越多的文本顯示而逐步向另一端移動。在第二種情形中，一行滾動文本可在畫面的中央顯現(xiàn)，并向一端移動。對于第一種情形，觀眾可容忍缺少帶有滾動文本的前幾個半幀。這種容忍通常是因為在這些半幀中只會出現(xiàn)一些文本字符，并且這些文本顯現(xiàn)在畫面的角落。對于第二種情形，應當快速識別移動隔行掃描文本，因為滾動文本出現(xiàn)在半幀的中央，并且一般包含相當多的文本。
觀察結(jié)論3對于豎直地滾動的文本，文本在連續(xù)半幀中不會顯現(xiàn)在同一水平位置。
為了進行討論，設(i)ROW_MIT
為對當前半幀fN計算的ROW_MIT的值，(ii)ROW_MIT[-1]為前一半幀fN-1的值，(ii)ROW_MIT[-2]為半幀fN-2的值，等等。因為以上觀察結(jié)論3所述的原因，以上值并不總是根據(jù)所涉及半幀中的同一行計算。設FIELD_MIT為表示在當前半幀中存在/沒有移動隔行掃描文本的標志。標志FIELD_MIT的斷言為true或邏輯1值一般表示當前半幀中存在移動隔行掃描文本。對標志FIELD_MIT的取消斷言或邏輯0值一般表示未檢測到移動隔行掃描文本。
在步驟212，可產(chǎn)生常數(shù)“S”。該常數(shù)“S”一般說明不同畫面大小的效果。通常，畫面越大，數(shù)量越多的帶文本塊應顯現(xiàn)在塊行中，以便于使FIELD_MIT＝1。數(shù)量較多的塊應被視為斷言FIELD_MIT＝1，因為塊的大小會是固定的(例如8×8像素)。
在步驟214可進行檢查以確定前一半幀是否包含移動隔行掃描文本。如果在前一半幀中檢測到了移動隔行掃描文本(例如步驟214的“是”分支)，則可進行多次檢查以根據(jù)觀察結(jié)論1來查看該移動隔行掃描文本是否顯現(xiàn)在多個連續(xù)半幀中。如果未檢測到移動文本(例如步驟214的“否”分支)，則可進行檢查以查看在當前半幀中是否剛出現(xiàn)過移動隔行掃描文本。
在步驟216，可進行多次檢查，以確定最近的數(shù)個半幀(例如10個最近的半幀，包括當前半幀)是否沒有生成在任一這些半幀中有隔行掃描的移動文本的表示。如果在(i)當前半幀或(ii)任一最近半幀的至少之一中尚未檢測到隔行掃描的移動文本(例如步驟216的“是”分支)，則當前半幀的標志FIELD_MIT可在步驟218被取消斷言為邏輯零。如果確定(i)當前半幀和(ii)最近數(shù)個半幀的全部都被確定為具有移動隔行掃描文本(例如步驟216的“是”分支)，則當前半幀的標志FIELD_MIT可在步驟220被設置成邏輯1。
在步驟222，可進行檢查以確定在當前半幀是否可識別快速移動的隔行掃描文本。如果很快檢測到了快速移動的隔行掃描文本(例如步驟222的“是”分支)，則當前半幀的標志FIELD_MIT可在步驟220被斷言為邏輯1，以表示存在移動隔行掃描文本。如果未識別出快速移動的隔行掃描文本(例如步驟222的“否”分支)，則可在步驟224進行對緩慢移動的隔行掃描文本的檢查。如果可靠地檢測到了緩慢移動的隔行掃描文本(例如步驟224的“是”分支)，則標志FIELD_MIT可在步驟220被斷言為邏輯1。如果未檢測出緩慢移動的隔行掃描文本(例如步驟224的“否”分支)，則標志FIELD_MIT可在步驟218被取消斷言成邏輯零值。
參看圖6-9，示出判定方法210的測試結(jié)果表。圖6-9的每一個通常包括以下4組序列之一。圖6是沒有移動隔行掃描文本的2:2下拉序列。圖7是沒有移動隔行掃描文本的3:2下拉序列。圖8是有移動隔行掃描文本的2:2下拉序列。圖9是有移動隔行掃描文本的3:2下拉序列。
兩個術(shù)語通常用于測試中以度量方法210的準確度假陽性和假陰性。假陽性可表示沒有移動隔行掃描文本的半幀被檢測為具有移動隔行掃描文本。假陰性可表示有移動隔行掃描文本的半幀被檢測為不具有移動隔行掃描文本。對于這4個組中的每個序列，假陽性(例如第3列)和假陰性(例如第4列)通常在圖6-9中報告。注意，對于最后兩組的序列(例如圖8和9)，每個序列通常包含從具有移動隔行掃描文本的片段到?jīng)]有移動隔行掃描文本的片段的大量轉(zhuǎn)換，反之亦然。因此，假陽性的平均值和假陰性的平均值在圖8和9中報告。
由圖2、3和5的流程圖執(zhí)行的功能可使用根據(jù)本說明書的教義編程的常規(guī)通用數(shù)字計算機實現(xiàn)，這對相關領域技術(shù)人員而言是顯而易見的。適當?shù)能浖幋a易于由熟練編程人員根據(jù)本說明書的教義準備，這對相關領域技術(shù)人員而言是顯而易見的。
本發(fā)明還可通過準備ASIC、FPGA，或通過本文中所述地互連常規(guī)電路元件的合適的網(wǎng)絡來實現(xiàn)，其變體對本領域技術(shù)人員而言是顯而易見的。
本發(fā)明因而還可包括計算機產(chǎn)品，它可以是包括可用來編程計算機以根據(jù)本發(fā)明執(zhí)行進程的指令的存儲介質(zhì)。該存儲介質(zhì)可包括但不限于包括軟盤、光盤、CD-ROM、磁性光盤的任何類型的盤片、ROM、RAM、EPROM、EEPROM、閃存、磁性或光學卡、或適于存儲電子指令的任何類型的介質(zhì)。當在本文中使用時，術(shù)語“同時地”表示描述共享某共同時間段的事件，但該術(shù)語并不表示受限于在同一時間點上開始、在同一時間點結(jié)束、或具有相同持續(xù)時間的事件。
盡管已參照其較佳實施例具體地示出和描述了本發(fā)明，但本領域技術(shù)人員將理解可在形式和細節(jié)上作各種改變，而不背離本發(fā)明的精神和范圍。
權(quán)利要求
1.一種在通過電視電影處理獲得的視頻序列中檢測移動隔行掃描文本的方法，包括以下步驟(A)檢查所述視頻序列里的當前半幀中當前塊的運動條件中的(i)從所述視頻序列中的前一半幀到所述當前半幀、以及(ii)從所述視頻序列中的所述當前半幀到下一半幀的運動；(B)檢查所述當前塊的偽像條件中的(i)正時間方向、和(ii)反時間方向上的多個對稱隔行掃描偽像；以及(C)如果(i)所述運動條件和(ii)所述偽像條件全部為真，則斷言所述當前塊的塊運動指示符。
2.如權(quán)利要求1所述的方法，還包括以下步驟檢查所述當前塊的活動條件中的高活動性，其中所述塊運動指示符的斷言進一步基于所述活動條件。
3.如權(quán)利要求1所述的方法，還包括以下步驟檢查所述當前半幀中在所述當前塊周圍的多個相鄰塊的鄰域條件中的低活動性，其中所述塊運動指示符的斷言進一步地基于所述鄰域條件。
4.如權(quán)利要求1所述的方法，還包括以下步驟測量所述當前塊的噪聲電平，其中所述運動條件基于所述運動相對于所述噪聲電平的值來確定。
5.如權(quán)利要求4所述的方法，還包括以下步驟檢查所述當前半幀的3∶2下拉電視電影處理條件，其中所述運動條件基于所述3∶2下拉電視電影處理條件來進一步地確定。
6.如權(quán)利要求1所述的方法，還包括以下步驟基于多個所述塊運動指示符生成所述移動隔行掃描文本的多個行級別指示符，其中所述塊運動指示符的每一個在所述當前半幀的多個塊位置之一上估值。
7.如權(quán)利要求6所述的方法，還包括以下步驟如果所述行級別指示符檢測到快速移動文本，則斷言所述當前半幀的半幀運動指示符。
8.如權(quán)利要求7所述的方法，還包括以下步驟如果所述行級別指示符檢測到緩慢移動文本，則斷言所述半幀運動指示符。
9.如權(quán)利要求8所述的方法，還包括以下步驟如果所述視頻序列中的(i)所述當前半幀和(ii)固定數(shù)量的先前半幀的所述行級別指示符全部都未檢測到所述移動隔行掃描文本，則取消斷言所述當前半幀的所述半幀運動指示符。
10.如權(quán)利要求1所述的方法，還包括以下步驟使用空間濾波處理來使具有所述移動隔行掃描文本的所述半幀的一部分消除隔行。
11.一種在通過電視電影處理獲得的視頻序列中檢測移動隔行掃描文本的方法，包括以下步驟(A)檢查所述視頻序列的當前半幀中的當前塊的活動條件中的高活動性；(B)檢查所述當前半幀中且在所述當前塊周圍的多個相鄰塊的鄰域條件中的低活動性；以及(C)如果(i)所述活動條件和(ii)所述鄰域條件全部為真，則斷言所述當前塊的塊移動指示符。
12.如權(quán)利要求11所述的方法，還包括以下步驟檢查所述當前塊的運動條件中的(i)從所述視頻序列中的前一半幀到所述當前半幀以及(ii)從所述視頻序列中的所述當前半幀到下一半幀的運動，其中所述塊運動指示符的斷言進一步基于所述運動條件。
13.如權(quán)利要求11所述的方法，還包括以下步驟檢查所述當前塊的偽像條件中的(i)正時間方向、和(ii)反時間方向上的多個對稱隔行掃描偽像，其中所述塊運動指示符的斷言進一步基于所述偽像條件。
14.如權(quán)利要求11所述的方法，其特征在于，步驟(A)還包括以下子步驟檢查所述當前塊的活動條件中的高豎直活動性。
15.如權(quán)利要求14所述的方法，其特征在于，步驟(A)還包括以下子步驟檢查所述當前塊的活動條件中的高水平活動性。
16.如權(quán)利要求11所述的方法，其特征在于，所述高活動性包括大于固定閾值的一個值。
17.如權(quán)利要求11所述的方法，其特征在于，所述塊的所述高活動性包括大于所述相鄰塊的所述低活動性的一個值。
18.如權(quán)利要求11所述的方法，還包括以下步驟測量所述當前塊的噪聲電平，其中所述當前塊的所述高活動性包括大于所述噪聲電平的值。
19.如權(quán)利要求11所述的方法，還包括以下步驟測量所述當前塊的噪聲電平，其中所述相鄰塊的所述低活動性包括小于所述噪聲電平的值。
20.一種系統(tǒng)，包括存儲器，它被配置成存儲(i)通過電視電影處理獲得的并且(ii)具有移動隔行掃描文本的視頻序列；以及媒體處理器，它被配置成(A)檢查所述視頻序列里的當前半幀中的當前塊的運動條件中的(i)從所述視頻序列中的前一半幀到所述當前半幀以及(ii)從所述視頻序列中的所述當前半幀到下一半幀的運動；(B)檢查所述當前塊的偽像條件中的(i)正時間方向、和(ii)反時間方向上的多個對稱隔行掃描偽像；(C)檢查所述當前塊的活動條件中的高活動性；(D)檢查所述當前半幀中且在所述當前塊周圍的多個相鄰塊的鄰域條件中的低活動性；以及(E)如果(i)所述運動條件、(ii)所述偽像條件、(iii)所述活動條件和(iv)所述鄰域條件全部為真，則斷言所述當前塊的塊運動指示符。
全文摘要
公開了一種在通過電視電影處理獲得的視頻序列中檢測移動隔行掃描文本的方法。該方法一般包括以下步驟(A)檢查視頻序列里的當前半幀中當前塊的(i)從視頻序列中的前一半幀到當前半幀(ii)從視頻序列中的當前半幀到下一半幀的運動的運動條件；(B)檢查當前塊的(i)正時間方向、和(ii)反時間方向上的多個對稱隔行掃描偽像的偽像條件；以及(C)如果(i)運動條件和(ii)偽像條件全部為真，則斷言當前塊的塊運動指示符。
文檔編號H04N9/11GK101014096SQ20071000620
公開日2007年8月8日 申請日期2007年1月30日 優(yōu)先權(quán)日2006年1月30日
發(fā)明者Y·賈, L·L·溫格 申請人:Lsi羅吉克公司