一種視頻檢測(cè)及處理方法、裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻模式檢測(cè)領(lǐng)域，尤其涉及一種視頻檢測(cè)及處理方法、裝置。
【背景技術(shù)】
[0002] 電影通常是按逐行方式以每秒24幀拍攝的。為了在電視機(jī)上流暢地播放電影節(jié) 目，需要將電影幀拆分為電視場(chǎng)信號(hào)進(jìn)行廣播傳送，這一技術(shù)稱為下拉變換過程，常見的包 括用于NTSC制式廣播中的3:2下拉變換和用于PAL制式廣播中的2:2下拉變換技術(shù)。以 3:2下拉變換為例，若電影幀序列以A、B、C、D……表示，如圖1所示，首先將每幀拆成兩場(chǎng)， 如A t和Ab，其中下標(biāo)t和b分別表示頂場(chǎng)和底場(chǎng)，經(jīng)過3:2下拉變換處理后獲得的電視場(chǎng) 信號(hào)為A t、Ab、At、Bb、Bt、C t、Cb、Ct、Dt、Db、D t……，其場(chǎng)率為每秒60場(chǎng)。2:2下拉變換技術(shù)同 理。
[0003] 電影模式檢測(cè)為后續(xù)的去隔行處理提供了必要的信息。如果已知當(dāng)前待處理的場(chǎng) Ft是電影視頻，且亦知與該場(chǎng)來自同一電影幀的另外一場(chǎng)是前場(chǎng)F η還是后場(chǎng)F t+1，那么只 需簡(jiǎn)單將這兩場(chǎng)交織在一起即可還原出原始的電影幀，該過程稱為反下拉變換過程。與普 通電視視頻常用的去隔行技術(shù)（如場(chǎng)內(nèi)插值或運(yùn)動(dòng)自適應(yīng)去隔行等）不同，反下拉變換過 程能最大程度地保持圖像細(xì)節(jié)。但是，對(duì)與非電影場(chǎng)做反下拉變換處理則會(huì)引起梳齒偽像。 一般認(rèn)為，電影模式出現(xiàn)誤檢導(dǎo)致的結(jié)果（即將非電影視頻檢測(cè)為電影）要比漏檢（即將 電影視頻檢測(cè)為非電影）嚴(yán)重。
[0004] 根據(jù)上述下拉變換的基本原理，來自同一電影幀的相鄰兩場(chǎng)圖像的內(nèi)容往往具有 較強(qiáng)的相關(guān)性（同一時(shí)刻記錄的兩場(chǎng)，如圖1中的A t和Ab)，而來自不同電影幀的相鄰兩場(chǎng) 相關(guān)性較?。ú煌瑫r(shí)刻記錄的兩場(chǎng)，如圖1的A t和Bb)，同時(shí)這些強(qiáng)相關(guān)性和弱相關(guān)性在連 續(xù)的電影序列中表現(xiàn)出一定的周期性。若用1表示當(dāng)前場(chǎng)與緊鄰的后場(chǎng)相關(guān)性較強(qiáng)，用〇 表示當(dāng)前場(chǎng)與緊鄰的后場(chǎng)相關(guān)性較弱，則分析圖1所示電視場(chǎng)可發(fā)現(xiàn)，3:2下拉變換電影序 列具有如下相關(guān)性規(guī)律：
[0005] 11010 11010 11010 11010 ......
[0006] 分別以第一個(gè)At場(chǎng)，A b，第二個(gè)At場(chǎng)，Bb場(chǎng)和B t場(chǎng)作為起始場(chǎng)，則3:2下拉變換電 影序列有五種可能的相關(guān)性規(guī)律：11〇1〇, 1〇1〇1，〇1〇11，1〇11〇,〇11〇1，定義這五種模式為緊 鄰場(chǎng)相關(guān)性參考模式?？梢姡糨斎氲囊曨l信號(hào)是3:2下拉變換電影序列，則每連續(xù)的五場(chǎng) 圖像必會(huì)滿足以上五種緊鄰場(chǎng)相關(guān)性參考模式中的一種，且之后的每連續(xù)五場(chǎng)圖像都具有 與之相同的相關(guān)性規(guī)律。
[0007] 此外，由于3:2下拉變換電影序列中每連續(xù)五場(chǎng)中總會(huì)有一場(chǎng)內(nèi)容（如At場(chǎng)）重 復(fù)出現(xiàn)，所以通過連續(xù)統(tǒng)計(jì)當(dāng)前場(chǎng)的前場(chǎng)和后場(chǎng)之間的相關(guān)性，也能找到一定的周期性規(guī) 律。仍以圖1所示為例，若用1表示當(dāng)前場(chǎng)的前場(chǎng)與后場(chǎng)之間具有較強(qiáng)相關(guān)性，而用〇表示 當(dāng)前場(chǎng)的前場(chǎng)與后場(chǎng)之間具有較弱相關(guān)性，分別以第一個(gè)A t場(chǎng)，A b，第二個(gè)At場(chǎng)，B b場(chǎng)和B t 場(chǎng)作為起始場(chǎng)，可發(fā)現(xiàn)五種可能的相關(guān)性規(guī)律：〇1〇〇〇, 10000,00001，00010,00100,定義這 五種匹配規(guī)律為間隔場(chǎng)相關(guān)性參考模式?？梢姡糨斎氲囊曨l信號(hào)是3:2下拉變換電影序 列，則每連續(xù)的五場(chǎng)圖像必會(huì)滿足以上五種間隔場(chǎng)相關(guān)性參考模式中的一種，且之后的每 連續(xù)五場(chǎng)圖像都具有與之相同的相關(guān)性規(guī)律。
[0008] 現(xiàn)有大多電影模式檢測(cè)技術(shù)也正是通過計(jì)算相鄰場(chǎng)圖像的整體相關(guān)性來判斷當(dāng) 前場(chǎng)是否為電影場(chǎng)。圖2給出了目前常用的電影模式檢測(cè)和去隔行流程，其中電影模式檢 測(cè)模塊需要三場(chǎng)數(shù)據(jù)輸入如Ft，F(xiàn) w和F t_2以計(jì)算相鄰場(chǎng)之間的相關(guān)性，模塊的輸出是對(duì)場(chǎng) Fw的檢測(cè)結(jié)果，包括它是否為電影場(chǎng)以及與Ft還是Ft_2來自同一電影幀。去隔行模塊也需 要三場(chǎng)數(shù)據(jù)輸入如F t_i，F(xiàn)t_2和F t_3以進(jìn)行運(yùn)動(dòng)自適應(yīng)去隔行處理，其輸出F t_2*表示Ft_2場(chǎng) 的插值結(jié)果幀，此時(shí)需要從電影模式檢測(cè)模塊獲得F t_2場(chǎng)對(duì)應(yīng)的電影模式信息（以Mt_2表 示），如果F t_2場(chǎng)是電影場(chǎng)，就采用反下拉變換方法獲得逐行幀，否則就采用運(yùn)動(dòng)自適應(yīng)方 法計(jì)算出插值幀?？梢姡F(xiàn)有技術(shù)方案中，去隔行模塊的處理結(jié)果總比電影模式檢測(cè)模塊的 處理結(jié)果有一場(chǎng)的延遲，這需要更多的場(chǎng)緩存和DDR帶寬。
[0009] 另一方面，實(shí)際傳輸?shù)碾娪爱嬅嬷型笃诰庉嬏砑拥母粜行畔?，例如字幕?滾動(dòng)條、手語窗甚至轉(zhuǎn)動(dòng)的臺(tái)標(biāo)等?，F(xiàn)有技術(shù)只給出了整場(chǎng)的檢測(cè)結(jié)果，這使得去隔行模塊 誤將這些混合視頻中的隔行區(qū)域也作為電影模式來處理，從而出現(xiàn)梳齒偽像（如圖11)。

【發(fā)明內(nèi)容】

[0010] 鑒于現(xiàn)有技術(shù)中的問題，在第一方面，本發(fā)明實(shí)施例提供一種視頻檢測(cè)及處理方 法，通過計(jì)算相鄰場(chǎng)圖像的整體相關(guān)性來判斷當(dāng)前場(chǎng)是否為電影場(chǎng)，判斷為電影場(chǎng)時(shí)，將當(dāng) 前場(chǎng)與相鄰場(chǎng)合并成幀，然后在該合成幀中逐像素檢測(cè)梳齒偽像，如果無梳齒偽像，則確定 當(dāng)前局部區(qū)域是電影模式，將所述的合成幀作為還原的視頻幀；如果有梳齒偽像，則判定當(dāng) 前局部區(qū)域是非電影模式，此時(shí)采用運(yùn)動(dòng)自適應(yīng)方法或者空域插值方法計(jì)算出插值幀，作 為還原的視頻幀，所述的當(dāng)前局部區(qū)域包括所述的當(dāng)前場(chǎng)和相鄰場(chǎng)。
[0011] 優(yōu)選地，所述在該合成幀中逐像素檢測(cè)梳齒偽像的方法包括：獲取合并幀中當(dāng)前 像素 NxN鄰域內(nèi)的像素特征值；計(jì)算當(dāng)前像素的第一方向三鄰域像素的像素特征值中值， 計(jì)算在第一方向上與當(dāng)前像素最相鄰的兩個(gè)像素各自的第一方向三鄰域像素的像素特征 值中值；分別計(jì)算各中值與各中心像素的像素特征值的差的絕對(duì)值；將這三個(gè)絕對(duì)值與閾 值進(jìn)行比較，若它們中任一個(gè)大于閾值，認(rèn)為第一方向檢測(cè)到了梳齒，即有梳齒偽像，否則 認(rèn)為該方向沒有檢測(cè)到梳齒，即無梳齒偽像，所述N是正整數(shù)，所述NxN表示一個(gè)以當(dāng)前像 素為中心點(diǎn)的矩形區(qū)域。
[0012] 要說明的是，這里的所謂像素特征值指的是圖像中每個(gè)像素的屬性值，例如每個(gè) 像素可以用Y、Cb、Cr三個(gè)分量值，或者R、G、B三個(gè)分量值（一般可以由采集設(shè)備或前端視 頻解碼器提供）表示，且這三個(gè)分量（或稱為通道）之間是相互獨(dú)立的關(guān)系。本發(fā)明此處 既可單獨(dú)選擇Y或Cb或Cr或R或G或B通道作為像素特征值進(jìn)行處理，也可以將其中幾 個(gè)通道組合成新的像素特征值來進(jìn)行處理。即，優(yōu)選地，所述的像素特征值是YCbCr值或 RGB值。若以P表示所述的像素特征值，本發(fā)明實(shí)施例中可以單獨(dú)選YCbCr或RGB的某個(gè)分 量作為像素特征值，例如P = Y ;也可以將其中幾個(gè)分量組合成新的像素特征值，例如P = (R+G+B) /3，在此不做特別限制。
[0013] 優(yōu)選地，所述的第一方向是垂直方向、水平方向或者其他方向。
[0014] 在第二方面，本發(fā)明還提供一種視頻檢測(cè)及處理裝置，包括電影模式檢測(cè)模塊、電 影模式優(yōu)化模塊和去隔行模塊，所述電影模式優(yōu)化模塊包括生成合并幀模塊和梳齒檢測(cè)模 塊，所述電影模式檢測(cè)模塊，用于通過計(jì)算相鄰場(chǎng)圖像的整體相關(guān)性來檢測(cè)當(dāng)前場(chǎng)是電影 場(chǎng)時(shí)，將檢測(cè)結(jié)果發(fā)送給所述電影模式優(yōu)化模塊中的生成合并幀模塊；所述生成合并幀模 塊，用于在收到電影場(chǎng)檢測(cè)結(jié)果時(shí)，將當(dāng)前場(chǎng)與其相鄰場(chǎng)合并成幀，并將合并生成的幀發(fā)送 給所述的梳齒檢測(cè)模塊；所述梳齒檢測(cè)模塊，用于對(duì)收到的合成幀逐像素檢測(cè)梳齒偽像，如 果有梳齒偽像，則確定當(dāng)前局部區(qū)域是非電影模式，并將確定結(jié)果通知所述的去隔行模塊； 所述的去隔行模塊，用于收到確定結(jié)果為非電影模式時(shí)，采用運(yùn)動(dòng)自適應(yīng)方法或者空域插 值方法計(jì)算出插值幀，作為還原的視頻幀，所述的當(dāng)前局部區(qū)域包括所述的當(dāng)前場(chǎng)和相鄰 場(chǎng)。
[0015] 優(yōu)選地，所述梳齒檢測(cè)模塊對(duì)合成幀進(jìn)行逐像素檢測(cè)梳齒偽像的步驟包括：獲取 合并幀中當(dāng)前像素 NxN鄰域內(nèi)的像素特征值；計(jì)算當(dāng)前像素的第一方向三鄰域像素的像素 特征值中值，計(jì)算在第一方向上與當(dāng)前像素最相鄰的兩個(gè)像素各自的第一方向三鄰域像素 的像素特征值中值；分別計(jì)算各中值與各中心像素的像素特征值的差的絕對(duì)值；將這三個(gè) 絕對(duì)值與閾值進(jìn)行比較，若它們中任一個(gè)大于閾值，認(rèn)為第一方向檢測(cè)到了梳齒，即有梳齒 偽像，否則認(rèn)為該方向沒有檢測(cè)到梳齒，即無梳齒偽像，所述N是正整數(shù)，所述NxN表示一個(gè) 以當(dāng)前像素為中心點(diǎn)的矩形區(qū)域。
[0016] 在第三方面，本發(fā)明還提供一種視頻檢測(cè)及處理裝置，包括電影模式檢測(cè)模塊、電 影模式優(yōu)化模塊和去隔行模塊，所述電影模式優(yōu)化模塊包括電影模式預(yù)測(cè)模塊，生成合并 幀模塊和梳齒檢測(cè)模塊，所述電影模式檢測(cè)模塊，用于通過計(jì)算相鄰場(chǎng)圖像的整體相關(guān)性 來檢測(cè)當(dāng)前場(chǎng)是電影場(chǎng)時(shí)，將檢測(cè)結(jié)果發(fā)送給所述電影模式優(yōu)化模塊中的電影模式預(yù)測(cè)模 塊；所述電影模式預(yù)測(cè)模塊，用于基于相鄰場(chǎng)之間的電影模式信息存在的周期性，根據(jù)前述 電影場(chǎng)檢測(cè)結(jié)果預(yù)測(cè)出下一場(chǎng)是電影模式，并將該預(yù)測(cè)結(jié)果發(fā)送給生成合并幀模塊；所述 生成合并幀模塊，用于在收到電影場(chǎng)預(yù)測(cè)結(jié)果時(shí)，將所述的下一場(chǎng)與其相鄰場(chǎng)合并成幀，并 將合并生成的幀發(fā)送給所述的梳齒檢測(cè)模塊；所述梳齒檢