專利名稱：視頻圖像中場景切換或相似圖像的檢測方法與算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實現(xiàn)方式整體涉及視頻處理，尤其涉及檢測場景切換(scene cut)。
背景技術(shù)：
在特定應(yīng)用中，視頻編碼與處理利用視頻序列(場景，或者像片)中一個圖像(幀或場)與下一個圖像的相似度。例如，大多數(shù)對象保持相同，并且細(xì)微的差異是由于運動造成的。然而，視頻編碼與處理算法可以由于存在場景變化或場景切換而中斷或降低品質(zhì)。例如，在視頻編碼中，如果場景改變，則必須開始新的一組圖像(一些圖像是從在該組中先前的多個圖像中預(yù)測得到的)。如果場景和圖像內(nèi)容出現(xiàn)快速、猛烈的變化，則包含運動檢測的視頻處理可能不起作用。期望一種檢測機(jī)制，其輸出可以用作這種算法的控制信號。


并入該說明書、并構(gòu)成該說明書一部分的附圖示出了根據(jù)本發(fā)明的原理的一個或多個實現(xiàn)方式，并且與說明書一起解釋了這些實現(xiàn)方式。附圖的目的不在于定出尺度，而是將重點放在圖示本發(fā)明的原理上。在附圖中圖1示出了并入了檢測器的示例性的基于塊的編碼系統(tǒng)；圖2示出了沿著邊緣的平均亮度的示例圖；圖3示出了圖1的檢測器所使用的梯度游程(gradient run)函數(shù)的示例圖；以及圖4是示出了檢測場景切換或相似圖像的過程的流程圖。
具體實施例方式
以下的詳細(xì)描述參考了附圖。相同的參考數(shù)字可以在不同的附圖中使用，以標(biāo)識相同或相似的元件。在以下描述中，為了解釋而不是為了限制，提出特定的細(xì)節(jié)，例如特定結(jié)構(gòu)、構(gòu)造、接口、技術(shù)等等，以便對要求權(quán)利的本發(fā)明的各個方面提供全面的理解。然而，受益于本公開的本領(lǐng)域技術(shù)人員將會清楚的是，要求權(quán)利的本發(fā)明的各個方面可以在脫離這些具體細(xì)節(jié)的其他示例中實現(xiàn)。在特定實例中，省略了對已知設(shè)備、電路和方法的描述，以便本發(fā)明的描述不被不必要的細(xì)節(jié)所掩蓋。
圖1示出了示例性的基于塊的編碼系統(tǒng)100，其包括用于檢測場景切換或相似圖像的檢測器102，以及視頻編碼/處理模塊104。輸入圖像序列104被施加到視頻編碼/處理模塊104。輸入圖像序列104可以是已經(jīng)被劃分為多個塊(例如塊108)的經(jīng)過預(yù)處理的圖像。這些塊順序地作為輸入提供給視頻編碼/處理模塊104。
基于塊的視頻編碼系統(tǒng)，例如運動圖像專家組(MPEG)視頻編碼標(biāo)準(zhǔn)(ISO/IEC國際標(biāo)準(zhǔn)13818-2，通常稱為“MPEG-2”)，利用了圖像序列中的圖像之內(nèi)(幀內(nèi))和圖像之間(幀間)的空間和時間冗余。為了說明的目的，在此所述的基于塊的編碼系統(tǒng)100可以是MPEG-2編碼器。本領(lǐng)域技術(shù)人員應(yīng)該理解，本發(fā)明的各個實施例并非要將實現(xiàn)方式限制于MPEG解碼器。而是，本發(fā)明的各個實施例可以在任何可應(yīng)用的設(shè)備以及后處理模塊中用于檢測場景切換，所述設(shè)備包括但不限于MPEG-2，所述后處理模塊諸如運動估計和相關(guān)功能(例如，掃描速度轉(zhuǎn)換、運動補(bǔ)償?shù)娜ジ粜?、運動補(bǔ)償?shù)慕档驮肼?。在MPEG標(biāo)準(zhǔn)下，像素塊通常稱為宏塊，例如16×16的像素塊。本領(lǐng)域技術(shù)人員應(yīng)該理解，術(shù)語宏塊的目的是描述用于運動補(bǔ)償?shù)幕A(chǔ)的任何大小的像素塊。
諸如MPEG-2的編碼系統(tǒng)利用了輸入視頻序列中的冗余，并將視頻序列有效地編碼為可傳輸?shù)谋忍亓?。具體而言，在輸入視頻序列106中的順序的多個圖像108通常包含幀間的相似信息，即，在圖像之間的成像場景變化非常微小。在場景變化(場景切換)之后，通常需要大量的比特來對場景變化之后的第一個圖像進(jìn)行編碼。例如，在視頻編碼中，如果場景改變了，就必須開始新的一組圖像(一些圖像是從在該組中先前的多個圖像中預(yù)測得到的)。如果場景和圖像內(nèi)容出現(xiàn)快速、猛烈的變化，則包含運動檢測的視頻處理可能不起作用。本發(fā)明的實施例提供了一種檢測機(jī)制，其輸出可以用作這種算法的控制信號。本領(lǐng)域技術(shù)人員應(yīng)該理解，本發(fā)明的實施例并不限于檢測場景切換。而是，該檢測器也可以用在其他應(yīng)用中，包括檢測相似圖像。對于檢測相似圖像，在一些實例中，對幀進(jìn)行重復(fù)，以便與顯示系統(tǒng)所使用的幀頻相匹配。例如，如果原始內(nèi)容是每秒25幀且顯示器以每秒50幀工作，就要對幀進(jìn)行重復(fù)，以便與顯示速率相匹配。如果幀有重復(fù)，則重要的是將它們檢測出來，以便不會對同一幀進(jìn)行兩次處理，從而實現(xiàn)更有效的過程。
在這種情況下，檢測相同的幀是一種重要的應(yīng)用。在一個實施例中，確定SAD或者和或者平方誤差是否小于閾值。將該度量應(yīng)用于幀或者場。具體而言，有時，當(dāng)視頻被隔行掃描時，還對場進(jìn)行重復(fù)以便與顯示速率相匹配，并且所希望的幀頻不是原始速率的整數(shù)倍(例如，將電影素材從24fps轉(zhuǎn)換為30fps)。
最初，從兩個時間上連續(xù)的圖像(場或幀)中提取出多個特征。不需要存儲先前圖像，而僅僅存儲該組特征。這些特征與亮度和邊緣信息相關(guān)，但是邊緣信息可以使用稱為梯度游程的簡化方法計算得到。這些特征可以包括但不限于a.平均亮度-計算每個圖像的平均亮度。每個圖像的平均亮度可以通過對圖像中的像素的全部或一部分(例如，每個其他像素)進(jìn)行子采樣來確定，并計算平均值。
b.在垂直邊緣上的平均亮度-計算每幀垂直方向上所檢測到的邊緣處的平均亮度。當(dāng)檢測到垂直邊緣時，檢測沿著該邊緣的平均亮度，以確定在垂直方向上檢測到的圖像邊緣平均是亮還是暗。例如，圖2示出了沿著邊緣202的平均亮度204的示例圖200。該垂直軸表示像素亮度，水平軸表示長度。
c.在水平邊緣上的平均亮度-還計算每幀水平方向上所檢測到的邊緣處的平均亮度。
d.水平梯度游程(水平邊緣)數(shù)量-確定水平邊緣的數(shù)量或大致數(shù)量。為了方便，該值可以進(jìn)行縮放。
e.垂直梯度游程(垂直邊緣)數(shù)量-確定水平邊緣的數(shù)量或大致數(shù)量。為了方便，該值可以進(jìn)行縮放。
f.水平梯度游程的游程長度和-水平梯度游程是在水平方向上所檢測到的邊緣的近似值。將水平梯度游程長度加在一起。該長度是游程端點之間的距離。梯度游程長度的和小于或等于線的長度。為了方便，該值可以進(jìn)行縮放。
g.垂直梯度游程的長度和-還將垂直梯度游程長度加在一起。為了方便，該值可以進(jìn)行縮放。
h.最小亮度(除了0和255之外)-確定圖像的最小亮度。
i.最大亮度(除了0和255之外)-確定圖像的最大亮度。最小亮度和最大亮度提供了亮度的取值范圍。
2.上述特征的平方誤差和-確定上述特征的平方誤差和。(在一些情況中，上述特征的絕對差之和就足夠了)平方誤差和可以用于確定一組特征與另一組特征有多大差異或有多相似，由此確定圖像有多大差異或有多相似。
3.一種閾值比較操作，使得如果平方誤差大于預(yù)定值，則已經(jīng)發(fā)生了場景變化。如果所述差值超過預(yù)定值，則已經(jīng)發(fā)生了場景變化。一種閾值比較操作，使得如果圖像在視覺上相同，則平方誤差低于預(yù)定值。在不涉及噪聲時，在理想情況下將會獲得零差值。
圖3示出了圖1的檢測器所使用的梯度游程函數(shù)的示例圖200。對于與邊緣相關(guān)的特征，梯度游程可以用于檢測邊緣。梯度游程是邊緣輪廓的分段線性近似值。具體而言，梯度游程是在單一方向上具有相同梯度(或者梯度在特定取值范圍內(nèi))的多個像素集合。為了計算梯度游程，可以使用圖像中的行或列。為了避免噪聲，可以在計算梯度游程之前使用諸如高斯1D濾波器的低通濾波器。梯度游程可以是采用以下元素的5元組(對于水平梯度游程)＜X1，X2，y，Z1，Z2＞＝HRyX1是游程的起始坐標(biāo)，X2是游程的終止坐標(biāo)，y是行索引、Z1/Z2是圖像值f(X1，y)/F(X2，y)。
梯度游程的構(gòu)造實質(zhì)上是函數(shù)f的分段線性近似值。參考圖3，示出了示意性圖像的線302的曲線圖，包括與線302相關(guān)的水平梯度游程。水平梯度游程是在水平方向上檢測到的邊緣?？v軸304表示像素亮度，橫軸306表示長度。通常，對圖像的線所計算的游程可以稱為水平游程，對圖像的列所計算的游程可以稱為垂直游程。在水平/垂直游程中可以有上升游程(up-runs)和下降游程(down-runs)，例如上升游程308和下降游程310。梯度游程的長度是所有長度308和310的總和。
直線是從左到右而構(gòu)建的游程。示出了游程之一的元素(element)。對于要考慮的邊緣，優(yōu)選地具有在選定閾值之上的斜率。具體而言，游程檢測使用閾值，因此，僅僅考慮比特定閾值更陡峭的邊緣。為了說明的目的，使用閾值5，在線上示出4個游程。不考慮沒有強(qiáng)梯度的平坦區(qū)域，例如312所示的區(qū)域。與整體平均亮度、最大亮度、以及最小亮度組合在一起的游程的平均亮度和所有游程上的平均亮度，是圖像的多個典型特征。這些組合的特征通報了對比度信息。梯度游程可以是上升游程或下降游程，這兩者之間的計算并沒有區(qū)別，區(qū)別在需要最大可靠性的應(yīng)用中。
游程的數(shù)量實際上是邊緣的數(shù)量，游程的長度和(所有游程的x2-x1的和)指示邊緣的范圍。在對圖像進(jìn)行比較以便檢測場景中的變化時，這些特征也是相關(guān)特點。在圖4中的流程圖示出了使用梯度游程的實際過程。該過程可以對整個圖像進(jìn)行，或者對在圖像中的小區(qū)域進(jìn)行，甚至可以僅僅在一個方向上進(jìn)行(該工作用于場景切換檢測，但于對于幀重復(fù)，則需要水平和垂直特征的組合)。
圖4是示出了檢測場景切換或相似圖像的過程的流程圖。盡管為了解釋得簡單和清楚，可以針對系統(tǒng)100而對圖4進(jìn)行描述，應(yīng)該理解的是，過程400可以由圖1所示的特定系統(tǒng)100之外的其他系統(tǒng)執(zhí)行。
在步驟402，讀取圖像。圖像可以以光柵形式讀取。
在步驟404，對于圖像中的每條水平線，執(zhí)行步驟406到416。
在步驟406，計算局部平均亮度。計算每條水平線的亮度。當(dāng)?shù)竭_(dá)圖像中最后一線時，將會知道全部亮度值。
在步驟408，使用濾波器對行進(jìn)行模糊。對于該目的采用諸如1D高斯濾波器之類的濾波器，但是其不是在所有應(yīng)用中都是必要的。
在步驟410，計算梯度游程。
在步驟412，計算水平梯度游程數(shù)量。
在步驟414，計算梯度游程的平均亮度。
在步驟416，計算該梯度游程的長度。
在步驟418，計算在所有線上的平均亮度、最小亮度和最大亮度。
在步驟420，計算所有水平梯度游程上的平均亮度。
在步驟422，計算總的水平梯度游程長度。例如，如果一條線有兩個邊緣，則計算兩個梯度游程的長度，并加到下一線的長度上，下一線也是如此。
在步驟424，計算水平梯度游程的總數(shù)量。
在步驟426，對于垂直梯度游程，使用垂直線來計算在所有垂直梯度游程上的平均亮度、總的垂直梯度游程長度以及水平梯度游程的總數(shù)量。在典型的實現(xiàn)方式中，對圖像進(jìn)行再次掃描，以確定與這些垂直線相關(guān)的特點。讀取圖像的多個部分并追蹤累積值提高了計算效率，并避免了對圖像進(jìn)行兩次讀取或使用大的存儲緩沖器(例如，通過碎片(tile)或者條紋(stripe)來處理圖像)。本領(lǐng)域技術(shù)人員將會理解，可以使用水平值或者垂直值來檢測場景切換。例如，可以僅僅使用水平值。對于額外的精度，可以使用水平值和垂直值兩者。
在步驟428，可以對以下值進(jìn)行歸一化水平梯度游程數(shù)量、垂直梯度游程數(shù)量、水平梯度游程長度和、以及水平梯度游程長度和在步驟430，將所確定的值存儲在特征矢量中。
在步驟432，距離度量可以計算為各個特征矢量相對于先前圖像的平方誤差和。在從兩個時間上連續(xù)的圖像(場或幀)中提取的一組特征被確定之后，得到上述特征的平方誤差和。如果平方誤差高于特定閾值(例如1000)，則已經(jīng)發(fā)生了場景改變。在典型實現(xiàn)方式中，場景檢測器采用離線模式工作，為每個所讀入的圖像計算特征組，并相對于先前圖像的各個特征(其可以存儲在本地存儲器中)計算平方誤差。在一些實例中，可以生成二進(jìn)制信號，并將其發(fā)送到需要它的模塊。
本發(fā)明的實施例是高度可伸縮的?？梢越档蛷?fù)雜度并伴隨著適度的品質(zhì)下降(在性能上僅僅有逐步的損耗)。例如，為了降低成本(或者計算復(fù)雜度)，可以僅僅使用水平游程或者僅僅使用垂直游程。對于相似圖像的檢測而言，可以使用垂直特征和水平特征的減少的組合。可以僅使用在一個方向上的游程(例如上升游程或者下降游程)來進(jìn)行線處理。另外，本發(fā)明的實施例可以僅僅應(yīng)用于圖像的多個部分(連續(xù)部分或者類似棋盤圖案的任何其他部分)。例如，其可以被應(yīng)用于圖像的多個部分(例如圖像的1/2或1/3)而不是整個圖像。此外，可以使用所述特征的子集。例如，在一些實現(xiàn)方式中，可以使用9個特征中的3個特征來獲得可行的解決方案，該方案仍然是節(jié)約成本的。
對于一個或多個實現(xiàn)方式的以上描述提供了圖示和說明，但是并非是要窮舉或者將本發(fā)明的范圍限制在所公開的精確形式上。根據(jù)上述教導(dǎo)可以進(jìn)行各種修改和變型，或者可以從本發(fā)明的各種實現(xiàn)方式的實踐中獲得各種修改和變型。
此外，在圖4中的步驟不必按照所示的順序?qū)崿F(xiàn)；也不是必須要執(zhí)行全部步驟。此外，不依賴于其他步驟的那些步驟可以與其他步驟并行執(zhí)行。此外，在該圖中的至少一些步驟可以實現(xiàn)為在機(jī)器可讀介質(zhì)中實現(xiàn)的指令或指令組。
除非明確的進(jìn)行說明，否則在本申請的說明書中所使用的元素、步驟、或者指令不應(yīng)該被構(gòu)建為對本發(fā)明而言關(guān)鍵的或者必須的。同時，如在此所用到的，冠詞“一個”目的是包括一個或多個對象。在實質(zhì)上不脫離本發(fā)明的精神和原理的情況下，可以對要求權(quán)利的本發(fā)明的上述實現(xiàn)方式進(jìn)行各種改變和修改。在此意欲將所有這些修改和改變包含在本公開的范圍中并受到所附權(quán)利要求的保護(hù)。
權(quán)利要求
1.一種用于檢測視頻序列中的場景切換的方法，包括接收視頻序列中的多個圖像；從兩個時間上連續(xù)的圖像中提取一組特征；計算所述特征組相對于先前圖像的特征的平方誤差和；確定所述平方誤差和是否超過預(yù)定閾值；以及響應(yīng)于所述平方誤差和超過所述預(yù)定閾值，檢測場景變化。
2.如權(quán)利要求1所述的方法，還包括生成指示場景變化的信號，并將其發(fā)送到處理設(shè)備。
3.如權(quán)利要求1所述的方法，其中，從兩個時間上連續(xù)的圖像中提取一組特征的步驟還包括提取平均亮度、在選定方向的邊緣上的平均亮度、在所述選定方向上的梯度游程的數(shù)量、在所述選定方向上的梯度游程的長度和，最小亮度、以及最大亮度。
4.如權(quán)利要求3所述的方法，其中，從兩個時間上連續(xù)的圖像中提取一組特征的步驟還包括提取在第二選定方向的邊緣上的平均亮度、在所述第二選定方向上的梯度游程的數(shù)量、以及在所述第二選定方向上的梯度游程的長度和。
5.如權(quán)利要求1所述的方法，其中，從兩個時間上連續(xù)的圖像中提取一組特征的步驟還包括從兩個時間上連續(xù)的圖像的一部分中提取一組特征。
6.如權(quán)利要求1所述的方法，還包括存儲從兩個時間上連續(xù)的圖像中提取的所述特征組，而不是存儲所述圖像。
7.一種用于檢測視頻序列中相似圖像的方法，包括接收視頻序列中的多個圖像；從兩個時間上連續(xù)的圖像中確定多個特征；確定所述多個特征相對于先前圖像的特征的誤差；確定所述誤差是否超過預(yù)定閾值；以及響應(yīng)于所述誤差超過所述預(yù)定閾值，確定所述圖像是否相似。
8.如權(quán)利要求7所述的方法，其中，確定所述多個特征相對于先前圖像的特征的誤差的步驟還包括將所述誤差或者確定為所述多個特征相對于所述先前圖像的所述特征的平方誤差和。
9.如權(quán)利要求1所述的方法，其中，從兩個時間上連續(xù)的圖像中確定多個特征的步驟還包括確定平均亮度、在選定方向的邊緣上的平均亮度、在所述選定方向上的梯度游程的數(shù)量、在所述選定方向上的梯度游程的長度和，最小亮度、以及最大亮度。
10.如權(quán)利要求9所述的方法，其中，從兩個時間上連續(xù)的圖像中確定多個特征的步驟還包括確定在第二選定方向的邊緣上的平均亮度、在所述第二選定方向上的梯度游程的數(shù)量、以及在所述第二選定方向上的梯度游程的長度和。
11.如權(quán)利要求7所述的方法，其中，從兩個時間上連續(xù)的圖像中確定多個特征的步驟還包括從兩個時間上連續(xù)的圖像的一部分中確定多個特征。
12.如權(quán)利要求7所述的方法，還包括存儲從兩個時間上連續(xù)的圖像中提取的所述特征組，而不是存儲所述圖像。
13.一種裝置，包括控制器，用于檢測視頻序列中的相似圖像，其包括接收視頻序列中的多個圖像；從兩個時間上連續(xù)的圖像中確定多個特征；確定所述多個特征相對于先前圖像的特征的誤差；確定所述誤差是否超過預(yù)定閾值；以及響應(yīng)于所述誤差超過所述預(yù)定閾值，確定所述圖像是否相似。
14.一種系統(tǒng)，包括檢測器，用于接收視頻序列中的多個圖像；從兩個時間上連續(xù)的圖像中確定多個特征；確定所述多個特征相對于先前圖像的特征的誤差；確定所述誤差是否超過預(yù)定閾值；響應(yīng)于所述誤差超過所述預(yù)定閾值，確定所述圖像是否相似，并且生成指示場景變化的信號；以及處理設(shè)備，用于接收指示場景變化的所述信號。
15.一種包含指令的機(jī)器可訪問介質(zhì)，當(dāng)執(zhí)行所述指令時，使得機(jī)器接收視頻序列中的多個圖像；從兩個時間上連續(xù)的圖像中確定多個特征；確定所述多個特征相對于先前圖像的特征的誤差；確定所述誤差是否超過預(yù)定閾值；以及響應(yīng)于所述誤差超過所述預(yù)定閾值，確定所述圖像是否相似。
16.如權(quán)利要求15所述的機(jī)器可訪問介質(zhì)，其中，用于確定所述多個特征相對于先前圖像的特征的誤差的指令還包括在被執(zhí)行時使得機(jī)器執(zhí)行以下操作的指令將所述誤差或者確定為所述多個特征相對于所述先前圖像的所述特征的平方誤差和。
17.如權(quán)利要求16所述的機(jī)器可訪問介質(zhì)，其中，用于從兩個時間上連續(xù)的圖像中確定多個特征的指令還包括在被執(zhí)行時使得機(jī)器執(zhí)行以下操作的指令確定平均亮度、在選定方向的邊緣上的平均亮度、在所述選定方向上的梯度游程的數(shù)量、在所述選定方向上的梯度游程的長度和，最小亮度、以及最大亮度。
18.如權(quán)利要求17所述的機(jī)器可訪問介質(zhì)，其中，用于從兩個時間上連續(xù)的圖像中確定多個特征的指令還包括在被執(zhí)行時使得機(jī)器執(zhí)行以下操作的指令確定在第二選定方向的邊緣上的平均亮度、在所述第二選定方向上的梯度游程的數(shù)量、以及在所述第二選定方向上的梯度游程的長度和。
19.如權(quán)利要求16所述的機(jī)器可訪問介質(zhì)，其中，用于從兩個時間上連續(xù)的圖像中確定多個特征的指令還包括在被執(zhí)行時使得機(jī)器執(zhí)行以下操作的指令從兩個時間上連續(xù)的圖像的一部分中確定多個特征。
20.如權(quán)利要求16所述的機(jī)器可訪問介質(zhì)，還包括在被執(zhí)行時使得機(jī)器執(zhí)行以下操作的指令存儲從兩個時間上連續(xù)的圖像中提取的所述特征組，而不是存儲所述圖像。
全文摘要
一種用于檢測視頻序列中的場景切換和相似圖像的方法，包括接收視頻序列中的多個圖像；從兩個時間上連續(xù)的圖像中提取一組特征；計算所述特征組相對于先前圖像的特征的平方誤差和；確定所述誤差是否超過預(yù)定閾值；以及響應(yīng)于所述誤差超過所述預(yù)定閾值，檢測場景變化，并且確定所述誤差是否小于特定閾值，由此檢測到已經(jīng)找到相似圖像。
文檔編號H04N5/12GK101088280SQ200580044322
公開日2007年12月12日 申請日期2005年12月21日 優(yōu)先權(quán)日2004年12月23日
發(fā)明者J·卡維德斯 申請人:英特爾公司