專利名稱：隔行視頻圖像中的缺失行的恢復(fù)方法
隔行視頻圖像中的缺失行的恢復(fù)方法技術(shù)鄰域本發(fā)明屬于數(shù)字視頻信號處理鄰域，具體地說，涉及一種隔行視頻圖像中的缺失行的恢復(fù)方法。
背景技術(shù)：
對于隔行數(shù)字視頻信號，傳統(tǒng)的運(yùn)動自適應(yīng)解隔行方法通常是對于靜止的圖像使用3D的信息進(jìn)行插值，而對于運(yùn)動的圖像使用2D的信息進(jìn)行插值。這里，2D的意思是指一場隔行圖像中的信息，即場內(nèi)信息。本發(fā)明討論的問題就是如何通過2D場內(nèi)插值的方法來產(chǎn)生隔行視頻圖像中的缺失行。如圖1所示，對于一場隔行圖像，其中只有或奇行或偶行的一半圖像信息，即奇場圖像只含有圖像的奇數(shù)掃描行，而偶場圖像只含有圖像的偶數(shù)掃描行。奇場與偶場圖像交替?zhèn)魉途托纬闪送ǔＫf的隔行視頻圖像流。在傳統(tǒng)的運(yùn)動自適應(yīng)解隔行方法中，當(dāng)圖像內(nèi)容發(fā)生變化時，我們要使用2D場內(nèi)插值的方法來產(chǎn)生隔行視頻圖像中的缺失行，這通常也稱為2D解隔行操作，即對于一幅奇場圖像，利用該場圖像內(nèi)的信息產(chǎn)生缺失的偶數(shù)行像素，而對于一幅偶場圖像，則利用該場圖像內(nèi)的信息產(chǎn)生缺失的奇數(shù)行像素。如圖1所示，在通常情況下，2D解隔行的操作是對奇場圖像來說，利用奇行1和奇行3來插值產(chǎn)生缺失的偶行a，利用奇行3和奇行5來插值產(chǎn)生缺失的偶行b，等等；對偶場圖像來說，利用偶行2和偶行4來插值產(chǎn)生缺失的奇行c，利用偶行4和偶行6來插值產(chǎn)生缺失的奇行d，等等。對于圖像最上面和最下面的缺失行，我們可以簡單的進(jìn)行特殊處理， 如重復(fù)缺失行的下一行或上一行來表示缺失行。這種特殊處理由于發(fā)生在圖像的最上邊緣和最下邊緣，故不會影響觀看。最常見的2D解隔行操作是利用缺失行的上一行與下一行的像素平均值來作為缺失行的像素值，例如，圖1中的缺失偶行a可以這樣得到a =(奇行 1+奇行 3)/2也就是說，缺失行a中的一個像素的值等于該像素上方奇行1中的像素值與該像素下方奇行3中的像素值的平均值。這種“上下平均”的簡單方法可以處理大部的2D解隔行問題，但對于“小角度邊緣”的情況卻力不從心。從圖2中可以清楚的看到，當(dāng)圖像中存在小角度的邊緣時，采用上下平均的簡單插值法不能恢復(fù)出原始的逐行圖像，其結(jié)果會使原逐行圖像中的小角度邊緣呈現(xiàn)出階梯狀。在這種情況下，如果能檢測到小角度邊緣的走向并沿著邊緣的方向進(jìn)行插值，如圖中所示缺失行的“ ”像素是沿著邊緣的方向由“■”像素插值得到的，那么2D解隔行的結(jié)果就可以完全恢復(fù)原逐行圖像的邊緣。小角度邊緣的走向通常是通過窗口匹配的技術(shù)來確定的。在圖中，我們看到在缺失行的上一行和下一行中可以找到匹配的兩個檢測窗口，而這兩個窗口的位置就決定了邊緣的走向，進(jìn)而也就決定了缺失行對應(yīng)的“ ”像素的位置?？梢灶A(yù)想到，針對角度越小的邊緣，匹配檢測窗口就需要越寬，也就越耗費(fèi)芯片資源。另外，由于視頻圖像中總存在噪音，所以這里的“匹配”并不是指兩個匹配檢測窗口中對應(yīng)的像素都完全相同，而是指總體來說兩個檢測窗口中的像素“最相近”。小角度插值方法的關(guān)鍵是準(zhǔn)確檢測小角度邊緣的走向。由于隔行圖像只含有原逐行圖像的一半信息，所以在很多情況下準(zhǔn)確判斷小角度邊緣的走向會變得非常困難，而誤判的情況也會經(jīng)常發(fā)生。以圖3所示為例，原逐行圖像顯示了四個英文字母“BETH”。如果它們之間的間隔行如圖所示是隔行圖像中的一行缺失行，則我們要利用缺失行的上一行和下一行進(jìn)行匹配檢測及小角度插值。從缺失行的上一行和下一行的像素分布來看，匹配檢測窗口 3和匹配檢測窗口 4比別的方向上的匹配檢測窗口都“相近”，也就是說匹配檢測的結(jié)果說明沿著匹配檢測窗口 3和匹配檢測窗口 4的方向存在著一條小角度的邊緣。然而， 在原逐行圖像中我們可以知道對應(yīng)的缺失行中并沒有任何深色的像素，也就不存在一條小角度的邊緣，故上面的匹配檢測結(jié)果其實(shí)是錯誤的。如果按照這樣錯誤的匹配檢測結(jié)果來進(jìn)行小角度的插值，那么得到的缺失行中就會出現(xiàn)不應(yīng)該存在的一些深色像素。類似圖3中的容易引起匹配檢測誤判的情況在實(shí)際中會經(jīng)常遇到。所以利用小角度插值來實(shí)現(xiàn)2D解隔行的方法極大的依賴于能否降低誤判的發(fā)生幾率。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種隔行視頻圖像中的缺失行的恢復(fù)方法，以解決目前的小角度插值方法容易導(dǎo)致匹配檢測誤判從而無法最接近地恢復(fù)出原始的逐行圖像的技術(shù)問題。為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下一種隔行視頻圖像中的缺失行的恢復(fù)方法，包括如下步驟a)設(shè)定三個小角度插值窗口的步驟，包括以當(dāng)前缺失像素為中心的2N+1個像素組成的小角度插值窗口，以該當(dāng)前缺失像素上方像素為中心的2N+1個像素組成的上方小角度插值窗口，和以該當(dāng)前缺失像素下方像素為中心的2N+1個像素組成的下方小角度插值窗口，其中N為正整數(shù)；b)分別以該當(dāng)前缺失像素上方像素為中心的2N+1個像素和當(dāng)前缺失像素下方像素為中心的2N+1 個像素為中心設(shè)定4N+2個匹配檢測窗口的步驟，所有匹配檢測窗口由不少于2N+3的奇數(shù)個像素組成，其中N為正整數(shù)；c)以穿過當(dāng)前缺失像素且分別連接所述上方小角度插值窗口和下方小角度插值窗口中像素的2N+1條直線所對應(yīng)的方向?yàn)槠ヅ浞较蚍謩e計(jì)算出2N+1 個匹配檢測值并以其中最小的匹配檢測值作為最佳匹配檢測值；d)確定并存儲最佳匹配方向信息的步驟；e)沿該最佳匹配檢測值所對應(yīng)的方向得到上一缺失行中對應(yīng)的像素H; f)判斷該最佳匹配方向信息和上一缺失行中的對應(yīng)的像素H的最佳匹配方向信息的差的絕對值是否小于等于用戶設(shè)定的閾值；若是，則采用該最佳匹配方向上的插值計(jì)算恢復(fù)該當(dāng)前缺失像素；若否，則上下平均計(jì)算恢復(fù)該當(dāng)前缺失像素；若因匹配檢測窗口的寬度不夠而無法形成本步驟中的匹配檢測窗口進(jìn)行處理的當(dāng)前缺失像素，則將最佳匹配方向記為垂直方向并插值計(jì)算恢復(fù)該當(dāng)前缺失像素；g)按照上述步驟a)至步驟f)處理當(dāng)前缺失像素同一行中的下一個像素直到當(dāng)前缺失行處理完畢；h)按照上述步驟a)至步驟g)處理下一缺失行的步驟。采用上述方法，通過利用上一缺失行的匹配檢測結(jié)果來判斷當(dāng)前缺失行的匹配檢測有效性，能夠極大的減少匹配檢測誤判情況的發(fā)生，提高匹配檢測的準(zhǔn)確性，從而使得小角度插值方法可順利應(yīng)用于隔行視頻圖像中的缺失行的恢復(fù)中，此時圖像的缺失行的恢復(fù)能夠更為準(zhǔn)確。


圖1是隔行視頻流的奇場圖像與偶場圖像的示意圖；圖2是“上下平均”插值與小角度插值方法的對比圖；圖3是采用小角度插值方法后匹配檢測誤判的示意圖；圖4是本發(fā)明的小角度插值方法中的小角度插值窗口示意圖；圖5是本發(fā)明的小角度插值方法中的匹配檢測結(jié)果的有效性檢驗(yàn)示意圖；圖6是本發(fā)明的隔行視頻圖像中的缺失行的恢復(fù)方法的處理流程圖。
具體實(shí)施例方式下面根據(jù)圖4至圖6，給出本發(fā)明的較佳實(shí)施例，并予以詳細(xì)描述，使能更好地理解本發(fā)明的功能、特點(diǎn)。本發(fā)明中的小角度插值方法與系統(tǒng)利用了上一缺失行的匹配檢測結(jié)果來檢驗(yàn)當(dāng)前缺失行的匹配檢測結(jié)果，并判斷當(dāng)前缺失行的匹配檢測結(jié)果是否有效。對判斷為有效的匹配檢測結(jié)果進(jìn)行小角度的插值，而對于判斷為無效的匹配檢測結(jié)果進(jìn)行傳統(tǒng)的上下平均法處理。第一步是匹配檢測。首先我們要限定小角度插值操作中角度的最小值，這是通過規(guī)定小角度插值窗口的寬度來實(shí)現(xiàn)的。如圖4所示，小角度插值窗口是一個寬度為2N+1個像素的窗口。缺失行的上一行和下一行中各定義一個小角度插值窗口，分別以缺失行中當(dāng)前插值像素“X”的上方像素“A”和下方像素“B”為中心。將缺失行的上一行中的小角度插值窗口記為pup，其中從左到右的2N+1個像素記為pup(l)，pup (2)，. . ·，pup QN+1)，而其中中心像素A為pup (N+1)。類似的，缺失行的下一行中的小角度插值窗口記為pdn，其中從左到右的2N+1個像素記為pdn (l),pdn(2),... , pdn (2N+1)，而其中中心像素B為pdn (N+1)。 當(dāng)像素pup (1)被匹配到像素pdn ON+1)，或當(dāng)像素pdn (1)被匹配到像素pup (2N+1)時，匹配走向的角度達(dá)到最小，而這個最小角度可以這樣計(jì)算θ min = arctan [3/ (2N+1)]舉例來說，如果小角度插值窗口的寬度為9個像素，那么所能處理的最小插值角度應(yīng)當(dāng)為θ min = arctan [3/9] ^ 18. 435degrees也就是說，如果用戶想要小角度插值對應(yīng)的最小角度約為18 19度，那么就選取寬度為9的小角度插值窗口。在實(shí)際中，隨著小角度邊緣對應(yīng)的角度小于θπ η并逐漸減小，小角度插值的效果也會逐漸變差。顯然，越小的θ min也意味著越大的小角度插值窗口，從而需要越多的數(shù)字視頻處理芯片的資源。在確定了小角度插值窗口的寬度后，我們定義匹配檢測窗口的寬度M為不小于 2N+3的奇數(shù)。在匹配檢測中，我們共有2M2N+1)個匹配檢測窗口，分別以缺失行的上一行中的pup⑴，pup⑵，...，pup (2N+1)和缺失行的下一行中的pdn(l)，pdn (2),...， pdn(2N+l)為窗口中心。這里要注意的是，越大的匹配檢測窗口雖然在一定程度上可能提高匹配檢測的準(zhǔn)確性，但同時也會導(dǎo)致更多的運(yùn)算從而增加芯片的成本。而且，很大的匹配檢測窗口有可能包含了過多與插值像素相關(guān)性很弱的信息一一這是因?yàn)楹艽蟮钠ヅ錂z測窗口會包含距離插值像素位置很遠(yuǎn)的像素，故檢測的準(zhǔn)確性也會受到影響。所以，在實(shí)際的小角度插值電路的設(shè)計(jì)中，匹配檢測窗口的寬度不應(yīng)選取的過大，本發(fā)明的推薦值即為M = 2N+3。因?yàn)槠ヅ錂z測窗口的寬度為M，所以一行缺失行的開始(M+l)/2個像素和結(jié)尾(M+l)/2個像素會因窗口寬度不夠而無法處理的，對于這些圖像邊界附近的像素，我們可以簡單的規(guī)定進(jìn)行上下平均處理，即X= (A+B)/2。此處也可以理解為，若因匹配檢測窗口的寬度不夠而無法形成本步驟中的匹配檢測窗口進(jìn)行處理的當(dāng)前缺失像素，則將最佳匹配方向記為垂直方向。為了方便敘述，我們進(jìn)一步定義匹配檢測窗口中的M個像素為
權(quán)利要求
1.一種隔行視頻圖像中的缺失行的恢復(fù)方法，包括如下步驟a)設(shè)定三個小角度插值窗口的步驟，包括以當(dāng)前缺失像素為中心的2N+1個像素組成的小角度插值窗口，以該當(dāng)前缺失像素上方像素為中心的2N+1個像素組成的上方小角度插值窗口，和以該當(dāng)前缺失像素下方像素為中心的2N+1個像素組成的下方小角度插值窗口，其中N為正整數(shù)；b)分別以該當(dāng)前缺失像素上方像素為中心的2N+1個像素和當(dāng)前缺失像素下方像素為中心的2N+1個像素為中心設(shè)定4N+2個匹配檢測窗口的步驟，所有匹配檢測窗口由不少于 2N+3的奇數(shù)個像素組成，其中N為正整數(shù)；c)以穿過當(dāng)前缺失像素且分別連接所述上方小角度插值窗口和下方小角度插值窗口中像素的2N+1條直線所對應(yīng)的方向?yàn)槠ヅ浞较蚍謩e計(jì)算出2N+1個匹配檢測值并以其中最小的匹配檢測值作為最佳匹配檢測值；d)確定并存儲最佳匹配方向信息的步驟；e)沿該最佳匹配檢測值所對應(yīng)的方向得到上一缺失行中對應(yīng)的像素H；f)判斷該最佳匹配方向信息和上一缺失行中的對應(yīng)的像素H的最佳匹配方向信息的差的絕對值是否小于等于用戶設(shè)定的閾值；若是，則采用該最佳匹配方向上的插值計(jì)算恢復(fù)該當(dāng)前缺失像素；若否，則上下平均計(jì)算恢復(fù)該當(dāng)前缺失像素；若因匹配檢測窗口的寬度不夠而無法形成本步驟中的匹配檢測窗口進(jìn)行處理的當(dāng)前缺失像素，則將最佳匹配方向記為垂直方向并插值計(jì)算恢復(fù)該當(dāng)前缺失像素；g)按照上述步驟a)至步驟f)處理當(dāng)前缺失像素同一行中的下一個像素直到當(dāng)前缺失行處理完畢；h)按照上述步驟a)至步驟g)處理下一缺失行的步驟。
2.如權(quán)利要求1所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述定義最佳匹配方向信息的步驟具體為若最佳匹配檢測值所對應(yīng)的方向所指向的上方小角度插值窗口中的像素是該上方小角度插值窗口中的第k個像素，則定義最佳匹配方向信息為k ； 所述用戶設(shè)定的閾值為曲率設(shè)置寄存器APT中用戶設(shè)定的值，該值為0到2N中的一個。
3.如權(quán)利要求1所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述定義最佳匹配方向信息的步驟具體為若最佳匹配檢測值所對應(yīng)的方向所指向的下方小角度插值窗口中的像素是該下方小角度插值窗口中的第k’個像素，則定義最佳匹配方向信息為 k’;所述用戶設(shè)定的閾值為曲率設(shè)置寄存器APT中用戶設(shè)定的值，該值為0到2N中的一個。
4.如權(quán)利要求1至3中任一權(quán)利要求所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述插值計(jì)算的具體方法為，所述當(dāng)前缺失像素的像素值為最佳匹配方向上所確定的上方小角度插值窗口中像素的像素值和下方小角度插值窗口中像素的像素值之和的平均值。
5.如權(quán)利要求4所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述對應(yīng)缺失行中的一個缺失像素的最佳匹配方向信息存儲在最佳匹配方向存儲器中，該最佳匹配方向存儲器對應(yīng)每一個缺失像素的存儲單元的位寬大于等于log2QN+l)。
6.如權(quán)利要求5所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述最佳匹配方向存儲器為兩個，用于輪流存儲當(dāng)前缺失行的最佳匹配方向信息和上一缺失行的最佳匹配方向信息。
7.如權(quán)利要求5所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，利用一小塊臨時存儲器作為緩存器來實(shí)現(xiàn)當(dāng)前缺失行的最佳匹配方向信息和的上一缺失行的最佳匹配方向信息的讀寫與覆蓋操作。
8.如權(quán)利要求5所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，在每一幅隔行圖像的恢復(fù)處理之前，所有的最佳匹配方向存儲器先清零。
9.如權(quán)利要求4所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述像素值是亮度值。
10.如權(quán)利要求1所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述定義最佳匹配方向信息的步驟具體為最佳匹配方向信息為最佳匹配方向的斜率值。
11.如權(quán)利要求10所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述計(jì)算的具體方法為，所述當(dāng)前缺失像素的像素值為最佳匹配方向上所確定的上方小角度插值窗口中像素的像素值和下方小角度插值窗口中像素的像素值之和的平均值。
12.如權(quán)利要求11所述的隔行視頻圖像中的缺失行的恢復(fù)方法，其特征在于，所述像素值是亮度值。
全文摘要
本發(fā)明公開了一種隔行視頻圖像中的缺失行的恢復(fù)方法，包括步驟設(shè)定小角度插值窗口的步驟；設(shè)定匹配檢測窗口的步驟；計(jì)算最佳匹配檢測值；沿該最佳匹配檢測值所對應(yīng)的方向得到上一缺失行中對應(yīng)的像素H；判斷該最佳匹配方向信息和上一缺失行中的對應(yīng)的像素H的最佳匹配方向信息的差的絕對值是否小于等于用戶設(shè)定的閾值；若是，則采用該最佳匹配方向上的插值計(jì)算恢復(fù)該當(dāng)前缺失像素。采用上述方法，通過利用上一缺失行的匹配檢測結(jié)果來判斷當(dāng)前缺失行的匹配檢測有效性，能夠極大的減少匹配檢測誤判情況的發(fā)生，提高匹配檢測的準(zhǔn)確性，從而使得小角度插值方法可順利應(yīng)用于隔行視頻圖像中的缺失行的恢復(fù)中，此時圖像的缺失行的恢復(fù)能夠更為準(zhǔn)確。
文檔編號H04N7/01GK102196232SQ201010120648
公開日2011年9月21日 申請日期2010年3月9日 優(yōu)先權(quán)日2010年3月9日
發(fā)明者俞誠, 張琦, 朱舸, 魯恒 申請人:富士通微電子(上海)有限公司